Saltar al contenido

Cómo usar matplotlib para trazar los resultados de pyspark sql

Nuestro grupo especializado pasados muchos días de trabajo y de recopilar de información, encontramos la solución, deseamos que todo este artículo sea de gran utilidad en tu plan.

Solución:

He encontrado la solución para esto. Convertí el marco de datos sql al marco de datos de pandas y luego pude trazar los gráficos. a continuación se muestra el código de muestra.

pyspark.sql import Row
from pyspark.sql import HiveContext
import pyspark
from IPython.display import display
import matplotlib
import matplotlib.pyplot as plt
%matplotlib inline 
sc = pyspark.SparkContext()
sqlContext = HiveContext(sc)
test_list = [(1, 'hasan'),(2, 'nana'),(3, 'dad'),(4, 'mon')]
rdd = sc.parallelize(test_list)
people = rdd.map(lambda x: Row(id=int(x[0]), name=x[1]))
schemaPeople = sqlContext.createDataFrame(people)
# Register it as a temp table
sqlContext.registerDataFrameAsTable(schemaPeople, "test_table")
df1=sqlContext.sql("Select * from test_table")
pdf1=df1.toPandas()
pdf1.plot(kind='barh',x='name',y='id',colormap='winter_r')

Comentarios y puntuaciones del artículo

Al final de la artículo puedes encontrar las acotaciones de otros sys admins, tú igualmente eres capaz mostrar el tuyo si lo deseas.

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *