Saltar al contenido

obtener el tipo de datos de la columna usando pyspark

Solución:

Su pregunta es amplia, por lo que mi respuesta también será amplia.

Para obtener los tipos de datos de su DataFrame columnas, puedes usar dtypes es decir :

>>> df.dtypes
[('age', 'int'), ('name', 'string')]

Esto significa tu columna age es de tipo int y name es de tipo string.

Para cualquier otra persona que vino aquí buscando una respuesta a la pregunta exacta en el título de la publicación (es decir, el tipo de datos de una sola columna, no de múltiples columnas), no he podido encontrar una manera simple de hacerlo.

Afortunadamente, es trivial obtener el tipo que usa dtypes:

def get_dtype(df,colname):
    return [dtype for name, dtype in df.dtypes if name == colname][0]

get_dtype(my_df,'column_name')

(tenga en cuenta que esto solo devolverá el tipo de la primera columna si hay varias columnas con el mismo nombre)

No sé cómo está leyendo de mongodb, pero si está utilizando el conector mongodb, los tipos de datos se convertirán automáticamente en tipos de chispa. Para obtener los tipos de Spark sql, simplemente use un atributo de esquema como este:

df.schema
¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *