Cómo soltar filas con valores nulos en una columna pyspark

Hacemos una verificación completa cada escritos en nuestro espacio con el objetivo de mostrarte siempre la información con la mayor veracidad y actual.

Solución:

Los marcos de datos son inmutables. tan solo aplicando un filtro que no elimine null valores creará un nuevo marco de datos que no tendría los registros con null valores.

df = df.filter(df.col_X. isNotNull())

Utilizar cualquiera drop con subset:

df.na.drop(subset=["col_X"])

o isNotNull()

df.filter(df.col_X.isNotNull())

otra variación es:

from pyspark.sql.functions import col

df = df.where(col("columnName").isNotNull())

Calificaciones y reseñas

Recuerda que puedes compartir esta división si te valió la pena.

---

---

Utiliza Nuestro Buscador