Leer y escribir una cadena vacía “” frente a NULL en Spark 2.0.1

Solución:

Apenas dos años y medio después, las cadenas vacías ya no se consideran iguales a null valores gracias a Spark 2.4.0! Consulte este compromiso para obtener más detalles sobre la funcionalidad. Su código se comportará como se esperaba en 2.4.0+:

val df = session.createDataFrame(Seq(
    (0, "a"),
    (1, "b"),
    (2, "c"),
    (3, ""),
    (4, null)
))  

df.coalesce(1).write.mode("overwrite").format("csv") 
    .option("delimiter", ",")
    .option("nullValue", "unknown")
    .option("treatEmptyValuesAsNulls", "false")
    .save(s"$path/test")

Resultados en:

0,a
1,b
2,c
3,
4,unknown

---

---

Utiliza Nuestro Buscador