Scala y Spark: emitir varias columnas a la vez

Solución:

casting de todas las columnas con enfoque idiomático en scala

def castAllTypedColumnsTo(df: DataFrame, sourceType: DataType, targetType: DataType) = {
df.schema.filter(_.dataType == sourceType).foldLeft(df) {
    case (acc, col) => acc.withColumn(col.name, df(col.name).cast(targetType))
 }
}

Basado en los comentarios (¡gracias!) Se me ocurrió el siguiente código (no se implementó el manejo de errores):

def castAllTypedColumnsTo(df: DataFrame, 
   sourceType: DataType, targetType: DataType) : DataFrame = {

      val columnsToBeCasted = df.schema
         .filter(s => s.dataType == sourceType)

      //if(columnsToBeCasted.length > 0) {
      //   println(s"Found ${columnsToBeCasted.length} columns " +
      //      s"(${columnsToBeCasted.map(s => s.name).mkString(",")})" +
      //      s" - casting to ${targetType.typeName.capitalize}Type")
      //}

      columnsToBeCasted.foldLeft(df){(foldedDf, col) => 
         castColumnTo(foldedDf, col.name, LongType)}
}

Gracias por los inspiradores comentarios. foldLeft (explicado aquí y aquí) guarda un for bucle para iterar sobre un var marco de datos.

---

---

Utiliza Nuestro Buscador