Solución:
Para Spark 2.2+:
import spark.implicits._
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val df = spark.read.json(Seq(jsonStr).toDS)
Para Spark 2.1.x:
val events = sc.parallelize("""{"action":"create","timestamp":"2016-01-07T00:01:17Z"}""" :: Nil)
val df = sqlContext.read.json(events)
Pista: esto está usando
sqlContext.read.json(jsonRDD: RDD[Stirng])
sobrecarga. También haysqlContext.read.json(path: String)
donde lee un archivo Json directamente.
Para versiones anteriores:
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
val rdd = sc.parallelize(Seq(jsonStr))
val df = sqlContext.read.json(rdd)
Dado que la función para leer JSON desde un RDD quedó obsoleta en Spark 2.2, esta sería otra opción:
val jsonStr = """{ "metadata": { "key": 84896, "value": 54 }}"""
import spark.implicits._ // spark is your SparkSession object
val df = spark.read.json(Seq(jsonStr).toDS)
Para convertir la lista de cadenas json en DataFrame en Spark 2.2 =>
val spark = SparkSession
.builder()
.master("local")
.appName("Test")
.getOrCreate()
var strList = List.empty[String]
var jsonString1 = """{"ID" : "111","NAME":"Arkay","LOC":"Pune"}"""
var jsonString2 = """{"ID" : "222","NAME":"DineshS","LOC":"PCMC"}"""
strList = strList :+ jsonString1
strList = strList :+ jsonString2
val rddData = spark.sparkContext.parallelize(strList)
resultDF = spark.read.json(rddData)
resultDF.show()
Resultado:
+---+----+-------+
| ID| LOC| NAME|
+---+----+-------+
|111|Pune| Arkay|
|222|PCMC|DineshS|
+---+----+-------+
¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)