Esta sección fue aprobado por nuestros expertos para garantizar la veracidad de esta sección.
Solución:
Resulta que el ajuste
spark.sql.caseSensitive: True
en $SPARK_HOME/conf/spark-defaults.conf Funciona después de todo. Solo tiene que hacerse en la configuración del controlador Spark, no en el maestro o los trabajadores. Aparentemente lo olvidé cuando lo intenté por última vez.
Otra forma más para PySpark. Usando un SparkSession objeto llamado spark:
spark.conf.set('spark.sql.caseSensitive', True)
Prueba sqlContext.sql(“set spark.sql.caseSensitive=true”) en su código de Python, que funcionó para mí.
¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)