Solución:
Tu puedes hacer: ./bin/spark-submit mypythonfile.py
Ejecutar aplicaciones de Python a través de pyspark no es compatible a partir de Spark 2.0.
pyspark 2.0 y versiones posteriores ejecutan el archivo de script en la variable de entorno PYTHONSTARTUP, para que pueda ejecutar:
PYTHONSTARTUP=code.py pyspark
En comparación con spark-submit La respuesta es útil para ejecutar el código de inicialización antes de usar el shell interactivo de pyspark.
Solo spark-submit mypythonfile.py debería ser suficiente.
¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)