Puede que se de el caso de que encuentres algún fallo en tu código o proyecto, recuerda probar siempre en un entorno de testing antes aplicar el código al trabajo final.
Solución:
En la línea de comando, puede usar
spark-shell -i file.scala
para ejecutar el código que está escrito en file.scala
Para cargar un archivo externo desde spark-shell simplemente haga
:load PATH_TO_FILE
Esto llamará a todo en su archivo.
No tengo una solución para su pregunta SBT, aunque lo siento 🙂
Puede usar sbt o maven para compilar programas Spark. Simplemente agregue la chispa como dependencia a maven
Spark repository
http://www.sparkjava.com/nexus/content/repositories/spark/
Y luego la dependencia:
spark
spark
1.2.0
En términos de ejecutar un archivo con comandos de chispa: simplemente puede hacer esto:
echo"
import org.apache.spark.sql.*
ssc = new SQLContext(sc)
ssc.sql("select * from mytable").collect
" > spark.input
Ahora ejecute el script de comandos:
cat spark.input | spark-shell
Al final de la web puedes encontrar las acotaciones de otros administradores, tú asimismo eres capaz mostrar el tuyo si lo crees conveniente.