Deseamos enseñarte la mejor respuesta que descubrimos en línea. Queremos que te sea de utilidad y si deseas compartir alguna mejora hazlo con libertad.
Solución:
Spark on EMR está configurado para YARN, por lo que la interfaz de usuario de Spark está disponible mediante la URL de la aplicación proporcionada por el administrador de recursos de YARN (http://spark.apache.org/docs/latest/monitoring.html). Entonces, la forma más fácil de acceder es configurar su navegador con SOCKS usando un puerto abierto por SSH, luego, desde la consola EMR, abra Resource Manager y haga clic en la URL principal de la aplicación que se proporciona a la derecha de la aplicación en ejecución. El servidor Spark History está disponible en el puerto predeterminado 18080.
Ejemplo de calcetines con EMR en http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-web-interfaces.html
Aquí hay una alternativa si no desea lidiar con la configuración del navegador con SOCKS como se sugiere en los documentos de EMR.
-
Abra un túnel ssh al nodo maestro con reenvío de puertos a la máquina que ejecuta Spark UI
ssh -i path/to/aws.pem -L 4040:SPARK_UI_NODE_URL:4040 [email protected]_URLMASTER_URL (EMR_DNS en la pregunta) es la URL del nodo maestro que puede obtener de la página de la consola de administración de EMR para el clúster
SPARK_UI_NODE_URL se puede ver cerca de la parte superior del registro de stderr. La línea de registro se verá algo como:
16/04/28 21:24:46 INFO SparkUI: Started SparkUI at http://10.2.5.197:4040 -
Apunte su navegador a localhost:4040
Intenté esto en EMR 4.6 con Spark 2.6.1
Me complace anunciar que esta característica finalmente está disponible en AWS. No necesitará ejecutar ningún comando especial (o configurar un túnel SSH):
Al hacer clic en el enlace a la interfaz de usuario del servidor de historial de chispa, podrá ver los registros de aplicaciones anteriores o acceder a la interfaz de usuario del trabajo de chispa en ejecución:
Para obtener más detalles: https://docs.aws.amazon.com/emr/latest/ManagementGuide/app-history-spark-UI.html
Espero que ayude !
Ten en cuenta difundir este post si te ayudó.