Solución:
Me encontré con algo en la documentación de Spark:
spark.executorEnv.[EnvironmentVariableName]
Agregue la variable de entorno especificada por EnvironmentVariableName al proceso Ejecutor. El usuario puede especificar varios de estos para establecer varias variables de entorno.
Entonces, en su caso, establecería la opción de configuración Spark spark.executorEnv.com.amazonaws.sdk.disableCertChecking para true y vea si eso ayuda.
Añadiendo más a la respuesta existente.
import pyspark
def get_spark_context(app_name):
# configure
conf = pyspark.SparkConf()
conf.set('spark.app.name', app_name)
# init & return
sc = pyspark.SparkContext.getOrCreate(conf=conf)
# Configure your application specific setting
# Set environment value for the executors
conf.set(f'spark.executorEnv.SOME_ENVIRONMENT_VALUE', 'I_AM_PRESENT')
return pyspark.SQLContext(sparkContext=sc)
SOME_ENVIRONMENT_VALUE La variable de entorno estará disponible en los ejecutores / trabajadores.
En su aplicación Spark, puede acceder a ellos así:
import os
some_environment_value = os.environ.get('SOME_ENVIRONMENT_VALUE')
¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)