Ya no tienes que indagar más por todo internet porque has llegado al espacio necesario, tenemos la solución que necesitas sin problemas.
Solución:
Esto se debe a que Spark crea algunos archivos aleatorios temporales en el directorio /tmp de su sistema local. Puede evitar este problema configurando las siguientes propiedades en sus archivos conf de chispa.
Establezca esta propiedad en spark-env.sh.
SPARK_JAVA_OPTS+=" -Dspark.local.dir=/mnt/spark,/mnt2/spark -Dhadoop.tmp.dir=/mnt/ephemeral-hdfs"
export SPARK_JAVA_OPTS
De acuerdo con la Error message ha proporcionado, su situación es que no queda espacio en disco en su disco duro. Sin embargo, no es causado por la persistencia de RDD, sino por la reproducción aleatoria que necesitó implícitamente al llamar reduce.
Por lo tanto, debe borrar su disco y hacer más espacios para su carpeta tmp
Reseñas y valoraciones de la guía
Si haces scroll puedes encontrar las críticas de otros administradores, tú asimismo puedes insertar el tuyo si lo crees conveniente.