Traemos la mejor información que encontramos en todo internet. Nosotros esperamos que te sirva de ayuda y si deseas aportar algún detalle que nos pueda ayudar a mejorar hazlo con total libertad.
Solución:
Para eliminar todos los datos almacenados en caché:
sqlContext.clearCache()
Fuente: https://spark.apache.org/docs/2.0.1/api/java/org/apache/spark/sql/SQLContext.html
Si desea eliminar un marco de datos específico de la memoria caché:
df.unpersist()
¿Estás usando el cache() método para persistir RDD?
cache() solo llamadas persist()por lo que para eliminar el caché de un RDD, llame unpersist().
esto es raro Las preguntas formuladas no tiene nada que ver con las respuestas. El caché OP publicado es propiedad del sistema operativo y no tiene nada que ver con Spark. Es una optimización del sistema operativo y no deberíamos preocuparnos por ese caché en particular.
Y el caché de chispa generalmente está en la memoria, pero estará en la sección RSS, no en la sección de caché del sistema operativo.
Si conservas alguna indecisión o disposición de enriquecer nuestro reseña puedes escribir un informe y con deseo lo estudiaremos.