Te sugerimos que pruebes esta solución en un ambiente controlado antes de pasarlo a producción, un saludo.
Solución:
Si está ejecutando este independiente, puede intentar eliminar provided de sus dependencias. Proporcionado significa que espera que las dependencias ya estén en el classpath cuando ejecuta esta aplicación. Entonces, las dependencias de Spark no se incluirán en su jar si usa provided.
Seleccione la casilla de verificación ‘Incluir dependencias con alcance “Provisto”‘ en Configuraciones de ejecución/depuración.
Su archivo build.sbt especificó que las dependencias de chispa se proporcionan a la ruta de clase de la aplicación, pero no pudo ubicarlas. Si no está ejecutando en un clúster, puede intentar eliminar el “provisto” de su build.sbt, o colocar las dependencias de Spark en su classpath.
Recuerda que puedes mostrar este ensayo si te fue útil.