Saltar al contenido

Mostrar tablas de una base de datos específica con Pyspark y Hive

No dudes en compartir nuestra web y códigos en tus redes sociales, apóyanos para ampliar esta comunidad.

Solución:

sqlContext.sql("show tables in 3_db").show()

Otra posibilidad es usar los métodos del Catálogo:

spark = SparkSession.builder.getOrCreate()
spark.catalog.listTables("3_db")

Solo tenga en cuenta que en PySpark este método devuelve un list y en Scala, devuelve un DataFrame.

Hay dos formas posibles de lograr esto, pero difieren mucho en términos de eficiencia.


usando sql

Este es el enfoque más eficiente:

spark_session = SparkSession.builder.getOrCreate()
spark_session.sql("show tables in db_name").show()

Usando catalog.listTables()

El siguiente es más ineficiente en comparación con el enfoque anterior, ya que también carga los metadatos de las tablas:

spark_session = SparkSession.builder.getOrCreate()
spark_session.catalog.listTables("db_name")

Puntuaciones y reseñas

Si aceptas, tienes el poder dejar un enunciado acerca de qué te ha gustado de este tutorial.

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *