¿Cómo descargar todos los datos en un conjunto de datos de Google BigQuery?

Solución:

Paso a paso detallado para descargar resultados de consultas grandes

1. habilitar facturación

   Debe proporcionar su número de tarjeta de crédito a Google para exportar la salida y es posible que deba pagar.

   Pero la cuota gratuita (1 TB de datos procesados) debería ser suficiente para muchos proyectos de pasatiempos.

2. crear un proyecto

3. asociar la facturación a un proyecto

4. haz tu consulta

5. crear un nuevo conjunto de datos

6. haga clic en “Mostrar opciones” y habilite “Permitir resultados grandes” si la salida es muy grande

7. exportar el resultado de la consulta a una tabla en el conjunto de datos

8. crea un depósito en Cloud Storage.

9. exportar la tabla al creado en Cloud Storage.

   • asegúrese de hacer clic en compresión GZIP

   • usa un nombre como <bucket>/prefix.gz.

     Si la salida es muy grande, el nombre del archivo debe tener un asterisco * y la salida se dividirá en varios archivos.

10. descargue la tabla desde el almacenamiento en la nube a su computadora.

    No parece posible descargar varios archivos desde la interfaz web si el archivo grande se dividió, pero podría instalar gsutil y correr:

    gsutil -m cp -r 'gs://<bucket>/prefix_*' .
    

    Consulte también: Descargar archivos y carpetas desde el depósito de Google Storage a una carpeta local.

    Hay un gsutil en Ubuntu 16.04 pero es un paquete no relacionado.

    Debe instalar y configurar como se documenta en: https://cloud.google.com/storage/docs/gsutil

11. descomprimir localmente:

    for f in *.gz; do gunzip "$f"; done
    

Aquí hay un proyecto de muestra que necesitaba esto para lo que motivó esta respuesta.

Puedes ejecutar trabajos de extracción de BigQuery mediante la IU web, la herramienta de línea de comandos o la API de BigQuery. Los datos se pueden extraer

Por ejemplo, usando la herramienta de línea de comando:

Primero instale y auth usando estas instrucciones: https://developers.google.com/bigquery/bq-command-line-tool-quickstart

Luego, asegúrese de tener un depósito de Google Cloud Storage disponible (consulte Google Cloud Console para este propósito).

Luego, ejecute el siguiente comando:

bq extract my_dataset.my_table gs://mybucket/myfilename.csv

Más sobre la extracción de datos a través de API aquí: https://developers.google.com/bigquery/exporting-data-from-bigquery

---

---

Utiliza Nuestro Buscador