Saltar al contenido

Cómo omitir encabezados cuando estamos leyendo datos de un archivo csv en s3 y creando una tabla en aws athena.

Contamos con la mejor solución que encontramos on line. Nuestro deseo es que te sirva de ayuda y si deseas comentarnos algún detalle que nos pueda ayudar a mejorar hazlo con total libertad.

Solución:

Esto es lo que funciona en Redshift:

quieres usar table properties ('skip.header.line.count'='1')
Junto con otras propiedades si lo desea, por ejemplo 'numRows'='100'. Aquí hay una muestra:

create external table exreddb1.test_table
(ID BIGINT 
,NAME VARCHAR
)
row format delimited
fields terminated by ','
stored as textfile
location 's3://mybucket/myfolder/'
table properties ('numRows'='100', 'skip.header.line.count'='1');

Esta es una deficiencia conocida.

El mejor método que he visto fue tuiteado por Eric Hammond:

...WHERE date NOT LIKE '#%'

Esto parece omitir líneas de encabezado durante una consulta. No estoy seguro de cómo funciona, pero podría ser un método para omitir NULL.

Si piensas que te ha resultado útil nuestro post, sería de mucha ayuda si lo compartieras con más programadores así contrubuyes a difundir nuestro contenido.

¡Haz clic para puntuar esta entrada!
(Votos: 0 Promedio: 0)



Utiliza Nuestro Buscador

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *