¿Cómo comprobar el tamaño de un directorio HDFS?

Solución:

Antes de 0.20.203, y oficialmente obsoleto en 2.6.0:

hadoop fs -dus [directory]

Ya que 0.20.203 (enlace muerto) 1.0.4 y aún compatible con 2.6.0:

hdfs dfs -du [-s] [-h] URI [URI …]

También puedes correr hadoop fs -help para obtener más información y detalles.

hadoop fs -du -s -h /path/to/dir muestra el tamaño de un directorio en forma legible.

Extendiéndose a Matt D y otras respuestas, el comando puede ser hasta Apache Hadoop 3.0.0

hadoop fs -du [-s] [-h] [-v] [-x] URI [URI ...]

Muestra los tamaños de los archivos y directorios contenidos en el directorio dado o la longitud de un archivo en caso de que sea solo un archivo.

Opciones:

• los -s La opción resultará en una resumen agregado de la longitud de los archivos que se muestran, en lugar de los archivos individuales. Sin la opción -s, el cálculo se realiza yendo 1 nivel de profundidad desde la ruta dada.
• los -h La opción formateará los tamaños de los archivos en una legible por humanos moda (por ejemplo, 64,0 m en lugar de 67108864)
• los -v se mostrará la opción los nombres de las columnas como una línea de encabezado.
• los -X la opción será excluir instantáneas del cálculo del resultado. Sin la opción -x (predeterminada), el resultado siempre se calcula a partir de todos los INodes, incluidas todas las instantáneas de la ruta dada.

du devuelve tres columnas con el siguiente formato:

 +-------------------------------------------------------------------+ 
 | size  |  disk_space_consumed_with_all_replicas  |  full_path_name | 
 +-------------------------------------------------------------------+ 

## Comando de ejemplo:

hadoop fs -du /user/hadoop/dir1 
    /user/hadoop/file1 
    hdfs://nn.example.com/user/hadoop/dir1 

Código de salida: devuelve 0 en caso de éxito y -1 en caso de error.

fuente: Apache doc

---

---

Utiliza Nuestro Buscador