Encuentre si el archivo existe o no en HDFS usando un script de shell

Solución:

Puedes probar -test opción para lograr lo mismo.

hdfs dfs -test -[defszrw] HDFS_PATH

• -d: si la ruta es un directorio, devuelve 0.
• -e: si la ruta existe, devuelve 0.

Desde 2.7.0

• -f: si la ruta es un archivo, devuelve 0.
• -s: si la ruta no está vacía, devuelve 0.
• -r: si la ruta existe y se concede permiso de lectura, devuelve 0.

desde 2.8.0

• -w: si la ruta existe y se concede permiso de escritura, devuelve 0.
• -z: si el archivo es de longitud cero, devuelve 0.

Ejemplo:

if hdfs dfs -test -e $HDFS_PATH; then
    echo "[$HDFS_PATH] exists on HDFS"
    hdfs dfs -ls $HDFS_PATH
fi

Referencia: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html#test

---

---

Utiliza Nuestro Buscador