Hemos recabado por diferentes espacios para tener para ti la respuesta para tu problema, si tienes alguna duda puedes dejar la inquietud y te contestamos porque estamos para ayudarte.
Solución:
Tratar hadoop fs -rm -R URI
La opción -R elimina el directorio y cualquier contenido debajo de él de forma recursiva.
Su problema está dentro de la base de HDFS. En HDFS (y en muchos otros sistemas de archivos), la eliminación física de archivos no es la operación más rápida. Como HDFS es un sistema de archivos distribuido y generalmente replica al menos 3 réplicas en diferentes servidores del archivo eliminado, cada réplica (que puede consistir en muchos bloques en diferentes discos duros) debe eliminarse en segundo plano después de su solicitud para eliminar el archivo.
La documentación oficial de Hadoop nos dice lo siguiente:
La eliminación de un archivo hace que se liberen los bloques asociados al archivo. Tenga en cuenta que
podría haber un retraso de tiempo apreciable entre el momento en que un usuario elimina un archivo y el momento del correspondiente aumento de espacio libre en HDFS.
Puedes usar
hdfs dfs -rm -R /path/to/HDFS/file
ya que hadoop dfs ha quedado en desuso.
Sección de Reseñas y Valoraciones
Recuerda algo, que tienes la opción de agregar una reseña si te fue de ayuda.