Comandos HDFS

En mis blogs anteriores , ya he discutido qué es HDFS, sus características y arquitectura. El primer paso hacia el viaje hacia la capacitación de Big Data y Hadoop es ejecutar comandos HDFS y explorar cómo funciona HDFS. En este blog, hablaré sobre los comandos HDFS con los que puede acceder al sistema de archivos Hadoop.
Entonces, déjeme decirle los comandos HDFS importantes y su funcionamiento que se utilizan con más frecuencia cuando se trabaja con Hadoop File System.

• fsck

Comando HDFS para verificar el estado del sistema de archivos Hadoop.

Comando: hdfs fsck /



• ls

Comando HDFS para mostrar la lista de archivos y directorios en HDFS.

Comando: hdfs DFS -ls /



• mkdir

Comando HDFS para crear el directorio en HDFS.

Uso: hdfs dfs –mkdir / nombre_directorio

Comando: hdfs dfs –mkdir / new_Pentademy



Nota: Aquí estamos intentando crear un directorio llamado “new_Pentademy” en HDFS.

• touchz

HDFS Comando para crear un archivo en HDFS con un tamaño de archivo de 0 bytes.

Uso: hdfs dfs –touchz / directorio / nombre de archivo

Comando: hdfs dfs –touchz / new_Pentademy / sample



Aquí estamos intentando crear un archivo llamado “muestra” en el directorio “new_Pentademy” de hdfs con un tamaño de archivo de 0 bytes.

• du

Comando HDFS para verificar el tamaño del archivo.

Uso: hdfs dfs –du –s / directorio / nombre de archivo

Comando: hdfs dfs –du –s / new_Pentademy / sample



• gato

HDFS Comando que lee un archivo en HDFS e imprime el contenido de ese archivo en la salida estándar.

Uso: hdfs dfs –cat / path / to / file_in_hdfs

Comando: hdfs dfs –cat / new_Pentademy / test



• texto

Comando HDFS que toma un archivo fuente y genera el archivo en formato de texto.

Uso: hdfs dfs –texto / directorio / nombre de archivo

Comando: hdfs dfs –text / new_Pentademy / test



Nota: Aquí la prueba es el archivo presente en el directorio local / home / Pentademy y después de que se ejecute el comando, el archivo de prueba se copiará en el directorio / new_Pentademy de HDFS.

• copyToLocal

HDFS Comando HDFS para copiar el archivo de HDFS al sistema de archivos local.

Uso: hdfs dfs -copyToLocal

Comando: hdfs dfs –copyToLocal / new_Pentademy / test / home / Pentademy



Nota: Aquí la prueba es un archivo presente en el directorio new_Pentademy de HDFS y después de que se ejecute el comando, el archivo de prueba se copiará al directorio local / home / Pentademy

• poner

Comando HDFS para copiar una fuente única o múltiples fuentes del sistema de archivos local al sistema de archivos de destino.

Uso: hdfs dfs -put

Comando: hdfs dfs –put / home / Pentademy / test / user



Nota: El comando copyFromLocal es similar al comando put, excepto que la fuente está restringida a una referencia de archivo local.

• obtener

Comando HDFS para copiar archivos de hdfs al sistema de archivos local.

Uso: hdfs dfs -get

Comando: hdfs dfs –get / user / test / home / Pentademy



Nota: El comando copyToLocal es similar al comando get, excepto que el destino está restringido a una referencia de archivo local.

• contar

Comando HDFS para contar el número de directorios, archivos y bytes en las rutas que coinciden con el patrón de archivo especificado.

Uso: hdfs dfs -count

Comando: hdfs dfs –count / user



• rm

Comando HDFS para eliminar el archivo de HDFS.

Uso: hdfs dfs –rm

Comando: hdfs dfs –rm / new_Pentademy / test



• rm -r

Comando HDFS para eliminar todo el directorio y todo su contenido de HDFS.

Uso: hdfs dfs -rm -r

Comando: hdfs dfs -rm -r / new_ePentademy



• cp

Comando HDFS para copiar archivos desde el origen al destino. Este comando también permite múltiples fuentes, en cuyo caso el destino debe ser un directorio.

Uso: hdfs dfs -cp

Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2

Comando: hdfs dfs -cp / user / hadoop / file1 / user / hadoop / file2 / user / hadoop / dir



• mv

Comando HDFS para mover archivos desde el origen al destino. Este comando también permite múltiples fuentes, en cuyo caso el destino debe ser un directorio.

Uso: hdfs dfs -mv

Comando: hdfs dfs -mv / user / hadoop / file1 / user / hadoop / file2



• borrar

Comando HDFS que vacía la papelera.

Comando: hdfs DFS -expunge



• rmdir

Comando HDFS para eliminar el directorio.

Uso: hdfs dfs -rmdir

Comando: hdfs dfs –rmdir / user / hadoop



• uso

Comando HDFS que devuelve la ayuda para un comando individual..

Uso: hdfs dfs -usage

Comando: hdfs dfs -usage mkdir



Nota: Al usar el comando de uso, puede obtener información sobre cualquier comando.

• Ayuda

Comando HDFS que muestra ayuda para un comando dado o todos los comandos si no se especifica ninguno.

Comando: hdfs dfs -help



Este es el final del blog de comandos de HDFS, espero que haya sido informativo y haya podido ejecutar todos los comandos. Para obtener más comandos HDFS, puede consultar la documentación de Apache Hadoop aquí.

Ahora que ha ejecutado los comandos HDFS anteriores, consulte la capacitación de Hadoop de Pentademy, una empresa de aprendizaje en línea confiable con una red de más de 250.000 estudiantes satisfechos repartidos por todo el mundo. El curso de formación de certificación de Pentademy Big Data Hadoop ayuda a los estudiantes a convertirse en expertos en HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume y Sqoop utilizando casos de uso en tiempo real en el dominio de Retail, Social Media, Aviación, Turismo, Finanzas.

Tienes una pregunta para nosotros? Menciónelo en la sección de comentarios y nos comunicaremos con usted.