Рубрики
Без рубрики

Команды HDFS

Команды HDFS, Команды оболочки распределенной файловой системы Apache Hadoop, команда HDFS FS, список команд HDFS с примерами, hadoop fs -справка, mkdir, copyFromLocal, пример команд chmod.

Автор оригинала: Pankaj Kumar.

В этом уроке по командам Apache Hadoop HDFS мы рассмотрим наиболее распространенные команды, которые используются для администрирования Hadoop и для управления файлами, присутствующими в кластере Hadoop.

Команды HDFS

Команды Hive можно запускать в любом кластере Hadoop или вы можете свободно использовать любую из виртуальных машин, предлагаемых Hortonworks , Cloudera и т.д.

В этом руководстве мы будем использовать компьютер Ubuntu 17.10 (GNU/Linux 4.13.0-37-generic x86_64):

Версия Ubuntu

Наконец, мы будем использовать Hadoop v3.0.1 для этого урока:

Версия Hadoop

Давайте начнем.

Команды Hadoop HDFS

Мы начнем с некоторых очень простых команд справки и рассмотрим более подробно по ходу этого урока.

Получение всех команд HDFS

Самая простая команда справки для Hadoop HDFS-это следующая, с помощью которой мы получаем все доступные команды в Hadoop и способы их использования:

hadoop fs -help

Давайте посмотрим вывод этой команды:

Справка Hadoop fs

На самом деле вывод был довольно длинным, так как при этом выводятся все доступные команды, а также краткое описание того, как использовать эти команды.

Справка по конкретной команде Hadoop

Информация, напечатанная из последней команды, была довольно большой, так как она печатала все команды. Найти справку для конкретной команды в этом выводе сложно. Вот команда, чтобы сузить область поиска:

hadoop fs -help ls

Давайте посмотрим результат этой команды:

Руководство по конкретным командам Hadoop

Использование конкретной команды Hadoop

чтобы знать синтаксис каждой команды, нам не нужно никуда идти, кроме самого терминала. Мы можем знать синтаксис команды о том, как ее использовать, используйте опцию использования:

hadoop fs -usage ls

Давайте посмотрим вывод этой команды:

Использование команды Hadoop

Помимо использования, в ней также показаны все возможные параметры для указанной команды.

Список файлов и каталогов fs

Чтобы перечислить все доступные файлы и подкаталоги в каталоге по умолчанию, просто используйте следующую команду:

hadoop fs -ls

Давайте посмотрим вывод этой команды:

Список всех файлов

Мы запустили это в корневом каталоге, и поэтому вывод.

Создание каталога HDFS

Мы можем создать новый каталог для файловой системы Hadoop, используя следующую команду:

hadoop fs -mkdir /root/journaldev_bigdata

Обратите внимание, что если вы создадите новый каталог внутри каталога /user/ , у Hadoop будут разрешения на чтение/запись для каталога, но для других каталогов по умолчанию у него есть только разрешение на чтение.

Копирование файла из локальной файловой системы в Hadoop FS

Чтобы скопировать файл из локальной файловой системы в Hadoop FS, мы можем использовать простую команду:

hadoop fs -copyFromLocal derby.log /root/journaldev_bigdata

Давайте посмотрим вывод этой команды:

Скопируйте файл из локальной папки в HDFS

Если вместо копирования файла вы просто хотите его переместить, просто используйте опцию -moveFromLocal .

Использование диска

Мы можем увидеть использование файлов на диске в формате HDFS в заданном каталоге с помощью простой опции, как показано на рисунке:

hadoop fs -du /root/journaldev_bigdata/

Давайте посмотрим вывод этой команды:

Использование диска каталога в HDFS

Если вы просто хотите проверить использование диска в полных HDFS, выполните следующую команду:

Давайте посмотрим вывод этой команды:

Использование диска в полных HDFS

Очистить Данные Корзины

Когда мы убедимся, что никакие файлы в корзине не могут быть использованы, мы можем очистить корзину в HDFS, удалив все файлы с помощью следующей команды:

hadoop fs -expunge

Это просто удалит все уничтоженные данные в HDFS и не создаст выходных данных.

Изменение коэффициента репликации для файла

Как мы уже знаем, коэффициент репликации-это количество, с помощью которого файл реплицируется в кластере Hadoop и в его HDFS. Мы можем изменить коэффициент репликации файла, используя следующую команду:

hadoop fs -setrep -w 1 /root/journaldev_bigdata/derby.log

Давайте посмотрим результат этой команды:

Измените коэффициент репликации в HDFS

Обновление разрешений каталога Hadoop

Если у вас возникли проблемы с разрешениями в Hadoop, выполните следующую команду:

hadoop fs -chmod 700 /root/journaldev_bigdata/

С помощью этой команды вы можете предоставить и сформулировать разрешения, предоставленные каталогу HDFS, и ограничить его доступ.

Удаление каталога HDFS

Мы можем удалить весь каталог HDFS с помощью команды rm:

hadoop fs -rm -r /root/journaldev_bigdata

Давайте посмотрим вывод этой команды:

Удаление каталога из HDFS

Это все для быстрого обзора команд Hadoop HDFS.