Автор оригинала: Pankaj Kumar.
В этом уроке по командам Apache Hadoop HDFS мы рассмотрим наиболее распространенные команды, которые используются для администрирования Hadoop и для управления файлами, присутствующими в кластере Hadoop.
Команды HDFS
Команды Hive можно запускать в любом кластере Hadoop или вы можете свободно использовать любую из виртуальных машин, предлагаемых Hortonworks , Cloudera и т.д.
В этом руководстве мы будем использовать компьютер Ubuntu 17.10 (GNU/Linux 4.13.0-37-generic x86_64):
Версия Ubuntu
Наконец, мы будем использовать Hadoop v3.0.1 для этого урока:
Версия Hadoop
Давайте начнем.
Команды Hadoop HDFS
Мы начнем с некоторых очень простых команд справки и рассмотрим более подробно по ходу этого урока.
Получение всех команд HDFS
Самая простая команда справки для Hadoop HDFS-это следующая, с помощью которой мы получаем все доступные команды в Hadoop и способы их использования:
hadoop fs -help
Давайте посмотрим вывод этой команды:
Справка Hadoop fs
На самом деле вывод был довольно длинным, так как при этом выводятся все доступные команды, а также краткое описание того, как использовать эти команды.Справка по конкретной команде Hadoop
Информация, напечатанная из последней команды, была довольно большой, так как она печатала все команды. Найти справку для конкретной команды в этом выводе сложно. Вот команда, чтобы сузить область поиска:
hadoop fs -help ls
Давайте посмотрим результат этой команды:
Руководство по конкретным командам Hadoop
Использование конкретной команды Hadoop
чтобы знать синтаксис каждой команды, нам не нужно никуда идти, кроме самого терминала. Мы можем знать синтаксис команды о том, как ее использовать, используйте опцию использования:
hadoop fs -usage ls
Давайте посмотрим вывод этой команды:
Использование команды Hadoop
Помимо использования, в ней также показаны все возможные параметры для указанной команды.Список файлов и каталогов fs
Чтобы перечислить все доступные файлы и подкаталоги в каталоге по умолчанию, просто используйте следующую команду:
hadoop fs -ls
Давайте посмотрим вывод этой команды:
Список всех файлов
Мы запустили это в корневом каталоге, и поэтому вывод.Создание каталога HDFS
Мы можем создать новый каталог для файловой системы Hadoop, используя следующую команду:
hadoop fs -mkdir /root/journaldev_bigdata
Обратите внимание, что если вы создадите новый каталог внутри каталога /user/ , у Hadoop будут разрешения на чтение/запись для каталога, но для других каталогов по умолчанию у него есть только разрешение на чтение.
Копирование файла из локальной файловой системы в Hadoop FS
Чтобы скопировать файл из локальной файловой системы в Hadoop FS, мы можем использовать простую команду:
hadoop fs -copyFromLocal derby.log /root/journaldev_bigdata
Давайте посмотрим вывод этой команды:
Скопируйте файл из локальной папки в HDFS
Если вместо копирования файла вы просто хотите его переместить, просто используйте опцию-moveFromLocal . Использование диска
Мы можем увидеть использование файлов на диске в формате HDFS в заданном каталоге с помощью простой опции, как показано на рисунке:
hadoop fs -du /root/journaldev_bigdata/
Давайте посмотрим вывод этой команды:
Использование диска каталога в HDFS
Если вы просто хотите проверить использование диска в полных HDFS, выполните следующую команду:Давайте посмотрим вывод этой команды:
Использование диска в полных HDFS
Очистить Данные Корзины
Когда мы убедимся, что никакие файлы в корзине не могут быть использованы, мы можем очистить корзину в HDFS, удалив все файлы с помощью следующей команды:
hadoop fs -expunge
Это просто удалит все уничтоженные данные в HDFS и не создаст выходных данных.
Изменение коэффициента репликации для файла
Как мы уже знаем, коэффициент репликации-это количество, с помощью которого файл реплицируется в кластере Hadoop и в его HDFS. Мы можем изменить коэффициент репликации файла, используя следующую команду:
hadoop fs -setrep -w 1 /root/journaldev_bigdata/derby.log
Давайте посмотрим результат этой команды:
Измените коэффициент репликации в HDFS
Обновление разрешений каталога Hadoop
Если у вас возникли проблемы с разрешениями в Hadoop, выполните следующую команду:
hadoop fs -chmod 700 /root/journaldev_bigdata/
С помощью этой команды вы можете предоставить и сформулировать разрешения, предоставленные каталогу HDFS, и ограничить его доступ.
Удаление каталога HDFS
Мы можем удалить весь каталог HDFS с помощью команды rm:
hadoop fs -rm -r /root/journaldev_bigdata
Давайте посмотрим вывод этой команды:
Удаление каталога из HDFS
Это все для быстрого обзора команд Hadoop HDFS.