Рубрики
Без рубрики

Как настроить Hadoop в псевдораспределенном режиме на одном кластере

В этом пошаговом руководстве вы узнаете, как настроить Apache Hadoop в псевдораспределенном режиме на одном кластере.

Автор оригинала: Lakshay Nagpal.

Предполагая, что вы используете Linux/Mac OS X, следующие шаги помогут вам настроить кластер Hadoop с одним узлом на локальном компьютере.

Шаг 1: Загрузка hadoop.x.y.z.tar.gz

Скачайте Hadoop по этой ссылке, выбрав подходящее зеркало в соответствии с вашим местоположением и нажав на папку hadoop-1.2.1, а затем дополнительно загрузив тарбол, нажав на hadoop-1.2.1.tar.gz. Hadoop-1.2.1

  1. Загрузка копии стабильного выпуска, заканчивающейся tar.gz
  2. Создайте новую папку/главная страница/hadoop
  3. Переместите файл hadoop.x.y.z.tar.gz в папку/главная/hadoop
  4. Введите или Скопируйте/Вставьте эту команду в терминал: cd/главная страница/hadoop
  5. Введите или скопируйте/вставьте эту команду в терминал: tar xzf hadoop*tar.gz

Я буду писать Введите или скопируйте/Вставьте команду в терминале как Введите/Скопируйте/Вставьте

Шаг 2: Загрузка и настройка Java

Я предполагаю, что у вас не установлена Java, и вы делаете это с нуля. Если он уже установлен, вы можете проверить его, набрав

java -version

в вашем терминале. Убедитесь, что ваша переменная JAVA_HOME уже настроена, если нет, то выполните следующие действия:

Введите/Скопируйте/Вставьте:

sudo apt-get purge openjdk-\*

Введите/Скопируйте/Вставьте:

sudo mkdir -p /usr/local/java

Скачайте Java JDK и JRE по ссылке ниже, найдите Linux, 64-разрядную версию и tar.gz конечный файл: http://www.oracle.com/technetwork/java/javase/downloads/index.html

После того, как вы закончите загрузку файла, перейдите в папку, в которой вы его сохранили, а затем скопируйте в папку, которую мы создали для java:

Введите/Скопируйте/Вставьте:

sudo cp -r jdk-*.tar.gz /usr/local/java

Введите/Скопируйте/Вставьте:

sudo cp -r jre-*.tar.gz /usr/local/java

Извлеките и установите Java:

Введите/Скопируйте/Вставьте:

cd /usr/local/java

Введите/Скопируйте/Вставьте:

sudo tar xvzf jdk*.tar.gz

Введите/Скопируйте/Вставьте:

sudo tar xvzf jre*.tar.gz

Теперь поместите все переменные в профиль.

Введите/Скопируйте/Вставьте:

sudo gedit /etc/profile

В конце скопируйте и вставьте следующий код: (Примечание: измените номер версии и путь к папке в соответствии с тем, где вы установили Java. Номер версии, вероятно, изменился с тех пор, как я написал это руководство, поэтому просто убедитесь, что указанный вами путь действительно существует)

JAVA_HOME=/usr/local/java/jdk1.7.0_40
PATH=$PATH:$JAVA_HOME/bin
JRE_HOME=/usr/local/java/jre1.7.0_40
PATH=$PATH:$JRE_HOME/bin
HADOOP_INSTALL=/home/hadoop/Hadoop/hadoop-1.2.1
PATH=$PATH:$HADOOP_INSTALL/bin
export JAVA_HOME
export JRE_HOME
export PATH

Сделайте следующее, чтобы Linux знал, где находится Java: (Опять же, обратите внимание, что выделенные следующие пути могут потребоваться для изменения в соответствии с вашей установкой)

sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/java/jre1.7.0_40/bin/java" 1

sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/java/jdk1.7.0_40/bin/javac" 1
 
sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/java/jre1.7.0_40/bin/javaws" 1
 
sudo update-alternatives --set java /usr/local/java/jre1.7.0_40/bin/java
 
sudo update-alternatives --set javac /usr/local/java/jdk1.7.0_40/bin/javac
 
sudo update-alternatives --set javaws /usr/local/java/jre1.7.0_40/bin/javaws

Обновите профиль с помощью

. /etc/profile

Проверьте это, набрав

Java –version

и вы получите что-то вроде этого

java version "1.8.0_40"
Java(TM) SE Runtime Environment (build 1.8.0_40-b26)
Java HotSpot(TM) 64-Bit Server VM (build 25.40-b25, mixed mode)

Псевдораспределенный режим

Введите/Скопируйте/Вставьте

sudo apt-get install ssh

Затем

sudo apt-get install rsync

Перейдите к /главная страница/hadoop/hadoop-1.2.1 а затем выполните следующие действия:

Изменение conf/core-site.xml для



fs.default.name
hdfs://localhost:9000

Изменение conf/hdfs-site.xml для



dfs.replication
1

Изменение conf/mapred-site.xml для



mapred.job.tracker
localhost:9001

Редактировать conf/hadoop-env.sh , найдите JAVA_HOME и настройте его

export JAVA_HOME=/usr/local/java/jdk1.7.0_40

Примечание: замените этот 1.7.0_40 версией, которую вы установили

Настройте ssh без пароля, выполнив следующие действия:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

Чтобы подтвердить, что ssh без пароля настроен, введите следующее, и вам не будет предложено ввести пароль.

ssh localhost

Теперь перейдите в папку, из которой вы извлекли тарбол Hadoop.

Мой /главная/hadoop/hadoop-1.2.1/ .

Отформатируйте код имени:

bin/hadoop namenode –format

Запустите всех демонов:

bin/start–all.sh

Теперь введите jps в окне вашего терминала, чтобы проверить, все ли процессы запущены и запущены или нет. Jps показывает программы Java, работающие в фоновом режиме.

Для визуализации процессов демонов и любых других состояний выполните следующие действия:

Введите это в окне браузера, чтобы получить пользовательский интерфейс для Namenode http://localhost:50070/ и Jobtracker http://localhost:50030/

Остановите всех демонов через свой терминал:

bin/stop–all.sh

Поздравляю! Вы успешно настроили Псевдораспределенный кластер с одним узлом на локальном компьютере.

Ссылки – https://www.udemy.com/hadoop-tutorial/Я последовал шагам, которые были даны в этих видеолекциях, и я объяснил вам то же самое со всеми разрешенными трудностями, с которыми я столкнулся при настройке.

Оригинал: “https://www.codementor.io/@lakshaynagpal/how-to-setup-hadoop-pseudo-distributed-mode-single-cluster-du10831te”

Читайте ещё по теме: