Рубрики
Без рубрики

Окончательная Шпаргалка по Установке Hadoop

1. Установите Java $apt-get-y обновление && apt-get-y обновление $apt установка по умолчанию… С тегами java, учебник, новичок в коде, новички.

1. Установить Java

$ apt-get -y upgrade && apt-get -y update
$ apt install -y default-jdk
$ java --version

2. Создать выделенного пользователя Hadoop

$ sudo addgroup [group name]
$ sudo adduser --ingroup [group name] [user name] 
$ sudo adduser [username] sudo # Add to sudoers group

3. Настройка локального и сетевого подключения HDFS с помощью SSH

$ sudo apt-get install openssh-client openssh-server
$ su - [username]
$ ssh-keygen -t rsa -P ""
$ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

4. Загрузите файл Hadoop Tar из официального реестра

Ссылка на Реестр Hadoop .

$ cd [to hadoop folder]
$ sudo tar xvzf [folder name]
$ sudo mv [extracted folder] /usr/local/hadoop
$ sudo chown -R [username] /usr/local/hadoop

5. Выполнение конфигураций

1. ~/.башрк

Добавьте следующие строки в конец файла

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/native"
  • Запустите файл, чтобы изменить изменения.
$ source ~/.bashrc

2./usr/local/hadoop/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

3. нано/usr/local/hadoop/etc/hadoop/core-site.xml



fs.default.name
hdfs://localhost:9000

4./usr/local/hadoop/etc/hadoop/hdfs-site.xml


dfs.replication
1


dfs.namenode.name.dir
file:/usr/local/hadoop_tmp/hdfs/namenode


dfs.datanode.data.dir
file:/usr/local/hadoop_tmp/hdfs/datanode

5./usr/локальный/hadoop/etc/hadoop/пряжа- 5./usr/локальный/hadoop/etc/hadoop/пряжа-


yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler

6./usr/local/hadoop/etc/hadoop/mapred-site.xml


mapreduce.framework.name
yarn

6. Создайте каталоги для datanode и namenode

$ sudo mkdir -p /usr/local/hadoop_space
$ sudo mkdir -p /usr/local/hadoop_space/hdfs/namenode
$ sudo mkdir -p /usr/local/hadoop_space/hdfs/datanode
$ sudo chown -R nish /usr/local/hadoop_space

7. Запуск Hadoop в действии

i. Узел имени формата

$ hdfs namenode -format

ii. Запустите все компоненты hadoop

$ start-dfs.sh

iii. Начать ПРЯЖУ

$ start-yarn.sh

iv. Проверьте, какие компоненты включены

$ jps

Оригинал: “https://dev.to/nishkarshraj/the-ultimate-hadoop-installation-cheat-sheet-10gp”