Az Apache Hadoop telepítése és konfigurálása egyetlen csomóponton a CentOS 7 rendszerben

Az Apache Hadoop egy nyílt forráskódú keretrendszer az elosztott Big Data tárolására és számítógépfürtök közötti adatfeldolgozásra. A projekt a következő összetevőkre épül:

Hadoop Common – tartalmazza a többi Hadoop-modulhoz szükséges Java-könyvtárakat és segédprogramokat.
HDFS – Hadoop Distributed File System – Java alapú, méretezhető fájlrendszer, amely több csomópont között van elosztva.
MapReduce – YARN keretrendszer a párhuzamos nagy adatfeldolgozáshoz.
Hadoop YARN: A fürterőforrás-kezelés keretrendszere.

Ez a cikk bemutatja, hogyan telepítheti az Apache Hadoop-ot egyetlen csomópontfürtre CentOS 7 rendszerben (működik a RHEL 7 és a Fedora 23+ esetén is > verziók). Ezt a típusú konfigurációt Hadoop ál-elosztott módként is említik.

1. lépés: Telepítse a Java-t CentOS 7 rendszeren

1. Mielőtt folytatná a Java telepítését, először jelentkezzen be root felhasználóval vagy egy root jogosultsággal rendelkező felhasználóval, és állítsa be a gép gazdagépnevét a következő paranccsal.

hostnamectl set-hostname master

Ezenkívül adjon hozzá egy új rekordot a hosts fájlhoz saját gépének FQDN-jével, amely a rendszer IP-címére mutat.

vi /etc/hosts

Adja hozzá az alábbi sort:

192.168.1.41 master.hadoop.lan

Cserélje ki a fenti gazdagépnevet és FQDN rekordokat saját beállításaival.

2. Ezután lépjen az Oracle Java letöltési oldalára, és a curl segítségével szerezze be a Java SE Development Kit 8 legújabb verzióját a rendszerén. parancs:

curl -LO -H "Cookie: oraclelicense=accept-securebackup-cookie" “http://download.oracle.com/otn-pub/java/jdk/8u92-b14/jdk-8u92-linux-x64.rpm”

3. Miután a Java bináris letöltése befejeződött, telepítse a csomagot az alábbi parancs kiadásával:

rpm -Uvh jdk-8u92-linux-x64.rpm

2. lépés: Telepítse a Hadoop Framework-et a CentOS 7 rendszerben

4. Ezután hozzon létre egy új felhasználói fiókot a rendszeren root jogok nélkül, amelyet a Hadoop telepítési útvonalához és munkakörnyezetéhez fogunk használni. Az új fiók kezdőkönyvtára a /opt/hadoop könyvtárban lesz.

useradd -d /opt/hadoop hadoop
passwd hadoop

5. A következő lépésben látogasson el az Apache Hadoop oldalára, hogy megkapja a linket a legújabb stabil verzióhoz, és letöltse az archívumot a rendszerére.

curl -O http://apache.javapipe.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

6. Bontsa ki az archívumot, és másolja ki a könyvtár tartalmát a hadoop fiók kezdőútvonalára. Ezenkívül győződjön meg arról, hogy megfelelően módosítja a másolt fájlok engedélyeit.

 tar xfz hadoop-2.7.2.tar.gz
cp -rf hadoop-2.7.2/* /opt/hadoop/
chown -R hadoop:hadoop /opt/hadoop/

7. Ezután jelentkezzen be hadoop felhasználóval, és állítsa be a Hadoop és Java környezeti változókat a rendszeren a .bash_profile fájlt.

su - hadoop
vi .bash_profile

A fájl végéhez fűzze a következő sorokat:

## JAVA env variables
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

## HADOOP env variables
export HADOOP_HOME=/opt/hadoop
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

8. Most inicializálja a környezeti változókat, és ellenőrizze állapotukat az alábbi parancsok kiadásával:

source .bash_profile
echo $HADOOP_HOME
echo $JAVA_HOME

9. Végül konfigurálja az ssh kulcs alapú hitelesítést a hadoop fiókhoz az alábbi parancsok futtatásával (cserélje ki a hostname vagy az FQDN > az ssh-copy-id paranccsal ennek megfelelően).

Hagyja üresen a jelszót az ssh-n keresztüli automatikus bejelentkezéshez.

ssh-keygen -t rsa
ssh-copy-id master.hadoop.lan