A Cloudera Manager telepítése és konfigurálása CentOS/RHEL 7 rendszeren – 3. rész

Ebben a cikkben lépésről lépésre ismertetjük a Cloudera Manager telepítésének folyamatát az ipari gyakorlatnak megfelelően. A 2. részben már végignéztük a Cloudera előfeltételeit, győződjön meg arról, hogy minden szerver tökéletesen fel van készítve.

Követelmények

A Hadoop Server telepítésének bevált gyakorlatai CentOS/RHEL 7 rendszeren – 1. rész
A Hadoop előfeltételeinek beállítása és a biztonság megerősítése – 2. rész

Itt 5 csomópont klaszter lesz, ahol 2 fő és 3 dolgozó. 5 AWS EC2 példányt használtam a telepítési eljárás bemutatására. Ezt az 5 szervert az alábbiak szerint neveztem el.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

A Cloudera Manager egy adminisztrációs és felügyeleti eszköz a teljes CDH számára. Az adminisztrátorok általában a Cloudera Hadoop felügyeleti eszközének nevezik. Az eszköz használatával telepíthetjük, felügyelhetjük, vezérelhetjük és módosíthatjuk a konfigurációt. Ez nagyon fontos a teljes klaszter kezeléséhez.

Az alábbiakban bemutatjuk a Cloudera Manager fontos felhasználási területeit.

Telepítse és konfigurálja a Hadoop-fürtöket automatizált módon.
Figyelje a fürt állapotát
Riasztások konfigurálása
Hibaelhárítás
Jelentés
Klaszterhasználati jelentés készítése
Az erőforrások dinamikus konfigurálása

1. lépés: Az Apache webszerver telepítése CentOS rendszerre

A master1-t fogjuk használni webszerverként a Cloudera-tárolókhoz. Ezenkívül a Cloudera Manager WebUI, ezért telepítenünk kell az Apache-t. Kövesse az alábbi lépéseket az apache webszerver telepítéséhez.

yum -y install httpd

A httpd telepítése után indítsa el és engedélyezze, hogy rendszerindításkor elinduljon.

systemctl start httpd
systemctl enable httpd

A httpd elindítása után ellenőrizze az állapotot.

systemctl status httpd

A httpd elindítása után nyisson meg egy böngészőt a helyi rendszerében, és illessze be a master1 IP-címét a keresősávba. Ezt a tesztoldalt kell elérnie, hogy megbizonyosodjon arról, hogy a httpd megfelelően működik.

2. lépés: Konfigurálja a helyi DNS-t az IP és a gazdagépnév feloldásához

Az IP-cím és a gazdagépnév feloldásához DNS-kiszolgálóval kell rendelkeznünk, vagy konfigurálnunk kell az /etc/hosts fájlt. Itt az /etc/hosts konfigurálását végezzük, de valós időben egy dedikált DNS-kiszolgáló lesz az éles környezetben.

Kövesse az alábbi lépéseket az összes szerverhez való bejegyzéshez az /etc/hosts mappában.

vi /etc/hosts

Ezt minden szerveren be kell állítani.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

3. lépés: Az SSH jelszó nélküli bejelentkezés konfigurálása

Ebben a bemutatóban a Cloudera Manager telepítése folyamatban van a master1 rendszeren. Jelszó nélküli ssh-t kell konfigurálnunk a master1-ról az összes többi csomópontra. Mivel a Cloudera Manager az ssh-t használja az összes többi csomópont kommunikációjához a csomagok telepítéséhez.

Kövesse az alábbi lépéseket a jelszó nélküli ssh beállításához a master1 szerverről az összes többi szerverre. A továbblépéshez egy „tecmint” felhasználónk lesz.

Hozzon létre egy „tecmint” felhasználót mind a 4 szerveren a useradd paranccsal, az ábra szerint.

useradd -m tecmint

Ha root jogosultságot szeretne adni a „tecmint” felhasználónak, adja hozzá az alábbi sort az /etc/sudoers fájlhoz. Hozzáadhatja ezt a sort a root alatt, mint a képernyőképen.

tecmint   ALL=(ALL)    ALL

Váltson a „tecmint” felhasználóra, és hozzon létre ssh-kulcsot a master1-ban az alábbi paranccsal.

sudo su tecmint
ssh-keygen

Most másolja a létrehozott kulcsot mind a 4 kiszolgálóra az ssh-copy-id paranccsal, az ábrán látható módon.

ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
ssh-copy-id -i ~/.ssh/id_rsa.pub [email

Most már képesnek kell lennie az ssh-ra a master1-ról a többi szerverre jelszó nélkül, ahogy az ábrán látható.

ssh master2
ssh worker1
ssh worker2
ssh worker3

4. lépés: A Cloudera Manager telepítése és konfigurálása

Használhatjuk a szállító (Cloudera) tárat az összes csomag telepítéséhez az RHEL/CentOS csomagkezelő eszközeivel. Valós időben a saját tárhely létrehozása a legjobb gyakorlat, mert előfordulhat, hogy nem lesz internet-hozzáférésünk az éles szervereken.

Itt telepítjük a Cloudera Manager 6.3.1 kiadását. Mivel a master1-t fogjuk használni reposzerverként, a csomagokat az alább említett útvonalon töltjük le.

Hozza létre az alább említett könyvtárakat a master1 szerveren.

sudo mkdir -p /var/www/html/cloudera-repos/cm6

A wget eszközzel csomagokat tölthetünk le http-n keresztül. Tehát telepítse a wget programot az alábbi paranccsal.

sudo yum -y install wget

Ezután töltse le a Cloudera Manager tar fájlt a következő wget paranccsal.

wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

Bontsa ki a tar fájlt a /var/www/html/cloudera-repos/cm6 fájlba, már a master1-t webszervernek tettük a http és a böngészőn teszteltük.

sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

Most ellenőrizze, hogy az összes Cloudera rpm fájl megtalálható-e a /var/www/html/cloudera-repos/cm6/RPMS/x86_64 könyvtárban.

cd /var/www/html/cloudera-repos/cm6
ll

Hozzon létre /etc/yum.repos.d/cloudera-manager.repo fájlokat a fürt gazdagépeinek összes szerverén a következő tartalommal, itt a master1 (65.0.101.148) a webszerver.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

Most a tároló hozzáadva, futtassa az alábbi parancsot az engedélyezett tárolók megtekintéséhez.

yum repolist

Futtassa az alábbi parancsot az összes elérhető Cloudera-hoz kapcsolódó csomag megtekintéséhez a tárolóban.

yum list available | grep cloudera*

Telepítse a cloudera-manager-server, a cloudera-manager-agent, a cloudera-manager-daemons cloudera-manager-server-db-2 alkalmazást.

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

Futtassa az alábbi parancsot az összes telepített Cloudera-csomag megtekintéséhez.

yum list installed | grep cloudera*

Futtassa az alábbi parancsot a cloudera-scm-server-db elindításához, amely egy mögöttes adatbázis a Cloudera Manager és más szolgáltatások metaadatainak tárolására.

Alapértelmezés szerint a Cloudera a postgre-sql-vel érkezik, amely be van ágyazva a Cloudera Managerbe. A beágyazottat telepítjük, egy használható valós idejű külső adatbázisba. Lehet Oracle, MySQL vagy PostgreSQL.

sudo systemctl start cloudera-scm-server-db

Futtassa az alábbi parancsot az adatbázis állapotának ellenőrzéséhez.

sudo systemctl status cloudera-scm-server-db

Konfigurálja a db.properties paramétert a Cloudera Manager szerverhez.

vi /etc/cloudera-scm-server/db.properties

Állítsa be, hogy az alábbi érték EMBEDDED legyen, hogy a Cloudera Manager az Beágyazott adatbázist használja.

com.cloudera.cmf.db.setupType=EMBEDDED

Futtassa az alábbi parancsot a Cloudera Manager szerver elindításához.

sudo systemctl start cloudera-scm-server

Futtassa az alábbi parancsot a Cloudera Manager szerver állapotának ellenőrzéséhez.

sudo systemctl status cloudera-scm-server

Futtassa az alábbi parancsot a Cloudera Manager ügynök elindításához és állapotának ellenőrzéséhez.

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

Miután a Cloudera Manager Server sikeresen beállt és megfelelően működik, megtekintheti a WebUI-t (bejelentkezési oldal) a böngészőben az IP-cím és a 7180 portszám használatával, amely a portszám Cloudera Manager.

https://65.0.101.148:7180

Összegzés

Ebben a cikkben lépésről lépésre bemutatjuk a Cloudera Manager telepítésének folyamatát CentOS 7 rendszeren. A CDH és egyéb szolgáltatások telepítését a következő cikkben fogjuk látni.