A Cloudera Manager telepítése és konfigurálása CentOS/RHEL 7 rendszeren – 3. rész
Ebben a cikkben lépésről lépésre ismertetjük a Cloudera Manager telepítésének folyamatát az ipari gyakorlatnak megfelelően. A 2. részben már végignéztük a Cloudera előfeltételeit, győződjön meg arról, hogy minden szerver tökéletesen fel van készítve.
Követelmények
- A Hadoop Server telepítésének bevált gyakorlatai CentOS/RHEL 7 rendszeren – 1. rész
- A Hadoop előfeltételeinek beállítása és a biztonság megerősítése – 2. rész
Itt 5 csomópont klaszter lesz, ahol 2 fő és 3 dolgozó. 5 AWS EC2 példányt használtam a telepítési eljárás bemutatására. Ezt az 5 szervert az alábbiak szerint neveztem el.
master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net
A Cloudera Manager egy adminisztrációs és felügyeleti eszköz a teljes CDH számára. Az adminisztrátorok általában a Cloudera Hadoop felügyeleti eszközének nevezik. Az eszköz használatával telepíthetjük, felügyelhetjük, vezérelhetjük és módosíthatjuk a konfigurációt. Ez nagyon fontos a teljes klaszter kezeléséhez.
Az alábbiakban bemutatjuk a Cloudera Manager fontos felhasználási területeit.
- Telepítse és konfigurálja a Hadoop-fürtöket automatizált módon.
- Figyelje a fürt állapotát
- Riasztások konfigurálása
- Hibaelhárítás
- Jelentés
- Klaszterhasználati jelentés készítése
- Az erőforrások dinamikus konfigurálása
1. lépés: Az Apache webszerver telepítése CentOS rendszerre
A master1
-t fogjuk használni webszerverként a Cloudera-tárolókhoz. Ezenkívül a Cloudera Manager WebUI, ezért telepítenünk kell az Apache-t. Kövesse az alábbi lépéseket az apache webszerver telepítéséhez.
yum -y install httpd
A httpd telepítése után indítsa el és engedélyezze, hogy rendszerindításkor elinduljon.
systemctl start httpd
systemctl enable httpd
A httpd elindítása után ellenőrizze az állapotot.
systemctl status httpd
A httpd elindítása után nyisson meg egy böngészőt a helyi rendszerében, és illessze be a master1
IP-címét a keresősávba. Ezt a tesztoldalt kell elérnie, hogy megbizonyosodjon arról, hogy a httpd megfelelően működik.
2. lépés: Konfigurálja a helyi DNS-t az IP és a gazdagépnév feloldásához
Az IP-cím és a gazdagépnév feloldásához DNS-kiszolgálóval kell rendelkeznünk, vagy konfigurálnunk kell az /etc/hosts fájlt. Itt az /etc/hosts konfigurálását végezzük, de valós időben egy dedikált DNS-kiszolgáló lesz az éles környezetben.
Kövesse az alábbi lépéseket az összes szerverhez való bejegyzéshez az /etc/hosts mappában.
vi /etc/hosts
Ezt minden szerveren be kell állítani.
13.235.27.144 master1.linux-console.net master1
13.235.135.170 master2.linux-console.net master2
15.206.167.94 worker1.linux-console.net worker1
13.232.173.158 worker2.linux-console.net worker2
65.0.182.222 worker3.linux-console.net worker3
3. lépés: Az SSH jelszó nélküli bejelentkezés konfigurálása
Ebben a bemutatóban a Cloudera Manager telepítése folyamatban van a master1
rendszeren. Jelszó nélküli ssh-t kell konfigurálnunk a master1
-ról az összes többi csomópontra. Mivel a Cloudera Manager az ssh-t használja az összes többi csomópont kommunikációjához a csomagok telepítéséhez.
Kövesse az alábbi lépéseket a jelszó nélküli ssh beállításához a master1
szerverről az összes többi szerverre. A továbblépéshez egy „tecmint” felhasználónk lesz.
Hozzon létre egy „tecmint” felhasználót mind a 4 szerveren a useradd paranccsal, az ábra szerint.
useradd -m tecmint
Ha root jogosultságot szeretne adni a „tecmint” felhasználónak, adja hozzá az alábbi sort az /etc/sudoers fájlhoz. Hozzáadhatja ezt a sort a root alatt, mint a képernyőképen.
tecmint ALL=(ALL) ALL
Váltson a „tecmint” felhasználóra, és hozzon létre ssh-kulcsot a master1
-ban az alábbi paranccsal.
sudo su tecmint
ssh-keygen
Most másolja a létrehozott kulcsot mind a 4 kiszolgálóra az ssh-copy-id paranccsal, az ábrán látható módon.
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
ssh-copy-id -i ~/.ssh/id_rsa.pub [email
Most már képesnek kell lennie az ssh-ra a master1
-ról a többi szerverre jelszó nélkül, ahogy az ábrán látható.
ssh master2
ssh worker1
ssh worker2
ssh worker3
4. lépés: A Cloudera Manager telepítése és konfigurálása
Használhatjuk a szállító (Cloudera) tárat az összes csomag telepítéséhez az RHEL/CentOS csomagkezelő eszközeivel. Valós időben a saját tárhely létrehozása a legjobb gyakorlat, mert előfordulhat, hogy nem lesz internet-hozzáférésünk az éles szervereken.
Itt telepítjük a Cloudera Manager 6.3.1 kiadását. Mivel a master1
-t fogjuk használni reposzerverként, a csomagokat az alább említett útvonalon töltjük le.
Hozza létre az alább említett könyvtárakat a master1
szerveren.
sudo mkdir -p /var/www/html/cloudera-repos/cm6
A wget eszközzel csomagokat tölthetünk le http-n keresztül. Tehát telepítse a wget programot az alábbi paranccsal.
sudo yum -y install wget
Ezután töltse le a Cloudera Manager tar fájlt a következő wget paranccsal.
wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz
Bontsa ki a tar fájlt a /var/www/html/cloudera-repos/cm6 fájlba, már a master1
-t webszervernek tettük a http és a böngészőn teszteltük.
sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1
Most ellenőrizze, hogy az összes Cloudera rpm fájl megtalálható-e a /var/www/html/cloudera-repos/cm6/RPMS/x86_64 könyvtárban.
cd /var/www/html/cloudera-repos/cm6
ll
Hozzon létre /etc/yum.repos.d/cloudera-manager.repo fájlokat a fürt gazdagépeinek összes szerverén a következő tartalommal, itt a master1
(65.0.101.148) a webszerver.
[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0
Most a tároló hozzáadva, futtassa az alábbi parancsot az engedélyezett tárolók megtekintéséhez.
yum repolist
Futtassa az alábbi parancsot az összes elérhető Cloudera-hoz kapcsolódó csomag megtekintéséhez a tárolóban.
yum list available | grep cloudera*
Telepítse a cloudera-manager-server, a cloudera-manager-agent, a cloudera-manager-daemons cloudera-manager-server-db-2 alkalmazást.
sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2
Futtassa az alábbi parancsot az összes telepített Cloudera-csomag megtekintéséhez.
yum list installed | grep cloudera*
Futtassa az alábbi parancsot a cloudera-scm-server-db elindításához, amely egy mögöttes adatbázis a Cloudera Manager és más szolgáltatások metaadatainak tárolására.
Alapértelmezés szerint a Cloudera a postgre-sql-vel érkezik, amely be van ágyazva a Cloudera Managerbe. A beágyazottat telepítjük, egy használható valós idejű külső adatbázisba. Lehet Oracle, MySQL vagy PostgreSQL.
sudo systemctl start cloudera-scm-server-db
Futtassa az alábbi parancsot az adatbázis állapotának ellenőrzéséhez.
sudo systemctl status cloudera-scm-server-db
Konfigurálja a db.properties paramétert a Cloudera Manager szerverhez.
vi /etc/cloudera-scm-server/db.properties
Állítsa be, hogy az alábbi érték EMBEDDED legyen, hogy a Cloudera Manager az Beágyazott adatbázist használja.
com.cloudera.cmf.db.setupType=EMBEDDED
Futtassa az alábbi parancsot a Cloudera Manager szerver elindításához.
sudo systemctl start cloudera-scm-server
Futtassa az alábbi parancsot a Cloudera Manager szerver állapotának ellenőrzéséhez.
sudo systemctl status cloudera-scm-server
Futtassa az alábbi parancsot a Cloudera Manager ügynök elindításához és állapotának ellenőrzéséhez.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
Miután a Cloudera Manager Server sikeresen beállt és megfelelően működik, megtekintheti a WebUI-t (bejelentkezési oldal) a böngészőben az IP-cím és a 7180 portszám használatával, amely a portszám Cloudera Manager.
https://65.0.101.148:7180
Összegzés
Ebben a cikkben lépésről lépésre bemutatjuk a Cloudera Manager telepítésének folyamatát CentOS 7 rendszeren. A CDH és egyéb szolgáltatások telepítését a következő cikkben fogjuk látni.