A CDH telepítése és a szolgáltatáselhelyezések konfigurálása a CentOS/RHEL 7 rendszeren – 4. rész
Egy korábbi cikkünkben elmagyaráztuk a Cloudera Manager telepítését, ebben a cikkben megtudhatja, hogyan kell telepíteni és konfigurálni a CDH (Cloudera Distribution Hadoop) alkalmazást a ban. RHEL/CentOS 7.
A CDH csomag telepítése során biztosítanunk kell a Cloudera Manager és a CDH kompatibilitást. A Cloudera verzió 3 részből áll –
Például a Cloudera Manager 6.3.1 és a CDH 6.3.2 verziót használjuk. Itt a 6 a fő, a 3 pedig a mellékváltozat. A kompatibilitási problémák elkerülése érdekében a major és a minor azonosnak kell lennie.
Követelmények
- A Hadoop Server telepítésének bevált gyakorlatai CentOS/RHEL 7 rendszeren – 1. rész
- A Hadoop előfeltételeinek beállítása és a biztonság megerősítése – 2. rész
- A Cloudera Manager telepítése és konfigurálása a CentOS/RHEL 7 rendszeren – 3. rész
A CDH telepítéséhez az alábbi 2 csomópontot használjuk. Már telepítettük a Cloudera Managert a master1-be, valamint a master1-et használjuk reposzerverként.
master1.linux-console.net
worker1.linux-console.net
1. lépés: Töltse le a CDH-csomagokat a főkiszolgálón
1. Először csatlakozzon a master1 szerverhez, és töltse le a CDH Parcels fájlokat a /var/www/html/cloudera-repos/ webhelyről. cdh könyvtár . Le kell töltenünk az alább említett 3 fájlt, amelyeknek kompatibilisnek kell lenniük a RHEL/CentOS 7 rendszerrel.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. A fájlok letöltése előtt hozzon létre egy cdh könyvtárat a /var/www/html/cloudera-repos/ helyen.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Ezután töltse le a fent említett 3 fájlt a következő wget paranccsal.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2. lépés: Állítsa be a Cloudera Manager Repo szolgáltatást a Worker Clientsen
4. Most csatlakozzon a worker szerverekhez, és másolja ki a repofájlt (cloudera-manager.repo) a reposzerverről (master1<).) az összes többi munkakiszolgálóra. Ez a repofájl biztosítja a szerverek számára, hogy a telepítés során az összes szükséges csomag és RPM letöltésre kerül a repokiszolgálóról.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Miután hozzáadta a tárat, listázza ki az engedélyezett tárolókat, hogy megbizonyosodjon arról, hogy a cloudera-manager tárhely engedélyezve van.
yum repolist
3. lépés: Telepítse a Cloudera Manager démonokat és az ügynököt a Worker szerverekre
6. Most telepítenünk kell a cloudera-manager-daemons és a cloudera-manager-agent fájlokat az összes többi szerverre.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Ezután be kell állítania a Cloudera Manager ügynököt, hogy jelentse a Cloudera Manager szervert.
sudo vi /etc/cloudera-scm-agent/config.ini
Cserélje ki a localhost elemet a Cloudera Manager szerver IP-címére.
8. Indítsa el a Cloudera Manager Agentet, és ellenőrizze az állapotot.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
4. lépés: Telepítse és állítsa be a CDH-t
Vannak CDH csomagjaink a master1 – repo szerveren. Ha az automatikus telepítést követi a Cloudera Manager használatával, győződjön meg arról, hogy az összes szerver rendelkezik Cloudera Manager repofájllal a /etc/yum.repos.d/ mappában.
9. Jelentkezzen be a Cloudera Managerbe az alábbi URL-címen a 7180 porton, és használja a Cloudera Manager alapértelmezett felhasználónevét és jelszavát.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Miután bejelentkezett, az üdvözlő oldal köszönti Önt. Itt találja a Kiadási megjegyzéseket, a Cloudera Manager új szolgáltatásait.
11. Fogadja el a licencet, és folytassa.
12. Válassza ki a kiadást. Alapértelmezés szerint a próbaverzió van kiválasztva, ezzel folytathatjuk.
13. Most kövesse a fürttelepítési lépéseket. Az üdvözlő oldal folytatása.
14. Nevezze el a fürtöt, és folytassa, mi „tecmintként” neveztük el. A fürt 2 típusát határozhatja meg. Folytatjuk a Regular Clustert.
- Szokásos fürt: Tárolási csomópontokból, számítási csomópontokból és egyéb szükséges szolgáltatásokból áll.
- Számítási fürt: Csak számítási csomópontokból áll. Adattárolásra külső tároló is használható.
15. Már minden szerverre telepítettük a Cloudera Manager Agents szolgáltatást. Ezeket a szervereket a „Jelenleg felügyelt gazdagépek” részben találja. Az automatikus telepítéshez meg kell adnia a kiszolgálók FQDN-jét vagy IP-címét az „New Hosts ” opcióban, és keresnie kell. A Cloudera Manager automatikusan felismeri azokat a gazdagépeket, amelyekre telepítenünk kell a CDH-t.
Itt kattintson a „Jelenleg felügyelt gazdagépek” elemre, válassza ki az összes gazdagépet a „Gazdagépnév” kiválasztásával, és folytassa.
16. Válassza ki a Tárhelyet – a Csomag használata javasolt. Kattintson a „További beállítások” lehetőségre a tár konfigurálásához.
17. Írja be a helyi adattár URL-címét az alábbiak szerint. Távolítsa el az összes fennmaradó nyilvános adattárat, amely a webre mutat (Cloudera-tárolók).
Ez a CDH helyi adattár URL-je, amely a master1-ben található.
http://104.211.95.96/cloudera-repos/cdh/
18. Miután megadta a tárhely URL-címét, ezen az oldalon csak az elérhető csomagok jelennek meg. Folytassa ezt a lépést.
19. Jelenleg a csomagok letöltése, szétosztása, kicsomagolása és aktiválása folyik az összes elérhető szerveren.
20. A CDH-csomagok aktiválása után ellenőrizze a Clustert. Ez a lépés elvégzi a fürt állapotának ellenőrzését. Itt kihagyjuk és folytatjuk.
5. lépés: A fürt konfigurálása
21. Itt ki kell választanunk a Cluster-be telepítendő Szolgáltatásokat. Egyes csomagolt kombinációk alapértelmezés szerint elérhetők lesznek, mi az Egyéni szolgáltatások mellett fogunk dolgozni.
22. Az Egyéni szolgáltatásokban csak alapkomponenseket (HDFS és YARN) telepítünk >>) erre a demó célra.
23. Rendelje hozzá a szerepköröket a szerverhez. Testreszabhatjuk igényeinknek megfelelően. Keresse meg az alábbi táblázatot, amely leírja az ajánlott szerepkör-elosztást egy 5–20 csomópontból álló, magas rendelkezésre állású, alapszintű kis fürthöz.
24. Válassza ki az Adatbázis típusát, a gazdagépnevet, a DB-nevet, a Felhasználónevet és a Jelszót. Mivel Embedded PostgreSQL-t használunk, alapértelmezés szerint ez lesz kiválasztva. Tesztelje a kapcsolatot, sikeresnek kell lennie.
25. Ezen az oldalon láthatók a HDFS és a Yarn alapértelmezett konfigurációs paraméterei, beleértve az adatkönyvtárakat is. Tekintse át az összes konfigurációs részletet, és szükség esetén módosíthatja azokat. Akkor folytasd ezzel.
26. Ezen az oldalon az „Első futtatás” parancs részletei jelennek meg. Kibonthatja a futó parancsok részleteinek megtekintéséhez. Ha bármilyen hálózati vagy engedélyes probléma van a fürtben, ez a lépés sikertelen lesz. Általában ez a lépés dönti el a fürtépület zökkenőmentes telepítését.
27. A fenti lépés befejezése után kattintson a „Befejezés” gombra a telepítés befejezéséhez. Ez a Cloudera Manager irányítópultja a CDH telepítése után.
http://104.211.95.96:7180/cmf/home
Következtetés
Sikeresen befejeztük a Cloudera Manager és a CDH telepítését. A Cloudera Manager irányítópultján előre definiált diagramokat találhat, amelyeken figyelemmel kísérheti a fürt CPU-ját, a Disk IO-t stb. A teljes fürtöt kezelhetjük a Cloudera Manager segítségével. >. Az összes adminisztratív műveletet a következő cikkekben fogjuk látni.