A Namenode magas rendelkezésre állásának beállítása – 5. rész
A Hadoop két alapvető összetevővel rendelkezik, ezek a HDFS és a YARN. A HDFS az Adatok tárolására, a YARN pedig az Adatok feldolgozására szolgál. A HDFS egy Hadoop elosztott fájlrendszer, Namenode mint Master Service és Datanode mint Slave szolgáltatás.
A Namenode a Hadoop kritikus összetevője, amely a HDFS-ben tárolt adatok metaadatait tárolja. Ha a Namenode leáll, a teljes fürt nem lesz elérhető, ez az egyetlen hibapont (SPOF). Tehát a termelési környezet Namenode High Availability lesz, hogy elkerülje a termelési leállást, ha egy Namenode különböző okok miatt leáll, például gépösszeomlás, tervezett karbantartási tevékenység stb.
A Hadoop 2.x lehetővé teszi, hogy két Namenode legyen, az egyik Active Namenode, a másik pedig Standby Namenode<.
- Aktív névcsomópont – Az összes ügyfélműveletet kezeli.
- Készenléti névcsomópont – redundáns az Active Namenode-tól. Ha az Active NN megszűnik, akkor a Standby NN átveszi az Active NN felelősségét.
A Namenode High Availability engedélyezéséhez Zookeeper szükséges, amely kötelező az automatikus feladatátvételhez. A ZKFC (Zookeeper Failover Controller) egy Zookeeper kliens, amely a Namenode állapotának fenntartására szolgál.
Követelmények
- A Hadoop Server telepítésének bevált gyakorlatai CentOS/RHEL 7 rendszeren – 1. rész
- A Hadoop előfeltételeinek beállítása és a biztonság megerősítése – 2. rész
- A Cloudera Manager telepítése és konfigurálása a CentOS/RHEL 7 rendszeren – 3. rész
- A CDH telepítése és a szolgáltatáselhelyezések konfigurálása a CentOS/RHEL 7 rendszeren – 4. rész
Ebben a cikkben engedélyezni fogjuk a Namenode High Availability funkciót a Cloudera Managerben.
1. lépés: A Zookeeper telepítése
1. Jelentkezzen be a Cloudera Managerbe.
http://Your-IP:7180/cmf/home
2. A Cluster (tecmint) műveletsorban válassza a „Szolgáltatás hozzáadása lehetőséget”.
3. Válassza ki a „Zookeeper” szolgáltatást.
4. Válassza ki azokat a szervereket, amelyekre telepíteni fogjuk a Zookeeper alkalmazást.
5. 3 állatkertgondnok lesz az Zookeeper Quorum létrehozásához. Válassza ki a szervereket az alábbiak szerint.
6. Állítsa be a Zookeeper tulajdonságokat, itt vannak az alapértelmezett tulajdonságok. Valós időben külön könyvtár/csatolási pontokkal kell rendelkeznie a Zookeeper adatok tárolásához. Az 1. részben ismertettük az egyes szolgáltatások tárolási konfigurációját. A folytatáshoz kattintson a „folytatás” gombra.
7. A telepítés megkezdődik, a telepítés után elindul a Zookeeper. A háttérműveleteket itt tekintheti meg.
8. A fenti lépés sikeres végrehajtása után az állapot „Kész” lesz.
9. A Zookeeper telepítése és konfigurálása sikeresen megtörtént. Kattintson a „Befejezés” gombra.
10. A Zookeeper szolgáltatást a Cloudera Manager irányítópulton tekintheti meg.
2. lépés: A Namenode High Availability engedélyezése
11. Lépjen a Cloudera Manager -> HDFS -> Actions -> Magas rendelkezésre állás engedélyezése menüpontra..
12. Írja be a Nameservice Name-t „nameservice1” néven – ez egy közös névtér az aktív és a készenléti névcsomópont számára egyaránt.
13. Válassza ki a Második Namenode-ot, ahol készenléti Namenode-ot fogunk használni.
14. Itt a master2.linux-console.net webhelyet választjuk készenléti Namenode-hoz.
15. Válassza ki a Journal csomópontokat, ezek kötelező szolgáltatások az Aktív és a Készenléti Namenode szinkronizálásához.
16. A Quorum Journal létrehozásához a Journal csomópontot 3 szerveren helyezzük el, az alábbiak szerint. Válasszon ki 3 szervert, és kattintson az „OK” gombra.
17. Kattintson a „Folytatás” gombra a folytatáshoz.
18. Adja meg a Journal Node könyvtár elérési útját. Csak meg kell említenünk az elérési utat a telepítés során, ezt a könyvtárat maga a szolgáltatás hozza létre automatikusan. '/jn'
néven említjük. A folytatáshoz kattintson a „Folytatás” gombra.
19. Elkezdődik a Magas rendelkezésre állás engedélyezése.
20. Az összes háttérfolyamat befejezése után a „Befejezett” állapotot kapjuk.
21. Végül egy „A magas rendelkezésre állás sikeresen engedélyezve” értesítést kapunk. Kattintson a „Befejezés” gombra.
22. Ellenőrizze az aktív és a készenléti névcsomópontot a Cloudera Manager –> HDFS menüben. > –> Példányok.
23. Itt két Namenode közül választhat, az egyik 'Aktív', a másik pedig 'Készenléti állapotban lesz. ' állapot.
Következtetés
Ebben a cikkben lépésről lépésre haladunk végig a Namenode High Availability engedélyezésének folyamatán. Erősen ajánlott, hogy a Namenode High Availability minden fürtben valós idejű környezetben legyen. Kérjük, tegye közzé kétségeit, ha a folyamat során bármilyen hibába ütközik. A következő cikkben az Erőforráskezelő magas rendelkezésre állásaval fogunk foglalkozni.