Weboldal keresés

A Namenode magas rendelkezésre állásának beállítása – 5. rész


A Hadoop két alapvető összetevővel rendelkezik, ezek a HDFS és a YARN. A HDFS az Adatok tárolására, a YARN pedig az Adatok feldolgozására szolgál. A HDFS egy Hadoop elosztott fájlrendszer, Namenode mint Master Service és Datanode mint Slave szolgáltatás.

A Namenode a Hadoop kritikus összetevője, amely a HDFS-ben tárolt adatok metaadatait tárolja. Ha a Namenode leáll, a teljes fürt nem lesz elérhető, ez az egyetlen hibapont (SPOF). Tehát a termelési környezet Namenode High Availability lesz, hogy elkerülje a termelési leállást, ha egy Namenode különböző okok miatt leáll, például gépösszeomlás, tervezett karbantartási tevékenység stb.

A Hadoop 2.x lehetővé teszi, hogy két Namenode legyen, az egyik Active Namenode, a másik pedig Standby Namenode<.

  • Aktív névcsomópont – Az összes ügyfélműveletet kezeli.
  • Készenléti névcsomópont – redundáns az Active Namenode-tól. Ha az Active NN megszűnik, akkor a Standby NN átveszi az Active NN felelősségét.

A Namenode High Availability engedélyezéséhez Zookeeper szükséges, amely kötelező az automatikus feladatátvételhez. A ZKFC (Zookeeper Failover Controller) egy Zookeeper kliens, amely a Namenode állapotának fenntartására szolgál.

Követelmények

  • A Hadoop Server telepítésének bevált gyakorlatai CentOS/RHEL 7 rendszeren – 1. rész
  • A Hadoop előfeltételeinek beállítása és a biztonság megerősítése – 2. rész
  • A Cloudera Manager telepítése és konfigurálása a CentOS/RHEL 7 rendszeren – 3. rész
  • A CDH telepítése és a szolgáltatáselhelyezések konfigurálása a CentOS/RHEL 7 rendszeren – 4. rész

Ebben a cikkben engedélyezni fogjuk a Namenode High Availability funkciót a Cloudera Managerben.

1. lépés: A Zookeeper telepítése

1. Jelentkezzen be a Cloudera Managerbe.

http://Your-IP:7180/cmf/home

2. A Cluster (tecmint) műveletsorban válassza a „Szolgáltatás hozzáadása lehetőséget”.

3. Válassza ki a „Zookeeper” szolgáltatást.

4. Válassza ki azokat a szervereket, amelyekre telepíteni fogjuk a Zookeeper alkalmazást.

5. 3 állatkertgondnok lesz az Zookeeper Quorum létrehozásához. Válassza ki a szervereket az alábbiak szerint.

6. Állítsa be a Zookeeper tulajdonságokat, itt vannak az alapértelmezett tulajdonságok. Valós időben külön könyvtár/csatolási pontokkal kell rendelkeznie a Zookeeper adatok tárolásához. Az 1. részben ismertettük az egyes szolgáltatások tárolási konfigurációját. A folytatáshoz kattintson a „folytatás” gombra.

7. A telepítés megkezdődik, a telepítés után elindul a Zookeeper. A háttérműveleteket itt tekintheti meg.

8. A fenti lépés sikeres végrehajtása után az állapot „Kész” lesz.

9. A Zookeeper telepítése és konfigurálása sikeresen megtörtént. Kattintson a „Befejezés” gombra.

10. A Zookeeper szolgáltatást a Cloudera Manager irányítópulton tekintheti meg.

2. lépés: A Namenode High Availability engedélyezése

11. Lépjen a Cloudera Manager -> HDFS -> Actions -> Magas rendelkezésre állás engedélyezése menüpontra..

12. Írja be a Nameservice Name-t „nameservice1” néven – ez egy közös névtér az aktív és a készenléti névcsomópont számára egyaránt.

13. Válassza ki a Második Namenode-ot, ahol készenléti Namenode-ot fogunk használni.

14. Itt a master2.linux-console.net webhelyet választjuk készenléti Namenode-hoz.

15. Válassza ki a Journal csomópontokat, ezek kötelező szolgáltatások az Aktív és a Készenléti Namenode szinkronizálásához.

16. A Quorum Journal létrehozásához a Journal csomópontot 3 szerveren helyezzük el, az alábbiak szerint. Válasszon ki 3 szervert, és kattintson az „OK” gombra.

17. Kattintson a „Folytatás” gombra a folytatáshoz.

18. Adja meg a Journal Node könyvtár elérési útját. Csak meg kell említenünk az elérési utat a telepítés során, ezt a könyvtárat maga a szolgáltatás hozza létre automatikusan. '/jn' néven említjük. A folytatáshoz kattintson a „Folytatás” gombra.

19. Elkezdődik a Magas rendelkezésre állás engedélyezése.

20. Az összes háttérfolyamat befejezése után a „Befejezett” állapotot kapjuk.

21. Végül egy „A magas rendelkezésre állás sikeresen engedélyezve” értesítést kapunk. Kattintson a „Befejezés” gombra.

22. Ellenőrizze az aktív és a készenléti névcsomópontot a Cloudera Manager –> HDFS menüben. > –> Példányok.

23. Itt két Namenode közül választhat, az egyik 'Aktív', a másik pedig 'Készenléti állapotban lesz. ' állapot.

Következtetés

Ebben a cikkben lépésről lépésre haladunk végig a Namenode High Availability engedélyezésének folyamatán. Erősen ajánlott, hogy a Namenode High Availability minden fürtben valós idejű környezetben legyen. Kérjük, tegye közzé kétségeit, ha a folyamat során bármilyen hibába ütközik. A következő cikkben az Erőforráskezelő magas rendelkezésre állásaval fogunk foglalkozni.