Weboldal keresés

A Hadoop Server telepítésének bevált gyakorlatai CentOS/RHEL 7 rendszeren – 1. rész

Ebben a cikksorozatban a teljes Cloudera Hadoop Cluster Building épületet ismertetjük a Vendor és az Industrial által javasolt bevált gyakorlatokkal.

Az OS telepítése és az OS szintű végrehajtása Az előfeltételek az első lépések a Hadoop-fürt felépítéséhez. A Hadoop a Linux platform különféle változataiban futhat: CentOS, RedHat, Ubuntu, Debian<, SUSE stb., A valós idejű gyártás során a legtöbb Hadoop-fürt az RHEL/CentOSre épül, mi a CentOS 7 rendszert fogja használni a bemutatóhoz ebben az oktatóanyag-sorozatban.

Egy szervezetben az operációs rendszer telepítése a kickstart segítségével végezhető el. Ha egy 3-4 csomópontos klaszterről van szó, kézi telepítés lehetséges, de ha egy nagy fürtöt építünk 10-nél több csomóponttal, akkor fárasztó egyenként telepíteni az operációs rendszert. Ebben a forgatókönyvben a Kickstart metódus jön a képbe, a tömeges telepítést a kickstart segítségével folytathatjuk.

A Hadoop-környezet jó teljesítményének elérése a megfelelő hardver és szoftver kiépítésétől függ. Tehát egy éles Hadoop-fürt felépítése sok megfontolást igényel a hardver és a szoftver tekintetében.

Ebben a cikkben áttekintjük az operációs rendszer telepítésével kapcsolatos különféle referenciaértékeket, valamint néhány bevált módszert a Cloudera Hadoop Cluster Server telepítéséhez a CentOS/RHEL 7 rendszeren.

Fontos szempont és bevált gyakorlatok a Hadoop Server telepítéséhez

Az alábbiak a bevált módszerek a Cloudera Hadoop Cluster Server telepítéséhez CentOS/RHEL 7 rendszeren.

  • A Hadoop szerverekhez nincs szükség vállalati szabványos szerverekre a fürt felépítéséhez, hanem árucikk hardverre.
  • Az éles fürtben 8-12 adatlemez használata javasolt. A terhelés jellegének megfelelően erről kell döntenünk. Ha a fürt nagy számításigényű alkalmazásokhoz készült, az I/O-problémák elkerülése érdekében a legjobb gyakorlat 4–6 meghajtó használata.
  • Az adatmeghajtókat például egyenként kell particionálni – /data01-től /data10-ig.
  • A RAID konfigurálása nem ajánlott dolgozó csomópontok számára, mivel a Hadoop maga biztosítja az adatok hibatűrését azáltal, hogy alapértelmezés szerint 3-ra replikálja a blokkokat. Tehát a JBOD a legjobb a dolgozói csomópontokhoz.
  • Főkiszolgálók esetében a RAID 1 a legjobb gyakorlat.
  • A CentOS/RHEL 7.x alapértelmezett fájlrendszere az XFS. A Hadoop támogatja az XFS-t, az ext3-at és az ext4-et. Az ajánlott fájlrendszer az ext3, mivel jó teljesítményt teszteltek.
  • Minden kiszolgálónak ugyanazzal az operációs rendszer-verzióval kell rendelkeznie, de legalább ugyanazzal a kisebb kiadással.
  • A legjobb gyakorlat a homogén hardver használata (minden dolgozó csomópontnak azonos hardverjellemzőkkel kell rendelkeznie (RAM, lemezterület és Core stb.).
  • A fürt terhelése (kiegyensúlyozott munkaterhelés, számításigényes, I/O-intenzív) és a méret, az erőforrások (RAM, CPU) szerverenkénti tervezése eltérő lesz.

Keresse meg az alábbi példát a 24 TB tárhellyel rendelkező szerverek lemezparticionálására.

A CentOS 7 telepítése a Hadoop Server Deploymenthez

Amit tudnia kell, mielőtt telepíti a CentOS 7 szervert a Hadoop kiszolgálóhoz.

  • Minimális telepítés elegendő a Hadoop szerverekhez (munkahelyi csomópontok), bizonyos esetekben a GUI csak a főszerverekhez vagy a felügyeleti szerverekhez telepíthető, ahol böngészőket használhatunk a webes felhasználói felületekhez. Felügyeleti eszközök.
  • A hálózatok, a gazdagépnév és más, az operációs rendszerrel kapcsolatos beállítások konfigurálása az operációs rendszer telepítése után végezhető el.
  • Valós időben a szervergyártók saját konzoljukkal fognak rendelkezni a szerverek interakciójához és kezeléséhez, például – a Dell szervereken van az iDRAC, amely egy szerverekbe ágyazott eszköz. Az iDRAC interfész segítségével telepíthetjük az operációs rendszert, ha az operációs rendszer képfájlja van a helyi rendszerünkben.

Ebben a cikkben az operációs rendszert (CentOS 7) telepítettük a VMware virtuális gépre. Itt nem lesz több lemezünk a partíciók végrehajtásához. A CentOS hasonló az RHEL-hez (ugyanaz a funkcionalitás), így látni fogjuk a CentOS telepítésének lépéseit.

1. Először töltse le a CentOS 7.x ISO-lemezképet a helyi Windows rendszerbe, és válassza ki a virtuális gép indításakor. Az ábrán látható módon válassza a „Install CentOS 7” lehetőséget.

2. Válassza a Nyelv lehetőséget, az alapértelmezett az angol, majd kattintson a Folytatás gombra.

3. Szoftver kiválasztása – Válassza a „Minimális telepítés” lehetőséget, majd kattintson a „Kész” gombra.

4. Állítsa be a root jelszavát, ahogyan a beállítást kéri.

5. Telepítési cél – Ez az óvatosság fontos lépése. Ki kell választanunk azt a lemezt, amelyre az operációs rendszert telepíteni kell, az operációs rendszerhez dedikált lemezt kell kiválasztani. Kattintson a „Telepítési cél” elemre, és válassza ki a lemezt, valós időben több lemez is lesz ott, ki kell választanunk, előnyösen „sda”.

6. Egyéb tárolási beállítások – Válassza a második lehetőséget (én konfigurálom a particionálást) az operációs rendszerrel kapcsolatos particionálás konfigurálásához, például /var, / var/log, /home, /tmp, /opt, /swap.

7. Ha elkészült, kezdje el a telepítést.

8. A telepítés befejezése után indítsa újra a szervert.

9. Jelentkezzen be a szerverre, és állítsa be a gazdagép nevét.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Összegzés

Ebben a cikkben áttekintettük az operációs rendszer telepítésének lépéseit és a fájlrendszer-particionálás legjobb gyakorlatait. Ezek mind általános iránymutatások, a munkaterhelés jellegétől függően előfordulhat, hogy több árnyalatra kell koncentrálnunk a klaszter legjobb teljesítményének elérése érdekében. A fürttervezés a Hadoop rendszergazdák művészete. A következő cikkben részletesen foglalkozunk az operációs rendszer szintű előfeltételekkel és a biztonsági szigorítással.