Weboldal keresés

Az Apache Oozie Workflow Scheduler telepítése és konfigurálása a CDH 4.X-hez RHEL/CentOS 6/5 rendszeren


Az Oozie a Hadoop nyílt forráskódú ütemezője, amely leegyszerűsíti a munkafolyamatot és a feladatok közötti koordinációt. Meghatározhatjuk a függőséget a feladatok között egy bemeneti adatokhoz, és így automatizálhatjuk a jobfüggőséget az ooze ütemező segítségével.

Ebben az oktatóanyagban telepítettem az Oozie elemet a főcsomópontomra (azaz a master-et gazdagépnévként és ahová a namenode/JT telepítve van), de az éles rendszerben Az oozie-t külön Hadoop-csomópontra kell telepíteni.

A telepítési útmutató két részre oszlik, ezeket Anak és Bnek nevezzük.

  1. A. Oozie telepítés.
  2. B. Oozie Configuration.

Először ellenőrizze a rendszer gazdagépnevét a következő „hostname” paranccsal.

[root@master]# hostname

master

A módszer: Az Oozie telepítése RHEL/CentOS 6/5 rendszeren

A CDH4 telepítéséhez a cloudera webhelyéről származó hivatalos CDH-tárat használjuk. Nyissa meg a hivatalos CDH letöltési részt, és töltse le a CDH4 (azaz 4.6) verziót, vagy használja a következő wget parancsot a tár letöltéséhez és telepítéséhez.

RHEL/CentOS 6 rendszeren
wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm
yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
RHEL/CentOS 5 rendszeren
wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/i386/cloudera-cdh-4-0.i386.rpm
yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm

wget http://archive.cloudera.com/cdh4/one-click-install/redhat/5/x86_64/cloudera-cdh-4-0.x86_64.rpm
yum --nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

Miután hozzáadta a CDH-tárat a rendszeréhez, a következő paranccsal telepítheti az Oozie-t a rendszerre.

[root@master ~]# yum install oozie

Most telepítse az oozie klienst (a fenti parancsnak le kell fednie a kliens telepítési részét, de ha nem, próbálja meg az alábbi parancsot).

[root@master ~]# yum install oozie-client

Megjegyzés: A fenti telepítés azt is beállítja, hogy az oozie szolgáltatás a rendszer indításakor fusson. Szép munka! Elkészültünk a telepítés első részével, most térjünk át a második részre az oozie konfigurálásához.

B módszer: Oozie konfigurálása RHEL/CentOS 6/5 rendszeren

Mivel az oozie közvetlenül nem lép interakcióba a Hadooppal, itt nincs szükségünk semmilyen leképezett konfigurációra.

Vigyázat: Kérjük, adja meg az összes beállítást, amikor az oozie nem fut, ez azt jelenti, hogy az alábbi lépéseket kell követnie, amíg az oozie szolgáltatás nem fut.

Az Oozie alapértelmezés szerint a „Derby”-t tartalmazza a DB-ben, de azt javaslom, hogy használja a Mysql DB-t. Tehát telepítsük a MySQL adatbázist a következő cikk segítségével.

  1. Telepítse a MySQL-adatbázist az RHEL/CentOS 6/5-ben

Ha végzett a telepítési résszel, lépjen tovább az oozie DB létrehozásához, és jogosultságokat biztosítson az alábbiak szerint.

[root@master ~]# mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 3
Server version: 5.5.38 MySQL Community Server (GPL) by Remi

Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database oozie;
Query OK, 1 row affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye

Ezután állítsa be az Oozie tulajdonságait a MySQL-hez. Nyissa meg az „oozie-site.xml” fájlt, és szerkessze a következő tulajdonságokat az ábra szerint.

[root@master ~]# cd /etc/oozie/conf
[root@master conf]# vi oozie-site.xml

Adja meg a következő tulajdonságokat (csak cserélje ki a mestert [my hostname] a hostname-re).

<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://master:3306/oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.username</name>
        <value>oozie</value>
    </property>
    <property>
        <name>oozie.service.JPAService.jdbc.password</name>
        <value>oozie</value>
    </property>

Töltse le és adja hozzá a MySQL JDBC JAR csatlakozási illesztőprogramot az Oozie lib könyvtárához. Ehhez futtassa a következő komoly parancsot a terminálon.

[root@master oozie]# cd /tmp/
[root@master tmp]# wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.31.tar.gz
[root@master tmp]# tar -zxf mysql-connector-java-5.1.31.tar.gz	
[root@master tmp]# cd mysql-connector-java-5.1.31
[root@master mysql-connector-java-5.1.31]# cp mysql-connector-java-5.1.31-bin.jar /var/lib/oozie/

Hozzon létre oozie adatbázissémát az alábbi parancsok végrehajtásával, és vegye figyelembe, hogy ezt oozie felhasználóként kell futtatni.

[root@master ~]# sudo -u oozie /usr/lib/oozie/bin/ooziedb.sh create -run
Minta kimenet
setting OOZIE_CONFIG=/etc/oozie/conf
setting OOZIE_DATA=/var/lib/oozie
setting OOZIE_LOG=/var/log/oozie
setting OOZIE_CATALINA_HOME=/usr/lib/bigtop-tomcat
setting CATALINA_TMPDIR=/var/lib/oozie
setting CATALINA_PID=/var/run/oozie/oozie.pid
setting CATALINA_BASE=/usr/lib/oozie/oozie-server-0.20
setting CATALINA_OPTS=-Xmx1024m
setting OOZIE_HTTPS_PORT=11443
...
DONE
Oozie DB has been created for Oozie version '3.3.2-cdh4.7.0'
The SQL commands have been written to: /tmp/ooziedb-8250405588513665350.sql

Az oozie webkonzol engedélyezéséhez le kell töltenie az ExtJS lib alkalmazást az internetről. Nyissa meg a hivatalos CDH ExtJS oldalt, és töltse le az ExtJS verziójú 2.2 könyvtárakat, vagy töltse le a csomagot a következő paranccsal.

[root@master ~]# cd /tmp/
[root@master tmp]# wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
[root@master tmp]# unzip ext-2.2.zip
[root@master tmp]# mv ext-2.2 /var/lib/oozie/

Végül indítsa el az oozie szervert a következő parancsok futtatásával.

[root@master tmp]# service oozie status
not running.

[root@master tmp]# service oozie start

[root@master tmp]# service oozie status
running

[root@master tmp]# oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

Nyissa meg az oozie UI-t kedvenc böngészőjével, és mutasson az IP-címére. Ebben az esetben az IP-címem 192.168.1.129.

http://192.168.1.129:11000

Most, ha látja ezt a felhasználói felületet. Gratulálunk!! Sikeresen konfiguráltad az oozie-t.

Ezt az eljárást sikeresen teszteltük a RHEL/CentOS 6/5 rendszeren. Következő cikkeimben meg fogom osztani, hogyan konfigurálhatok és ütemezhetek hadoop-feladatokat az oozie-n keresztül. Maradjon kapcsolatban további információkért, és ne felejtse el kommentálni visszajelzését.