Napló gyűjtése és továbbítása a saját kezelésű MongoDB-ből a Fluent Bit segítségével a kezelt OpenSearch-be

Bevezetés

Ebből az oktatóanyagból megtudhatja, hogyan küldhet naplókat az Ubuntu Droplet-en futó, önállóan felügyelt MongoDB-re telepített Fluent Bitből a DigitalOcean felügyelt OpenSearch adatbázisába.

Az OpenSearch egy nyílt forráskódú kereső és elemző csomag, amely az Elasticsearch és a Kibana elágazásából származik. Támogatja a valós idejű adatfeldolgozást, a fejlett lekérdezést és a robusztus biztonságot, így ideális az e-kereskedelemhez, IT-felügyelethez és pénzügyi alkalmazásokhoz. Az olyan funkciókkal, mint az SQL-lekérdezések támogatása, a gépi tanulás és a riasztás, az OpenSearch az aktív közösségfejlesztés révén folyamatosan fejlődik.

A Fluent Bit egy könnyű, nyílt forráskódú naplófeldolgozó és továbbító, amely naplóadatokat gyűjt, dolgoz fel és szállít. A teljesítményre optimalizálva ideális olyan erőforrás-korlátozott környezetekhez, mint a konténerek és az éles számítástechnika. A Fluent Bit hatékonyan összesíti és továbbítja a naplókat különböző helyekre, így népszerűvé téve a valós idejű naplózást és megfigyelést.

Előfeltételek

Mielőtt elkezdené, győződjön meg arról, hogy rendelkezik:

• DigitalOcean Cloud-fiók hozzáféréssel a Managed OpenSearch szolgáltatáshoz.
• OpenSearch és Fluent Bit alapismeretei.
• Hozzáférés az OpenSearch irányítópultjához.

A Fluent Bit telepítése

A Fluent Bit több platformon is telepíthető. Itt Ubuntu platformot fog használni. Futtassa a következő parancsot a Droplet terminálján.

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

További információkért elérheti a hivatalos dokumentációt.

A FluentBit beállítása

A Fluent Bit konfigurációs fájl alapértelmezés szerint a /etc/fluent-bit/fluent-bit.conf címen található. Módosítsa a fluent-bit.conf fájlt, hogy elküldje a naplókat az OpenSearch-nek.

FluentBit bemenetek

A Fluent Bit számos beviteli bővítményt kínál, amelyek lehetővé teszik napló- és eseményadatok gyűjtését különböző forrásokból. Mivel naplófájlokból fog naplót küldeni, a farokbeviteli bővítményt fogja használni.

Frissítse a fluent-bit.conf fájlt az alábbiak szerint:

[INPUT]
   name tail
   Path /var/log/mongodb/mongod.log

A bemeneti bővítményekről a Fluent Bit hivatalos kézikönyvében olvashat bővebben.

FluentBit kimenetek

A bemeneti beépülő modulokhoz hasonlóan a Fluent Bit egy kimeneti bővítményt biztosít, amely az összegyűjtött és feldolgozott naplókat különböző helyekre küldi. Mivel naplókat küldünk az Opensearch-nek, használjuk az Opensearch Output plugint.

[OUTPUT]
   Name  opensearch
   Match *
   Host opensearch hostname
   port 25060
   HTTP_User doadmin #DO Managed OpenSeach username
   HTTP_Passwd XXXX #Managed OpenSeach Password
   Index mongodb
   tls On
   Suppress_Type_Name On

A kimeneti bővítményekről a Fluent Bit hivatalos kézikönyvében olvashat bővebben.

A konfigurációk beállítása után indítsa el a Fluent Bit Service szolgáltatást.

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Hozzáférés a MongoDB-naplókhoz az OpenSearch irányítópultján

• Keresse meg az OpenSearch irányítópultot DigitalOcean Cloud-fiókjában.
• A hamburger ikon használatával kattintson az Irányítópult kezelése lehetőségre a Kezelés részben.
• Kattintson az Indexminták lehetőségre, majd az Indexminta létrehozása lehetőségre
• Adja meg az indexmintának ugyanazt a nevet, mint a fluent-bit.conf fájlban.
• Ha az indexminta készen áll, elérheti a MongoDB naplóit a Felfedezés lapon.

Következtetés

Gratulálok! Sikeresen megtanulta a Fluent Bit használatát saját üzemeltetésű MongoDB naplók gyűjtésére és továbbítására egy DigitalOcean Managed OpenSearch adatbázisba. Kitértünk a Fluent Bit konfigurálására és egy indexminta létrehozására az OpenSearch-ben a MongoDB-naplók hatékony figyeléséhez és elemzéséhez.