Weboldal keresés

Továbbítsa az Nginx-naplókat a Dropletről az OpenSearch-re a Fluent Bit segítségével

Bevezetés

A webszerver naplóinak kezelése elengedhetetlen a teljesítmény fenntartásához, a problémák hibaelhárításához és a felhasználói viselkedés megértéséhez. Az Nginx értékes hozzáférési és hibanaplókat generál. Ez az oktatóanyag végigvezeti Önt a Fluent Bit Dropletre történő telepítésén, az Nginx-naplók gyűjtésére való konfigurálásán, valamint elemzés céljából a DigitalOcean Managed OpenSearch-jének elküldésén.

Előfeltételek

Mielőtt elkezdené, győződjön meg arról, hogy a következők vannak a helyükön:

  1. Egy DigitalOcean Droplet/ek Nginx webszerverrel.
  2. Felügyelt OpenSeach-fürt.

1. lépés – A Fluent Bit telepítése

A Fluent Bit egy nyílt forráskódú és könnyű naplófeldolgozó és továbbító. Úgy tervezték, hogy adatokat és naplókat gyűjtsön különböző forrásokból, feldolgozza vagy átalakítsa, majd továbbítsa azokat különböző célokra.

A FluentBit több platformra is telepíthető, például Ubuntu, Debian, RedHat, CentOS a következő parancs futtatásával a Droplet terminálon:

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

2. lépés – A Fluent Bit beállítása naplók küldésére az OpenSearch számára

Alapértelmezés szerint a Fluent Bit konfigurációs fájlok a /etc/fluent-bit/ könyvtárban találhatók. A naplók OpenSearch-be való továbbításához módosítania kell a fluent-bit.conf fájlt.

FluentBit bemenetek

A Fluent Bit egy sor beviteli bővítményt biztosít a napló- és eseményadatok különböző forrásokból történő gyűjtéséhez. A naplófájlokból történő naplógyűjtéshez a tail beviteli bővítményt használjuk. Ezt a beépülő modult kifejezetten arra tervezték, hogy adatokat olvasson ki fájlokból, kezelje a naplóforgatást, és streamelje az új bejegyzéseket a naplófájlokba írva.

Frissítse a fluent-bit.conf fájlt az alábbiak szerint:

[INPUT]
    name tail
    Tag nginx.access
    path /var/log/nginx/access.log
    parser  nginx

[INPUT]
    Name  tail
    Tag   nginx.error
    path  /var/log/nginx/error.log

A Fluent Bit bemenetekkel kapcsolatos további információkért tekintse meg ezt a hivatkozást: https://docs.fluentbit.io/manual/pipeline/inputs.

A fluentbit már alapértelmezett elemzőt biztosít az nginx hozzáférési naplókhoz.

FluentBit kimenetek

A bemeneti beépülő modulokhoz hasonlóan a fluentbit is egy kimeneti bővítményt biztosít, amely az összegyűjtött és feldolgozott naplókat különböző helyekre küldi. Mivel naplókat küldünk az OpenSearch-nek, használjuk az opensearch kimeneti beépülő modult.

[OUTPUT]
    Name  opensearch
    Match nginx.access
    Host <OpenSearch_Host>
    port 25060
    HTTP_User doadmin
    HTTP_Passwd <OpenSearch_Password>
    Index fbit-nginx-access
    tls On
    Suppress_Type_Name On

[OUTPUT]
    Name  opensearch
    Match nginx.error
    Host <OpenSearch_Host>
    port 25060
    HTTP_User doadmin
    HTTP_Passwd <OpenSearch_Password>
    Index fbit-nginx-error
    tls On
    Suppress_Type_Name On

Cserélje ki a értéket az OpenSearch szerver gazdagépnevére, a kódot pedig az OpenSearch jelszavára.

A konfigurációk beállítása után indítsa el a fluent bit szolgáltatást a következő futtatásával:

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

Hibaelhárítás

Ellenőrizze a csatlakozást

A kapcsolat tesztelésével ellenőrizheti, hogy a Logstash csatlakozni tud-e az OpenSearch-hez:

curl -u your_username:your_password -X GET "https://your-opensearch-server:25060/_cat/indices?v"

Cserélje ki a your-OpenSearch-szerver elemet az OpenSearch szerver gazdagépnevére, a your_username és your_password helyére az OpenSearch hitelesítő adatait.

Adatbevitel

Győződjön meg arról, hogy az adatok megfelelően vannak indexelve az OpenSearch-ben:

curl -u your_username:your_password -X GET "http://your-opensearch-server:25060/<your-index-name>/_search?pretty"

Cserélje ki a your-OpenSearch-szerver elemet az OpenSearch szerver gazdagépnevére, a saját_felhasználónevére és a saját_jelszóra az OpenSearch hitelesítő adataira, valamint az saját-index-nevére. az index nevével.

Tűzfal és hálózati konfiguráció

Győződjön meg arról, hogy a tűzfalszabályok és a hálózati beállítások lehetővé teszik a Logstash és az OpenSearch közötti forgalmat a porton.

Ellenőrizze a Fluent Bit Logs-t

Alapértelmezés szerint a naplók a rendszernaplóba íródnak.

sudo journalctl -u fluent-bit

Konfiguráció érvényesítése

Győződjön meg arról, hogy a konfigurációs fájlok szintaktikailag helyesek.

/opt/fluent-bit/bin/fluent-bit -c /etc/fluent-bit/fluent-bit.conf --dry-run

Következtetés

Ebben az oktatóanyagban végigvezettük a Fluent Bit telepítésének és konfigurálásának folyamatát, hogy összegyűjtsék az Nginx-naplókat, és továbbítsák azokat a DigitalOcean Managed OpenSearch számára elemzés céljából. Ha követi ezeket a lépéseket, egy egyszerűsített naplókezelő rendszerrel kell rendelkeznie, amely lehetővé teszi a webszerver naplóinak hatékony figyelését és elemzését.

Telepítés: A Fluent Bit-et Dropletre telepítettük egy egyszerű curl paranccsal, amely különféle platformokhoz alkalmas.

Konfiguráció: Frissítettük a fluent-bit.conf fájlt, hogy az Nginx hozzáférési és hibanaplóit összegyűjtse a farok bemeneti beépülő modul segítségével, és elküldje azokat az OpenSearch-nek az opensearch kimeneti bővítmény használatával.

Szolgáltatáskezelés: Engedélyeztük és elindítottuk a Fluent Bit szolgáltatást, hogy biztosítsuk a zökkenőmentes működést.

Hibaelhárítás: A legfontosabb hibaelhárítási lépéseket ismertettük, beleértve a kapcsolat ellenőrzését, az adatfeldolgozás ellenőrzését és a Fluent Bit naplók áttekintését.

A sikeresen konfigurált Fluent Bit segítségével kihasználhatja az OpenSearch hatékony keresési és vizualizációs képességeit, hogy betekintést nyerjen Nginx-naplóiból.

Kapcsolódó cikkek: