Logstash Dockeris

Logstash Dockeris



Logstash on avatud lähtekoodiga andmetöötluskonveier, mis võimaldab teil logiandmeid erinevatest allikatest koguda, töödelda ja edastada.

Selles õpetuses juhendame teid Logstashi käitamise protsessis põhikonfiguratsiooniga Dockeri konteineris.

Nõuded:

Enne õpetusega alustamist veenduge, et teil on järgmised asjad.







  1. Teie hostmasinasse installitud Docker (soovitatav on versioon 23 ja uuem)
  2. Installitud teie masinasse Docker Compose

Kui etteantud nõuded on täidetud, saame õpetusega edasi minna.



Seadistage Logstashi konfiguratsioonifail

Logstash kasutab konfiguratsioonifaile, et määratleda, kuidas andmeid neelatakse, filtreeritakse ja väljundisse saadetakse. Saate konfigureerida mitmesuguseid valikuid, millele saate viidata ametlikus dokumentatsioonis.



Meie näite puhul keskendume põhikonfiguratsioonile, mis neelab andmed logifailist, filtreerib need vastavate kirjete jaoks ja väljastab andmed faili.





Looge fail nimega 'logstash.conf' ja lisage konfiguratsioon järgmiselt:

sisend {
fail {
tee => '/var/log/apache/access.log'

algus_positsioon => 'algus'

sincedb_path => '/dev/null'

ignore_older => 0
}
}

filter {
kui [sõnum] =~ 'VIGA' {
grok {
vaste => { 'sõnum' => '%{COMBINEDAPACHELOG}' }
}
}
}

väljund {
fail {
tee => '/var/log/apache/error_logs.log'
}
}

Eelmine fail määratleb konfiguratsiooni, nagu on näidatud järgmises:

  1. Sisendjaotis – sisendjaotis kasutab failisisestuse pistikprogrammi, et lugeda /var/log/apache/access.log asuva Apache logifaili.
    • Seejärel määrasime alguses alguspositsiooni, mis võimaldab Logstashil lugeda kogu faili algusest peale.
    • Sincedb_path – see parameeter võimaldab meil keelata Logstashi sincedb jälgimise, määrates väärtuseks /dev/null. See tagab, et Logstash loeb alati faili algusest peale.
    • Ignore_older – selle parameetri väärtuse 0 määramine võimaldab Logstashil töödelda kõiki logifaili kirjeid.
  2. Filtrijaotis – Filtrijaotises määratleme filtrimustri, et kontrollida, kas logiteade sisaldab sõna ERROR. Saate kohandada filtriplokkide tingimusi, et filtreerida failis täpsemaid vasteid.
    • Kui tingimus on täidetud, kasutame Apache'i logirea sõelumiseks grok-filtrit, kasutades mustrit COMBINEDAPACHELOG, mis on Logstashi sisseehitatud muster Apache'i logide sõelumiseks.
  3. Väljundjaotis – see jaotis võimaldab meil määrata sobivate kirjete väljundvormingu.
    • Meie puhul kirjutame need parameetri path abil faili /var/log/apache/error_logs.log.

See peaks andma meile Logstashi põhikonfiguratsiooni, mis võimaldab meil näidata mõningaid Logstashi põhilisi toiminguid.

Lisateavet Logstashi torujuhtmete loomise ja konfigureerimise kohta leiate järgmisest dokumentatsiooniressursist:

https://www.elastic.co/guide/en/logstash/current/configuration.html

Looge Dockeri fail

Kui oleme Logstashi konfiguratsioonid määratlenud, saame jätkata ja õppida, kuidas konteinerit käitada. Looge failiga 'logstash.conf' samas kataloogis uus fail nimega 'Dockerfile'.

Redigeerige seda faili ja lisage kirjed järgmiselt:

SALJALT docker.elastic.co/logstash/logstash:8.9.2

KOPY logstash.conf /usr/share/logstash/pipeline/logstash.conf

Antud näites defineerime baaspildi kui ametlikku Logstashi kujutist, kasutades versiooni 8.9.2.

Seejärel kopeerime loodud faili „logstash.conf” pildi kausta /usr/share/logstash/pipeline/logstash.conf.

Ehitage Dockeri kujutis

Järgmisena liikuge kataloogi, mis sisaldab Dockerfile'i ja Logstashi konfiguratsioonifaili. Pildi koostamiseks käivitage järgmine käsk:

$ doki ehitamine -t custom-logstash-image .

Käivitage Logstashi konteiner

Nüüd, kui oleme loonud Dockeri pildi, saame käivitada Logstashi konteineri, kasutades Dockeri käsku 'run' järgmiselt:

$ dokijooks -d --nimi logstash-server custom-logstash-image

See peaks käivitama Logstashi konteineri, kasutades eelmises etapis loodud pilti.

Kontrollige Logstashi konteineri logisid

Logstashi korrektse töötamise kontrollimiseks saate konteineri logisid kontrollida järgmise käsuga:

$ dokkide palgid < konteineri_nimi >

Väljund:

Järeldus

Sellest õpetusest õppisite, kuidas saate kohandatud konfiguratsioonifaili kasutades kiiresti seadistada Dockerina töötavat Logstashi serverit. Soovitame vaadata pildi parameetrite ja konfiguratsioonivalikute dokumentatsiooni.