Post on 13-Apr-2017
transcript
ELKVíc než jen logy
Co je ELK?
● Elasticsearch - dokumentová databáze s mocnou agregační vrstvou
● Logstash - parsování logů (+logstash-forwarder)
● Kibana - tenký klient na vizualizaci dat z elasticsearche
Proč ELK?
● přijde warning z icingy
○ Problem: web1 load is CRITICAL
○ Problem: CRON failed on web3
● PANIKA!
● Odpovědi. Rychle.
Proč ELK
● Parsování access logů? sed, awk, grep? OMG WTF?!
● Do kterého logu to padá?
● Padá tam jen to důležité?
● Co je důležité?
Jak používá Shopio
● primárně: access a error logy na jednom místě● odpověď na otázku: máme na serveru najednou
velký load - je tam jen najednou víc lidí, nebo je problém jinde?
Proč ELK?
STOP! DEMOTIME!
Co nás nejvíc baví
● perfektní hledání a agregace○ jaké byly user agenty a IP v posledních 5min
requestů na tenhle projekt?○ který projekt přenesl nejvíc dat za poslední měsíc?○ jak se poslední měsíc vyvíjí časy requestů, potom co
jsme přidali dva nové eshopy? Kolik je 90-percentil?○ nejpomalejší requesty za poslední hodinu?
Co nás nejvíc baví
● Instantní manažerské grafíky™ ○ V jakém poměru je projekt A a projekt B, co se týče
počtu requestů (abychom jim podle toho mohli upravit cenu)
○ kdy tam měl tu neohlášenou 200x návštěvnost z žena.cz?
Co nás nejvíc baví
Proč ELK?
STOP!SYMFONY DEMOTIME!
https://github.com/tomasfejfar/monolog-logstash-demo
Co nás nejvíc trápí?
● Paměť - 1 den logů (=~2GB) a co není v paměti, je pomalé
● Logstash a Elastic na stejném serveru - oboje je Java a každé má ~ 2GB paměti
● Podivně nestabilní logstash - připojí se jako elasticsearch node do clusteru a občas nám ho shodí
Co nás ještě trápí?
● logstash○ grok○ blbě se to debuguje (nebo to dělám špatně :))○ občas vypadá, že nestíhá zpracovávat○ řešení? rsyslog + elasticsearch
Takže?
● ELK je skvělý● je vám schopný dát odpovědi na některé zásadní
otázky● není to “zadarmo”● ve výsledku záleží, jestli to uplatíte. Pokud
ano, tak do toho jděte! (a k tomu collectd)