16
Elasticsearch

Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

  • Upload
    others

  • View
    15

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Elasticsearch

Page 2: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Co je elasticsearch?- distribuovaný vyhledávací a analyzační nástroj- založen na Apache Lucene- používá REST API- rychlý a škálovatelný- napsaný v Javě- NoSQL DB - vše je JSON

Page 3: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

K čemu je a není dobrý- správa logů (ELK stack)- pokročilé filtrování- fulltextové vyhledávání- relační data

Page 4: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Základní pojmy- cluster - kolekce nodů- node - reprezentace serveru

Page 5: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Základní pojmy- index - ekvivalent tabulky- document - záznam v elasticu (JSON)

Page 6: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Základní pojmy- shard - rozděluje index na

menší části- replica - kopie shardu

Page 7: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Ukládání dat

- mapování - určení typů dat a jejich analýza- indexace - proces ukládání dat- ! nelze změnit mapování již uložených dat

Page 8: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Praktické využití 1 - správa logůtypické zadání:

1) několik projektů, různé domény2) 1 velký projekt

běžný postup bez Elasticu:

problém -> reportován problém -> ssh -> brute force hledání

Page 9: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování
Page 10: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Praktické využití 1 - správa logů

Lepší postup:

- ELK stack + Beat + Xpack Alerting/ElastAlert- ELK

- elasticsearch- logstash - předzpracování dat pro elastic- kibana - vizualizační nástroj

- Beat - data shippers (Filebeat)- Xpack Alerting/ElastAlert - reportování

Page 11: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Srovnání přístupu bez a s elasticem

Page 12: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Praktické využití 2 - pokročilé filtrováníTypické zadání:

Najít produkt:

název: Notebook

cena: 10000 - 15000

příslušenství: ssd, wifi, čtečka karet

Page 13: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Praktické využití 3 - fulltextTypické zadání:

1) vyhledávání podle relevance - název vs popis2) vyhledání ve všech tvarech slova3) tolerance překlepů4) našeptávač

Nevhodné zadání:

Pro výraz “ční dat” chci najít “relační databáze” (MySQL LIKE)

Page 14: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Nástroje pro elasticsearch- Logstash, Kibana (ELK stack)- Beats- Xpack- ElastAlert- Cerberos

Page 15: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Kdo elastic používá

Page 16: Elasticsearch - RTsoft s.r.o....Praktické využití 1 - správa logů Lepší postup: - ELK stack + Beat + Xpack Alerting/ElastAlert - ELK - elasticsearch - logstash - předzpracování

Konec první části

DOTAZY?