Sich selbst verstehen Der ELK-Stack in der Praxis

@lxndrpDr. Alexander Papaspyrou

Chief Architect (bis Dezember 2014)adesso mobile solutions GmbH

Leiter IT (ab Januar 2015)adesso AG

#devops#continuousdelivery

„Wir sind führender Anbieter in den Bereichen mobiles Internet, mobile Applikationen und

Mobile Marketing. Namhafte Kunden nutzen unsere Leistungen, um mit dem innovativen mobilen Kanal Neukunden zu gewinnen und bestehende Kundenbeziehungen zu festigen.

–Unternehmenskommunikation

Data Center 2Data Center 1

Data Center 3

DE-Zone US-Zone IN-Zone AU-Zone

VMVMVMVMVMVMVMVMVM

Lastausgleich Failover

Konfiguration

in|MOTION FirstSpirit

Elastizität und Verteilung

Isolation

Globale Verfügbarkeitund örtliche Nähe

Reproduzierbarkeit(“Infrastructure as Code“)

Mandantierung

adesso mobile Cloud Resources

adesso mobile Cloud Platform

Mobile Webseite

Services

Produkte

Inhalte

Lastausgleich Failover

Seitenauslieferung

Datenbankserver

Live-Umgebung

PreviewPreviewin|MOTION PreviewPreviewAnalyse

Die adesso mobile Cloud in Zahlen

• zwischen 50 und 80 Hardwaresysteme, verteilt auf 15 Rechenzentren unterschiedlicher Provider und zwei (demnächst drei) Kontinente

• zwischen 300 und 600 VMs, die etwa 30 verschiedene Applikationen hosten (in der Hauptsache JEE)

• zwei Datenbankcluster (MySQL und MongoDB),beide hochverfügbar

• redundante Auslegung aller Systeme und Komponente, inklusive Lastausgleich und Failover

• zwei Mitarbeiter und ein limonadensüchtiger Azubi

Was wir wollen(wie wir im Nachhinein erfahren haben)

• Mengengerüste

• ca. 40 Mrd. Dokumente, im Volltext indiziert

• ca. 30TB Daten, Zuwachsrate von 200GB/Tag

• ca. 200 Mio. Events pro Tag, bis zu 15.000/s

• Anforderungen

• Verarbeitung in Echtzeit (unter 5s Versatz)

• Live-Ansicht (idR. unter 1s Zugriffszeit)

Was bedeutet Big Data?

Die drei V’s

Der etablierte Zoo

images courtesy W

ikipedia

#monitoringsucks

Scientific breakthrough!Dortmund, November 2014 (reuters). After several years of dedicated research, SREs from several renowned companies have reached an important conclusion: Monitoring sucks. Now, this may come as a surprise to some of our readers, but it’s true. This research has been validated by independent researchers around the world. More importantly, this is no two-bit suckiness we are talking here. This is major league. Sucks with a capital S.

image courtesy The Atlantic / Reuters

ELK?

image courtesy W

ikipedia

–elasticsearch.org

„By combining the massively popular Elasticsearch, Logstash and Kibana we have

created an end-to-end stack that delivers actionable insights in real-time from almost any

type of structured and unstructured data source.“

Der ELK-Stack

analyze (realtime) search

scrub, parse enrich

graphs, charts visualize

Erster Akt anno domini 2012, im Novemberca. 250MB/Tag

syslog

ElasticsearchLogstashKibana

IETF Syslog (RFC5424)

Infrastruktur

Zweiter Akt anno domini 2013, im März ca. 1,5GB/Tag

Logs von Kernsystemen

ElasticsearchKibana

IETF Syslog (RFC5424)

Infrastruktur

Logstash

HTTP

Logstash/JSON

Dritter Akt anno domini 2013, im August ca. 20GB/Tag

Applikationslogs (Fehler)

Elasticsearch

IETF Syslog (RFC5424)

Infrastruktur

Logstash Collector

HTTP

Logstash/JSON

Logstash Indexer

TCP

Elasticsearch Elasticsearch

Kibana

RR-DNS

Vierter Akt anno domini 2013, im Dezember ca. 50GB/Tag

Applikationslogs (Warnungen)

Elasticsearch

syslog

Infrastruktur

Logstash Collector

HTTP

Infra/JSON

Logstash Indexer

TCP

Elasticsearch Elasticsearch

Kibana

RR-DNS

Message Queueing (RabbitMQ)

Apps/JSON

Logstash Indexer

HTTP

...

Fünfter Akt anno domini 2014, im April ca. 100GB/Tag

Proxies

Elasticsearch

syslog

Infrastruktur

Logstash Collector

Infra/JSON

Logstash Indexer

TCP

Elasticsearch Elasticsearch

Kibana

RR-DNS

Message Queueing (RabbitMQ)

Apps/JSON

Logstash Indexer...

Message Queueing (RabbitMQ)

Fünfter Akt anno domini 2014, im April ca. 100GB/Tag

Load Balancer und sonstige Failover/Redundanzsysteme

Data

syslog

Infrastruktur

Logstash CollectorInfra/JSON

Logstash Indexer

TCP

Data

Kibana

Message Queueing (Redis)

Apps/JSON

Logstash Indexer...

Message Queueing (RabbitMQ)

Kibana Kibana

RR-DNS

...

Master

SearchSearchSearch

Master Master

Elasticsearch

Sie.

image courtesy 9G

AG

„Wie bändige ich dieses Monstrum?“

Sich selbst verstehen

Nutzen

Nutzung über die Zeit

Angriffe nach Region

Plattformen im Vergleich

Siebter Akt anno domini 2015 ca. 500GB/Tag (geschätzt)

Performancedaten und Security(BSI 100-2 bzw. ISO27001)

Jenseits von ELK

1 rechts

x MAGAZIN FÜR PROFESSIONELLEINFORMATIONSTECHNIK

Gebäudesteuerung für Heim, Büro und Fabrik:

Strom sparen durch ITTutorial, Praxisbericht, Apples HomeKit

Eclipse-Programmierung:

Schönere Grafiken mit JavaFX und GEF4Open-Source-Cloud:

OpenStack JunoOracle-12-Know-how:

Mehr Speed mit In-MemoryJSON in SQL-AnwendungenSystemverwaltung:

Loganalyse mit freier SoftwareAnspruch und Wirklichkeit:

Faire Hardware-ProduktionVirtual Reality für Entwickler:

Oculus Rift DK2Mobile Security:

Android-Forensik

E-Commerce per Mietlösung:

Onlineshops vom Provider

Tutorial:

3D-Programmierung mit Blender

Teil 3: Spiele programmieren

11NOVEMBER

2014

NOVE

MBE

R 20

14Ge

bäud

este

ueru

ng ●

Geh

oste

te O

nlin

esho

ps ●

Fai

re H

ardw

are-

Prod

uktio

n ●

Tuto

rial:

Blen

der-P

rogr

amm

ieru

ng/I

IIh

Hei

se

€ 6,90 Österreich € 7,40 • Schweiz CHF 10,70Benelux € 8,10 • Italien € 8,10

www.ix.de

ix.1114.001 13.10.14 11:56 Seite 1

#readme

http://www.heise.de/ix/inhalt/2014/11/124/