VMware vForum 2014

Logs schätzen lernen mit Log Insight April 2014

Tomas Baublys Sr. Systems Engineer Enterprise Management

Brauchen wir Logs?

Wie kommt man von einem Baumstamm zum Logbuch?

Baumstämme, Holzscheite Geschwindigkeitsmessung in der Seefahrt

Der Weltraum - unendliche Weiten...

3

Kreislauf der Logs Record

Transmit

Analyze

Alert

Store

Delete

4

Kreislauf der Logs in Wirklichkeit

Record

Transmit

Store

Delete

5

Und wenn man ganz ehrlich ist…

Record Delete

6

Logs sind hässlich 2014-01-30 14:38:12,032 [Thread-57] [iaas-proxy] ERROR com.vmware.vcac.iaas.service.impl.CatalogRequestServiceImpl.failed:384 – Exception during request callback with id a739e6e6-d9fd-411d-a6a7-dd3b4d42a276 for item 8dfc5e04-d6a1-4dbc-91c7-b4418fc0c632. Error Message: [Error code: 42100 ] – [Error Msg: Infrastructure service provider error]dynamicops.api.client.ApiClientException at dynamicops.api.client.ClientResponseHandler.handleResponse(BaseHttpClient.java:291) at dynamicops.api.client.BaseHttpClient$1.handleResponse(BaseHttpClient.java:151) at org.apache.http.client.fluent.Response.handleResponse(Response.java:85) at org.apache.http.client.fluent.Async$ExecRunnable.run(Async.java:80) at java.lang.Thread.run(Unknown Source)

7

Schwer lesbar… doch manchmal informativ Jun 2 09:16:33 vcm01 microsoft-windows-security-auditing[success] 4726 A user account was deleted.��Subject:�Security ID:S-1-5-18�Account Name:VCM01$�Account Domain:VCC�Logon ID:0x3e7��Target Account:�Security ID:�S-1-5-21-1607567019-1933554363-926223851-5418�Account Name:tbaublys�Account Domain:VCM01��Additional Information:�Privileges-

Jun 2 09:16:33 vcm01 puppet[error] 3 /Stage[main]/Main/Node[default]/User[tbaublys]/ensure: change from absent to present failed: User update failed: (in OLE method `SetInfo': ) OLE error code:800708C5 in Active Directory The password does not meet the password policy requirements. Check the minimum password length, password complexity and password history requirements.� HRESULT error code:0x80020009 Exception occurred.�

2014-06-02T07:33:11.248Z ocube1.vcc.vmw Hostd: [3C97CB90 info 'vm:VMHSVigorClientCb: Vigor online client, VM /vmfs/volumes/29ef8e35-d0fe2e24/SEpoolnext-3/SEpoolnext-3.vmx'] has an error: Lost a borrowed connection to the running VMX instance.

8

Die Zeit ist immer wieder ein Problem…

ISO 8601

xkcd.org

9

Warum brauchen wir Log-Management? • Log-Sammlung zentralisieren

– Lokale Logs können durch Ausfälle verloren gehen – Hacker (nette Kollegen) können Logs löschen – Suche in verteilten Logs ist sehr mühsam

• Erweiterung der Überwachung – Erreignisse, die nicht durch Monitoring erfasst werden, können überwacht werden – Benachrichtigungen und Alarme können versendet werden – Schöne und informative Sichten können erzeugt werden

• Schneller Probleme lokalisieren und lösen – Schnelle Suche und Analyse über den ganzen Stack – Maschinelles Lernen erhöht den Überblick – Visualisierungen helfen Probleme zu sehen

10

Log Insight, oder wie ich lernte die Logs zu lieben

Our Vision

Create an intuitive and fast log management

platform for cloud operations that delivers proactive analytics through

machine learning

12

Log Insight delivers the best real-time log management for VMware environments, across physical, virtual, and cloud infrastructure.

13

Benutzeroberfläche mit interaktiven Analysefunktionen

14

Google-ähnliche Suche:

15

Visualisierungen:

16

Feldextraction ohne Reg-Exp-Guru-Wissen

17

Visualisierung extrahierter Felder:

18

Vorgefertigte Management Packs mit Dashboards

19

Zum Beispiel vSphere Security:

CONFIDENTIAL 20

Oder eigene Dashboards:

CONFIDENTIAL 21

Fieber messen mit Log Insight

CONFIDENTIAL 22

Architektur

Funktionen von Log Insight • Bereitstellung als virtuelle Appliance

– Skalierbare Architektur mit Hochverfügbarkeit – Eine Bereitstellung mit sechs Knoten kann pro Sekunde ca. 45.000 Ereignisse bearbeiten

• Unterstützung von Microsoft Active Directory

• Protokollannahme über Syslog oder RESTful API – Sämtliche Syslog-Agenten können Protokolle an Log Insight übermitteln – Abgespeckter Windows-Agent zur Protokollübermittlung erhältlich

24

Funktionen von Log Insight • Archivierung zwecks langfristiger Datenaufbewahrung

• Dashboard mit zahlreichen Funktionen – Von Experten für wichtigste Anwendungen und Geräte entwickelte Dashboards (Content-Pakete) – Individuelle Dashboards können hinzugefügt und gemeinsam mit anderen genutzt werden – Aussagekräftige Abbildungen – Neue Datenfilter können im Nu hinzugefügt werden – Wechsel zwischen Dashboard-Widgets

• Native Unterstützung von VMware-Produkten – Einfache Konfiguration von ESXi-Hosts – Interaktive Funktionen von vCenter Operations Manager

25

Widerstand ist zwecklos…

Cloud / Data Center

Log Insight

OS Logs

VMW Logs

App Logs

Hardware Logs

SaaS Logs

API Syslog

26

Skalierbare Architektur mit Hochverfügbarkeit für die Aufnahme

Load Balancer (UDP & TCP)

Protokollmeldungen (Syslog:514 und HTTP:9000)

Worker-Knoten von Log Insight

Master-Knoten

Webbenutzeroberfläche/Abfrage (HTTP:80)

Syslog (TCP/UDP:514)

CFAPI (HTTP:9000)

27

Log Insight erkennt Strukturen proaktiv

Log Insight lernt proaktiv:

aus:

durch die Lernfähigkeit des Systems

Anschließend Abfragemöglichkeit wie bei Datenbanken

28

Aus 18 Millionen… werden

29

wenige Event-Typen:

CONFIDENTIAL 30

Windows-Agent

Erfassungs-Framework und API • REST-basierte HTTP-API

– Zur Übermittlung von Protokollereignissen an Log Insight – Zur Abfrage von Konfigurationsdaten durch Clients – Alle Vorteile einer HTTP-API (Komprimierung, Proxys,

anwenderfreundlich usw.)

• Windows-Agent – KLEINE GRÖSSE: 3,5 MB RAM und 0,4% eines CPU-Kerns bei 100 Ereignissen/Sek. – Bereitstellung durch standardmäßiges Windows-Management (.msi) – Überwacht Ereignisse in Windows – Überwacht Textdateiprotokolle (z. B. tail –f bei Unix/Linux)

32

Why Log Management? (cont’d)

• Gain Insights about your Infrastructure – Who is doing what when – Track transactions across components through the logs

• Gain Insights about your application – Search & visualize application transaction traces – Visualize and monitor transaction usage – Look for patterns and anomalies

33

Why Log Insight?

• Best for VMware by VMware – Optimized for vSphere logs, vSphere analytics are built in – Automatic ESXi configuration for collection – Integration with vCenter Operations – VMware experts have curated troubleshooting dashboards

• Simple & predictable pricing model

• Very easy to deploy, intuitive to use, incredibly fast

34

Das Sonnensystem: vCenter Operations Manager

vCenter Operations Manager

Log Insight* • Logs • Events

Configuration Manager • Compliance • Changes

Infrastructure Navigator • Relations • Dependencies

Hyperic HQ Monitoring • OS Data • Application Data

35

vCenter Operations und Log Insight Alle IT-Daten zentral im Blick

• Intelligente Abläufe durch prädiktive Analyse sämtlicher maschinengenerierter Daten • Richtlinienbasierte Automatisierung ermöglicht proaktives Management und automatisierte Fehlerbehebung • Einheitliches Management schafft umfassenden Überblick an zentraler Stelle von vSphere

auf Hyper-V, AWS und die physische Infrastruktur

Strukturierte Daten Messwerte Benach-

richtigungen Ereignisse

VMware vCenter Operations Kapazitäts-, Performance- und

Konfigurationsmanagement Ereignisse

Kontextbe-zogener Start

Unstrukturierte Daten Logs Meldungen

VMware vCenter Log Insight Log-lanalyse, Aggregation und Suche

Public Cloud

36

VMware Cloud Ops = vCenter Log Insight & vCenter Operations • VMware Cloud Operations

– Log Insight & vC Ops ergänzen sich – “Best of Breed” für Performance,

Capacity & Configuration Management – Enge Integration -> Nahtloser Übergang

von Monitoring zum Troubleshooting – vC LI & vC Ops -> komplette Lösung

für Cloud Operations Management

37

Integration mit vCenter Operations Manager

Automatisierte Korrelation von Performance & Log Daten (benötigt vCenter Operations Advanced oder Enterprise)

38

Konfiguration der Alarme

39

Log Insight Management Packs

Solutionexchange: Log Insight Content Packs • https://solutionexchange.vmware.com/store/loginsight

41

Solutionexchange: Log Insight Content Packs • https://solutionexchange.vmware.com/store/loginsight

42

Solutionexchange: Log Insight Content Packs • https://solutionexchange.vmware.com/store/loginsight

43

Weiterführende Verweise: • www.vmware.com/go/try-log-insight

• Expert Community – Post feature suggestions – http://loginsight.vmware.com/

• Blogs: – http://sflanders.net/tag/log-insight – http://wiegehtdasmitdemcloud.de/category/loginsight

• http://www.informationweek.com/cloud/infrastructure-as-a-service/vmware-machine-learning-helps-spot-trouble/d/d-id/1269234

CONFIDENTIAL 44