Globaler Überblick - magellan netzwerke GmbH...• Splunk ist eine plattformunabhängige Software • Splunk ist eine Suchmaschine für ASCII basierte Daten • Splunk wertet ihre

© 2013 magellan netzwerke GmbH

| Globaler Überblick

Referent / Redner Benjamin Tiggemann

Folien Chart 2

© 2013 | magellan netzwerke GmbH

Überblick

Agenda

1. Die Herausforderung2. Was ist Splunk?3. Die Architektur von Splunk4. Neuerungen in Splunk Enterprise Version 55. Auszug aus unseren Case Studies

Folien Chart 3


Überblick

Die Herausforderung

Folien Chart 4


Überblick

Anforderungen an die Maschinendatenanalyse in der Zukunft:BIG DATA

Splunk storage Hadoop or other storage

Data collection

and indexing

• Zunehmende maschinelle Erzeugung von Daten

• Laut Berechnungen verdoppelt sich das weltweite Datenvolumenalle 2 Jahre

• BIG DATA als treibender Faktor für IT-Investitionen

• Auswertung und Korrelation von BIG DATA als Chance zurGewinnoptimierung

Folien Chart 5


Überblick

einheitliche Anforderungen – untersch.Lösungen

Applikation

Management

Datenbank

Management

System

Management

Network

Management

Analytics

Applikationen Datenbanken Server Anwender Web / Cloud

Folien Chart 6


Überblick

Eine Lösung, die Ihre Daten korreliert!

Applikation

Management

Datenbank

Management

System

Management

Network

Management

Analytics

Applikationen Datenbanken Server Network/

Devices

Anwender Web / Cloud

Folien Chart 7


Überblick

Was ist Splunk?

Folien Chart 8


Überblick

Sammeln, Verarbeiten und Nutzen Ihrer Maschinen erzeugten Daten zur Identifizierung von Problemen, Risiken und Chancen um bessere Entscheidungen für IT und Business

zu treffen.

Splunk’s Mission

Folien Chart 9


Überblick

Unternehmensdaten Splunk (NASDAQ: SPLK)

Gründung 2004

Firmensitz San Francisco, CA

Mitarbeiter 600 in 12 Ländern

Niederlassungen

Nordamerika, EMEA (London), APAC (Honkong)

Kunden 4.400++

Anwender 1.000.000 in 75 Ländern

Umsatz $120 Mio. (2012)

Folien Chart 10


Überblick

Was ist Splunk nun genau?

• Splunk ist eine plattformunabhängige Software

• Splunk ist eine Suchmaschine für ASCII basierte Daten

• Splunk wertet ihre Daten automatisch aus und stellt sie grafisch dar

Folien Chart 11


Überblick

Die Architektur von Splunk

Folien Chart 12


Überblick

Collection

Indexing

Search

Core Functions

Access

Controls

Stats/

AnalyticsAlerts DashboardsReports

Apps and Solutions

Application

Monitoring

SDKUser Interface APIs

IT

OperationsSecurity Compliance

Business

Analytics

Web

Intelligence

Architektur und Vorteile von Splunk

• Echtzeit Indizierung der Daten• Echtzeit Dashboarding• Echtzeitalarmierung (Email, Script, etc.)• Multiline Support• Mandanten Fähigkeit (LDAP, AD)• Mechanismus zum Auswerten von

Langzeitdaten (Compliance)• Keine Datenbank

Folien Chart 13


Überblick

Datenbankbasierte Lösungen

Folien Chart 14


Überblick

Splunk Lösung: Flat File, Kein Schema

Folien Chart 15


Überblick

Wie werden die Daten verarbeitet?

…ermöglicht akkurate Suchen

und Trends über sämtliche

Daten

Automatisierte Ereignisabgrenzung

Automatisierte Erkennung der

Zeitstempel

Folien Chart 16


Überblick

...ermöglicht Bollean Suchen auf jedem Ausdruck im Originalereignis

Segmentierung & und genaue Indexierung

jedes Ausdrucks


Folien Chart 17


Überblick


Folien Chart 18


Überblick

Wie gelangen die Daten in Splunk?

Agent and Agent-less Approach for Flexibility.

18

perfperf

shellshell

codecode

Mounted File Systems\\hostname\mount

syslogTCP/UDP

WMIEvent Logs Performance

Active

Directory

y

syslog compatible hosts

and network devices

Unix, Linux and Windows hosts

Windows hosts Custom apps and scripted API connections

Local File Monitoringlog filesconfig files

dumps and trace files

Windows InputsEvent Logs

performance counters

registry monitoring

Active Directory monitoring

virtual

host

Windows hosts

Scripted Inputsshell scripts custom

parsers batch loading

Agent-less Data Input Splunk Forwarder

Folien Chart 19


Überblick

Indexing/Search

Server

Splunk Forwarders

Universal Forwarder sendet Daten

von entfernten Systemen zum Splunk-

Indexer

Verbraucht minimale Systemressourcen

(1%-2%)

Bietet Caching, Verschlüsselung und

Loadbalancing der Daten an

Folien Chart 20


Überblick

Eine Splunk Installation kann eine oderalle Funktionen

abbilden…

Indexing and Search Services (Indexer)

Local Management (Deployment Server)

Data Collection and Forwarding (Forwarder)

Bestandteile der Software

Search and Reporting (Search Head)

Folien Chart 21


Überblick

Lastverteilte Suchen und Indexierung für gewaltige Skalierungen

Forwarder

mit Auto Load

Balancing

Search Head

Horizontale Skalierbarkeit

Indexers

Folien Chart 22


Überblick

Klonen der

Daten

Weiterleitung an Data Repository

Aktiv Standby

Datenredundanz

Aufteilung der Suchen auf mehrere

Search Heads ebenfalls möglich

Folien Chart 23


Überblick

High Availability

Folien Chart 24


Überblick

Lizenzierung

• Lizensiert wird das tägliche Logvolumen das Splunk indizieren muss

• Staffelung von mindestens 500 MB bis zu X Terabyte pro Tag

• Größter Kunde indiziert aktuell >100 Terabyte pro Tag

• Lizenzverletzung führt NICHT zum Abschalten des Systems

• Suchfunktion wird eingeschränkt

Folien Chart 25


Überblick

Freie Enterprise Test-Version Indexed 500MB/Tag

• Testlizenz läuft nach 60 Tagen ab

• Trial Lizenzen über 500MB/Tag können über Partner

angefordert werden

• Wird zur freien Lizenz

Folgende Features sind in der freien Lizenz nicht enthalten

• User-Rollen und Authentisierung mehrer User

• Auslagern der Suchfunktion auf dediziertes System

(distributed search)

• Weiterleiten von Daten zu 3rd Party Systemen

• Konfigurationsverwaltung (deployment server)

• Zeitgesteuerte Suchen und generelle Alarmierungen

Weitere Lizenzen

• Enterprise, Forwarder, Trial, kostenpflichtige APPS (über 350

kostenlose Apps in Lizenz enthalten)

Lizenzierung

Folien Chart 26


Überblick

Problem Investigation

Zentralisiertes Lizenz-Management

Folien Chart 27


Überblick

“How to get started”

Damit Splunk auch Spaß macht:.

• Log-Events sind zeitabhängig -> dies setzt eine einheitliche

NTP / Zeit-Infrastruktur voraus

• Planen Sie ausführlich• Welches Datenaufkommen habe ich am Tag?

• Wie lange möchte ich die Daten vorhalten? 1 Tag? 1 Jahr?

• Wie viele User arbeiten gleichzeitig mit Splunk?

Folien Chart 28


Überblick

Referenz Server

• Dual quad-core/6-core machines at ~2.5 GHz• 16 GB RAM• For indexers: 4x10K local SAS drives inRAID 10 (800+ IOPs) <- most important

• Variations in type of server and level of usage govern number ofmachines needed

Wäre ausgelegt für:100 GB Indexing pro Tag (Indexer)oder10 bis 12 gleichzeitigen Suchen (Search head)

Folien Chart 29


Überblick

Wie viel Speicherplatz wird benötigt?

Das hängt ab von:

•Wie lange möchte ich meine Daten vorhalten?•Wie groß ist mein tägliches Datenvolumen?•Splunk komprimiert die eingehenden Daten ca. um 50%

Beispiel:Ein Kunde möchte seine Firewalldaten (4 GB/Tag) ein Jahr lang vorhalten

Benötigter Storage* = 4GB * 0,5 * 365d = 730 GB

*ohne Summary-Indexing

Folien Chart 30


Überblick

“Add Knowledge” Unterstützung Dank App-Technologie

Apps…• Helfen dabei die Daten zu “normalisieren” (Bildung von Key

Value Pairs)

• Stellen vordefinierte Suchen, Dashboards, Reports, etc. bereit

• Bilden Schnittstellen zu anderen Lösungen wie z.B. Hadoop

• Sind frei und zum größten Teil kostenlos* verfügbar unter

http://splunk-base.splunk.com/apps

*Aktuell wird ein Konzept zur Monetarisierung der Apps entwickelt

Folien Chart 31


Überblick

EigeneApps von Splunk

Splunk for Enterprise Security wurde als beste SIEM App ausgezeichnet.

splunkbase.com

QUICK WIN

Folien Chart 32


Überblick

Über 320 Apps unterhttp://splunk-base.splunk.com

Folien Chart 33


Überblick

Folien Chart 34


Überblick

Neuerungen in Splunk Enterprise Version 5

Folien Chart 35


Überblick

Splunk 5

EnginePlatform1 2 3

Tool

4 4.1 4.2 4.35

“Google for the

datacenter”

“Engine for machine-

generated data”

“Platform for operational

intelligence”

Folien Chart 36


Überblick

Zielsetzungen für Splunk Enterprise 5

Verbesserung und Beschleunigung der Dashboards und des Reportings

Hochverfügbarkeit mit Standard-Hardware

Anwender Plattform, API, SDK, Big Data Integration

Folien Chart 37


Überblick

Verbesserung des Reportings und des Dashboardings

• Unterstützung mobiler Devices (Ablösung von Flash)• Erweiterung der Drilldown-Funktion aus einzelnen Charts per „Field-

Basis“• Integration eines PDF-Generators zum automatischen Generieren

und Versenden von Reports • Suchen können Beschleunigt werden (neuer Summarization

Algorithmus)

Folien Chart 38


Überblick

Hochverfügbarkeit mit Standard-Hardware

Splunk Universal

Forwarder Pool

Constant Uptime

Indizierte Daten werden auf mehrere Indexer repliziert

Ein Ausfall eines oder mehrerIndexer kann damit abgefangenwerden

Daten können aus mehrerenIndexern ausgelesen werden

Durch Parallelisierung erhöht sichdie Performance

Datenintegrität ohne SAN möglich

Index Replication

Folien Chart 39


Überblick

Modularität, Kompalibilität, Erweiterbarkeit

• Vereinfachung der Generierung neuer Inputs durch Installation der Inputs als Apps

• Bereitstellung neuer modularer Inputs z.B. für Twitter, Amazon S2, FTP

• Anbindung neuer Inputs durch REST API

Folien Chart 40


Überblick

Anbindung von 3rd Party Big Data Lösungen

>>

>>

Real-time Collection and

Analysis

Dashboards, Reports,

Access Controls

>>

• Reliable Data Export

• Index Hadoop Data

Splunk App for HadoopOps

• Troubleshoot, monitor and analyze

end-to-end Hadoop environment

Folien Chart 41


Überblick

Entwicklungsschnittstellen

Erweiterung der SDKs

Available SDKs

Python Beta

Java Beta

JavaScript Beta

PHP Public Preview

Shipping with Splunk Enterprise 5

JavaScript SDK

Versioned API

JSON Everywhere

41

Folien Chart 42


Überblick

Auszug aus unseren Case Studies

Folien Chart 43


Überblick

case studies by magellan – Splunk im VoIP Umfeld

VersicherungsbrancheUmgebung: Heterogene VoIP Infrastruktur auf Asteriskbasis>2000 Endgeräte, diverse Hersteller für Gatekeeper, Mediagateways etc.

Anforderung:• Call-Nachverfolgung über die gesamte Topologie• Vereinheitlichen der Rufnummern• Darstellung des Calls nach Suche durch From oder To-Rufnummern• Erkennung von Fehlverhalten wie z.B. Verbindungsabbrüchen

Folien Chart 44


Überblick

case studies by magellan – Splunk im Datacenter Mailhosting

IT-Dienstleister (magellan)Umgebung: Redundante Data-Center-Infrastruktur für HostingservicesMailhosting-Infrastruktur mit Fortinet Mail-Security, Zertifikon und MS Exchange, Handling von über 4 Mio. Mails pro Tag

Anforderung:• Nachverfolgung des Mailflows via From, To, Betreff etc. • Security-Analyse des Spam- und AV-Aufkommens• Kapazitätsplanung• Kundenabrechnung

Folien Chart 45


Überblick

Internationales HandelsunternehmenUmgebung: Mehrere Datacenter mit virt. & phys. Servern, Diverse Betriebssysteme und Citrix Xenapp

Anforderung:• Inventarisierung aller aktiven Server „online“ und in Historie • Überwachung der Citrix-Umgebung, z.B. Anzahl Server, Anzahl

Sessions, Errors etc.• Inventarisierung des AD, z.B. Anzahl Benutzer, Objekte und deren

Status• VMWare und Logging, Monitoring

case studies by magellan – Splunk im Datacenter

Folien Chart 46


Überblick

case studies by magellan – Splunk im Firewall-Umfeld

Führendes MedienunternehmenUmgebung: Weltweites Netzwerk zum Austausch von Nachrichten, Videos, etc.Stellt Kunden Daten bereit, Absicherung des Netzwerks mittels FortinetFirewalls

Anforderung:• Überwachung des Informationsflusses • Überwachung und Abrechnung der Bandbreitennutzung innerhalb des

Netzwerks• Erkennung von Sicherheitsvorfällen wie Botnetz-Kommunikation

Tätigkeiten:Erstellen von Dashboards zur Berechnung des Datenflusses, Korrelation der Firewall-Logs mit externen Botnetz-Datenbanken

Folien Chart 47


Überblick

FIN

Documents

Globaler Überblick - magellan netzwerke GmbH...• Splunk ist eine plattformunabhängige Software • Splunk ist eine Suchmaschine für ASCII basierte Daten • Splunk wertet ihre