Umsetzung von BI-Lösungen mit Unterstützung einer Suchmaschine

6. Workshop Open Source Business Intelligence

05.03.2015

Tobias Kraft, exensio GmbH

2

Agenda

Elasticsearch

BI-Stack mit Elasticsearch

Umsätze Pharma

Suchmaschinen

3

Funktionen einer Suche

Suchmaschinen

Blätterung Sortierung

Facettierung

Unstrukturierte Suche

Strukturierte Suche

Highlighting

Autocomplete

Did you mean Synonyme

4

Für Suchmaschinen gibt es viele Einsatzszenarien

Volltextsuche

Speicher

Cache

Geo-Suche

Logfile-Analyse

Analytics

Suchmaschinen

5

Speichern von Daten in einer Suchmaschine

Document Analyzing Aufbau Struktur

Suchmaschinen

6

Elasticsearch im Überblick

● Suchmaschine unter Apache 2 Open Source License

● Erstes Release 2010

● Basiert auf Java

● Basiert auf Lucene

● JSON-API

● Schemalos

● Plugins

● Runterladen und loslegen

● Im Trend

Elasticsearch

7

Große Datenmengen über Shards verwalten

Elasticsearch

Node 1

otcdrug

document

1

1 2

3 4

Replica: 0

Replica: 0

8

Elasticsearch

Node 1

otcdrug

document

Node 2

otcdrug

document

1

1 2

3

1‘

4

Replica: 1

Replica: 0

Neuer Knoten im Cluster

Große Datenmengen über Shards verwalten

9

Elasticsearch

Node 1

otcdrug

document

Node 2

otcdrug

document

Node 3

otcdrug

document

1

1 2

3

1‘

4

1‘ 2‘

3‘

Replica: 0

Replica: 1

4‘

Neuer Knoten im Cluster

Große Datenmengen über Shards verwalten

10

Aggregationen - Buckets und Metrics

Elasticsearch

Metrics ● Anzahl

● Summe

● Min / Max / Average

● Varianz

● Perzentile

Buckets ● Terme

● Ranges

● Histograme

● Geo-Distanz

http://mrg.bz/Nn57cJ http://mrg.bz/lQNZFq

11

Aggregationen für Analysen

Elasticsearch

12

Aggregationen für Analysen

Elasticsearch

13

BI mit Elasticsearch

BI-Stack mit Elasticsearch

Eigene Loader mit

ES-Client (Bsp. SpringBoot)

Implementierungen für

• JDBC

• CSV

• …

Logstash

Eigene Visualisierung

Analyse ETL Speicherung / Berechnungen

14

Datentransport mit Logstash

BI-Stack mit Elasticsearch

● Event Processing Engine

● Optimiert für Log-Dateien

● Pipeline-Prinzip ● Input (50+)

● Filter (60+)

● Output (75+)

input filter output

date{…}

elasticsearch

rename{…}

grok{…} file

15

Visualisierungen mit Kibana

BI-Stack mit Elasticsearch

● Aktuelles Release: Kibana 4

● Browserbasierte Visualisierung von Daten ● Abfragen über JSON an ES

● Aufbereitung über ● Discover

● Visualize

● Dashboards

16

Eigene Analyse-Komponenten sind einfach zu erstellen

Darstellung der JSON-Rückgabewerte von ES auf Basis von JavaScript

BI-Stack mit Elasticsearch

17

Marktanalysen Pharmamarkt – Starschema

Umsätze Pharma

18

Marktanalysen Pharmamarkt – Suchmaschine

Umsätze Pharma

19

Marktanalysen Pharmamarkt – Suchmaschine

Umsätze Pharma

20

DrillDown des SellIn von Firma, Business Unit und Linie

Umsätze Pharma

21

DrillDown des SellIn von Firma, Business Unit und Linie

Umsätze Pharma

22

DrillDown des SellIn von Firma, Business Unit und Linie

Umsätze Pharma

23

Donat-Diagramm für SellIn auf BU-und Linien-Ebene

Umsätze Pharma

24

Visualisierung von Aggregationen mit einer Tabelle

Umsätze Pharma

25

Competitive Intelligence als weiteres Einsatzszenario

Beispiel Shop/Handel: Mapping bspw. über den Weinnamen, falls keine eindeutige ID wie EAN Code vorhanden ist

26

Fazit ● Aggregationen ersetzen Dimensionen

im Star-Schema

● Near Realtime

● Leichtgewichtig

● Kostengünstige Alternative

● Einfach zu integrieren und erweitern

● Kombinierbar mit Vorteilen von Suchmaschinen

● Matching

● Unstrukturierte Daten

Partner:

Fragen?

Vielen Dank!

http://blog.exensio.de

@tokraft