VERSLO ANALITIKOS ATEITIS Aleksej Kovaliov, BDC programavimo centro direktorius

2013 05 30

© Back to the Future movie

VERSLO ANALITIKOS ATEITIS

Kodėl?

3

2015 metai

4.4M IT darbo vietų, susijusių su BIG DATA

iš jų 1.9M x 3 = 6M JAV Peter Sondergaard, Sr VP at Gartner and global head of Research

http://www.gartner.com/newsroom/id/2207915

Jau dabar

4

http://ec.europa.eu/digital-agenda

BIG DATA ir OPEN DATA - strateginė ES investavimo kryptis http://data-forum.eu/

Svarbiausias metinis ES duomenų ekonomikos renginys

5

http://www3.lrs.lt/pls/inter/w5_show?p_r=8861&p_k=1

O dar kodėl?

6

© Thierry Gregorius, http://www.flickr.com/photos/t_gregorius/5839399412/

© Minority Report movie

ATEITIS

DABARTIS

MPP

NoSQL

Hadoop MapReduce

BIG DATA

FAST DATA

OPEN DATA

Keičiasi duomenų bazių karta

9

90% per 2 metus

10

Labai daug duomenų

90% duomenų sugeneruota per pastaruosius 2 metus

Techninės platformos pinga

Debesų platformos tampa įprastu dalyku

http://www.sciencedaily.com/releases/2013/05/130522085217.htm

Duomenys ateina iš visur

11

Internetas kiekvienoje kišenėje

Socialinių tinklų rinkos ir revoliucijos

E-valstybės

Protinga energetika 20/20/20

Protingi daiktai...

Defragmentuoti dividualai

12

Tradiciniai segmentai nustoja galioti

Personalinės informacijos gausybė

E-Sociumai

1 žmogus : N personų

Karaokė

13

Apimčių santykis

Apimties augimo greičio

santykis

NE-interneto ir NE-gigantai einam tuo pačiu keliu

Išmetam duomenis = Išmetam pinigus

14

Prarandame duomenis, nes „netelpa“

Nebandome moksliškai tyrinėti

Nežinome savo tikrų klientų, aplinkos, istorijos

Ignoruojame „baltą triukšmą“

15

BIG DATA OPEN DATA HADOOP NOSQL FAST DATA MPP

BIG DATA

16

Duomenų kiekiai, kuriuos tikrai sunku apdoroti įprastomis priemonėmis (Wikipedia)

V. V. V.

Volume – 100-ai Tbytes, Pbytes ...

Velocity –„Duomenų srovė“, FAST DATA

Variety – Struktūriniai / ne / pusiau

Nuodėmė#8: ne kaupti, o juolab, trinti duomenis

OPEN DATA

17

Duomenų viešinimas pakartotinam panaudojimui

Žali duomenys, skirti ne žmogui, o mašinai

Nemokamos licencijos

LINKED OPEN DATA: Semantinis atvirų duomenų tinklas

Strateginė ES kryptis

http://open-data.europa.eu/

http://data.gov.uk/

Lietuvoje užuomazgos

http://opendata.gov.lt/

http://data.ukmin.lt/

OPEN & BIG, BIG & OPEN?

18

Ne tas pats

BIG Technologijos

OPEN Teisiniai klausimai, standartizacija, procesai

Tačiau

BIG DATA technologijos gali būti taikomos OPEN DATA

OPEN DATA gali išaugti iki BIG

OPEN & BIG PAVYZDŽIAI1

http://www.buildingsdata.eu/

19

OPEN & BIG PAVYZDŽIAI2

20

HADOOP

21

Paskirstyta failų sistema su replikavimu ir Java dorokliais

Palaiko milžiniškas duomenų apimtis ir failų dydžius

Daugybė atviro kodo ir komercinių versijų

MAP-REDUCE

22

„Pasidaryk pats“ Java dorokliai failams

Kai kurie Hadoop numato SQL

MPP - Massive Parallel Processing

23

VERSLO ANALITIKOS ATEITIS

DABARTIS

Įprasta verslo analitika

25

Nauja verslo analitika

26

Verslo analitika Duomenų mokslas

27

Duomenų verslo brandos lygiai

28

© Bill Shmarzo https://infocus.emc.com/william_schmarzo/the-4-ms-of-big-data/

Tradicinės verslo analitikos lūžio taškas

Pranašystės

29

1. Esamų BI sistemų papildymas duomenų rezervuarais

2. Gamybiniai duomenų mokslininkų padaliniai

3. Verslo analitikos platformos, kaip paslauga (aaS)

4. Prognozinės analitikos plėtra operatyvinėse sistemose

5. Atvirų duomenų pajungimas į verslo analitiką

6. „Balto triukšmo“ standartizacija

1. Duomenų rezervuarai

30

2. The Sexiest Job of the 21st Century©

31

http://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/

Duomenų mokslo gamybos ciklas

32

Praeitis

33

Idėjos ir charizma

Ateitis

34

Faktai ir mokslas

3. Platformos As-A-Service

35

4. Prognozinė analitika gali būti visur

36

Modeliai, įkomponuoti į „kasdienes“ IS:

• Prekyba: Individuali prekių pasiūla

• Prekyba: Kainų optimizacija

• Telco: Abonento išėjimo rizikos eskalavimas

• Telco, Gamyba: Avarijos pavojaus aptikimas

• Gamyba: Atsargų pirkimo optimizavimas

• Gamyba: Išteklių švaistymo aptikimas

• Kiber-saugumas: Botnetų identifikavimas tinkle

• Finansai: Sukčiavimo prevencija

• Medicina: Epidemijos pavojaus eskalavimas

• . . .

5. Atvirų duomenų pajungimas

37

http://linkeddatabook.com/editions/1.0/

2015: ^N 2013: *N 2010:

Duomenų rezervuarai IN-OUT

38

http://linkeddatabook.com/editions/1.0/

6. Standartizacija

39

Terminai ir klasifikavimas

„Sidabrinės kulkos“ nebus

Architektūros parinkimo faktoriai:

• Priimam ar publikuojam

• Saugom ar skaičiuojam

• Transakcionalumas

• Vėlavimas

• Srauto pastovumas

• Vizualizavimas

• Saugumas

• Privatumas

• ...

40

0. Nauja DB technologijų ir architektūros karta

1. Esamų BI sistemų papildymas duomenų rezervuarais

2. Gamybiniai duomenų mokslininkų padaliniai

3. Verslo analitikos platformos, kaip paslauga (aaS)

4. Prognozinės analitikos plėtra operatyvinėse sistemose

5. Atvirų duomenų pajungimas į verslo analitiką

6. „Balto triukšmo“ standartizacija

© Back to the Future movie

Po 7 metų visa tai bus JUST DATA