Big Data kohtaa Master Datan

Talent Base Oy

Nino Ilveskero, osakas

13.3.2013

Talent Base - Getting the Best out of IT

Luomme asiakkaillemme kilpailuetua suunnittelemalla parhailla

menetelmillä tarkoituksenmukaisia IT-ratkaisuja.

1 Strategia

2 Prosessit

3 Ratkaisusuunittelu

Palvelualueemme

Yksittäisestä sovelluksesta kokonaisuuden hallintaan

Avaintiedon

hallinta

(MDM)

Sisällönhallinta (ECM)

Asiakkuudenhallinta

(CRM)

Verkkokauppa

Sähköiset palvelut

Sisältö

• Johdanto

• Tiedon laatu

• Master Data apuna Big Datan hyödyntämisessä

• Laillisuusnäkökulma

• Yhteenveto

Johdanto

Big Datan määritelmä tämän esityksen

puitteissa

• Big Dataa voidaan kuvata kolmella V:llä: Volume (Määrä), Velocity

(Nopeus), Variety (Vaihtelevuus)

• Tiedon hyödyntämistä vaikeuttaa rakenteen puuttuminen ja puutteet

laadussa sekä sisällön ymmärrettävyydessä

Master Datan määritelmä

• Master Data on (staattista) koko organisaation toiminnalle

keskeistä ja jaettua tietoa, jolla on yhteisesti sovittu rakenne,

sisältö ja merkitys.

• Tyypillisiä avaintietoja: – Toimijat (asiakkaat, henkilöstö, toimittajat, kumppanit)

– Paikat (toimipisteet, myymälät, markkina-alueet)

– Asiat (tuotteet, palvelut, kiinteistöt, omaisuus, sopimukset)

Master Data Managementin (MDM)

määritelmä

Kokoelma sovittuja vastuita, prosesseja ja työkaluja, joiden avulla kuvataan

sekä hallitaan organisaation toiminnan kannalta keskeisiä tietosisältöjä ja

varmistetaan niiden laatu.

Datakerrokset

METADATA

REFERNSSI DATA

MASTERDATA

TRANSAKTIODATA

BIG DATA

Datan määrä

Semantiikka, datan staattisuus

ja uudelleen-käytettävyys

Sensoridata, verkkopalvelun lokitietoa, twiittejä…

PÄIVÄMÄÄRÄFORMAATTI, OSOITESTANDARDI... (DDMMYYYY)

MAALISTA, TOIMISTUSLAUSEKKEET... (Fin;Swe;UK;Rus)

MATERIAALI, TUOTE, ASIAKAS...

(Talent Base;Y-tunnus 21574644)

MYYNTITILAUS, TOIMITUS... (order-number;7756365)

Big Datan hyödyntäminen yleistyy

How big is big data adoption – Talend. Kyselytutkimus tehty kesäkuussa 2012, 231

vastaajaa EMEA ja Pohjois-Ameriikan alueelta.

• 41%:lla yrityksistä on Big Data strategia. Big Datan käyttöönotto etenee.

• 48% Big Data hankkeista on liiketoiminnan ja 39% IT:n johtamia.

• Niistä, joilla ei ole Big Data strategiaa 76% kertoi syyksi sen, että he eivät erottele

Big Dataa muusta yritystiedosta.

• 62% vastaajista sanoi, että he ovat saavuttaneet liiketoimintahyötyjä. Näistä 28%

liittyi liiketoimintaprosessien tehostamiseen ja 24% liittyi myynnin ja markkinoinnin

tehostamiseen.

Lähde: http://www.talend.com/resources/whitepapers/how-big-is-big-data-adoption

Big Datan lähteet

Lähde: Talend survey 2012

Walmart käsittelee ja tallentaa yli miljoona asiakastapahtumaa joka tunti.

Esimerkki vähittäiskaupasta

Lähde: Talend survey 2012

Esimerkki lentoliikenteestä

Hype hälvenee ja palataan perusasioiden

äärelle

Yritykset tulevat oivaltamaan, että “big data” tarkoittaa

kaikkea heidän tietoa.

Forrester, Big Data Predictions for 2013, Jan 2, 2013

http://blogs.forrester.com/mike_gualtieri/13-01-02-big_data_predictions_for_2013

Tiedosta ymmärrykseksi

Data Information Knowledge

Big Muuttuuko mikään?

Tiedon laatu

Määrä ei korvaa laatua

Huono datan laatu + Big Data = Isoja ongelmia

Huono datan laatu * Big Data = Isoja ongelmia^2

Tiedon laatuvaatimukset riippuvat aina käyttötarkoituksesta.

Big Datan laadun varmistaminen on yleensä huomattavasti vaikeampaa kuin master datan.

MDM Big Datan laadun varmistamisessa

• Käytä master dataa laadukkaan ja standardoidun tiedon

lähteenä

• Sovella master datan hallinnan periaatteita Big Dataan

– Elinkaari

– Omistajuus

• Hyödynnä samoja data quality työkaluja ja periaatteita

– Määritä laatukriteerit

– Estä huonolaatuisen datan pääsy prosessiin

– Käytä samoja työkaluja

• Valitse sellaiset työkalut, jotka pystyvät käsittelemään isoja määriä ei-

rakenteista dataa

– Yksinkertainen esimerkki http://www.youtube.com/watch?v=NKwotbwCg78

Master Data apuna Big

Datan hyödyntämisessä

Miksi Master Data ja Big Data pitää

käsitellä kokonaisuutena?

• Mikäli Big Dataa (analyysituloksia) ei voida yhdistää osaksi oman

organisaation kontekstia, esim. tuote- tai asiakastietoja, niin se jää helposti

irralliseksi ja kertaluonteiseksi toimenpiteeksi.

• Olemassa olevia MDM-toimintamalleja voidaan hyödyntää myös Big

Datassa

– Tietomallit (rakenne & merkitys)

– Prosessit ja hallintamalli (governance)

– Laadun varmistus ja parantaminen

• MDM luo organisaatiolle yhteistä kieltä ja käsitteistöä. Asiakas pitää olla

asiakas myös Big Datassa.

• Molemmat ovat osa isompaa EIM (Enterprise Information Management)

sateenvarjoa.

Ilman tiedon rakennetta ja merkitystä Big

Datan käyttö voi olla samanlainen

kokemus kuin juominen paloletkusta.

Big Datalle tarvitaan merkitystä ja

rakennetta

SYNERGIA

Viitekehys

* = volume, velocity, variety

MDM

Governance Prosessit

Liiketoiminta-hyötyä Big

Datasta

Kolmen V:n* hallinta

Tiedon merkitys ja rakenne

Tiedon laatu

Organisaation osaaminen

SoMe

Mobiililaitteet

Transaktiot

Verkkolaitteet

Sensorit

Datojen kohtaaminen

…

Big Data

Rakenteinen data Ei rakenteinen data

Miten yhdistää? SoMe

Mobiililaitteet Analysointi

Tulosten yhdistäminen

Transaktiot

Sensorit

…

Suora datan

yhdistäminen

Business

Analyst

Liiketoiminta-

käyttäjä Johto

TIEDON HYÖDYNTÄMINEN

Big Datan ja Master Datan kohtaaminen

Ulkoiset lähteet

Sisäiset lähteet

Data

Sisällöt

Datavirrat

Big Data työkalut

Rakenne- ja sisältöanalyysi

Tunnista malleja

Big Data

MDM työkalut

Yhdistä

Semantiikka ja rakenne

Master Data

BI työkalut

Analysoi

DW

Raportit, visualisointi

Trendit

BI

Uudet käsitteet

Optimointi

Laadukas data

Tulokset

I

N

T

E

G

R

A

A

T

I

O

DQ

Päätöksenteko

Esimerkki: asiakassegmentointi

Ulkoiset lähteet

Sisäiset lähteet

Data

Sisällöt

Datavirrat

Big Data työkalut

Rakenne- ja sisältöanalyysi

Tunnista malleja

Big Data

MDM työkalut

Yhdistä

Semantiikka ja rakenne

Master Data

BI työkalut

Analysoi

DW

Raportit, visualisointi

Trendit

BI

Uudet käsitteet

Optimointi

Laadukas data

Tulokset

I

N

T

E

G

R

A

A

T

I

O

DQ

ASIAKAS

- Nimi

ASIAKKUUS

- Segmentti

TOIMIPISTE

KONTAKTI

Ulkoiset • Facebook

aktiviteeti • Tweetit

Sisäiset • Verkko-

palvelulokit • Click stream • Osto-

tapahtumat / historia

Data scientist

Tiedon

analysointi

DW

Big Data Uusi asiakas-

segmentti Raportointi

segmenteittäin

Parempi kohdentaminen

Esimerkki: laitteen vikaantumisanalyysi

Ulkoiset lähteet

Sisäiset lähteet

Data

Sisällöt

Datavirrat

Big Data työkalut

Rakenne- ja sisältöanalyysi

Tunnista malleja

Big Data

MDM työkalut

Yhdistä

Semantiikka ja rakenne

Master Data

BI työkalut

Analysoi

DW

Raportit, visualisointi

Trendit

BI

Uudet käsitteet

Optimointi

Laadukas data

Tulokset

I

N

T

E

G

R

A

A

T

I

O

DQ

ASIAKAS

Nimi

LAITEKANTA

Tuote

TOIMIPISTE

Koordinaatit

Paikkakunta

Ulkoiset • Sää tiedot

alueittain

Sisäiset • Sensoridata • Huolto-

käynnit

Data scientist

Tiedon

analysointi

DW

Miksi huoltokäynnit lisääntyvät? Laadukas pohjatieto

Parempi huoltokäyntien ennakointi

Esimerkki: Boeing 787

Ulkoiset lähteet

Sisäiset lähteet

Data

Sisällöt

Datavirrat

Big Data työkalut

Rakenne- ja sisältöanalyysi

Tunnista malleja

Big Data

MDM työkalut

Yhdistä

Semantiikka ja rakenne

Master Data

BI työkalut

Analysoi

DW

Raportit, visualisointi

Trendit

BI

Uudet käsitteet

Optimointi

Laadukas data

Tulokset

I

N

T

E

G

R

A

A

T

I

O

DQ

MODUULI

- ID

- Toimittaja

KOMPO-

NENTTI

- ID Sisäiset • Reaali-

aikainen sensori data

• Lentotiedot

(Data scientist)

Tiedon

analysointi

DW

Big Data Tunnistetaan huollon tarve

Valmistaudutaan huoltoon

Nopea huolto

ERP

Kaikki mikä on teknisesti

mahdollista ei aina ole

sallittua

Yksityisyydensuoja

• Kriittistä, kun käsitellään henkilötietoja (kuluttajat, työntekijät,

potilaat jne.)

• Kansallista ja EU tason lainsäädäntöä.

– Kansallisissa laeissa paljon eroavaisuutta

– Tulossa uutta EU-lainsäädäntöä, joka korvaa kansallisia lakeja

• Ole erityisen varovainen yhdistäessäsi eri tietokokonaisuuksia

– Sinulla ei välttämättä ole oikeutta käyttää/pitää syntyvää

tietokokonaisuutta

Varoittava esimerkki

http://www.guardian.co.uk/technology/2012/apr/22/big-data-privacy-information-currency

“Big Data age puts privacy in question as information becomes currency”

Yhteenveto

1. Datan määrä ei itsessään luo arvoa

2. Jos pystyt yhdistämään Big Datan ja Master Datan, pystyt hyödyntämään

dataa lukemattomin eri tavoin ja tuottamaan todellista arvoa

liiketoiminnalle

3. Master Data tarjoaa Big Datalle merkityksen ja rakenteen

4. Hyödynnä MDM-periaatteita Big Datan laadun varmistamiseen

5. Varo lakiansoja

Kiitos!

Lisätietoja:

nino.ilveskero@talentbase.fi

www.talentbase.fi