BDM_21012014_5

SKLADITE PODATAKA 2.0

PROF. DR.SC. DRAENA GAPAR21.01.2014.

UPRAVLJANJE POSLOVNIM PODACIMA

TEST 20 MINUTA

PITANJA ZA DISKUSIJU

| Prva generacija skladita podataka otvorena pitanja

| DW 2.0

| Osnovne znaajke DW 2.0

| DW 2.0 komponente

PRVA DW GENERACIJA OTVORENA PITANJA

| Naglasak na izgradnji DW i pohranjivanju podataka, danas na odravanju

| Integriranje podataka se dominatno odnosilo na numerike, transakcijske podatke

| Nije bilo razmiljanja o ivotnom ciklusu podataka

| Upravljanje meta i matinim podacima | U poetku je DW bilo novitet, danas je osnovica

za potporu odluivanju| U poetku je DW vieno kao podatkovna osnovica

za statistike analize, danas je to istraivako (exploration) DW

DW 2.0. GENERACIJA

| Nova paradigma se fokusira na:y Osnovne tipove podatakay Podatkovne strukturey Kako povezati podatke i formirati mono skladite

podataka koje ispunjava potrebe organizacije za informacijama

DW 2.0. GENERACIJA| Trokovi DW infrastrukture se ne poveavaju

kontinuirano | Infrastruktura se dri na okupu pomou meta

podataka, meta podaci su kimeni stup DW 2.0 | Podaci su brzo dostupni. Podaci se smjetaju

prema vjerojatnosti pristupa| Prepoznata je potreba za arhiviranjem | DW privlai ogromne koliine podataka. Ali, u

DW 2.0 podaci su smjeteni po sektorima, tako da krajnji korisnik ima posla sa znaajno manje podataka

Inmon, Strauss, Neushloss DW 2.0 The Architecture for the Next Generation of Data Warehousing.2008.

DW 2.0. OSNOVNE ZNAAJKEIVOTNI CIKLUS PODATAKA

| DW 1.0 nije prepoznavalo potrebu za praenjem ivotnog ciklusa podataka

| DW 2.0 prepoznaje ivotni ciklus podataka ukljuuje razliite sektore:1. podaci brzo ulaze u Interaktivni (Interactive) sektor 2. podaci se integriraju i prosljeuju u Integrirani (Integrated ) sektor i ostaju tu dok se ne smanji vjerojatnost pristupa (3-4 godine)3. Iz Inegriranog sektora podaci se mogu prebaciti u jedan od dva sektora. Jedan je Blizu linije (Near line) sektor (opcionalan), kao proirenje Integriranog sektora u situaciji kada postoji iznimno velika koliina podataka i gdje se vjerojatnost pristupa znaajno razlikuje4. Posljednji sektor arhivski (archival) sektor

DW 2.0. OSNOVNE ZNAAJKEIVOTNI CIKLUS PODATAKA

OnLine obrada

Dozvoljenoauriranje

DW 2.0. MAIN CHARACTERISTICSTHE LIFE CYCLE OF DATA

No update

Podaci se agregiraju,

zbrajaju, rekonstruiraju

Nema auriranjaPohrana kao

serija snapshota


Metapodaci

Kriteriji:-Starost

-Vjerojatnost pristupa


Povezanost s vremenom,

Rijetko kada pohrana na

diskove,Matapodaci

DW 2.0. OSNOVNE ZNAAJKEMETA PODACI

Tehniki i Poslovni

DW 2.0. OSNOVNE ZNAAJKEMETA PODACI

DW 2.0. OSNOVNE ZNAAJKEPRISTUP PODACIMA

DW 2.0. OSNOVNE ZNAAJKESTRUKTURIRANI / NESTRUKTURIRANI PODACI

Strukturirani podaci dolaze ponavljajui se u istom formatu i alatu (DBMS)

Nestrukturirani podaci dolaze u dva nazina oblika:- tekstualni (e-mailovi, telefonski razgovori, PPT prezentacije, ...)- ne-tekstualni grafike i slike (fotografije, diijagrani, ilustracije, X-zrake, MRIs, ...)

Poboljanje rada s tekstualnim podacimaNetekstualni podaci jo uvijek veliko pitanje

DW 2.0. OSNOVNE ZNAAJKETEKSTUALNA ANALITIKA

DW 2.0. OSNOVNE ZNAAJKETEKSTUALNA ANALITIKA

Data that has nomeaning to the business of the organization

One of the challenges of managing unstructured data especially email is that of separating blather from meaningful communications. This is accomplished by matching external categories with unstructured communications. Any email that does not have a hit as it passes through external category qualification is considered to be blather.

DW 2.0. OSNOVNE ZNAAJKEKOLIINE PODATAKA

DW 2.0. OSNOVNE ZNAAJKEKORISNE APLIKACIJE

Integriranje stukturiranih i nestrukturiranih podataka u

DW 2.0 Rezultira novim aplikacijama

Istinski 360 stupnjeva pogled na kupca (integriranje e-maila i demografskih podataka)

Integriranje doktorskih biljeki s rezultatima laboratorijskih testova

DW 2.0. KOMPONENTE

4 razliita sektora:

| Interaktivni (Interactive) sektor| Integrirani (Integrated) sektor| Blizu linije (Near line) sektor| Arhivski (Archival) sektor

Inmon, Strauss, Neushloss DW 2.0 The Architecture for the Next Generation of Data Warehousing.2008.

DW 2.0. KOMPONENTE INTERACTIVE SEKTOR

DW 2.0. KOMPONENTE INTEGRATED SEKTOR


Captured text comes from the unstructured environment. Captured text may exist in the form of emails, documents, transcripts of telephone conversations, or other textual information. As a rule captured text is in the same unedited state in which it exists in the unstructured environment. However the unstructured text has been selected for relevancy to the business environment. It would make no sense to put massive amounts of unstructured text in the DW2.0 environment unless the unstructured text is important to the business represented by DW2.0.

LINKAGE TEXT TO SUBJECTFig DW2.0.5 shows the linkage to text data found in the DW2.0 environment.

Fig DW2.0.5 shows that there is linkage data. When unstructured data is brought over to the data warehouse environment even when it has been edited and screened the textual data still can be more useful if it is linked to classical transaction and structured data found in DW2.0. Typical links can be formed across email address and telephone numbers. Still other links can be formed across names and mutations of names. This data is normally created after the textual data has been brought across to the data warehouse environment. Note that some textual data will have no linkage but will be relevant to the business of the corporation.

TEXTUAL SUBJECTSTextual subjects are depicted by Fig DW2.0.8.

UPRAVLJANJE PODACIMA I KVALITETA PODATAKA

32/27

ZATO UPRAVLJATI PODACIMA?

| Podaci imaju kljunu vrijednost za organizaciju| Problem vlasnitva podataka tko je vlasnik tj.

tko je odgovoran za koje podatke?| Problem formaliziranja procesa donoenja odluka| Problem povezivanja podataka s aplikacijama

(silosi informacija)| Problem poboljanja kvalitete podataka| Problem jedinstvenog definiranja

kupava/dobavljaa| Problem vie verzija istine

IZAZOVI U UPRAVLJANJU PODACIMA ?| Eksplozivan rast podatakay Vrijednost i koliina podataka je enormnay Sve je vie kritinih podatakay Godinja stopa rasta preko 50%

| Usklaenost / potivanjey Usklaenost/potivanje sve stroih regulatornih i

revizijskih zahtjeva| Fragmentirana pohranay Nepostojanje strategije i discipline u pogledu

hardverske i softverske pohrane podataka | Prorauniy Zamrznuti ili smanjeni

OTVORENA PITANJA UPRAVLJANJA PODACIMA

| 52% korisnika nema povjerenje u svoje podatke| 59% menadera propusti informaciju koju bi trebali

koristiti| 42% menadera koristi pogrene informacije

najmanje jedanput tjedno| 75% CIOs (Chief Information Officer) vjeruje da

mogu poveati kompetitivne prednosti boljim koritenjem i upravljanjem podacima organizacije

| 78% CIOs eli poboljati nain kako koriste i upravljaju svojim podacima

| Samo 15% CIOs vjeruje da se njihovim podacima trenutno sveobuhvatno i dobro upravlja.

TO JE KVALITETA?

36

TO JE KVALITETA?

4-tokaPouzdanJeftinBrza isporuka

Odgovarajua veliina!Brzo ubrzanjeSustav zabave Radio, DVD?Reputacija proizvoDaStar manje od tri godine

Komforaneetiri sjedalaSiguran (EuroNCAP)Nizak porez & osiguranjeJeftin

37DEFINICIJA KVALITE

| Paradoks kvlitete: iako mislite da ne moete definirati

kvalitetu, znate to je kvaliteta (Pirsig 1974)

ljudi prosuuju na temelju svojih pojedinanih potreba ili perspektiva, da je neto na to su naili ili prouili dobre ili

loe kvalitete (Dromey 1996)

Znate kad neto nije kvalitetno

38

DEFINICIJE KVALITETE

| Sposobnpost proizvoda/usluge da ispuni svoju funkciju| Postie se kroz sposobnost/osobine proizvoda ili servisa| Zadovoljavajue performanse za svaki atribut

| Usklaenost: prikladnost za uporabu & prikladnost za svrhu (Juran 1999)y Implicira ovisnost o uporabi

| Primjenjivo za podatke, software, auta, satove,

Ukupnost sposobnosti ili karakteristika proizvoda ili usluge koja se temelji na sposobnosti zadovoljavanja specifinih ili podrazumijevanih potreba. (ISO 1986)

KVALITETA PODATAKA

| to je to KVALITETAN podatak?

| Zato je bitna kvaliteta podataka ?

KVALITETA PODATAKA| Loa kvaliteta ima svoju realnu cijenu u novcu| Loa kvaliteta podataka negativno utjee na

efikasnost poslovnih procesa| Zbog loe kvalitete podataka ne mogu se

realizirati sve potencijalne koristi od novih sustava

| Loa kvaliteta podataka negativno utjee na donoenje odluka

ZATO SU BITNI I POSLOVNI PROCESI I PODACI

2011 2012

Process

Stalne korekcije i popravke podataka

Internal

Poslovni procesi

42

27 DIMENZIJA KVALITETE PODATAKAKonceptualni pogled

Sadraj Znaaj Dostupnost Jasnoa definicije

Opseg Sveobuhvatnost Bitnost

Razina detalja Detaljnost atributa Preciznost domene

Sastav Prirodnost Identitet utvren

Homogenost Minimum bespotrebne redudancije

Konzistentnost Semantika konzistentn. Strukturna konzistentost

Reakcija na promjene Robusnost Fleksibilnost

VrijednostiTonost Potpunost (entiteta i atributa)

Konzistentnost Vremenski tok

PredstavljanjeFormati Primjerenost Precizmost formata Efikasna uporaba prostora

Interpretativnsot Fleksibilnost formata

Portabilnost Mogunost predstavljanja null vrijednosti

Fizike instance Predstavljanje konzistentnosti (Redman 1997)

43

RICHARD T WATSON

Tonost PotpunostKonzistentnost predstavljanja Organizacijska konzistentnostKonzistentnost retka Vremenska dimenzijaStewardship upaviteljstvo DijeljenjePrikladnost InterpretacijaFleksibilnost PreciznostMeunarodnost DostupnostSigurnost i privatnost KontinuitetUsitnjenost Metapodaci

(Watson 1997)

44

DIMENZIJE KVALITETE PODATAKA

KP Kategorija KP DimenzijeIntrinsic DQ Accuracy Objectivity

Believability ReputationContextual DQ Relevancy Value-Added

Timeliness CompletenessAmount of Data

Representational DQ InterpretabilityEase of UnderstandingRepresentational ConsistencyConciseness of Representation

Accessibility DQ Accessibility Security(Wang & Strong 1996)

45VELIKA KVALITETA PODATAKA = VELIKA PO SVIM DIMENZIJAMA?

|Konkurentni podaciy Planiranje po niim

cijenamay Kada? koliko?

Kada znaajan podatak koji je toan i kompletan moe biti beskorisan?

Npr.

Vremenski podaci to-ako analize Razvoj strategija

Toni & Potpuni Prekasno Nisu vie korisni

46VIESTRUKE PERSPEKTIVE KVALITETE PODATAKA

Creator Custodian Consumer

CollectorCustomer data, Researcher,Satisfaction surveys,

CreatorDocument creation,Project/Development team,Data analysis,

ExamplesLibrary,Data warehouse,

DataMaintenance,Storage,Distribution,

ExamplesManagers, Policy makers, Decision makers,Researchers, Anyone who needs data.

DataData utilisationRestricted to available data

47

MULTIPLE PERSPECTIVES ON DQ


Control No Control

Quality Control Continuum

Collecting customer data Storing customer data

Analysing customer data

eg, CRM

High Quality Data = Data that is fit for purposeFit for purpose today Fit for purpose tomorrow

48

MULTIPLE PERSPECTIVES ON DQ


CONTEXT

IndividualSame data different taskSame data different time/day

Changing purposeChanging context

Industry SectorsFinance, Telecoms, Government,

Same concept of what constitutes good quality data?Same concept within each sector/context?

49/27

DIMENZIJE KVALITETA PODATAKA

| DATA MANAGEMENT ??

| MENADMENT PODATAKA ??

ZAHTJEVI ZA SUSTAVE MENADMENT KVALITETE PODATAKA

Procedure dobre prakse u menadmentu podacima:

y Uspostavljanje Politike upravljanja podacima|Postavljanje ciljeva|Definiranje odgovornosti|Osiguranje resursa

y Uspostavljanje radnih procesay Uspostavljanje infrastrukture baze podatakay Uspostavljanje IT infrastrukturey Interne komunikacije

OTVORENA PITANJA MENADMENTA PODACIMA

| Otkrivanje ne moe se pronai prava informacija| Integriranje ne moe se manipulirati i

kombinirati informacije| Uvid ne moe se ekstrahirati vrijednost i znanje iz

informacije| irenje informacija se ne moe upotrebljavati| Menadment ne moe se upravljati i kontrolirati

rast i koliina informacija

CILJEVI MENADMENTA PODACIMA

| Primarni ciljevi:y Razumijevanje informacijskih potreba organizacije i

svih uesnikay Pronalaenje, pohrana, zatita i osiguranje

integriteta podatakay Stalno unapreenje kvalitete podataka i informacija,

ukljuukui tonost, integritet, integriranje, znaajnost i korisnost podataka

y Osiguranje privatnosti, sprjeavanje neautoriziranog pristupa i uporabe podataka i informacija

y Maksimiziranje efektivne uporabe i vrijednosti podataka i informacija

CILJEVI MENADMENTA PODACIMA

| Sekundarni ciljevi:

y Kontrola trokova upravljanja podacimay Promoviranje ireg i dubljeg razumijevanja

vrijednosti podatakay Upravljanje konzistentnou podataka u organizacijiy Povezivanje upravljanja podacima i tehnologije s

poslovnim potrebama

PRINCIPI MENADMENTA PODACIMA

| Podaci i informacije su iznimno vrijedna imovina organizacije

| Paljivo upravljanje podacima i informacijama, kao svakom imovinom, osiguravajui odgovarajuu kvalitetu, sigurnost, integritet, zatitu, raspoloivost, razumijevanje i efektivnu uporabu

| Podjela odgovornosti za upravljanje podacima izmeu poslovnih vlasnika podataka i IT profesionalaca

| Upravljanje podacima je poslovna funkcija i skup povezanih disciplina

ORGANIZIRANJE FUNKCIJE MENADMENTAPODATAKA

| Poslovna funkcija za planiranje, kontrolu i isporuku podataka i informacija

| Razvoj, izvravanje, nadgledanje planova, politika, programa, projekata, procesa, praksi i procedura koje kontroliraju, tite, isporuuju i uveavaju vrijednost podatkovne imovine

| Opseg funkcije upravljanja podacima i razina njene implementacije varira zbog veliine, sredstava i iskustva organizacija

| Uloga upravljanja podacima ostaje ista u razliitim organizacijama iako se implementacija moe znaajno razlikovati.

DATA GOVERNANCE ???

UPRAVLJANJE PODACIMA ???

UPRAVLJANJE PODACIMA| Kljuna funkcija menadmenta podataka| U interakciji sa i utjee na svaku od 10 funkcija

menadmenta podataka| Upravljanje podacima je uspostavljanje

autoriteta i kontrole (planiranje, monitoring i provoenje) nad menadmentom podataka

| Upravljanje podacima predstavlja vodi kako e se izvravati sve ostale funkcije menadmenta podataka

| Visoka razina, izvrno upravljanje podacima| Nije isto to i IT upravljanje| Fokusirano iskuljuivo na menadment podataka

Questions..

Documents

BDM_21012014_5