13
1

Bosiljčić igor predavanje data - warehouse meta data

Embed Size (px)

Citation preview

Page 1: Bosiljčić igor   predavanje data - warehouse meta data

1

Page 2: Bosiljčić igor   predavanje data - warehouse meta data

2

метаподатак

• Uzrok problema je brz razvoj tehnologije i promena privredne klime.

• Naši ne tako daleki predaci su živeli u vreme kada su se poslovni trendovi menjali jednom u generaciji, i gde ste za neku poslovnu odluku imali nekoliko dana ili čak sedmicu vremena na raspolaganju. Svi relevantni podaci za posao su mogli da stanu u deblju knjigu, a u krajnjem slučaju u manji ormar.

• Današnja situacija je veoma drugačija.

• Današnji poslovni trendovi se menjaju veoma brzo, za poslovne odluke kadkad imate minute ili sekunde, a količina podataka koja je relevantna za vaš biznis je praktično nepojmljiva sa ljudske strane gledišta. Međutim, jedna stvar je ista danas kao i pre 200 godina; dobro su poslovala ona preduzeća koja su uviđala slobodno mesto na tržištu (imala poslovnu ideju) i bila soposobna da iskoriste tu šansu.

Page 3: Bosiljčić igor   predavanje data - warehouse meta data

3

метаподатак

• Dobra poslovna ideja je ona koja se može realizovati i čija realizacija donosi velike ekonomske koristi.

• Da bi se došlo na neku ideju potrebna vam je

inteligencija i dovoljna količina znanja o nečemu. Inteligencija je ta koja podsvesno kopa po vašem fondu znanja i dolazi do ideje.

• Bilo bi lepo kad bi postojao način da budemo

inteligentni kao Albert Anštajn ili Stiven Hoking, ali pošto ne umemo da povećamo inteligenciju, moramo da povećamo fond znanja ili fond raspoloživih nam podataka kako bi naša prosečna inteligencija došla do neke ideje.

• Ovde dolazimo do drugog problema.

• Dok se ranije problem sa informacijama mogao okarakterisati kao nalažanje igle u plastu sena, danas problem informacija opisujemo kao nalaženje baš prave igle u ogromnoj hrpi igala.

• Informacija ima svugde, ustvari ima ih toliko da je

njihova količina i kompleksnost značenja odavno prevazišla ljudske kapacitete.

Page 4: Bosiljčić igor   predavanje data - warehouse meta data

4

метаподатак

• Međutim ljudi su uspeli da delimično reše problem i danas se relativno jeftino mogu naći uređaji koji imaju sposobnost da memorišu ogromnu količinu podataka.

• Ali ti podaci nisu u našoj svesti, naša inteligencija nemože da ih obuhvati, pa zato mi moramo "ručno'' da pretražujemo ogromne količine podataka da bi mogli doneti pravu poslovnu odluku (došli na poslovnu ideju).

• Zar ne bi bilo lepo kada bi mogli da napravimo računar koji će imati desetostruko veću inteligenciju nego čovek i da sa lakoćom procesira terabajte i terabajte podataka i da nam onda lepo samo kaže šta da radimo i koja je prava poslovna odluka kako bi na miru postali milioneri.

• To bi zaista bilo lepo, ali taj trenutak neće skoro doći. Za pedeset godina razvoja računara današnji ''najpametniji'' računar ima IQ od 0.1, što je otprilike IQ ''glupog'' insekta.

• Ali čovek je uporno stvorenje i njegovo dosadašnje najbolje rešenje su Data Warehouse sistemi.

Page 5: Bosiljčić igor   predavanje data - warehouse meta data

5

метаподатак

• Data Warehouse nije obična hrpa podataka, to je, laički

rečeno, nešto najlukavije, najinteligentnije što smo dosada napravili da nam pomogle da nađemo prave podatke, ili da nam ubaci u našu svest zrnce inspiracije koje će nas postaći da mi dalje istražujemo i konačno dođemo do dobre poslovne ideje ili napravimo dobru poslovnu odluku.

• Data Warehouse označava savremenu informacionu

arhitekturu koja objedinjava skoro sve postojeće tipove informacionih sistema.

• Suština DW je integracija podataka u bazama

podataka i kvalitetna metamorfoza podataka u informacije, putem: ekstrakcije, kombinacije i konverzije. DW daje najbolje rezultate kada je: koncipirana, implementirana, upravljena i razvijena u kontekstu strateškog odlučivanja.

• Jedna od definicija DW je da je to: konstantno

orjentisana, integrisana, vremenski sporo promenljiva kolekcija podataka za izveštavanje, sa osnovnom namenom pružanja podrške top menadžmentu organizacije.

Page 6: Bosiljčić igor   predavanje data - warehouse meta data

6

метаподатак

• Sadržaj DW mora da bude dostupan, jasan i

upotrebljiv za odlučivanje. • Mora da postoji konzistentnost i visok kvalitet

informacija, prilagodljivost i elastičnost izvora informacija u smislu prihvatanja stalnih promena, novih podataka i zadavanja novih upita. Poslovna odluka treba da bude proizvod DW.

• DW mora da inkorporira:

- proces otkrivanja: omogućavanje nalaženja skrivenih izvora podataka koji se nalaze u raznim operativnim sistemima;

- proces eksploatacije: tj.proces traganja za strukturama stanja, trendovima;

- proces žetve: da se rezultat nalaženja i obrade podataka koristi u strategijskom odlučivanju i upravljanju.

• Kao što sam rekao, a što se i da zaključiti iz navedenog

DW nije obična hrpa podataka. To je jedan uređen sistem koji je od velike koristi u savremenom biznisu. Šta je to što DW razlikuje od obične baze podataka? To su metapodaci.

Page 7: Bosiljčić igor   predavanje data - warehouse meta data

7

метаподатак

• Metapodatak je termin koji se upotrebljava da opiše

definicije podataka smeštenih u DW. Metapodaci su podaci o podacima.

• Bez metapodataka korisnik nije u mogućnosti da

koristi DW. Korisnik mora da razume šta podaci znače.

Evo jedan primer koji ilustruje važnost i funkciju metapodataka:

Recimo da mi zamolimo kolegu Acu da sprovede istraživanje i utvrdi koja je prosečna visina studentkinja na BK fakultetu. Nakon nedelju dana Aca nam prezentira brojku 168.3cm. Naš podatak je 168.3cm.

Sada dolazi zanimljiv deo. Ja vam predložim da

uzmemo spisak studentkinja BK fakulteta i nasumično izaberemo osobu sa liste. Za vaših uloženih 5$ ja ću vam dati 10$ ako je ta osoba visine iznad proseka, a vi ćete izgubiti vaših 5$ ako to nije slučaj.

Šta možemo da zaključimo? Pa na prvi pogled bi

se reklo da su šanse 50-50. Gde su ovde metapodaci? Oni se nalaze u Acinoj glavi.

Page 8: Bosiljčić igor   predavanje data - warehouse meta data

8

метаподатак

Da li je Aca sproveo puno istraživanje ili je vršio

slobodan uzorak, ako jeste koliki je taj uzorak, da li je on reprezentativan.

Da li je Aca koristio aritmetičku sredinu ili modus

ili medijanu, da li je u istraživanju obuhvatio samo studentkinje treće godine ili sve četiri, da li su studentkinje različitih godina ravnomerno zastupljene u istraživanju.

Da li su obuhvaćene studentkinje fakulteta za

trgovinu i bankarstvo ili fakulteta za menadžment, da li je istraživanje sprovedeno samo u Beogradu ili širom zemlje.

Svi ti podaci su podaci o podatku 168.3cm. To su

za nas metapodaci. Kako za njih zna samo Aca on ima ekonomsku prednost u našoj igri.

• Naravno ovo je samo pojednostavljen primer. Međutim,

mora se imati u vidu da korisnici podataka DW po pravilu nisu oni koji su ih uneli, i da se podaci unose automatski od strane samog sistema. Tako da korisnici nemaju znanje o značenju, vrednosti nekog podatka, negovoj binosti.

Page 9: Bosiljčić igor   predavanje data - warehouse meta data

9

метаподатак

Uzmimo novi primer:

Razmotrimo situaciju dva istraživača: našeg statističara Acu i antropologa Branka koji istražuje vrste krzna koji su koristili Indijanci.

Oba istraživača imaju neke podatke koji su

prikupili svojim radom. Oba istraživača organizuju te podatke kako bi na sistematičan način izvukli zaključke. Oba istraživača za svoje potrebe imaju neku vrstu informacionog sistema.

Šta se dešava ako ja zatražim od ova dva

istraživača da integrišu svoje sisteme u jednu jedinstvenu DW.

Njihov posao bi bio veoma težak. Aca istražuje

prosečnu visinu studentkinja, a Branko krzno koji su nosili Indijanci.

Vi biste mogli reći da je ovakav moj zahtev sulud,

da se u realnoj poslovnoj situaciji neće javiti potreba uspostavljanja veze između ova dva podatka.

Greška. U praksi su obično važni podaci

koji među sobom nemaju očiglednu vezu.

Page 10: Bosiljčić igor   predavanje data - warehouse meta data

10

метаподатак

Razmotrimo sledeća dva podatka i njihovu vezu:

• Ričard Magnuson je u svojoj izjavi za Sunday Times naglasio da je bordo IN u sledećoj sezoni.

• Bayern Chemical Industries je najavio da zatvara svoju fabriku u Luizijani.

Kakva je veza između ova dva podatka? Niste u

stanju da uspostavite vezu. Čini vam se da ovi podaci nemaju vaznost.

Šta se dešava ako bi naveo podatak da je Ričard

Magnuson guru kozmetičke industrije i da se smatra trend seterom na tržištu ruževa, a da Bayern Chemical Industries proizvodi u Luizijani lecitin-2-fosfat.

Još ništa vam nije jasno. Hajde da dodam još neki

podatak. Šta bi zaključili ako bi vam rekao da je Ričard Magnuson poslednjih 11 godina svake godine davao izjavu za Sunday Times i svake godine apsolutno tačno predvideo koja boja ruža će biti najprodavanija u narednoj sezoni, a da je lecitin-2-fosfat ključni i najskuplji sastojak u pravljenju ruževa bordo boje, a da Bayer Chemical Industries pokriva 74% tržišta.

Sada vam je veza jasna.

Page 11: Bosiljčić igor   predavanje data - warehouse meta data

11

метаподатак

• Ustvari srž svakog istraživanja se svodi na otkrivanje

veza među podacima. • Podatak nikada neće glasiti: 23.avgusta 2005 kupite

1000 akcija Cisco Systems-a i za dve godine akcije će utrostručiti svoju vrednost.

• Metapodaci upravo predstavalju neku vrstu sidra koje

svaki podatak veže za realnost i omogućava nam da shvatimo pravo stanje stvari.

• U DW korisnik ima direktan uvid u meta podatke.

Katalog metapodataka treba da sadrži identifikaciju podataka sa stanovišta kvaliteta, izvora, starosti i integriteta podataka.

• Preko navedenih statusnih elemenata podataka, stepena

raspoloživosti podataka za korisnika i lakoće korišćenja, stiče se manje ili veće poverenje prema DW.

Page 12: Bosiljčić igor   predavanje data - warehouse meta data

12

метаподатак

• Metapodaci se mogu podeliti na one koji se odnose na

procese, kao što su: ekstrakcija, čišćenje i punjenje i opisne, koji su u slu+ni alata z upite i generatora izveštaja.

• Katalog metapodataka je jedinstven prostor smeštanja

informacija koje pokreću DW proces. Ovaj katalog se koristi u svim fazama, od inicijalnog modela, ekstrakcije i navigacije, do pristupanja krajnjih korisnika prekos svojih računara.

• Uloga metapodataka u DW može biti: aktivna i

pasivna. Metapodaci mogu poslužiti kao dokumentacija podataka i procesa, a mogu biti i instrukcije za te procese, mi zadajemo neku instrukciju imajuči u vidu metapodatak. Metapodaci su ti koji povezuju čitavu strukturu DW.

• Razlikujemo interni i eksterni pogled na metapodatke. • Interni pogled je važan poslužiocima sistema, a eksterni

za korisnike. Interni pogled je isuviše detaljan i prepun nevaznih podataka za krajnjeg korisnika.

• Eksterni pogled nazivamo informacioni katalog.

Informacioni katalog sadrži fizički i logički pogled na podatke, što omogućava korisniku da pregleda BP, pojedine tabele, kolone, kao i da pretražuje i vrši upite.

Page 13: Bosiljčić igor   predavanje data - warehouse meta data

13

By Igor “Teddy Bear” Bosiljčić