Upload
darkojev
View
15
Download
0
Embed Size (px)
DESCRIPTION
BigData
Citation preview
Upravljanje podacimaUpravljanje podacima(Data Governance)(Data Governance)
-- Upravljanje kljuUpravljanje kljunim podacimanim podacima(Master Data Management)(Master Data Management)
Prof. dr Dragana Beejski-VujaklijaUpravljanje razvojem IS
22//4545
ta jeta je Upravljanje podacimaUpravljanje podacima(Data(Data Governance)?Governance)?
Skup aktivnosti koji ukljuSkup aktivnosti koji ukljuujeuje:: DefiniDefinisanje uloga i odgovornosti za podatkesanje uloga i odgovornosti za podatke Uspostavljanje internih standarda kvaliteta Uspostavljanje internih standarda kvaliteta podatakapodataka
Definisanje pravila za kreiranje podatakaDefinisanje pravila za kreiranje podataka ArbitraArbitraa u situacijama deljenja podataka a u situacijama deljenja podataka ((sharedshared datadata))
33//4545
ime se bavi ime se bavi Data GovernanceData Governance
Utvrivanje interesnih grupa i vlasnika podataka Utvrivanje zajednikih podataka za preduzee Nivelisanje zahtevanog kvaliteta podataka saglasnoposlovnim ciljevima
Izolovanje IT od konflikata meu vlasnicima podataka
Obezbeenje upravljanja podacima nezavisno od aplikacija
Uspostavljanje monitoringa i merenje efekata.
44//4545
DDa li nam je potrebno upravljanje a li nam je potrebno upravljanje podacimapodacima??
Moramo zaustaviti rasprave o tome ko je vlasnik kojih podataka
Ne moemo uvesti Upravljanje podacima dok ne formalizujemo procese donoenja odluka u preduzeu.
Besmisleno je fiksirati podatke za jedan podsistem, mnogi od njih imaju vie vlasnika u preduzeu.
Svi su saglasni da je kvalitet podataka lo, ali niko nije saglasan oko naina kako da se to poporavi.
Nai CRM, supply chain management i ERP programi su u mrtvom zagrljaju!.
Imamo vie verzija jedine verzije istine!
55//4545
Cilj upravljanja podacimaCilj upravljanja podacima
Smanjiti moguSmanjiti mogunost nastanka negativnih nost nastanka negativnih dogaaja koji su posledica lodogaaja koji su posledica loeg kvaliteta eg kvaliteta podataka.podataka.
Nije moguNije mogue zae zatiti podatke, ako nije poznata titi podatke, ako nije poznata njihova vrednostnjihova vrednost
66//4545
ta je alternativata je alternativa??
KKonfuonfuzziijaja,, fragmentafragmentacijacija & & frustrafrustracijacija Nedostatak Nedostatak progresprogresaa ViViee rada za osoblje rada za osoblje Sporovi i Sporovi i trotrokovikovi NeNemogumogunost usnost uspostavpostavljanjaljanja tokova izmeu vi tokova izmeu vie se sistemaistema TeTekokoe e pri pri integriintegrisanjusanju ssistemaistema u celinu celinuu bez bez avovaavova NNeemogumogunost nost izradizradee pouzdanih pokazatelja performansipouzdanih pokazatelja performansi
77//4545
Data Governance : Data ManagementData Governance : Data Management
Data Governance
Zatititi, poboljati, obezbediti podatke Osigurati nadzor, procenu usklaenosti, upravljanje rizicima za podatke
Razumeti poslovne procese, poslovnu politiku, pravila i smernice
Data Management
Razviti pravila i standarde za podrku podacima
88//4545
Proces upravljanja podacima*Proces upravljanja podacima*
*Nascio: Data Governance - Managing information as an enterprise Asset
99//4545
Koraci u razvoju Koraci u razvoju Data GovernanceData Governance
1. Proceniti spremnost preduzepreduzea za DGa za DG 2. Definisati DG strategiju 3. Identifikovati tela koja donose odluke 4. Definisati oblasti i pravila odluivanja 5. Identifikovati mehanizme upravljanja 6. Razviti alate i kapacitete
1010//4545
Realizacija DGRealizacija DG
1.1. Formiranje timaFormiranje tima2.2. Definisanje organizacijeDefinisanje organizacije3.3. Izrada planaIzrada plana4.4. Obuka, trening, informisanjeObuka, trening, informisanje5.5. Usvajanje standardaUsvajanje standarda
1111//4545
Procesi realizacije upravljanje Procesi realizacije upravljanje podacima podacima
1212//4545
Uloga Uloga uvara podatakauvara podataka-- DataData StewardsStewards
NajvaNajvanija uloga u Dnija uloga u Dataata GGovernanceovernance DefinDefiniiee procedure,procedure, znaznaenje podatakaenje podataka,,implementimplementiraira ppravila za podatkeravila za podatke
PodrazumevaPodrazumeva dobrodobro popoznaznavavanje nje oblasti oblasti poslovposlovaannjaja
1313//4545
TehniTehnike obaveze funkcije ke obaveze funkcije uvara podatakauvara podataka ((DataData StewardsStewards))
Svakodnevna odgovornost za odrSvakodnevna odgovornost za odravanje i avanje i korikorienje baze podataka enje baze podataka
KoriKorienjeenje alata za pomoalata za pomo u lociranju i u lociranju i odrodravanjuavanju podatakapodataka
1414//4545
Zadaci funkcije Data Zadaci funkcije Data StewardsStewards
OOsigurava da svaki elemensigurava da svaki elemenaat podat podatkatka:: ima jasnima jasnuu i nedvosmisleni nedvosmislenuu ddefinicijefinicijuu,, nije u suprotnosti s drugim podacima (uklanja duplikate, nije u suprotnosti s drugim podacima (uklanja duplikate, preklapanje i sl.),preklapanje i sl.),
jojo uvek se koristi (uvek se koristi (sklanjasklanja neiskorineiskorienenee podatkpodatkee),), dosledno se koristi u razdosledno se koristi u razliliitim delovima sistemaitim delovima sistema,, ima adekvatnu dokumentaciju,ima adekvatnu dokumentaciju, iima dma dokumentokumentovano ovano porporekeklo i izvore autoriteta.lo i izvore autoriteta.
1515//4545
ModelModel Data GovernanceData Governance
1616//4545
1717//4545
Dimenzije kvaliteta podatakaDimenzije kvaliteta podataka
1818//4545
Modelovanje podataka Modelovanje podataka
1919//4545
ReRenik preduzenik preduzea a
2020//4545
Profilisanje podataka Profilisanje podataka
Proces ispitivanja podataka u postojeem izvoru podataka i prikupljanje statistika i informacija o podacima
2121//4545
KoriKorienje podataka enje podataka (Enterprise Architecture) (Enterprise Architecture)
2222//4545
Analiza porekla podatakaAnaliza porekla podataka
2323//4545
Mapiranje podatakaMapiranje podataka
2424//4545
KljuKljuni faktori uspeha DGni faktori uspeha DG
Jasno vlasniJasno vlasnitvo nad podatkomtvo nad podatkom Prepoznata vrednost podatkaPrepoznata vrednost podatka Efikasna pravila i procedure odrEfikasna pravila i procedure odravanjaavanja Pouzdanost podatkaPouzdanost podatka
Master Data ManagementMaster Data Management
Upravljanje kljuUpravljanje kljunim podacimanim podacima
2626//4545
Definicija Master podatakaDefinicija Master podataka
Kljune injenice koje opisuju glavne objekte poslovanja
Visoko vredne informacije koje imaju uticaja na najvanije poslovne procese
Ukljuene su u vie procesa, aplikacija i baza podataka
2727//4545
RazliRazliito predstavljanje sliito predstavljanje slinih nih koncepata koncepata
2828//4545
Master Data ManagementMaster Data Management
Podrka svim aplikacijama koje kreiraju i/ili koriste master podatke
Uspostavljanje fleksibilne funkcionalnosti za odravanje sistema, u zavisnosti od tanosti master podataka
Odravanje konzistentnosti i odnosa meu master podacima
Upravljanje ivotnim ciklusom podataka
2929//4545
MDM komponenteMDM komponente MDM se ne moe kupiti kao gotovo reenje
Iterativna priroda njihovog razvoja
Slojevi MDM komponenti Upravljanje poslovnim procesima Integracija Identifikacija Operativno upravljanje Upravljanje podacima Arhitektura
3030//4545
Prethodni koraci u realizaciji MDMPrethodni koraci u realizaciji MDM
Utvrditi koji podaci u poslovnim procesima se mogu Utvrditi koji podaci u poslovnim procesima se mogu identifikovati kao kljuidentifikovati kao kljunini
PronaPronai podatke povezane sa svakim kljui podatke povezane sa svakim kljunim podatkomnim podatkom PronaPronai nai nain za izolovanje kljuin za izolovanje kljunih podatakanih podataka Osmisliti naOsmisliti nain za koriin za korienje kljuenje kljunih metapodatakanih metapodataka Proceniti razlike meu podacima u cilju utvrivanja Proceniti razlike meu podacima u cilju utvrivanja
standardizovanih modela za prikupljanje i integraciju standardizovanih modela za prikupljanje i integraciju kljukljunih podatakanih podataka
Utvrditi tehnike za integraciju u jedinstveno skladiUtvrditi tehnike za integraciju u jedinstveno skladite te podatakapodataka
3131//4545
Pristupi identifikaciji master podataka Pristupi identifikaciji master podataka
TopTop--down pristupdown pristup analizi modela podataka i analizi modela podataka i dokumentovanih modela poslovnih procesa dokumentovanih modela poslovnih procesa utvruje se koji objekti su kritiutvruje se koji objekti su kritini u skupu poslovnih ni u skupu poslovnih aplikacija.aplikacija.
BottomBottom--up procesup proces evaluacije organizacionih resursa evaluacije organizacionih resursa pronalapronalaenje aplikacija i struktura podataka koje one enje aplikacija i struktura podataka koje one koriste, radi ukoriste, radi utvrivanja kljutvrivanja kljunih podataka nih podataka
3232//4545
Nivoi strukture za upravljanje kljuNivoi strukture za upravljanje kljunim nim podacimapodacima
1.1. Nivo upravnog odbora (top menadNivo upravnog odbora (top menadment)ment)2.2. Odbor srednjeg nivoa upravljanja podacima Odbor srednjeg nivoa upravljanja podacima 3.3. Nivo pojednaca koji se pridrNivo pojednaca koji se pridravaju kreiranih avaju kreiranih
procedura i pravilaprocedura i pravila
3333//4545
MDM kaoMDM kao kombikombinacija ljudi, renacija ljudi, reenja i enja i automatizacijautomatizacijee
3434//4545
MDM komponente struktuirane po slojevimaMDM komponente struktuirane po slojevima
3535//4545
Tok procesa integracije podatakaTok procesa integracije podataka
3636//4545
Vrste Vrste MDM MDM
OperaOperaccionionii MDM MDM DefiniDefinisanjesanje, , kkrereiranje i iranje i ssiinhronizanhronizacija cija master master podatakapodataka koji se kkoji se kooriste kroz transakcioni sistem i njihova riste kroz transakcioni sistem i njihova isporuka putem isporuka putem serviservisno sno oriorijjententisanisane arhitee arhitekkture (SOA); ture (SOA);
HHiibridbridnini MDM MDM Deo master podataka je upravljan unutarje upravljan unutartransatransakckcionionogog ssiistemstema, a deo podataka je arhiviran, kao a, a deo podataka je arhiviran, kao referencereference. .
Reference File MDM Reference File MDM Upravljanje master podacima nije deo Upravljanje master podacima nije deo aktuelnih aplikacija, veaktuelnih aplikacija, ve ssu oni (redundantno) smeu oni (redundantno) smeteni u teni u refrerentne fajlove u nadlerefrerentne fajlove u nadlenim sektorima preduzenim sektorima preduzeaa..
3737//4545
Karakteristike uspeKarakteristike uspenog projekta MDMnog projekta MDM
Efektivna tehniEfektivna tehnika infrastruktura koja omoguka infrastruktura koja omoguava ava kolaboraciju,kolaboraciju,
Organizaciona spremnost na promene,Organizaciona spremnost na promene, MoguMogunost integracije u trenutno korinost integracije u trenutno korieni sistem,eni sistem, Visok kvalitet podataka,Visok kvalitet podataka, MoguMogunost nadgledanja procesa pomonost nadgledanja procesa pomou procedura za u procedura za
upravljanje podacima,upravljanje podacima, Postojanje metoda za identifikaciju novih podataka kao Postojanje metoda za identifikaciju novih podataka kao
kandidata za integraciju u skup kljukandidata za integraciju u skup kljunih podataka.nih podataka.
3838//4545
Rezultat MDM projektaRezultat MDM projekta
Jedinstveno skladiJedinstveno skladite visokokvalitetnih kljute visokokvalitetnih kljunih nih podataka koji se koriste u aplikacijama podataka koji se koriste u aplikacijama irom irom organizacijeorganizacije
Potpuno poverenje svih interesnih grupa u Potpuno poverenje svih interesnih grupa u ispravnostispravnost master podataka.master podataka.
3939//4545
Koristi od Koristi od MDM MDM zza sve a sve aaspekte poslovanja spekte poslovanja organizacije:organizacije:
U finansijama, MDM moe dovesti do tanijeg izvetavanja, efikasnijeg planiranja i budetiranja
U prodaji i marketnigu, dobar MDM moe obezbediti jedinstven pogled na kupca, to dovodi do veeg zadovljstva samog kupca.
U nabavci i menadmentu lanaca snabdevanja, MDM moe znatno da smanji kaenjenja u isporuci i smanji greke u kodiranju artikala.
Za proizvoae, MDM znai bre lansiranje proizvoda i bolje upravljanje povratnim informcijama od klijenata.
Za IT, MDM vodi ka poveanoj produktinosti u razvijanju aplikacija zasnovanih na standardima.
4040//4545
TTrendovi razvoja MDMrendovi razvoja MDM
Korienje alata za odravanje i proveru kvalitetapodataka unutar MDM vorita.
Korienje opte platforme za podatke iz vie tematskih oblasti.
Izgradnja dobrih studija sluaja primene MDM u vertikalnim segmentima (javna uprava, avio saobraaj, zdravstvo i sl.)
Big DataBig Data
4242//4545
Big Data Big Data -- definicijadefinicija
Big DataBig Data je termin primenjen na skupove je termin primenjen na skupove podataka podataka ija veliija veliina prevazilazi sposobnost ina prevazilazi sposobnost softversksoftverskihih alate za snimanje, upravljanje i alate za snimanje, upravljanje i obradu podataka u okviru tolerisaobradu podataka u okviru tolerisanognogvremevremenana. .
Big Data su u rasponu od Big Data su u rasponu od nekoliko desetina nekoliko desetina terabajta terabajta do do petabajta podataka u jednpetabajta podataka u jednomomsetsetuu podataka.podataka.
4343//4545
Primeri Big DataPrimeri Big Data
veb logovi;veb logovi; RFID tehnologije, senzorske mreRFID tehnologije, senzorske mree; e; drudrutvene mretvene mree; internet tekst i dokumenata; e; internet tekst i dokumenata;
podaci u astronomiji, biogeohemiji, biologiji, podaci u astronomiji, biogeohemiji, biologiji, drugim slodrugim sloenim interdisciplinarnim nauenim interdisciplinarnim naunim nim istraistraivanjima; ivanjima;
vojni nadzor; medicinske evidencije; video vojni nadzor; medicinske evidencije; video arhive, eCommerce.arhive, eCommerce.
4444//4545
Tehnologije za Big DataTehnologije za Big Data
Massively parallel processing (MPP)Massively parallel processing (MPP) DirectDirect--attached storage (DAS) attached storage (DAS)
Big Data Analytics
4545//4545
PreporuPreporuena literaturaena literatura
Loshin D.,Master Data Management, Morgan Kaufman, Amsterdam, 2009. biblioteka FONa
http://www.datagovernance.com/ http://tdwi.org/microsites/mdm-portal/master-data-
management.aspx
http://www-01.ibm.com/software/data/master-data-management/ http://www.oracle.com/us/products/applications/master-data-
management/index.htm