45
Upravljanje podacima Upravljanje podacima (Data Governance) (Data Governance) - - Upravljanje klju Upravljanje klju č č nim podacima nim podacima (Master Data Management) (Master Data Management) Prof. dr Dragana Bečejski-Vujaklija Upravljanje razvojem IS

2 Upravljanje Podacima MDM

Embed Size (px)

DESCRIPTION

BigData

Citation preview

  • Upravljanje podacimaUpravljanje podacima(Data Governance)(Data Governance)

    -- Upravljanje kljuUpravljanje kljunim podacimanim podacima(Master Data Management)(Master Data Management)

    Prof. dr Dragana Beejski-VujaklijaUpravljanje razvojem IS

  • 22//4545

    ta jeta je Upravljanje podacimaUpravljanje podacima(Data(Data Governance)?Governance)?

    Skup aktivnosti koji ukljuSkup aktivnosti koji ukljuujeuje:: DefiniDefinisanje uloga i odgovornosti za podatkesanje uloga i odgovornosti za podatke Uspostavljanje internih standarda kvaliteta Uspostavljanje internih standarda kvaliteta podatakapodataka

    Definisanje pravila za kreiranje podatakaDefinisanje pravila za kreiranje podataka ArbitraArbitraa u situacijama deljenja podataka a u situacijama deljenja podataka ((sharedshared datadata))

  • 33//4545

    ime se bavi ime se bavi Data GovernanceData Governance

    Utvrivanje interesnih grupa i vlasnika podataka Utvrivanje zajednikih podataka za preduzee Nivelisanje zahtevanog kvaliteta podataka saglasnoposlovnim ciljevima

    Izolovanje IT od konflikata meu vlasnicima podataka

    Obezbeenje upravljanja podacima nezavisno od aplikacija

    Uspostavljanje monitoringa i merenje efekata.

  • 44//4545

    DDa li nam je potrebno upravljanje a li nam je potrebno upravljanje podacimapodacima??

    Moramo zaustaviti rasprave o tome ko je vlasnik kojih podataka

    Ne moemo uvesti Upravljanje podacima dok ne formalizujemo procese donoenja odluka u preduzeu.

    Besmisleno je fiksirati podatke za jedan podsistem, mnogi od njih imaju vie vlasnika u preduzeu.

    Svi su saglasni da je kvalitet podataka lo, ali niko nije saglasan oko naina kako da se to poporavi.

    Nai CRM, supply chain management i ERP programi su u mrtvom zagrljaju!.

    Imamo vie verzija jedine verzije istine!

  • 55//4545

    Cilj upravljanja podacimaCilj upravljanja podacima

    Smanjiti moguSmanjiti mogunost nastanka negativnih nost nastanka negativnih dogaaja koji su posledica lodogaaja koji su posledica loeg kvaliteta eg kvaliteta podataka.podataka.

    Nije moguNije mogue zae zatiti podatke, ako nije poznata titi podatke, ako nije poznata njihova vrednostnjihova vrednost

  • 66//4545

    ta je alternativata je alternativa??

    KKonfuonfuzziijaja,, fragmentafragmentacijacija & & frustrafrustracijacija Nedostatak Nedostatak progresprogresaa ViViee rada za osoblje rada za osoblje Sporovi i Sporovi i trotrokovikovi NeNemogumogunost usnost uspostavpostavljanjaljanja tokova izmeu vi tokova izmeu vie se sistemaistema TeTekokoe e pri pri integriintegrisanjusanju ssistemaistema u celinu celinuu bez bez avovaavova NNeemogumogunost nost izradizradee pouzdanih pokazatelja performansipouzdanih pokazatelja performansi

  • 77//4545

    Data Governance : Data ManagementData Governance : Data Management

    Data Governance

    Zatititi, poboljati, obezbediti podatke Osigurati nadzor, procenu usklaenosti, upravljanje rizicima za podatke

    Razumeti poslovne procese, poslovnu politiku, pravila i smernice

    Data Management

    Razviti pravila i standarde za podrku podacima

  • 88//4545

    Proces upravljanja podacima*Proces upravljanja podacima*

    *Nascio: Data Governance - Managing information as an enterprise Asset

  • 99//4545

    Koraci u razvoju Koraci u razvoju Data GovernanceData Governance

    1. Proceniti spremnost preduzepreduzea za DGa za DG 2. Definisati DG strategiju 3. Identifikovati tela koja donose odluke 4. Definisati oblasti i pravila odluivanja 5. Identifikovati mehanizme upravljanja 6. Razviti alate i kapacitete

  • 1010//4545

    Realizacija DGRealizacija DG

    1.1. Formiranje timaFormiranje tima2.2. Definisanje organizacijeDefinisanje organizacije3.3. Izrada planaIzrada plana4.4. Obuka, trening, informisanjeObuka, trening, informisanje5.5. Usvajanje standardaUsvajanje standarda

  • 1111//4545

    Procesi realizacije upravljanje Procesi realizacije upravljanje podacima podacima

  • 1212//4545

    Uloga Uloga uvara podatakauvara podataka-- DataData StewardsStewards

    NajvaNajvanija uloga u Dnija uloga u Dataata GGovernanceovernance DefinDefiniiee procedure,procedure, znaznaenje podatakaenje podataka,,implementimplementiraira ppravila za podatkeravila za podatke

    PodrazumevaPodrazumeva dobrodobro popoznaznavavanje nje oblasti oblasti poslovposlovaannjaja

  • 1313//4545

    TehniTehnike obaveze funkcije ke obaveze funkcije uvara podatakauvara podataka ((DataData StewardsStewards))

    Svakodnevna odgovornost za odrSvakodnevna odgovornost za odravanje i avanje i korikorienje baze podataka enje baze podataka

    KoriKorienjeenje alata za pomoalata za pomo u lociranju i u lociranju i odrodravanjuavanju podatakapodataka

  • 1414//4545

    Zadaci funkcije Data Zadaci funkcije Data StewardsStewards

    OOsigurava da svaki elemensigurava da svaki elemenaat podat podatkatka:: ima jasnima jasnuu i nedvosmisleni nedvosmislenuu ddefinicijefinicijuu,, nije u suprotnosti s drugim podacima (uklanja duplikate, nije u suprotnosti s drugim podacima (uklanja duplikate, preklapanje i sl.),preklapanje i sl.),

    jojo uvek se koristi (uvek se koristi (sklanjasklanja neiskorineiskorienenee podatkpodatkee),), dosledno se koristi u razdosledno se koristi u razliliitim delovima sistemaitim delovima sistema,, ima adekvatnu dokumentaciju,ima adekvatnu dokumentaciju, iima dma dokumentokumentovano ovano porporekeklo i izvore autoriteta.lo i izvore autoriteta.

  • 1515//4545

    ModelModel Data GovernanceData Governance

  • 1616//4545

  • 1717//4545

    Dimenzije kvaliteta podatakaDimenzije kvaliteta podataka

  • 1818//4545

    Modelovanje podataka Modelovanje podataka

  • 1919//4545

    ReRenik preduzenik preduzea a

  • 2020//4545

    Profilisanje podataka Profilisanje podataka

    Proces ispitivanja podataka u postojeem izvoru podataka i prikupljanje statistika i informacija o podacima

  • 2121//4545

    KoriKorienje podataka enje podataka (Enterprise Architecture) (Enterprise Architecture)

  • 2222//4545

    Analiza porekla podatakaAnaliza porekla podataka

  • 2323//4545

    Mapiranje podatakaMapiranje podataka

  • 2424//4545

    KljuKljuni faktori uspeha DGni faktori uspeha DG

    Jasno vlasniJasno vlasnitvo nad podatkomtvo nad podatkom Prepoznata vrednost podatkaPrepoznata vrednost podatka Efikasna pravila i procedure odrEfikasna pravila i procedure odravanjaavanja Pouzdanost podatkaPouzdanost podatka

  • Master Data ManagementMaster Data Management

    Upravljanje kljuUpravljanje kljunim podacimanim podacima

  • 2626//4545

    Definicija Master podatakaDefinicija Master podataka

    Kljune injenice koje opisuju glavne objekte poslovanja

    Visoko vredne informacije koje imaju uticaja na najvanije poslovne procese

    Ukljuene su u vie procesa, aplikacija i baza podataka

  • 2727//4545

    RazliRazliito predstavljanje sliito predstavljanje slinih nih koncepata koncepata

  • 2828//4545

    Master Data ManagementMaster Data Management

    Podrka svim aplikacijama koje kreiraju i/ili koriste master podatke

    Uspostavljanje fleksibilne funkcionalnosti za odravanje sistema, u zavisnosti od tanosti master podataka

    Odravanje konzistentnosti i odnosa meu master podacima

    Upravljanje ivotnim ciklusom podataka

  • 2929//4545

    MDM komponenteMDM komponente MDM se ne moe kupiti kao gotovo reenje

    Iterativna priroda njihovog razvoja

    Slojevi MDM komponenti Upravljanje poslovnim procesima Integracija Identifikacija Operativno upravljanje Upravljanje podacima Arhitektura

  • 3030//4545

    Prethodni koraci u realizaciji MDMPrethodni koraci u realizaciji MDM

    Utvrditi koji podaci u poslovnim procesima se mogu Utvrditi koji podaci u poslovnim procesima se mogu identifikovati kao kljuidentifikovati kao kljunini

    PronaPronai podatke povezane sa svakim kljui podatke povezane sa svakim kljunim podatkomnim podatkom PronaPronai nai nain za izolovanje kljuin za izolovanje kljunih podatakanih podataka Osmisliti naOsmisliti nain za koriin za korienje kljuenje kljunih metapodatakanih metapodataka Proceniti razlike meu podacima u cilju utvrivanja Proceniti razlike meu podacima u cilju utvrivanja

    standardizovanih modela za prikupljanje i integraciju standardizovanih modela za prikupljanje i integraciju kljukljunih podatakanih podataka

    Utvrditi tehnike za integraciju u jedinstveno skladiUtvrditi tehnike za integraciju u jedinstveno skladite te podatakapodataka

  • 3131//4545

    Pristupi identifikaciji master podataka Pristupi identifikaciji master podataka

    TopTop--down pristupdown pristup analizi modela podataka i analizi modela podataka i dokumentovanih modela poslovnih procesa dokumentovanih modela poslovnih procesa utvruje se koji objekti su kritiutvruje se koji objekti su kritini u skupu poslovnih ni u skupu poslovnih aplikacija.aplikacija.

    BottomBottom--up procesup proces evaluacije organizacionih resursa evaluacije organizacionih resursa pronalapronalaenje aplikacija i struktura podataka koje one enje aplikacija i struktura podataka koje one koriste, radi ukoriste, radi utvrivanja kljutvrivanja kljunih podataka nih podataka

  • 3232//4545

    Nivoi strukture za upravljanje kljuNivoi strukture za upravljanje kljunim nim podacimapodacima

    1.1. Nivo upravnog odbora (top menadNivo upravnog odbora (top menadment)ment)2.2. Odbor srednjeg nivoa upravljanja podacima Odbor srednjeg nivoa upravljanja podacima 3.3. Nivo pojednaca koji se pridrNivo pojednaca koji se pridravaju kreiranih avaju kreiranih

    procedura i pravilaprocedura i pravila

  • 3333//4545

    MDM kaoMDM kao kombikombinacija ljudi, renacija ljudi, reenja i enja i automatizacijautomatizacijee

  • 3434//4545

    MDM komponente struktuirane po slojevimaMDM komponente struktuirane po slojevima

  • 3535//4545

    Tok procesa integracije podatakaTok procesa integracije podataka

  • 3636//4545

    Vrste Vrste MDM MDM

    OperaOperaccionionii MDM MDM DefiniDefinisanjesanje, , kkrereiranje i iranje i ssiinhronizanhronizacija cija master master podatakapodataka koji se kkoji se kooriste kroz transakcioni sistem i njihova riste kroz transakcioni sistem i njihova isporuka putem isporuka putem serviservisno sno oriorijjententisanisane arhitee arhitekkture (SOA); ture (SOA);

    HHiibridbridnini MDM MDM Deo master podataka je upravljan unutarje upravljan unutartransatransakckcionionogog ssiistemstema, a deo podataka je arhiviran, kao a, a deo podataka je arhiviran, kao referencereference. .

    Reference File MDM Reference File MDM Upravljanje master podacima nije deo Upravljanje master podacima nije deo aktuelnih aplikacija, veaktuelnih aplikacija, ve ssu oni (redundantno) smeu oni (redundantno) smeteni u teni u refrerentne fajlove u nadlerefrerentne fajlove u nadlenim sektorima preduzenim sektorima preduzeaa..

  • 3737//4545

    Karakteristike uspeKarakteristike uspenog projekta MDMnog projekta MDM

    Efektivna tehniEfektivna tehnika infrastruktura koja omoguka infrastruktura koja omoguava ava kolaboraciju,kolaboraciju,

    Organizaciona spremnost na promene,Organizaciona spremnost na promene, MoguMogunost integracije u trenutno korinost integracije u trenutno korieni sistem,eni sistem, Visok kvalitet podataka,Visok kvalitet podataka, MoguMogunost nadgledanja procesa pomonost nadgledanja procesa pomou procedura za u procedura za

    upravljanje podacima,upravljanje podacima, Postojanje metoda za identifikaciju novih podataka kao Postojanje metoda za identifikaciju novih podataka kao

    kandidata za integraciju u skup kljukandidata za integraciju u skup kljunih podataka.nih podataka.

  • 3838//4545

    Rezultat MDM projektaRezultat MDM projekta

    Jedinstveno skladiJedinstveno skladite visokokvalitetnih kljute visokokvalitetnih kljunih nih podataka koji se koriste u aplikacijama podataka koji se koriste u aplikacijama irom irom organizacijeorganizacije

    Potpuno poverenje svih interesnih grupa u Potpuno poverenje svih interesnih grupa u ispravnostispravnost master podataka.master podataka.

  • 3939//4545

    Koristi od Koristi od MDM MDM zza sve a sve aaspekte poslovanja spekte poslovanja organizacije:organizacije:

    U finansijama, MDM moe dovesti do tanijeg izvetavanja, efikasnijeg planiranja i budetiranja

    U prodaji i marketnigu, dobar MDM moe obezbediti jedinstven pogled na kupca, to dovodi do veeg zadovljstva samog kupca.

    U nabavci i menadmentu lanaca snabdevanja, MDM moe znatno da smanji kaenjenja u isporuci i smanji greke u kodiranju artikala.

    Za proizvoae, MDM znai bre lansiranje proizvoda i bolje upravljanje povratnim informcijama od klijenata.

    Za IT, MDM vodi ka poveanoj produktinosti u razvijanju aplikacija zasnovanih na standardima.

  • 4040//4545

    TTrendovi razvoja MDMrendovi razvoja MDM

    Korienje alata za odravanje i proveru kvalitetapodataka unutar MDM vorita.

    Korienje opte platforme za podatke iz vie tematskih oblasti.

    Izgradnja dobrih studija sluaja primene MDM u vertikalnim segmentima (javna uprava, avio saobraaj, zdravstvo i sl.)

  • Big DataBig Data

  • 4242//4545

    Big Data Big Data -- definicijadefinicija

    Big DataBig Data je termin primenjen na skupove je termin primenjen na skupove podataka podataka ija veliija veliina prevazilazi sposobnost ina prevazilazi sposobnost softversksoftverskihih alate za snimanje, upravljanje i alate za snimanje, upravljanje i obradu podataka u okviru tolerisaobradu podataka u okviru tolerisanognogvremevremenana. .

    Big Data su u rasponu od Big Data su u rasponu od nekoliko desetina nekoliko desetina terabajta terabajta do do petabajta podataka u jednpetabajta podataka u jednomomsetsetuu podataka.podataka.

  • 4343//4545

    Primeri Big DataPrimeri Big Data

    veb logovi;veb logovi; RFID tehnologije, senzorske mreRFID tehnologije, senzorske mree; e; drudrutvene mretvene mree; internet tekst i dokumenata; e; internet tekst i dokumenata;

    podaci u astronomiji, biogeohemiji, biologiji, podaci u astronomiji, biogeohemiji, biologiji, drugim slodrugim sloenim interdisciplinarnim nauenim interdisciplinarnim naunim nim istraistraivanjima; ivanjima;

    vojni nadzor; medicinske evidencije; video vojni nadzor; medicinske evidencije; video arhive, eCommerce.arhive, eCommerce.

  • 4444//4545

    Tehnologije za Big DataTehnologije za Big Data

    Massively parallel processing (MPP)Massively parallel processing (MPP) DirectDirect--attached storage (DAS) attached storage (DAS)

    Big Data Analytics

  • 4545//4545

    PreporuPreporuena literaturaena literatura

    Loshin D.,Master Data Management, Morgan Kaufman, Amsterdam, 2009. biblioteka FONa

    http://www.datagovernance.com/ http://tdwi.org/microsites/mdm-portal/master-data-

    management.aspx

    http://www-01.ibm.com/software/data/master-data-management/ http://www.oracle.com/us/products/applications/master-data-

    management/index.htm