Datová kvalita se SAS

Copyr i g ht © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

DATOVÁ KVALITA SE SAS

16.03.2016


CO OD NICH MŮŽEME ČEKAT?

• Víme, jak se zachová?

• Co o něm vlastně víme?

• Víme, kdo to je? DATA!


ZAČÍNÁ TO U DAT

Jméno František

Příjmení Novotný

datum narození 22.1.1957

Rodné číslo 5501222/1361

místo narození Malé Mrtvice

Stav neznámý

počet dětí ??

zaměstnání Nezaměstnaný

Jméno Frank

Příjmení Newman

datum narození * 1958

zaměstnání Neuvedeno

příjem Neuvedeno

Bude to dobrý klient?

Je třeba mít dobré informace


CO ČEKÁME OD DAT

Poskytnout správnou informaci

Poskytnou spolehlivou informaci

Poskytnou dostatečnou informaci

Datová kvalita

• Správnost

• Úplnost

• Konsistence

• Jednoznačnost

• Aktuálnost

• Relevance

• Srozumitelnost

• Spolehlivost


NEKVALITA DAT CO TO ZNAMENÁ

1. Nesprávně zapsaná data

• Překlepy

• Přeslechy

• Odlišné zápisy

(case, diakritika, ...)

Jméno Příjmení Dat. narození Místo narození

Karel Novák ml. 12/4/1942 Brandýs n.l.

Lojza Bingo Dvořák, ing. 68-03-22 18000 Praha 8

inž Marie KRATOCHVILOVA 99/99/99

Frant. Kopecký 21.6.1976 Praha - Nusle

Jarislav Schneider 02-05-03 Benešov u Prahy

JIRI CERVENKA 1. LEDEN 1971 PRAHA IV

Procházková Božena 34.13.3008 Podolí

• Nesprávné hodnoty (chyby, různé doplněné texty...)

• Nestandardní hodnoty

• Údaje v nesprávných polích

• Údaje v nesprávném pořadí

• ...


Hypotéka

Leasing automobilu

Spotřební úvěr

Data

o klientovi ____

_______

________

_________

Spotřební úvěr Spotřební úvěr

Spotřební úvěr

Data

o klientovi ____

_______

________

_________

Podnikatelský úvěr

Data

o klientovi ____

_______

________

_________

Nesplácení

Data

o klientovi ____

_______

________

_________

Insolvence

Data

o klientovi ____

_______

________

_________

Jméno František

Příjmení Novotný

datum narození 22.1.1957

Rodné číslo 570122/1361

místo narození Malé Mrtvice

Stav Svobodný

počet dětí 6

zaměstnání Konsultant

VÝZVA: IDENTIFIKACE VZTAHŮ


NEKVALITA DAT CO TO ZNAMENÁ - DUPLICITY

2. Duplicitní a nekonsistentní data

• Data z různých systémů

• Různá (správné) zápisy týchž dat

• Nerozpoznané duplicitní záznamy

• Data týchž subjektů s různými údaji

Systém ID Jméno Příjmení Titul Bydliště - město Dat.narození RČ

S1 - ŽP 123345 František Šnajdr Ing. Ostrava 23.11.1965 651123/0341

S2 - HA H-0120011 František Šnajdr Ostrava - Poruba 1965-11-23 6511230341

S2 - HA H-0137289 František Schneider Ing. Ostrava 4 1965-11-23 6511230431

S3 - F 19873 FRANTISEK SNAJDR ING ----- ----- 6511230000

S3 - F 87174 Fratišek Šnajdr Ing. ----- 23.11.1965 6511230341

S4 - PM M-0089098 Frant. Šnajdr Ústí nad Labem ----- 651123/0341

S4- PM M-0001456 František Šnajder Ing. Ústí n.L. ----- 651123/0341

S5- PP PP0037545A František Šnajdr ing. 708 00 Ostrava 23.11.1965 IČ12398723


PŘÍKLAD

ZE ŽIVOTA

BRANDYS N/L. BRANDÝS NAD LABEN BRANDÝS P AD LABE

BRANDÝS N/L. BRANDÝS NAD LABEOM BRANDÝS P L.

BRANDYS N/LAB. BRANDÝS NAD LABEOŠEM BRANDÝS P LAB.

BRANDÝS N/LAB. BRANDYS NAD LABI BRANDÝS P LABEM

BRANDÝS N/LABEM BRANDÝS NAD LABLEM BRANDÝS PNAD LAB.

BRANDÝS BRANDÝS N/LB BRANDYS NAD LABN BRANDÝS PNAD LABEM

BRANDYS AD LAB. BRANDÝS N:L. BRANDÝS NAD LABN BRANDÝS.N.LAB.

BRANDÝS AD LABEM BRANDYS NA LABEM BRANDÝS NAD LABO BRANDÝS/LAB

BRANDYS N. L BRANDÝS NA LABEM BRANDYS NAD LABO\ BRANDÝS/LABE

BRANDÝS N. L- BRANDÝS NAD BRANDYS NAD LABRM BRANDÝS/LABEM

BRANDÝS N. L, BRANDÝS NAD ABEM BRANDÝS NAD LABRM BRANDÝSA NAD LABEM

BRANDÝS N. L. BRANDÝS NAD ALBEM BRANDÝS NAD LABWN BRANDÝSB NAD LABEM

BRANDÝS N.- L. BRANDÝS NAD BLAEM BRANDÝS NAD LAE BRANDÝSN AD LAB.

BRANDÝS N. L.. BRANDÝS NAD BLAM BRANDÝS NAD LAEBMM BRANDÝSN NAD LAB.

BRANDYS N. LAB. BRANDÝS NAD KABEM BRANDÝS NAD LAĚM BRANDÝSN. L.

BRANDÝS N. LAB. BRANDÝS NAD L. BRANDÝS NAD LBAEM BRANDÝSN.L.

BRANDÝS N. LABE BRANDYS NAD LA BRANDÝS NAD LBAEME BRANDÝSNAD LAB.

BRANDÝS N. LABE- BRANDÝS NAD LA BRANDÝS NAD LBEM BRANDÝSNAD LABE

BRANDÝS N. LABEM BRANDYS NAD LAB BRANDÝS NAD LBM BRANDÝSNAD LABEM

BRANDÝS N. LABEM0 BRANDÝS NAD LAB BRANDÝS NAD LEBAM BRANDÝSP AD LAB.

BRANDYS N. LABI BRANDÝS NAD LAB## BRANDÝS NAD. LAB. BRANDÝSP NAD LAB.

BRANDÝS N. LABI BRANDYS NAD LAB. BRANDÝS NAD. LABALAM BRANDÝSVNAD LABEM

BRANDÝS N. LBŠŤEM BRANDÝS NAD LAB. BRANDÝS NAD. LABALEM

BRANDÝS N.. L. BRANDÝS NAD LAB., BRANDÝS NAD. LABAM

BRANDÝS N.BRANDÝS BRANDÝS NAD LABAMA BRANDÝS NAD. LABEM

BRANDÝS N.L BRANDÝS NAD LABE BRANDÝS NAD.LAB.

BRANDÝS N.L- BRANDÝS NAD LABE, BRANDÝS NAD.LABEM

BRANDÝS N-.L- BRANDÝS NAD LABĚEM BRANDÝS NADLÁB

BRANDÝS N.L, BRANDÝS NAD LABEM BRANDÝS NADLABEM

BRANDYS N.L. BRANDÝS NAD LAB''EM BRANDÝS NAND LAB.

BRANDÝS N.L.; BRANDÝS NAD LABĚM BRANDÝS NASD LABEM

BRANDÝS N.LAB BRANDÝS NAD LÁBÉM BRANDÝS ND LAB.

BRANDÝS N.LAB. BRANDÝS NAD LABEM 1 BRANDYS NDA LABEM

BRANDÝS N.LAB.. BRANDÝS NAD LABEM 3 BRANDÝS NDA LABEM

BRANDÝS N.LABE BRANDÝS NAD LABEM OKL. P-VYCHOD BRANDYS NDAD LABEM

BRANDÝS N.LABEM BRANDÝS NAD LABEM, CZ BRANDÝS NDAD LABEM

BRANDÝS N.LB BRANDÝS NAD LABEM; BRANDÝS NL.

BRANDÝS N/L BRANDÝS NAD LABEM0 BRANDÝS N-L.


Vztahy mezi subjekty

• Rodina

• Domácnost

• Spolupracovníci

• Obchodní vztahy

VÝZVA: IDENTIFIKACE VZTAHŮ


DALŠÍ VÝZVY

• Identifikace lokalit

• Adresy – rizikové oblasti…

• Identifikace účtů

• Identifikace vozidel

• …


JDE O PENÍZE JAK VYPADAJÍ VE SKUTEČNOSTI PODNIKOVÁ DATA

• Data o klientech – osoby: 20 – 40% nekvalitních dat

• Data o klientech – organisace: 20 – 60% nekvalitních dat

• …

Larry English:

• Data jsou vždy v horším stavu, než jak

na první pohled vypadají:

• Ve skutečnosti 2- 3x více


Financial Assets Human Assets Data Assets

Podnikové finance HR Péče o data

• Správa dat, procesy, standardy, monitorování, analysa, řízení

• Sdílení klíčových dat, autorita referenčních dat

• Čištění, konsolidace, údržba kvality dat

• Integrace, přesunování, propojování, transformace dat

• Ukládání, zpřístupnění, zabezpečení, ochrana dat

DATA MANAGEMENT KONTEXT PÉČE O DATA


INFORMACE A BOHATSTVÍ

• Dnes existuje jen málo businessů, jež nejsou odkázány na vysoce

kvalitní informace

• Do získávání, uchovávání a správy informací se investovaly velké

peníze

• V jakém stavu je naše

informační bohatství ?


JDE O PENÍZE DOPADY NEKVALITNÍCH DAT

• Špatná data špatné výsledky zpracování

• Špatné výsledky zpracování špatně funguje business (procesy)

• Špatně fungují procesy přicházíme o peníze

• Kromě toho správa (špatných) dat stojí také peníze


CO DATOVÁ NEKVALITA ZPŮSOBUJE

• Správa a zpracování nekvalitních, nadbytečných a chybných dat

• Nedoručené zásilky (marketing, fakturace...)

• Není jednotný pohled na klienta (CVM, nabídka produktů, kampaně, rizika,...)

• Nesprávné výsledky zpracování (Reporting, analýzy, datamining...)

• Špatné fungování systému (nekompatibilita ...)

• Znemožnění návazných agend:

Geocoding, Householding ...

• Je to ošklivé, ztráta image

Ale hlavně: Stojí to peníze!


DATOVÁ KVALITA TYPICKÉ BUSINESS INICIATIVY, KTERÝCH SE TÝKÁ

• Kompletní a jednotná a informace o klientovi (osoby, organisace, adresy,

kontakty…):

• Obchod & Marketing: oslovování, segmentace, CVM, kampaně, mailingy…

• Risk & Fraud management, AML: Klasifikace, vazby, identifikace …

• Operace, logistika…: doručování, oslovování…

• Korektní informace o produktu:

• SCM: Identifikace produktu, referenční data, klasifikace, …

• Product Management: hierarchie, bundling, taxonomie, referenční data

• Podpora rozhodování, reporting, analýzy, BI:

• Jednoznačná korektní data → korektní výstupy

• Korporátní reporting

• Regulatorní reporting: Basel II, Solvency II…

• Podnikové procesy, systémy, provoz IT:

• Znemožnění návazných agend (geokódování, householding…)

• Náklady na správu (nekvalitních) dat

• Náklady na opravy defektů a řešení konfliktů a dopadů

• Nekompatibilita, zhoršená funkce …

• Další dopady

• Ztráta image, je to ošklivé, důvěra v procesy…


BI & ANALYTICS KONCEPTUÁLNÍ ARCHITEKTURA

Analytic

Data

Store

Analysa

Visualisace

Reporting

…

Integrace

a konsolidace

dat


BUSINESS

PROBLEM

BUSINESS

DECISION

20% 80%

Příprava (dat)

pro řešení problému

Řešení

problému

BI & ANALYTICS TYPICKÁ ÚLOHA


CO S TÍM? SAS DATA QUALITY!

DataFlux


ŘEŠENÍ STANDARDNÍ ÚLOHY DATOVÉ KVALITY

Profiling, analýza

Porozumění kvalitě zdrojových dat

Standardizace, čištění

Zlepšení stavu dat, náprava defektů

Integrace, unifikace, deduplikace

Konsolidace a propojení souvisejících dat

Obohacení, doplnění

Obohacení dat z externích zdrojů

Sledování, monitorování

Automatické sledování problémů s datovou kvalitou


HODNOCENÍ GARTNER HODNOTÍ

Přednosti DataFlux:

• Široký záběr DQ iniciativ

• použití v celém spektru úlog od BI, MDM? Až

migracím

• Nevídaný růst

• Velký počet nových zákazníků, projekt Unity

• Věrní a spokojení zákazníci

• 95% maintenance renewal rate

• Poměr investic do R&D

• Mezi dodavateli IT jeden z nepříznivějších poměrů

Gatrnet Magic Quadrant for Data Quality Tools

• Integrace plné šíře funkcí do jedné platformy

• Profiling, čištění, monitirování, správa metadat…

• Velká síla: využévání funkcí SAS • Uikátní posílení platformy dDataFlux

• Vývoj akcelerátorů • Customer Analysis, Materials classification…

• Zákazníci oceňují jednoduchou instalace a integraci

• Zákazníci oceňují vysokou úroveň technické podpory

Citát ze studie: „Dodavatel (DataFlux) neustále posunuje hranice

nástrojů datové kvality i celého trhu datové kvality,

což vede k jeho opětovné vedoucí posici v tomto roce


ANALÝZA EXPLORACE DAT

• Zjištění struktur dat

• Entity, atributy, datové typy

• Zkoumání obsahu dat

• Rozlišení druhu informací v datech (organisace

vs. individuum, adresa, telefon…)

• Zkoumání vztahů v datech

• Vztahy mezi datovými objekty (tabulky,

soubory)

• Vztahy mezi položkami a atributy

• Reference v datech

• Metody

• Využití známých metadat

• Odhady neznámých metadat

• Porovnání obsahu dat (fuzzy matching)

• Visualisace struktur a vztahů

• Porozumět datům

• Podklad pro detailní analysu dat

Cíl

Výstup


ANALÝZA DATA PROFILIG

• Analysa stavu dat

• Vytvoření profilu dat

• Identifikace osiřelých a redundantních dat

(vazby, asociace)

• Analýza frekvencí, vzorů a typů dat

• Měření úplnosti záznamů (nulls, blanks, ...)

• Identifikace, kvantifikace, klasifikace a

analýza chyb a problémů v datech

• Defekty

• Anomálie a výjimky

• Chybějící data

• Metody

• Statistiky o datech

• Visualisace a historisace

• Srovnávací analysa

• Drill-through funkce

• Standardní a uživatelské metriky kvality dat

• Zjistit stav dat

• Identifkovat problémy kvality dat

• Podklady pro design oprav dat

• Podklady pro řízení kvality dat

Cíle

Výstupy


ČIŠTĚNÍ OPRAVA A STANDARDISACE DAT

• Automatické čištění

• Rozpoznání (parsing) obsahu datových položek

• Rozpoznání (sub)typu entity (identifikace)

• Opravy (překlepy, nesprávné zápisy, formáty …)

• Doplnění chybějících položek, je-li to možné

• Standardizace

• Převod na

jednotný formát

• Náhrada/doplnění

standardních

hodnot

Zdroje (QKB)

Parse definition

Slovníky, gramatiky, dělící tabulky, regexlib

Standardization definion

Standardizační schémata, regexlib

• Opravit defekty v datech

• Standardisovat hodnoty dat

• Data v jednotné podobě

• Data odpovídající standardům

Cíle

Výstupy

Parsing

Identifikace

Standardisace

Gender Analysis

Casing

Formátování


ENTITY

RESOLUTION VERIFIKACE

• Verifikace adres

• Adresy z různých zdrojů

v různých formátech

• Parsing – získání adresních komponent

• Normalisace pro vyhledávání

• Vyhledání v adresním registru (RUIAN)

• Porovnání na základě pravidel (matching, clustering)

• Standardisace a obohacení adresy

• Data z referenčních záznamů

• Verifikace organisací

• Rozpoznání typů a subtypů subjektu

• právnická / fysická osoba / individuální podnikatel,

právní forma, odvozená právní subjektivita …

• Vyhledání v registru /registrech organisací

• RES, Obchodní rejstřík…

• Obdobně jiné entity

• Zdroje

• Definice QKB

• Parse, Identification, Match, Standardize

• Předdefinované procesní úlohy (joby)

• Nalézt referenční záznamy

v registrech (referenčních DB…)

• Referenční ID záznamu

• Referenční hodnoty záznamu

Cíl

Výstupy


AUGMENTATION OBOHACENÍ DAT

• Přidání hodnoty existujícím datovým zdrojům

• Odvození nových informací z existujících dat

• Rozšířené informace o adrese

• Doplnění souřadnic

• Informace o risikových zónách

• Odvození informací z existujících atributů

• Blacklisty, watchlisty

• Rating

• Klasifikace produktů

• Analytické informace (segment, risiková skupina,

CVM…

• Zdroje

• Analytické systémy, ODS, datamarty

• Externí zdroje

• Externí služby

• Přidání nových informací

k verifikovaným záznamům z

dalších zdrojů

• Nové datové položky

Cíl

Výstupy


MONITORING SLEDOVÁNÍ STAVU DAT

• Okamžitý stav kvality

dat v daném čase

• Ukazuje na spolehlivost

analýz, správnost reportingu,

účinnost kampaní atd. v danou chvíli

• Úzká a problémová místa řízení kvality dat

• např. které systémy, lidé, pobočky … data „špiní“ více než

jiné

• Trendy vývoje datové kvality

• Konsistentní měření v časových řadách

• Účinnost nápravných a preventivních opatření a procesů

• Průběžné měření kvality dat

• Zachycení anomálií a defektů

• Reporty, dashboardy

• Alerty, akce, události

Cíle

Výstupy

• Vestavěný rule engine

• Obecná pravidla

• Pravidla DQ

• Akce:

• Zápis do logu

• Vyrozumění (alert),

email,…

• Spuštění úlohy,

programu, workflow…


ZNALOSTNÍ BÁZE QUALITY KNOWLEDGE BASE (QKB)

• Formalisovaný interní subsystém

• Typy entit, definice, struktury

• Pravidla, standardy …

Co to je

Výstupy • Obsah:

• Obecné datové typy a entity

• Jméno, adresa, město, RČ, ...

• Definice (Pravidla)

• Parsing

• Standardisace

• Matching

• Gender Analýza

• Casing

• Knihovny a slovníky

• Slovníky

• Překladová schemata

• Gramatiky

• Fonetiky

• Knihovny regulárních výrazů

• Dělící tabulky (mapy znaků)

• Definice, knihovny a slovníky • vytvořeny pro všechny datové typy

• Úplnost a variabilita

• Jazykové mutace (locales: 80+)

• Správa: modul Customize


ŘEŠENÍ TYPY ÚLOH (ARCHITEKTURY ŘEŠENÍ)

• Dávkové čištění a konsolidace dat

• ETL – konsolidace klientů, adres, produktů – dimense

• Dávkový vstup dat + datové toky, transformace

• Konsolidace více zdrojů

• Různé systémy

• Různé úlohy

• Akvisice, slučování firem – konsolidace kmene zákazníků…

• Integrace externích zdrojů – blacklisty, watchlisty, registry

(adresy, firmy), geocoding…

• Proaktivní - on/line čištění a konsolidace v reálném čase

• On-line kontroly a opravy při vstupu dat (aplikace, internet…)

• Verifikace/identifikace – identifikace subjektu

• Kompletace informace – nalezení všech informací

o klientovi (profil, produkty, kampaně, risika, household)

• Blacklisty, whitelisty, watchlisty…

• Reporting

• Regulatorní

• Kontroling

• Master Data Management

• Data Governance…


ŘEŠENÍ SAS VLASTNOSTI PLATFORMY DATOVÉ KVALITY

(DATAFLUX)

Kompletní a komplexní funkcionalita Umí vše, co má umět:

Profiling, Parsing, Standardizace,

Match, Merge, Enrichment, DQ

Monitoring & Reporting

Unikátní technická řešení Generování universálního matching key

Dynamicky nastavitelná sensitivita

...

Podpora věcně orientovaných uživatelů Modularita, srozumitelnost a přehlednost

Nic se nekóduje

Inteligentní znalostní báze QKB

Různé režimy práce Batch i on-line

Identické joby

Otevřenost, flexibilita, variabilita Různé datové zdroje a režimy práce

Obecné datové typy, kompositní datové typy

...

Různé provozní platformy

Integrace s jinými technologiemi (ETL, OS,

ERP ...)

Lokalizace

…


DATA MANAGEMENT PŘEHLED NÁSTROJŮ


PŘÍNOSY ŘEŠENÍ SHRNUTÍ PŘÍNOSŮ NAVRHOVANÉHO PŘÍSTUPU

• Robustní ověřená technologická platforma, extensivní podpora produktu

• Kompletní funkcionalita

• Škálovatelný výkon

• Řešení plně pod kontrolou technických a business uživatelů

• Přehlednost, transparentnost, otevřenost, fexibilita

• Otevřená znalostní báze

• Vysoká produktivita

• Efektivní implementace řešení v prostředí DM Studio/DM Server

• Využití hotových komponent, pravidel, úloh a služeb

• Snadné změny a rozšiřitelnost řešení

• Efektivita

• Modulární stavebnicové řešení

• Koncept evoluční realisace po etapách „bez ztráty květinky“

• Zkušenosti a podpora

• Velké množství referencí (Corporate DQ standard)

• Vývoj a certifikace znalostních bází DQ (QKB)

• Zázemí mezinárodní firmy (rozvoj, podpora, partneři…)

32

Produktivita

Flexibilta

Efektivita

Kontrola


POZVÁNKA

SNÍDANĚ S DATY … A SASem

31.3.2016:

SAS DQ DataFlux – Chytrá technologie pro čištění a konsolidaci dat

7.4.2016:

SAS Master Data Management – řešení, které roste s vašimi potřebami

21.4.2016:

SAS Data Governance – Péče o podniková data prakticky

2.6.2016:

SAS DM4VA – Datová elegance: Integrace, konsolidace, analysa

a visualisace dat v jednom

16.6.2015:

SAS pro Hadoop – I práce s Velkými daty může být snadná

Copyr i g h t © 2012, SAS Ins t i tu t e Inc . A l l r ights reser ve d.

Technology

Datová kvalita se SAS