View
0
Download
0
Category
Preview:
Citation preview
Fekete ZoltánBI&W termékmenedzserOracle Hungary
Adattárházak
Adattárházak
?Bevezetés
?Oracle infrastruktúra
?A betöltési oldal - ETL
?Jelentések
?OLAP
?Adatbányászat
Üzleti környezetA kihívások...
TechnológiailehetoségekTechnológiailehetoségek GlobalizációGlobalizáció
VersenyVerseny
Rövid ideig fennállóversenyelonyök
Rövid ideig fennállóversenyelonyök Ügyfél lojalitás
változásaÜgyfél lojalitás
változása
DeregulációDereguláció
Piac ismeretAz üzletmenet megértése
Adattárház
?Az ‘üzlet’ a vállalat versenyképességének növeléséhez kéri az informatika hozzájárulását
?Több információt igényel az ügyfelekrol,piacokról és ugyanakkor a belso muködésrol is
?Integráltságot követel meg, egy alapvetoen funcionalitás és üzletágak szerint széttagolt informatikai környezetben
Rakjuk össze az adatokatAdat és tudás
INTEGRÁCIÓ
• sok adat
• egy forrás mindenkinek
• Ido!
• Infrastruktúra
• BI alap
Adattárházelemzésre optimalizált, nem tranzakciókra
?Terület orientált – témákra koncentrál
?Integrált – sok forrás, konzisztens formátum
?Nem változékony – ami bekerült, nem változik
?Idoben változó – hosszú idon át gyujtött adatok
Adattárház, elemzésre optimalizált
Kevés
OLTPKomplex adatstr., 3NF
AdattárházTöbbdimenziós adatstr.
Indexek
Join-ok
Duplikált adat
Származtatott,aggregált adat
Sok
Sok Néhány
Normalizált Denormalizált
Ritka Gyakori
Normalizált
OLTP Adattárház
Séma
Muveletek
Történeti adatok
Bevitel, kis keresések
Hetek, hónapok
Nagy keresések
Idosorok, trendek
TerhelésAd-hoc, rugalmasJól tervezheto
Adat módosítás
Betöltés ütem.Felh. nem mód.
Gyakori módosítás
Nem / részbennormalizált
Csillag séma
Az Oracle infrastruktúra
CWM Metadata
E-Business Intelligencia csomagE-Business Intelligencia csomag
WebWebadatadat
Külso Külso adatadat
OperatívOperatívadatadat
WarehouseBuilder
WarehouseBuilder
Új üzleti intelligencia irányvonalOracle 9i az E-üzleti intelligencia alapja
9iApplication
Server
9iApplication
Server BI BeansBI Beans
DiscovererDiscoverer
ReportsReports
PortalPortal
Oracle9i
ETL Infrastructureand
OLAP Services and
Data Mining
Oracle9i
ETL Infrastructureand
OLAP Services and
Data Mining
Oracle9i az e-üzleti intelligencia platformja
Oracle9i Databaseegyetlen üzleti intelligencia adatszerver
Metadata
Relációs
ETL
OLAP
Adatbányászat
Oracle9i Alkalmazás szerverFuttatja az összes üzleti intelligencia lakalmazást
Portál
BI komponensek
Webhely elemzés
Metadata
Lekérdezés és Jelentéskészítés
ETL
Extraction, Transformation,
Load
Oracle Warehouse Builder
1 Forrás Forrás defdef..
A cél DW tervezéseA cél DW tervezése22
Forrás és cél Forrás és cél összekapcsolásaösszekapcsolása3
Kód generálásKód generálás4
WarehouseWarehouse létrehozásalétrehozása5
Adatkinyerés és transzformációAdatkinyerés és transzformációAdatkinyerés és transzformáció66
Oracle9i
• Relational• Files• Legacy• Applications
Tervezés és alkalmazás automatizálás
Oracle Warehouse Builder 3iKiterjesztett tervezési környezet
? Fejlesztett mappelés– Többlépcsos
– Több cél tábla
? Kifejezés építo (Expression Builder)
Transzformációs elemkészlet? Komplex text források
feldolgozása ? PL/SQL visszafejtés
ETL Infrastruktúra9i egy eroteljes transzformációs motorrá válik
?Adat változás érzékelés?Külso táblák?Tábla függvények?Multi-tábla insert?Upsert?Felfüggesztett
parancsvégrehajtás?Párhuzamos adat pipeline
Oracle9iOracle9i
ETLInfrastruktúra
Külso táblák
?Külso adatok mint adatbázis táblák jelennekmeg
– metaadat definiálás DDL utasításokkal– adatbázisból közvetlenül elérheto SQL, PL/SQL,
Java nyelveken– nincs szükség ideiglenes tárolásra (staging)– állományok párhuzamos feldolgozása
szükségtelenné teszi az állományok felszabdalását
?Csak olvasásra alkalmasak, nem indexelhetok
Tábla függvények
stage 1 T 1 T 2stage 2
forrás célTranszformáció köztes tárolókkal
T 1 T 2
T 1
T 1
T 2
T 2
célforrás
Adatcsövezett, párhuzamos transzformáció
… Helyette ...
Lekérdezési teljesítményLekérdezési teljesítmény
Materialized ViewsMaterialized ViewsMaterialized Views
Index & Join MethodsIndex &Index & Join MethodsJoin Methods
Parallel OperationsParallelParallel OperationsOperations
PartitioningPartitioningPartitioning
QueryOptimizer
QueryOptimizer
• The best approach for every query• integrált• átfogó
•• The best approach for The best approach for everyevery queryquery•• integráltintegrált•• átfogóátfogó
Mi a ParticionálásMi a Particionálás
CREATE TABLECREATE TABLE salessales((salessales__idid NUMBER,NUMBER,timetime__idid DATE,DATE,customercustomer__idid NUMBER,NUMBER,productproduct__idid NUMBER,NUMBER,salessales__amountamount NUMBER)NUMBER)
PARTITION BY RANGE (PARTITION BY RANGE (timetime__idid))(PARTITION jan00 VALUES (PARTITION jan00 VALUES
LESS THAN '01LESS THAN '01--FEBFEB--2000',2000',PARTITION feb00 VALUES PARTITION feb00 VALUES
LESS THAN LESS THAN ‘‘0101--MARMAR--2000',2000',PARTITION mar00 VALUES PARTITION mar00 VALUES
LESS THAN '01LESS THAN '01--APRAPR--2000');2000');
Application
SQLSQL
MarJanFeb
SalesTulajdonságok …Tulajdonságok …
Haszon …Haszon …
• Táblák és indexek kisebb, jobban menedzselheto részekre bonthatóak.
• Táblák és indexek kisebb, jobban menedzselheto részekre bonthatóak.
• Menedzselhetoség: ‘oszd meg és uralkodj’ technika a nagy objektumok kezeléséhez
• Teljesítmény: partíció kihagyás
• Elérhetoség: partíció függetlenség
• Transzparens az alkalmazásoknak
•• MenedzselhetoségMenedzselhetoség: : ‘‘oszd meg oszd meg és uralkodjés uralkodj’’ techntechnikaika a nagy a nagy objektumok kezeléséhezobjektumok kezeléséhez
•• TeljesítményTeljesítmény: part: partíció íció kihagyáskihagyás
•• ElérhetoségElérhetoség: part: partíció íció függetlenségfüggetlenség
•• TransTranszzparenparens az s az alkalmazásoknakalkalmazásoknak
Jelentések, adatelemzés
Eltolódás a magasabb hozzáadott érték felé
Kivételkeresés
Jelentéskészítés
Ad Hoc lekérdezés
Üzleti intelligenciaStratégiai
Reaktív
Menedzselt
Az adattárház felhasználása
Elemzés
ExpressExpressDiscoverer
ReportsReports
Önkiszolgáló adatpublikálás Lekérdezett adatok átadása az
Expressnek
Lefúrás a Discovererbe
Lekérdezés definiciókátadása a
Reportsnak
Jelentések készitése az
Express adataiból
AdatbányászatAdatbAdatbáánynyáászatszat
Standard és ad-hoc jelentések
?Melyik a 10 legnyereségesebb vásárlónk 2001. szeptemberben?
?Melyek azok a területek, ahol a legmagasabb a terv-tény eltérés?
?Mi volt az értékesítés megoszlása csatornákszerint?
?Kik azok a szállítók, akik idoben szállítottak és nem merült fel minoségi probléma?
?Hogyan alakultak a mérési veszteségek az elmúlt évben és mi volt a megoszlásuk?
?...
Oracle 9i AS Üzleti IntelligenciaLekérdezés és jelentéskészítés
Portál
BI komponensek
Jelentéskészítés és lekérdezés
Web Lap elemzés
Oracle9Oracle9i i ASAS
DiscovererEgyszeruenhasználható lekérdezoés elemzo eszköz nagyteljesítmény igényekre
ReportsHatékony vállalati jelentéskészíto megoldás internetes és hagyományos adatpublikálásra
EngineEngineEngine Engine
9iAS Reports
Web Listener
Multi TieredServer
Oracle9iAS Reports Alkalmazás szerver alapú jelentéskészítés
?Kiterjedt információ publikálás
– Browser– Email– Wireless
?A jelentések dinamikusan készülnek a szerveren ?Batch idozítés ?Kimeneti cache ?Futásideju tesreszabás
(XML)
Discoverer Ad-hoc lekérdezés és elemzés az IAS-ban
? 9iAS Internetes kliensek:– Discoverer Viewer:
?HTML kliens támogatás?Szélesköru felhasználásra
– Discoverer Plus: ?Pure Java, Firewall támogatás?Power User számára
? Admininisztrátor– EUL metaadat elokészítés – az IDS része
Discoverer PlusDiscoverer Plus
Discoverer ViewerDiscoverer Viewer
On-line Analytical Processing
OLAP
OLAP követelmények
?Hagyományos elemzo alkalmazások– Komplex analitikus lekérdezések és tervezés– „Azonnali válaszok” – Nagy számú konkurens felhasználó
?On-line üzleti intelligencia követelmények– Nagymértékben skálázható– Nyílt elérés– Menedzselhetoség
Többdimenziós adatbázis
- Az adatelemzési és tervezési szempontok, azazdimenziók: projektek,termékek, alapanyagok,
szervezeti felépítés, kategória (fokönyvi sorok), ido- A dimenziók elemei hierarchiákba csoportosíthatók (pl. év-negyedév-hónap).
- A dimenziókra adatkockák és üzleti modellek épülnek.
- Származtatott értékek.- Riport, grafikon, munkalap.
Idoszak
SzervezetTermék
termelési
tervTermék
Multidimenziós tárolás A végfelhasználók saját logikai nézete
ügyintézo nézete Pénzügyi igazgató nézete
Termék manager nézete
IdoszakQ1 Q2 Q3 Q4
Termék
Termék1
Termék2
Termék3
Termék4
...
Telep 1Telep 2
Telep 3Szervezet
Telephely igazgató nézete
Az adatok egyszeru lépésekkel választhatók ki
?Több hierarchia
?Lefúrási lehetoség
?Kiválasztás szint, tulajdonság, család alapján
?Kivételkeresés
?Legjobb n, legrosszabb n
?Egyezéses kiválasztás
Felhasználói infrastruktúra
?Biztonság?Elérési jogok?Adatelosztás
?Elore definiált jelentések?Ad-hoc elemzések
?Web, adatbevitel is
Oracle Financial Analyzer
Oracle Financial Analyzer:szélesköru kontrolling funkciók• Elemzés
– Döntési forgatókönyvek (‘Mi lenne ha elemzés’)– Idosoros elemzés, trend felállítás, mutatók
• Tervezés– Null és bázis tervezés– Fentrol le, lentrol fel tervezés– Gördülo tervezés– Terv változatok, összehasonlítás
• Ellenorzés– Egyszeru terv-tény-elorejelzés összehasonlítás– Kivétel keresés
• OFA-Fokönyv kapcsolat
Az
OLAP alap:
Express Server
Express Server
Az Oracle Express a világ legskálázhatóbb és leggyorsabb OLAP szervere.
Az Express APB-1 OLAP világcsúcsot megsem közelítik más szállítók.
Lekérdezés, számítás, aggregálás...
OLAP hátrányok ma
Relációs adatbázisRelációs adatbázis Részbeni OLAP megoldás
Multidimenziós adatbázisMultidimenziós adatbázis
Replikált adat Többlet adminisztráció
Elérhetetlen az SQL kliensek számára
Korlátozott skálázhatóság
OLAP ServicesMi ez, és mit csinál?
? Elemzo függvényeket és kalkulációkat ad az adatbázishoz
– Multimenzionális moldell biztosít
– Túlmutat az SQL lehetoségein
? Fejlesztési platformot biztosít az elemzo alkalmazások számára
– Adat kezelést, API felületet és fejleszto eszközöket biztosít
– Nem csak egy back end adatbázis szolgáltatás
Analitikus alkalmazás platform
Oracle9iOracle9i
Skálázható adattárIntegrált meta adatokSummary managementSQL elemzo függvények
Oracle9i OLAP Oracle9i OLAP ServicesServicesJava OLAP APIPredictive analysis functions
Oracle Oracle Business Intelligence Business Intelligence BeansBeans
Gyors alkalmazás fejlesztésElemzésre kész
Oracle9i OLAP Services
Forecasts · Models · AllocationsConsolidations · Scenarios · Custom Functions
Oracle Oracle Relational Database Relational Database
OLAP OLAP ServicesServices
MetadataMetadata
Java OLAP APIJava OLAP API
Business Intelligence BeansBusiness Intelligence Beans
Query Query ProcessorProcessor
DataData
Metadata Metadata ProviderProvider
Analytic Workspace Analytic Workspace
SQL SQL GeneratorGenerator
DataData
MultidimensionalMultidimensional
EngineEngine
MetadataMetadata
Metadata Metadata ProviderProvider
Data Warehouse - Query and Reporting
Adatbányászat
Mi az adatbányászat?
“Röviden, az adatbányászat
rejtett minták és kapcsolatok feltárása
az adattömegben, a jobb üzleti döntések
elosegítésére”
-- Robert Small, Two Crows
Adatbányászati feladatok
?Az ügyfél viselkedés megértése
?Sok adat gyors vizsgálata
?Jobb modellek építése
?BI létrehozás
?CRM adatok elemzése
?Az ügyfél kapcsolatok javítása
Adatbányászattal integrált megoldások
?Az adatokban rejtett információ gyors felszínre hozása
?Az Oracle adatbányászat prediktív és klasztering komponensei a részletes adatokból adnak információt
?Teljessé teszi az adattárház megoldásokat
?Növeli az IT infrastruktúra értékét és csökkenti a megtérülés idejét
Egy példa - tanuljunk a múltból?Az adattárházból:
– válogassuk le az összes (leíró és viselkedési) részletadatot az elozo évben elvándorolt ügyfelekrol
?Használjunk adatbányászatot:– milyen közös jellemzokkel rendelkeznek ezek az
(volt) ügyfelek és súlyozzuk az egyes jellemzoket az elvándorlás szempontjából
?Használjunk kampány menedzsmenteszközöket:
– válogassuk le jelenlegi ügyfeleink közül azokat, akik megfelelnek a felismert (elvándorló) tulajdonsághalmaznak - hiszen ok esélyesek az elvándorlásra - és indítsunk akciót ezen ügyfelek lojalitásának növelésére
Döntési fák
? Fák (gráf) az adatösszefüggéseket szemléltetik
? Statisztikai módszerek alapján épülnek fel
? Tipikus alkalmazások– Vásárlók / válaszolók
– Hibázók / csalók / elvándorlók
Jövedelem > 80 ,000 Ft /h ó
A k t . m u n k a h e l y > 5 év M a g a s tartozás
Nem
Nem Nem
Alacsony k.
Igen
N a g y k.
Igen
Alacsony k.N a g y k.
Igen
Hiteligénylési kockázat becsléseHiteligénylési kockázat becslése
Neurális hálózatok
?Az idegrendszer biológiai komplexitását az idegsejtek kapcsolatait hivatott modellezni
? “Fekete doboz”, A modellek nehezen szemléltethetoek
? Lineáris és nem lineáris problémákat is képes modellezni
?Kezelni kell a túltanulást
1
2
3
4
5
6
W14
W25
W36
W56
W46W15
W13W23
W24
Modell típusok?Klasszifikációs és regressziós fák
(C&RT)– Klasszifikáció és predikció bináris, többosztályú és folytonos változókra– Csökkenés függvények: gini és entropy– Nyeso függvények: cost és gini– Maximum csúcs szám és suruség függvények a fa méret szabályozáshoz– Eloszlás és költség opciók
?Neurális hálózatok– Egyszeru tanítás, tanítás és tesztelés, kereszt -validálás– Tanítás és teszteléshez automatikus megállás– Klasszifikáció és predikció bináris, többosztályú és folytonos változókra– Aktivációs függvények: sigmoid, hypertangent és linear– Tanítási algoritmusok: conjugate gradient, modified Newton, steepest
descent, backpropagation és genetikus algoritmus neurális hálózatok optimizálásához– Cost függvények: square, pnorm és information divergence
?k-legközelebbi szomszédok (Memória alapú dönt.)– Tanítható k-legközelebbi szonszédok– Klasszifikáció és predikció bináris, többosztályú és folytonos változókra– Szomszédok száma és bias opciók
?Klasztering– k-közép módszer, centroidok– Input mezokre felhasználó által definiált súlyok– Interaktív grafikus elemzés– Szabályok
++
+
+
+ +
++
---
-
- -
--
Induction TreeTree
?
++
+
+
+ +
++
---
-
- -
--
Neural NetsNet
?
++
+
+
+ +
++
---
-
- -
--
k-Nearest NeighborsMatch
?
ClusteringCluster
?? ?
???
? ??
?? ?
??? ??
OMO Data Mining eredmények - Lift ábra
LIFTLIFT
Data Mining az Oracle9i Database-be ágyazva
?Több algoritmus– Naïve Bayes (osztályozás) - supervised
– Association Rules (asszociáció) - unsupervised
– Fejlodés: C&RT, neurális hálózatok, SOM...
?Alapértelmezett és részletes paraméterezés
?Több féle predikció– Adott esemény valószínusége
– A legvalószínubb esemény Data Mining
Predikció és klasszifikáció
Korábban rejtett információk a hívóközpont kezelonek.
Predikció és valószínuség.
Oracle9i Perszonalizáció“Valós ideju ajánlási motor”
?Valós ideju ajánlási motor, 1:1 marketing kapcsolatok eléréséhez az Interneten
– Cross-selling és up-selling
– Web lap tartalom testreszabás, pl. hirdetések
Tradicionális adatbányászat
Valós idejuSession
környezet+
Oracle9i Personalizationarchitektúra
Historikus adatok
Web Application
Web Application
Mobile Application
Mobile Application
Call Center ApplicationCall Center Application
Campaign ManagementCampaign
Management
Javaslat kérés
Predictívmodellek
Recommendation Engine Farms
RecommendationsHello! We have recommendations for you.
Ismét a rejtett összefüggések...... az elemzok szerepe
Integráció a BI Portál segítségével
Sokoldalú elemzésSokoldalú elemzés
VállalatiVállalatijelentéskészítésjelentéskészítés
WeblapWeblapelemzéselemzés
AdAd--Hoc Hoc LekérdezésLekérdezésés elemzésés elemzés
Recommended