VvAaLlÓóSs  IiıDdEeJjȷŰű  OoDdSs  goldengate alapokon a magyar telekomban

Pusztai Péter IT fejlesztési senior menedzser – Magyar Telekom

Medveczki György szenior IT architekt – T-Systems Magyarország

2014. március 26.

2

AaMmIiıRrŐőLl  SsZzÓó  LlEeSsZz…

� Siebel Replika – ODS rendszer születésének körülményei a Magyar

Telekomban � Replikáció GoldenGate-tel � Valós idejű adattörténet építés mikéntje és gyakorlati haszna � Kihívások az implementáció során � A rendszer felhasználási céljai, lehetőségei � GoldenGate működése, tapasztalatok � Technológiai jógyakorlatok

3

� Több forrásból származó, integrált adatokra épített adatszolgáltatások � Rugalmasan építhető riporting keretrendszer kialakítása

� Nagy számításigényű feladatok elvégzése � Nagy adattömegű, batch adatszolgáltatások

� Siebel audit logok biztonságos és elkülönített gyűjtése � Meghatározott tulajdonságok alapján történő adatirányítás � Érzékeny adatokhoz történő hozzáférés korlátozása

� Valós időben épülő adattörténet

Aa  SsZzÜüLlEeTtÉéSs  KkĸÖöRrÜüLlMmÉéNnYyEeIiı MmIiıLlYyEeNn  IiıGgÉéNnYyEeKkĸ  HhÍíVvTtÁáKkĸ  ÉéLlEeTtRrEe  Aa  SsIiıEeBbEeLl  RrEePpLlIiıKkĸÁáTt

Éles Siebel tehermentesítése

3

Érzékeny adatok és Siebel audit logok kezelése

2

Adattárház táplálása

1

Aa  SsZzÜüLlEeTtÉéSsTt  KkĸÖöVvEeTtŐőEeNn  ÚúJjȷAaBbBb  IiıGgÉéNnYyEeKkĸ  JjȷEeLlEeNnTtEeKkĸ  MmEeGg:

4

GgOoLlDdEeNnGgAaTtEe  RrEePpLlIiıKkĸÁáCcIiıÓó RrEePpLlIiıKkĸÁáCcIiıÓóSs  SsZzÁáLlAaKkĸ    

SIBREP – DML/DDL AUDREP – DML/DDL, insert all HSTREP – csak DML SOAREP – DML/DDL

GoldenGate szálak

NG Siebel

AIA

Siebel Replika

5

AaDdAaTtTtÖöRrTtÉéNnEeTt  ÉéPpÍíTtÉéSs ÉéSs  AaZz  AaDdAaTtTtÖöRrTtÉéNnEeTt  GgYyAaKkĸOoRrLlAaTtIiı  HhAaSsZzNnAa

Rugalmasan konfigurálható keretrendszer • History record előállítása 3 lépésben • Metaadatbázis használata (tábla / mező szintű konfiguráció, fázisok

definiálása, triggerek felépítése) Adattörténet felhasználási lehetőségei: • adattárház számára előkészített érvényességkezelt idősor • nyomozás (hibák, incidensek, performancia) • folyamattámogató üzleti funkciók • riportolás

6

KkĸIiıHhÍíVvÁáSsOoKkĸ

Forrás adatbázisok struktúrájának változása

Megoldás � DDL replikáció

� DDL replikáció monitorozása

Adattörténet folytonosságának fenntartása

Megoldás � Adattörténet javító eszköz

Programok fejlesztése, tesztelése

Megoldás � Adatmodell feltérképezése

� Tesztadatok előállítása a replika adatbázisban

26.03.2014 – Streng vertraulich, Vertraulich, Intern – Autor / Thema der Präsentation 7

AaRrCcHhIiıTtEeKkĸTtÚúRrAa  ÁáTtTtEeKkĸIiıNnTtÉéSsEe FfOoRrRrÁáSs- ÉéSs  CcÉéLlRrEeNnDdSsZzEeRrEeKkĸ,  MmOoDdUuLlOoKkĸ

FfEeLlHhAaSsZzNnÁáLlÁáSsIiı  CcÉéLlOoKkĸ,  FfUuNnKkĸCcIiıÓóKkĸ

Számos felhasználási lehetőség: • valósidejűség kihasználása: audit logok szolgáltatása a logelemző

rendszernek akár perces gyakorisággal • kérés – válasz alapú interfész: dolgozói kedvezmény osztás • visszairányú interfészek: a forrás rendszer egyben a replikában feldolgozott

adatok fogadó rendszere • Siebel terméktörzs adatok szolgáltatása • teljes adattörténetre épülő adatszolgáltatások: hatósági adatszolgáltatás,

ahol minden változás átadása szükséges • operatív riportok: pl. vizsgálatra váró invalid címek

8

9

Aa  VvAaLlÓóSs  IiıDdEeJjȷŰű  IiıNnFfOoRrMmÁáCcIiıÓó  VvOoNnZzEeRrEeJjȷEe

10

MmIiı  AaZz  OoDdSs  ÉéSs  MmIiıÉéRrTt  JjȷÓó?  

• Az Operational Data Store fogalma (Inmon) • Összeköti a nagyvállalat rendszereit, adatszolgáltatás buszként működhet • Gyorsabban és alacsonyabb költségekkel épülhet, mint egy adattárház • Valós idejű adatigények is kielégíthetők (online interface-ek, realtime

riportok) • Tehermentesíti a produktív rendszereket • Az adattárház előszobája

11

EeGgYy  RrEePpLlIiıKkĸÁáCcIiıÓóSs  AaDdAaTtBbÁáZzIiıSs  EeLlŐőNnYyEeIiı

• Siebel Replika – A dobozos CRM rendszer lehetőségeit kiterjeszti egy valós idejű másolaton

• A replikált adatbázison közvetlenül lehet fejleszteni • Átmeneti WA megoldások gyorsan fejleszthetők – manuális munka helyett • Ütemezett batch feldolgozások • Kimball és a kések a vendéglő konyhájában vs. ügyfél igények • Többlet jogosultság lehetőségek (db szintű hozzáférés, Database Vault) • Licensz optimalizálás: pl. egy DB Vault alacsonyabb core számon

12

GgOoLlDdEeNnGgAaTtEe  RrEePpLlIiıKkĸÁáCcIiıÓó  BbEeMmUuTtAaTtÁáSsAa

13

GgOoLlDdEeNnGgAaTtEe  KkĸÉéPpEeSsSsÉéGgEeKkĸ

• ETL képességek - defgen, filter, meta adatok (pl. commit timestamp), transzformációk

• Több utas replikáció • Heterogén platformok: Oracle Database, MySQL, IBM DB2,

Microsoft SQL Server, Teradata, Sybase, SQL/MX (Nonstop SQL) – amit mi is használunk, stb.

• Logikai standby DB • Oda-vissza irányú szinkronizáció • GoldanGate 12c

14

TtEeCcHhNnOoLlÓóGgIiıAaIiı  JjȷÓóGgYyAaKkĸOoRrLlAaTtOoKkĸ

• Historizációs eljárások (pl. SCD2), megőrizhető tranzakciós logok • Valós idejű adattörténet építő megoldás – minden változás megőrizhető! • GoldenGate funkciók: metaadatok, replikációs metódusok • Konfigurációs lehetőségek: SCD1, SCD2 • Külön initial load támogatás historyhoz • Adattörténet javító alkalmazás, ha hiányzó változást kell pótolnunk • Hibrid terhelés, egyszerre van OLTP és OLAP -szerű DB használat

15

ÖöSsSsZzEeGgZzÉéSs

• ODS rendszer előnyei egy nagyvállalati infrastruktúrában • Operatív rendszer terhelésének csökkentése • Az operatív rendszerbe új funkció fejlesztése kockázatos, időigényes

költséges • Adatelérés lehetősége szélesebb felhasználói körnek • ODS adattörténetre van szükség • Valós idejű kiaknázás, adatigények

?

KkĸÖöSsZzÖöNnJjȷÜüKkĸ a

figyelmet!

18

GgOoLlDdEeNnGgAaTtEe  TtEeLlJjȷEeSsÍíTtMmÉéNnYy  HhAaNnGgOoLlÁáSs