Upload
lenhi
View
215
Download
0
Embed Size (px)
Citation preview
BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH
Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte Dani Schnider Stanislav Lando
Agenda
Das Ende von OWB – was nun? 2 20.11.15
1. Einleitung
2. ODI der offizieller Nachfolger von OWB
3. Migration nach PL/SQL
4. biGenius – DWH Generator
5. Kommerzielle ETL Tools (Informatica)
6. OpenSource ETL Tools (Talend)
7. Entscheidungskriterien
Das Ende von OWB – was nun? 3 20.11.15
1. Einleitung
Unser Unternehmen.
© Trivadis – Das Unternehmen 4 20.11.15
Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution Engineering und der Erbringung von IT-Services mit Fokussierung auf - und -Technologien in der Schweiz, Deutschland, Österreich und Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern: Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.
B E T R I E B
KOPENHAGEN
MÜNCHEN
LAUSANNE BERN
ZÜRICH BRUGG
GENF
HAMBURG
DÜSSELDORF
FRANKFURT
STUTTGART
FREIBURG
BASEL
WIEN
Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.
© Trivadis – Das Unternehmen 5 20.11.15
14 Trivadis Niederlassungen mit über 600 Mitarbeitenden.
Über 200 Service Level Agreements.
Mehr als 4'000 Trainingsteilnehmer.
Forschungs- und Entwicklungsbudget: CHF 5.0 Mio.
Finanziell unabhängig und nachhaltig profitabel.
Erfahrung aus mehr als 1'900 Projekten pro Jahr bei über 800 Kunden.
Wer wir sind
© Trivadis – Das Unternehmen 6 20.11.15
Dani Schnider Principal Consultant, Trainer und DWH Lead Architect bei Trivadis Zürich
Stanislav Lando Senior Consultant und DWH Location Architect bei Trivadis Düsseldorf
Oracle Statement of Direction
Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1
erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt
Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt
Oracle Data Integrator ist offizieller Nachfolger vom OWB.
Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten.
Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur Verfügung
OWB Support läuft aus
Das Ende von OWB – was nun? 7 20.11.15
Welche Migrationsszenarien sind möglich?
Das Ende von OWB – was nun? 8 20.11.15
Handlungsbedarf Oracle 12C
Nicht CDB-Architektur ist DEPRECATED seit 12.1.0.2
„ Oracle Warehouse Builder on a pluggable database operates the same as a multi-instance or an OWB_HOME configuration. ODI-EE license is required to use this functionality.”
Zeit zu handeln
Das Ende von OWB – was nun? 9 20.11.15
2. ODI der offizieller Nachfolger von OWB
Oracle Data Integrator (ODI)
Das Ende von OWB – was nun? 10 20.11.15
• 2006 Übernahme durch Oracle • Oracle Datenstrukturen/Modelle • ETL Strecken mit DB-Mitteln • Einbindung von PL/SQL
• Neu im Vergleich zu OWB • Einbindung von heterogenen Umgebungen: DB, SOA, WebServices • AGENT – Konzept mit zeitgesteuerter Jobverarbeitung • Knowledge Module Konzept • Version12c Übernahme der OWB Bedienkonzepte • OWB Migration Utility
Textbasierte Verarbeitung mit Config-Dateien
Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3
ODI Migration Utility
Das Ende von OWB – was nun? 11 20.11.15
migrierbar nach ODI sind
• Module: Quelle und Ziel • Locations • Datenobjekte: Tabellen, Views, MViews
Dateien, Sequenzen, externe Tabellen • Mappings: klassisch set-based, code
templates, pluggable • Operatoren: fast alle
nicht migrierbar nach ODI sind
• Datenobjekte: Partitionen, Attribute Sets, Data Rules, Locations für externe Tabellen
• Dimensionale, Discoverer und OBIEE Metadaten • Eigene PL/SQL Prozeduren und Packages • Queues, Streams, CDC Konfigurationen,
Benutzerdefinierte Datentypen • Process Flows • Data Quality, Data Profilies • Mappings: row-based, mit o.g. Elementen • OMB*Plus Skripte
OWB2ODI MIGRATION CHECK
ODI Migration Utility
Das Ende von OWB – was nun? 12 20.11.15
migration.config ODI_MASTER_USER=SUPERVISOR ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl .. OWB_WORKSPACE_OWNER=OWB_OWNER OWB_URL=localhost:1521:orcl .. MIGRATION_MODE=DRY #CHECK|DRY|RUN ..
>./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config
OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> ..
Das Ende von OWB – was nun? 13 20.11.15
3. Migration nach PL/SQL
PL/SQL Migrationsoption 1
Das Ende von OWB – was nun? 14 20.11.15
IST OWB IM HINTERGRUND NICHT PL/SQL?
WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2, task_type IN VARCHAR2, task_name IN VARCHAR2, custom_params IN VARCHAR2 DEFAULT NULL, system_params IN VARCHAR2 DEFAULT NULL, oem_friendly IN NUMBER DEFAULT 0, background IN NUMBER DEFAULT 0 ) RETURN NUMBER;
PL/SQL Migrationsoption 2
Das Ende von OWB – was nun? 15 20.11.15
Sollte RUN_TASK unter der nächster DB Version nicht laufen?
WB_RT_API_EXEC.RUN_TASK (...);
OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten
Anpassung des Repository mit weiteren DB Versionen möglich
Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code
3000 – 4000 Zeilen Code pro Mapping
OWB – PL/SQL Code ohne grafische Oberfläche
PL/SQL Migrationsoption 3
Das Ende von OWB – was nun? 16 20.11.15
PL/SQL-Extraktion über Intermediate Results
Einfache Extraktion der Logik durch Intermediate Results (set-based)
Fehlerbehandlung wird unterstützt (LOG ERRORS INTO)
Row-based Extraktion mit größerem Aufwand möglich
Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung müssen neu umgesetzt werden
PL/SQL Migrationsoption 4
Das Ende von OWB – was nun? 17 20.11.15
PL/SQL-Extraktion mit PL/SQL Analyser https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/
Extraktion der Logik durch PL/SQL-Parser
Automatisierung für viele Mappings (>1000) möglich
Command Line Utility mit XML Parse-Tree Ausgabe
Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt werden
Das Ende von OWB – was nun? 18 20.11.15
4. biGenius
biGenius Funktionsübersicht
Das Ende von OWB – was nun? 19 20.11.15
Business Department BRE
Business Requirements Engineering
BI Architect MGD Modelling Generation Deployment
DWH Admin
LCM Load Control Monitoring
DQT Data Quality Testing
Data Steward
Business Blueprints
Technical Documentation
Staging Area Cleansing Area
DWH Core
Data Mart
Source Source Source
Generated Objects: - Tables - Views - ETL Processes
Standardisierte DWH-Architektur
Das Ende von OWB – was nun? 20 20.11.15
Beispiel:
10 Dimensionen
5 Faktentabellen
20 Entities
25 Quelltabellen Generierte DWH-Objekte:
100 Tabellen
175 Views
100 ETL-Packages
Staging
Cleansing
DWH-Core
Data Mart
Source Source Source
Migration eines standardisierten OWB-Projekts
Das Ende von OWB – was nun? 21 20.11.15
Import der Quell- und Zielstrukturen in biGenius Metadatenbank
Zuordnung Quell- und Zielattribute
– Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind
– Manuelle Zuordnung von Spezialfällen
Nachbearbeitung in biGenius Applikation
– Metadaten für Historisierung und Dimensionshierarchien
– Bei Bedarf Anpassungen von Templates
– Für Spezialfälle separate Templates aus „Intermediate Results“
Generierung von Tabellen, Views und Packages mittels PL/SQL Generator
ETL-Logik in Templates
Das Ende von OWB – was nun? 22 20.11.15
Das Ende von OWB – was nun? 23 20.11.15
5. Kommerzielle ETL Tools
Warum ein anderes ETL Tool als ODI?
Das Ende von OWB – was nun? 24 20.11.15
Mögliche Gründe
Strategisches Tool im Unternehmen
Bestehendes Knowhow vorhanden
Heterogene DWH-Systeme
Marktanteil des Herstellers Verbreitete kommerzielle ETL Tools
Informatica PowerCenter
IBM InfoSphere DataStage
SAP Business Objects Data Services
Beispiel: Informatica PowerCenter
Das Ende von OWB – was nun? 25 20.11.15
Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014)
Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren
Ausführung der Transformationen im separaten ETL-Server
ETL-Steuerung durch Integration Services (ETL in Blackbox)
Datenzugriff durch ODBC, JDBC + native DB Treiber
Systemüberwachung der Nodes (Domains) durch Service Management Prozess
Lizenzierung pro Kern des Domain-Servers
Migration nach Informatica PowerCenter
Das Ende von OWB – was nun? 26 20.11.15
Die Migration ist mit manuellem Aufwand verbunden
Import der Quell- und Zielstrukturen in PowerCenter Repository
Manuelle Neuentwicklung der Mappings
– Ähnliche Transformationen wie OWB-Operatoren
– Stored Procedures können in Mappings eingebaut werden
Nachbau der Ladeläufe mit Workflow Manager
Migration nach Informatica PowerCenter (Alternative)
Das Ende von OWB – was nun? 27 20.11.15
Extraktion von SQL Statements in OWB
– Via Intermediate Results
– Nur für set-based Mappings
SQL Statements in PowerCenter Mapping verwenden
– SQL Override
– SQL Transformation
Achtung
– Schlechte Wartbarkeit der Mappings
– Nur als Übergangslösung zu empfehlen!
Das Ende von OWB – was nun? 28 20.11.15
6. OpenSource ETL Tools
Warum OpenSource?
Das Ende von OWB – was nun? 29 20.11.15
Hauptgrund für OpenSource-Produkte
Geringere Lizenzkosten
Achtung: OpenSource ≠ Gratis OpenSource ETL Tools
Talend Open Studio
Pentaho Kettle
Beispiel: Talend Open Studio
Das Ende von OWB – was nun? 30 20.11.15
Open Source ETL Studio für wenig Geld
Java Architektur
Über 500 Components
– Vergleichbar mit Operatoren für OWB
Row-based Verarbeitung
– Mengenbasierte Ausführung umständlich möglich
Lizenzkosten pro Entwickler
Talend Job Designer für die Ablaufsteuerung
Migration nach Talend
Das Ende von OWB – was nun? 31 20.11.15
Import der Quell und Zielstrukturen in die Metadatenbank
Automatische Migration nicht möglich
– Arbeitsweise unterscheidet sich von OWB
Mögliche Lösung
– Extraktion von SQL aus OWB (Intermediate Results)
– SQL in Talend Component „rOracleRow“ kopieren
– Gleiche Problematik wie SQL Override in Informatica
Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich
Das Ende von OWB – was nun? 32 20.11.15
7. Entscheidungskriterien
Funktionsumfang
Das Ende von OWB – was nun? 33 20.11.15
Arbeitsweise
Bedienbarkeit
Plattformunabhängigkeit
Arbeitsweise Bedienbarkeit Plattformunabhängigkeit
ODI Grafisches ELT-Tool, Ausführung in Zieldatenbank
Grafische Darstellung der
Datenflüsse Knowledge Module für zahlreiche Quell- und Zielplattformen
PL/SQL Prozedureale Programmierung in Datenbank
Programmierung in Datenbank-Editor, z.B. SQL Developer Oracle-spezifisch
biGenius Metadatenbasierter PL/SQL-Generator, Ausführung in Zielda-tenbank
GUI zur Erfassung und Pflege der Metadaten
Generatoren für Oracle und SQL Server
Kommerziell Grafisches ETL-Tool, Ausführung durch ETL-Server
Grafische Darstellung der Datenflüsse
Unterstützung zahlreicher Quell- und Zielplattformen
OpenSource Grafisches ETL-Tool, Ausführung durch ETL-Server
Grafische Darstellung der Datenflüsse
Unterstützung zahlreicher Quell- und Zielplattformen
Migration von OWB Projekten
Das Ende von OWB – was nun? 34 20.11.15
Migrationsaufwand Zeitaufwand Manuelle Nachbearbeitung
Zusätzlicher Betriebsaufwand
ODI Automatisierte Migration durch OWB Migration Utility
gering Nachbau von Workflows und speziellen Operatoren
zusätzlich Server pro Agent
PL/SQL Generierter OWB-Code kann übernommen werden
mittel, für große Projekte automatisierbar
Implementierung von Fehlerbehandlung, Logging, etc.
keiner
biGenius Importieren von Quell- und Zielstrukturen, Generierung der ETL-Prozesse
für standardisierte Projekte gering, für Spezialfälle groß
Für Speziallogik müssen Templates erstellt oder angepasst werden
keiner
Kommerziell Manuelle Übernahme von SQL-Statements in ETL-Tool
hoher manueller Aufwand
Überführung von SQL-Statements in Logik des ETL-Tool
ETL-Server
OpenSource Manuelle Übernahme von SQL-Statements in ETL-Tool
hoher manueller Aufwand
Überführung von SQL-Statements in Logik des ETL-Tool
ETL-Server
Zusätzliche Kosten
Das Ende von OWB – was nun? 35 20.11.15
Schulungsaufwand Lizenzkosten
ODI notwendig, aber für OWB-Entwickler ge-ring pro CPU der Zieldatenbank
PL/SQL PL/SQL-Knowhow bei OWB-Entwickler meistens vorhanden in Datenbanklizenz enthalten
biGenius notwendig abhängig von Projektgröße
Kommerziell notwendig pro CPU im Domain-server (Informatica)
OpenSource notwendig pro Arbeitsplatz (Talend)
Wartung und Weiterentwicklung
Das Ende von OWB – was nun? 36 20.11.15
Wartbarkeit Performance & Tuning
ODI Sehr gut Mengenbasierte Ausführung in der Zieldatenbank
PL/SQL Schlecht wartbar Mengenbasierte Ausführung in der Zieldatenbank
biGenius Sehr gut Mengenbasierte Ausführung in der Zieldatenbank
Kommerziell Sehr gut datensatzbasierte Ausführung über ETL-Server
OpenSource Sehr gut datensatzbasierte Ausführung über ETL-Server
Das Ende von OWB – was nun? 37 20.11.15
Trivadis White Paper: Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte. http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf
Vielen Dank Dani Schnider Stanislav Lando [email protected] [email protected]
20.11.15 Das Ende von OWB – was nun? 38