Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stanislav lando

BASEL BERN BRUGG DÜSSELDORF FRANKFURT A.M. FREIBURG I.BR. GENF

HAMBURG KOPENHAGEN LAUSANNE MÜNCHEN STUTTGART WIEN ZÜRICH

Das Ende von OWB – was nun?

Migrationspfade für OWB-Projekte Dani Schnider

Stanislav Lando

Agenda

Das Ende von OWB – was nun? 2 11.11.2015

1. Einleitung

2. ODI der offizieller Nachfolger von OWB

3. Migration nach PL/SQL

4. biGenius – DWH Generator

5. Kommerzielle ETL Tools (Informatica)

6. OpenSource ETL Tools (Talend)

7. Entscheidungskriterien


1. Einleitung

Unser Unternehmen.

© Trivadis – Das Unternehmen 4 11.11.2015

Trivadis ist führend bei der IT-Beratung, der Systemintegration, dem Solution

Engineering und der Erbringung von IT-Services mit Fokussierung auf -

und -Technologien in der Schweiz, Deutschland, Österreich und

Dänemark. Trivadis erbringt ihre Leistungen aus den strategischen Geschäftsfeldern:

Trivadis Services übernimmt den korrespondierenden Betrieb Ihrer IT Systeme.

B E T R I E B

KOPENHAGEN

MÜNCHEN

LAUSANNE

BERN

ZÜRICH

BRUGG

GENF

HAMBURG

DÜSSELDORF

FRANKFURT

STUTTGART

FREIBURG

BASEL

WIEN

Mit über 600 IT- und Fachexperten bei Ihnen vor Ort.


14 Trivadis Niederlassungen mit

über 600 Mitarbeitenden.

Über 200 Service Level Agreements.

Mehr als 4'000 Trainingsteilnehmer.

Forschungs- und Entwicklungsbudget:

CHF 5.0 Mio.

Finanziell unabhängig und

nachhaltig profitabel.

Erfahrung aus mehr als 1'900 Projekten

pro Jahr bei über 800 Kunden.

Wer wir sind


Dani Schnider

Principal Consultant, Trainer und DWH

Lead Architect bei Trivadis Zürich

Stanislav Lando

Senior Consultant und DWH Location

Architect bei Trivadis Düsseldorf

Oracle Statement of Direction

Die Basisfunktionalität („OWB Basic ETL“) bleibt vorerst bestehen 12c Release1

erweiterte Funktionalitäten von OWB werden nicht mehr weiterentwickelt

Der OWB wird seit Oracle 11g Release 2 nicht mehr weiterentwickelt

Oracle Data Integrator ist offizieller Nachfolger vom OWB.

Der ODI ist kostenpflichtig und nicht mehr in der Datenbank-Lizenz enthalten.

Für die Migration von OWB nach ODI steht mit ODI 12c ein Migrationswerkzeug zur

Verfügung

OWB Support läuft aus


Welche Migrationsszenarien sind möglich?


Handlungsbedarf Oracle 12C

Nicht CDB-Architektur ist

DEPRECATED seit 12.1.0.2

„ Oracle Warehouse Builder on a

pluggable database operates the

same as a multi-instance or an

OWB_HOME configuration. ODI-

EE license is required to use this

functionality.”

Zeit zu handeln


2. ODI

Oracle Data Integrator (ODI)


• 2006 Übernahme durch Oracle

• Oracle Datenstrukturen/Modelle

• ETL Strecken mit DB-Mitteln

• Einbindung von PL/SQL

• Neu im Vergleich zu OWB

• Einbindung von heterogenen Umgebungen: DB, SOA, WebServices

• AGENT – Konzept mit zeitgesteuerter Jobverarbeitung

• Knowledge Module Konzept

• Version12c Übernahme der OWB Bedienkonzepte

• OWB Migration Utility

Textbasierte Verarbeitung mit Config-Dateien

Voraussetzung OWB ab v.11.2.0.4 + patch und ODI ab v.12.1.3

ODI Migration Utility


migrierbar nach ODI sind

• Module: Quelle und Ziel

• Locations

• Datenobjekte: Tabellen, Views, MViews

Dateien, Sequenzen, externe Tabellen

• Mappings: klassisch set-based, code

templates, pluggable

• Operatoren: fast alle

nicht migrierbar nach ODI sind

• Datenobjekte: Partitionen, Attribute Sets, Data Rules,

Locations für externe Tabellen

• Dimensionale, Discoverer und OBIEE Metadaten

• Eigene PL/SQL Prozeduren und Packages

• Queues, Streams, CDC Konfigurationen,

Benutzerdefinierte Datentypen

• Process Flows

• Data Quality, Data Profilies

• Mappings: row-based, mit o.g. Elementen

• OMB*Plus Skripte

OWB2ODI MIGRATION CHECK

ODI Migration Utility


migration.config

ODI_MASTER_USER=SUPERVISOR

ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:orcl

..

OWB_WORKSPACE_OWNER=OWB_OWNER

OWB_URL=localhost:1521:orcl

..

MIGRATION_MODE=DRY #CHECK|DRY|RUN

..

>./migration.sh ODISUPASS ODIUSRPASS OWBOWPASS migration.config

OdiStartOwbJob –WORKSPACE=<.> -LOCATION=<.> -OBJECT_NAME=<.> ..


3. PL/SQL

PL/SQL Migrationsoption 1


IST OWB IM HINTERGRUND NICHT PL/SQL?

WB_RT_API_EXEC.RUN_TASK ( location IN VARCHAR2,

task_type IN VARCHAR2,

task_name IN VARCHAR2,

custom_params IN VARCHAR2 DEFAULT NULL,

system_params IN VARCHAR2 DEFAULT NULL,

oem_friendly IN NUMBER DEFAULT 0,

background IN NUMBER DEFAULT 0 )

RETURN NUMBER;



Sollte RUN_TASK unter der nächster DB Version nicht laufen?

WB_RT_API_EXEC.RUN_TASK (...);

OWB Repository Schema OWBSYS durch eigene Implementierung ersetzten

Anpassung des Repository mit weiteren DB Versionen möglich

Aufwändige Wartung und Weiterentwicklung des OWB PL/SQL Code

3000 – 4000 Zeilen Code pro Mapping

OWB – PL/SQL Code ohne grafische Oberfläche



PL/SQL-Extraktion über Intermediate Results

Einfache Extraktion der Logik durch Intermediate Results (set-based)

Fehlerbehandlung wird unterstützt (LOG ERRORS INTO)

Row-based Extraktion mit

größerem Aufwand möglich

Protokollierung, Ablaufsteuerung

erweiterte Fehlerbehandlung

müssen neu umgesetzt werden



PL/SQL-Extraktion mit PL/SQL Analyser

https://www.salvis.com/blog/downloads/tvdca-trivadis-plsql-sql-codeanalyzer/

Extraktion der Logik durch PL/SQL-Parser

Automatisierung für viele Mappings (>1000) möglich

Command Line Utility mit XML Parse-Tree Ausgabe

Protokollierung, Ablaufsteuerung erweiterte Fehlerbehandlung muss neu umgesetzt

werden













4. biGenius

biGenius Funktionsübersicht


Business

Department BRE Business

Requirements

Engineering

BI Architect MGD Modelling

Generation

Deployment

DWH Admin

LCM Load Control Monitoring

DQT Data Quality Testing

Data Steward

Business

Blueprints

Technical

Documentation

Staging Area

Cleansing Area

DWH Core

Data Mart

Source Source Source

Generated Objects:

- Tables

- Views

- ETL Processes

Standardisierte DWH-Architektur


Beispiel:

10 Dimensionen

5 Faktentabellen

20 Entities

25 Quelltabellen

Generierte DWH-Objekte:

100 Tabellen

175 Views

100 ETL-Packages

Staging

Cleansing

DWH-Core

Data Mart

Source Source Source

Migration eines standardisierten OWB-Projekts


Import der Quell- und Zielstrukturen in biGenius Metadatenbank

Zuordnung Quell- und Zielattribute

– Implizite Zuordnung, falls Strukturen ähnlich aufgebaut sind

– Manuelle Zuordnung von Spezialfällen

Nachbearbeitung in biGenius Applikation

– Metadaten für Historisierung und Dimensionshierarchien

– Bei Bedarf Anpassungen von Templates

– Für Spezialfälle separate Templates aus „Intermediate Results“

Generierung von Tabellen, Views und Packages mittels PL/SQL Generator

ETL-Logik in Templates



5. Kommerzielle ETL Tools

Warum ein anderes ETL Tool als ODI?


Mögliche Gründe

Strategisches Tool im Unternehmen

Bestehendes Knowhow vorhanden

Heterogene DWH-Systeme

Marktanteil des Herstellers

Verbreitete kommerzielle ETL Tools

Informatica PowerCenter

IBM InfoSphere DataStage

SAP Business Objects Data Services

Beispiel: Informatica PowerCenter


Nach Gartner das achte Jahr in Folge als Data Integration Marktführer (Stand 2014)

Mit SOA (Service Oriented Architecture) ist es möglich Services zu skalieren

Ausführung der Transformationen im separaten ETL-Server

ETL-Steuerung durch Integration Services (ETL in Blackbox)

Datenzugriff durch ODBC, JDBC + native DB Treiber

Systemüberwachung der Nodes (Domains) durch Service Management Prozess

Lizenzierung pro Kern des Domain-Servers

Migration nach Informatica PowerCenter


Die Migration ist mit manuellem Aufwand verbunden

Import der Quell- und Zielstrukturen in PowerCenter Repository

Manuelle Neuentwicklung der Mappings

– Ähnliche Transformationen

wie OWB-Operatoren

– Stored Procedures können

in Mappings eingebaut werden

Nachbau der Ladeläufe mit Workflow Manager

Migration nach Informatica PowerCenter (Alternative)


Extraktion von SQL Statements in OWB

– Via Intermediate Results

– Nur für set-based Mappings

SQL Statements in PowerCenter Mapping

verwenden

– SQL Override

– SQL Transformation

Achtung

– Schlechte Wartbarkeit der Mappings

– Nur als Übergangslösung zu empfehlen!


6. OpenSource ETL Tools

Warum OpenSource?


Hauptgrund für OpenSource-Produkte

Geringere Lizenzkosten

Achtung: OpenSource ≠ Gratis

OpenSource ETL Tools

Talend Open Studio

Pentaho Kettle

Beispiel: Talend Open Studio


Open Source ETL Studio für wenig Geld

Java Architektur

Über 500 Components

– Vergleichbar mit Operatoren für OWB

Row-based Verarbeitung

– Mengenbasierte Ausführung umständlich möglich

Lizenzkosten pro Entwickler

Talend Job Designer für die Ablaufsteuerung

Migration nach Talend


Import der Quell und Zielstrukturen in die Metadatenbank

Automatische Migration nicht möglich

– Arbeitsweise unterscheidet sich von OWB

Mögliche Lösung

– Extraktion von SQL aus OWB (Intermediate Results)

– SQL in Talend Component „rOracleRow“ kopieren

– Gleiche Problematik wie SQL Override in Informatica

Mit dem Job Designer ist der Nachbau der Ladeläufe erforderlich


7. Entscheidungskriterien

Funktionsumfang


Arbeitsweise

Bedienbarkeit

Plattformunabhängigkeit

Arbeitsweise Bedienbarkeit Plattformunabhängigkeit

ODI Grafisches ELT-Tool, Ausführung

in Zieldatenbank

Grafische Darstellung der

Datenflüsse Knowledge Module für zahlreiche

Quell- und Zielplattformen

PL/SQL Prozedureale Programmierung in

Datenbank

Programmierung in Datenbank-

Editor, z.B. SQL Developer Oracle-spezifisch

biGenius Metadatenbasierter PL/SQL-

Generator, Ausführung in Zielda-

tenbank

GUI zur Erfassung und Pflege

der Metadaten

Generatoren für Oracle und SQL

Server

Kommerziell Grafisches ETL-Tool, Ausführung

durch ETL-Server


Datenflüsse

Unterstützung zahlreicher Quell-

und Zielplattformen

OpenSource Grafisches ETL-Tool, Ausführung

durch ETL-Server


Datenflüsse

Unterstützung zahlreicher Quell-

und Zielplattformen

Migration von OWB Projekten


Migrationsaufwand Zeitaufwand Manuelle

Nachbearbeitung

Zusätzlicher

Betriebsaufwand

ODI Automatisierte Migration

durch OWB Migration

Utility

gering Nachbau von Workflows und

speziellen Operatoren

zusätzlich Server pro

Agent

PL/SQL Generierter OWB-Code

kann übernommen werden

mittel, für große

Projekte

automatisierbar

Implementierung von

Fehlerbehandlung, Logging,

etc.

keiner

biGenius

Importieren von Quell- und

Zielstrukturen, Generierung

der ETL-Prozesse

für standardisierte

Projekte gering,

für Spezialfälle

groß

Für Speziallogik müssen

Templates erstellt oder

angepasst werden

keiner

Kommerziell Manuelle Übernahme von

SQL-Statements in ETL-Tool

hoher manueller

Aufwand

Überführung von SQL-

Statements in Logik des ETL-

Tool

ETL-Server

OpenSource Manuelle Übernahme von

SQL-Statements in ETL-Tool

hoher manueller

Aufwand

Überführung von SQL-

Statements in Logik des ETL-

Tool

ETL-Server

Zusätzliche Kosten


Schulungsaufwand Lizenzkosten

ODI notwendig, aber für OWB-Entwickler ge-

ring pro CPU der Zieldatenbank

PL/SQL PL/SQL-Knowhow bei OWB-Entwickler

meistens vorhanden in Datenbanklizenz enthalten

biGenius notwendig abhängig von Projektgröße

Kommerziell notwendig pro CPU im Domain-server (Informatica)

OpenSource notwendig pro Arbeitsplatz (Talend)

Wartung und Weiterentwicklung


Wartbarkeit Performance & Tuning

ODI Sehr gut Mengenbasierte Ausführung in der

Zieldatenbank

PL/SQL Schlecht wartbar Mengenbasierte Ausführung in der

Zieldatenbank

biGenius Sehr gut Mengenbasierte Ausführung in der

Zieldatenbank

Kommerziell Sehr gut datensatzbasierte Ausführung über ETL-

Server

OpenSource Sehr gut datensatzbasierte Ausführung über ETL-

Server


Trivadis White Paper:

Das Ende von OWB – was nun? Migrationspfade für OWB-Projekte.

http://www.trivadis.com/sites/default/files/downloads/migrationspfade-fuer-owb-projekte.pdf









Vielen Dank Dani Schnider

Stanislav Lando

[email protected]

[email protected]

11.11.2015 Das Ende von OWB – was nun? 38

Presentations & Public Speaking

Das ende von owb was nun migrationspfade fuer owb_projekte-dani schnider-stanislav lando