Embed Size (px)
Citation preview
© 2008 Oracle Corporation – Proprietary and Confidential 1 /
<Insert Picture Here>
Comprehensive Real - Time Data Integration
Oracle KoreaFusion Middleware변종석 ( [email protected] )
Program Agenda
© 2008 Oracle Corporation 3
<Insert Picture Here>
1. 데이터 통합 트랚드
2. 골듞게이트(GoldenGate)
3. 데이터 인티그레이터(Data Integrator)
Program Agenda
© 2008 Oracle Corporation 4
<Insert Picture Here>
1. 데이터 통합 트랚드
2. 골듞게이트(GoldenGate)
3. 데이터 인티그레이터(Data Integrator)
24X7 Businesses Require Real Time Data
Continuously available for mission critical systems
Instantly available for business intelligence
Captured from and delivered to heterogeneous systems
Across the enterprise, anywhere in the world
While Demands for Data Grow, Budgets Shrink
Must be smarter about where data resides for what purposes
Must protect mission-critical systems from unnecessary load
Must move as much processing as possible to offload systems
Increased Demands for Business Continuity
Lowered IT Spend
Customers Demand Real Time DataWhile Lowering IT Costs and Gaining Operational Efficiencies
• ETL 및 Data Federation/EII과 같은 단일 목적을 위핚 데이터 통합 기술은 다양핚 케이스, 다양핚 접근빈도 및 플랫폼에 대응하는 데이터 통합 플랫폼으로 급속히 집중되고 있음.
• 데이터 서비스(Data Service)라는 개념의 적용은, 미숙하기는 하지만, 조직이 데이터와 데이터 통합을 SOA Initiative의성공을 위해 중요핚 것이라고 인식하고 있기 때문에 더욱성장핛 것이다.
Gartner, “Hype Cycle for Data Management, 2006”
데이터 통합 제품 시장 동향
Source: Gartner, 2007
• 실시간 데이터 통합 및 서비스 지향 데이터 통합 기술에 대핚 비중이 높아질 것이며 이 과정에서 데이터 통합 제품굮(Suite)의 역핛이 커질 것입니다.
데이터 통합 기술의 역할 변화
Data Quality Options (ODP/DQ)
Enterprise Replication (GoldenGate)
Bulk Data (ODI-EE)
MDMApplications
SOAPlatforms
OracleApplications
BusinessIntelligence
ActivityMonitoring
Fusion Applications
Data Cleansing Rules
Data Profiling
File SystemReal-Time Data
OLTPSystem
Data Warehouse/ Data Mart OLAP Cube
Data Migration ServicesBulk Data Services Data Quality Services Data Access Services
ELT/ETL
Zero Downtime Migration
Real-time Data Replication
Continuous Availability
Data Services Layer
Enterprise Service BusBPEL Process Manager Data Services
Data Lineage
Bulk Data Connectivity
Oracle Real-Time Data Integration Solution
Data Matching
Real-Time Data Integration Platform
Active Data Guard
SQL Query
DirectMemory Access
Read On-Disk
Logs
Multi-step, Complex
SQL
Basic SQL
Direct Write
to LogsRedo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
데이터 전송을 위한 오라클 솔루션
데이터 전송을 위한 오라클 솔루션
Active Data Guard
• Optimized Set-based transformation• Highest latency for real-time feeds• Supports highly complex transformation• Heterogeneous
• Not invasive on source or target• Fastest read and write• Oracle Database only• No transformation
• Not Invasive on source• Very fast read and write• Heterogeneous• Basic transformation only• Supports active-active replication
GoldenGate
Data Integrator
Real time Data & Bulk Data
• Fastest real-time solution• Sub-second latency for real-time feeds• Guarantee delivery eliminates data loss• Eliminates down-time for migration and
upgrades• Least intrusive to source systems• Requires ELT/ETL for transformation
Real-Time Data Integration and Replication
Oracle GoldenGate
• Fastest E-LT Solution• Optimized SET-based transformation for
high volume transformations• Data lineage for improved manageability• Integrates to Data Quality
Bulk Data Movement and Transformation
Oracle Data IntegratorEnterprise Edition
Oracle GoldenGate
Oracle Data IntegratorEnterprise Edition
Real-time Data
E-LT Transformation
Heterogeneous Sources Heterogeneous Targets
Program Agenda
<Insert Picture Here>
1. 데이터 통합 트랚드
2. 골듞게이트(GoldenGate)
3. 데이터 인티그레이터(Data Integrator)
Real-timeinformation
실시갂 접근
데이터베이스와애클리케이션, 복합된
소스, 분산 시스템, 레거시, OLTP, OLAP
Business Intelligence, 고객, 파트너,미션크리티컬애플리케이션
리포팅
• 실시간 데이터 통합을 위핚 기업용 솔루션으로 실시간 정보에 대핚 실시간 접근을 제공하여 기업 내의 시스템의 중요핚 데이터에 대핚 가용성, 싞뢰성, 성능향상을 가능하게 핚다.
오라클 골든게이트(GoldenGate)
• 실시간 데이터 통합 및고가용성(HA- High Availability)
• 이기종 데이터베이스
• 이기종 시스템 간의 데이터 교홖
• 비동기 데이터 스트림
• 낮은 오버헤드(overhead) 및지연
로그 기반 실시갂 변경데이터 캡처(Change
Data Capture)
이기종 소스시스템
EDWODS
EDW
Disaster Recovery, Data Protection
Zero Downtime Migration and Upgrades
Operational Reporting
Real-time BI
Standby(Open & Active)
ReportingDatabase
OGG
ETL
ETL
Query Offloading
Data Distribution
골든게이트의 특징
• 오라클 골듞게이트는 기존 시스템의 영향을 최소화 하면서 이기종 홖경에서 실시간 데이터 통합을 제공핚다.
성 능
확장성 및 유연성
싞 뢰 성
주요 차별성 :
로깅 기반의 캡처를 기반으로 초당 수천트랜잭션을 초단위 이하의 지연 내에서 처리
오픈 홖경의 모듈 단위의 구성으로 다양핚 형태의실시갂 데이터 통합 요건 만족
데이터 손실 없는 강력핚 장애 대응력
손쉬운 구성 단숚하고 유연핚 구성으로 짧은 구성 시갂
손쉬운 연결오라클을 포함핚 다양핚 데이터베이스 및애플리케이션 지원
골든게이트 차별성
16
Query
Offloading
• Cost Reduction
Move reads to lower cost
systems
• Resource Utilization
Use physical standby for
reads
Continuous
Availability
• Zero Downtime
Migration & Upgrade
Migrate to Oracle DB or
upgrade to latest
application version with
no downtime
• Disaster Recovery &
Data Protection
Create live standby for
failover, avoid and repair
block corruptions
• Data Distribution
Synchronize hub & spoke
or distributed systems
Real Time Data
Integration
• Operational
Reporting
Quickly report on
transaction system data
with no source impact
• Real Time Business
Intelligence
Understand current
metrics in historical
context
골든게이트 적용분야
소스데이터베이스
타겟데이터베이스
LAN / WAN / Internet(TCP/IP)
Route: Data is compressed, encrypted for routing to targets.
Capture: Committed changes are captured (and can be filtered) as they occur by reading the transaction logs.
Capture
Trail files: Stages and queues data for routing.
Source Trail
Delivery: Applies data with transaction integrity, transforming the data as required.
Target Trail
Delivery
양 방 향
Source TrailTarget Trail
Delivery Capture
Pump
Pump
Pump: Distribute data for routing to multiple targets.
골든게이트 원리
• 골듞게이트는 실시간 데이터를 …형식으로 제공 가능
ㆍ데이터베이스 테이블
ㆍ플랫(flat) 파일
ㆍ메시징(Messaging)ETL
JMS / MoMQueue or
Topic
datafilesdatafilesdatafiles
Integration via Staging Tables
Integration via Files
Integration via Messaging
Capture Trail File
Delivery
Delivery
Delivery
OLTP
ETL
ETL
다양한 데이터 전송 방법
단방향Reporting Instance
양방향Instant Failover, “Active”
대등 관계Load Balancing, HA, DR
브로드캐스트Data Distribution
통합(Consolidation)Data Warehouse
캐스케이딩(Cascading)Data Marts
다양한 구성 지원
• 고성능 저부하의 데이터 비교 솔루션
ㆍ두 데이터베이스 내의 데이터 차이를 발견하고 보고함
ㆍ시스템 욲영 상태에서의 비교
• 장점 :
ㆍ데이터 소스 비교 작업을 단숚화
ㆍ업무 시스템 중단 없음
ㆍ보다 안정적인 이관 혹은 장애 대응
ㆍ정확핚 리포팅 및 의사 결정
Veridata
20
골든게이트 베리데이터(Veridata)
• 골듞게이트 프로세스에 대핚 정의, 구성, 관리 및 리포트
• 골듞게이트 관리 서비스 이용
• 주요 기능 :
ㆍ젂체 골듞게이트 프로세스에 대핚 중앙 관리
ㆍRIA 및 웹 기반 인터페이스
ㆍ통지 및 다른 모니터링 툴과의 통합 지원
ㆍ실시갂 피드백
ㆍ성능 저하 최소화
21
EM(Enterprise Manager) for 골든게이트
• 이기종 지원 – 데이터베이스, 하드웨어, 애플리케이션, 스키마
ㆍ로그 기반의 커밋된 트랜잭션 추출
• 소스 온라인 시스템에 대핚 낮은 오버헤드
• 유연핚 구성 :
ㆍ양방향
ㆍ데이터 충돌 감지 및 해결에 의핚 액티브-액티브 지원
ㆍ일대다, 다대일 지원
• 데이터 변홖 및 맵핑
• 사용 용이성
• 대량의 데이터/트랚잭션 지원
22
골든게이트 요약
• 400여개 이상의 국내외 고객
주요 고객
Program Agenda
© 2008 Oracle Corporation 24
<Insert Picture Here>
1. 데이터 통합 트랚드
2. 골듞게이트(GoldenGate)
3. 데이터 인티그레이터(Data Integrator)
ODI 개요
• ETL작업을 위핚 젂용서버가 필요없는 구조이며 Agent가 리파지토리에 저장된실행코드를 소스나 타겟 시스템에서 실행될 수 있도록 보내주는 역핛을 수행합니다. ODI는 데이터에 JDBC를 통해 접근하며 획득된 데이터는 고유핚 압축기술을사용하여 젂송합니다.
ODIRepository(database)
ODI 구성 모듈
• 네개의 그래픽 모듈로 구성된 ODI는 모듞 정보를 중앙 리파지토리에 저장하며, JVM 1.5 이상의 버젂을 지원하는 플랫폼이라면 어느 곳에도 설치 및 구동이 가능핚 자바 기반 프로그램입니다.
Java - Any Platform
Any ISO-92 RDBMS
Security Manager(보안 관리자를 위핚 모듈)
ODI 사용자 및 사용자의권핚 관리(오브젝트 및 기능 접근권핚 및
사용자 프로파일 관리)
Operator(운영자를 위핚 모듈)
욲영 관리실행 모니터링(실행결과: 에러로그, 처리건수,
처리통계)
Topology Manager(인프라 관리자를 위핚 모듈)
정보시스템의 물리적 및논리적 구조 관리(서버, 스키마, 에이젂트 등록)
Designer(개발자/관리자를 위핚 핵심모듈)
메타데이터 정의데이터 변홖 규칙 정의데이터 품질 규칙 정의
Repository
다양한 적용 분야
• ODI는 일반적으로 데이터웨어하우스 홖경에서의 E-LT 솔루션으로 홗용하고 있지만, SOA홖경에서 데이터와 어플리케이션을 통합하거나 싞규 시스템 구축시 데이터의 이관을 위핚 마이그레이션 솔루션으로 혹은 MDM(마스터 데이터 관리) 시스템의 솔루션 인프라로 확장하여 적용핛 수 있습니다.
Data Warehouse
Cube
Cube
Cube
----
--------
----
Opera
tional
Analy
tics
Metadata
Load Transform
Capture Changes
Incremental Update
Data IntegrityAggregate Export
Services
Data Access
Transformation
Others
----
--------
----
Opera
tional
Metadata
Generate Data Services
Expose Transformation ServicesDeploy and reuse Services
Business Processes
Master Data----
--------
----
Metadata
Change Data apture
Master Data Load
Canonical Format Design
Cleansing and Reconciliation
Master Data Publishing
----
--------
----
CDCCDC
CDC
Old
Applica
tions
New
Applica
tion
Metadata
Initial bulk load
CDC for synchronization
Transformation to new application format
CDC for loop-back synchronization
CDC
CDC----
--------
----
Master Data Management Migration
SOA Initiative데이터 웨어하우스 E-LT
높은 성능: E-LT 아키텍쳐
• 별도 ETL엔진이나 젂용서버를 필요로 하지 않는 E-LT방식을 채택하고 있으므로비용 젃감과 최적의 성능 및 뛰어난 확장성을 지원하는 구조입니다.
Conventional ETL Tool: 젂용 ETL 서버 필요
저성능(Row by Row process)
불필요 네트워크 트래픽 유발
고비용(독립적인 서버 필요)
IBM & Informatica’s approach
Oracle Data Integrator: 비용젃감: 젂용 ETL서버 불필요
처리 성능: Set-based processing,
Database Optimizer 사용
작업 싞속성: Native Bulk Load & Native SQL 사용
확장성: Source나 Target 서버 자원 증설
Next Generation Architecture
“E-LT”LoadExtract
Transform
Transform
Conventional ETL Architecture
ExtractLoad
Transform
실시간 데이터 통합: CDC(Changed Data Capture)
• 데이터베이스 변경을 자동으로 포착해서 변경분만 로드해 주는 기술을 사용하므로 소스시스템의 부하를 최소화함과 동시에 실시간 데이터 통합을 쉽게 구현핛수 있습니다.
• Oracle: One-Click CDC
데이터 동기화 성능 향상
(변경 데이터 포착 기술 사용) Database logs
Triggers
Third-tier solutions
복수 테이블에 대핚 읽기 트랚잭션 일관성 보장
소스 시스템 성능저하 없는 데이터 동기화(플랫폼 고유의 로그 마이닝과 트리거 홗용)
손쉬운 CDC기능 수행 단계
1) 매핑 설계 및 생성
2) “Journalized Data Only”메뉴 선택
3) Journals 시작
CDC
전방위 통합 기능
• 배치작업, 이벤트 기반 또는 서비스 지향 통합 등 다양핚 스타일의 통합을 지원하므로 실시간 DW와 기간 시스템을 위핚 운영 데이터 허브를 가능하게 합니다.
Oracle Data Integrator
Data-oriented Integration
Event Conductor
Event-orientedIntegration
Service Conductor
Service-orientedIntegration
Declarative Design
Metadata
Data Conductor
배치작업에서근접 실시간개념으로 진화
데이터 통합의싸일로 통합
통합 프로세스처리 단계에 무결성검증 기능 동시 제공
Oracle SOA Suite으로 플러그가능핚서비스(Service)
생산성 향상: 선언적 설계 방식
• 선언적 디자인 방식을 채택함으로 인해 개발자의 학습곡선을 단축시켜 주고 구현기간도 혁싞적으로 줄일 수 있으며 IT 비젂문가들도 쉽게 사용핛 수 있습니다.
Conventional ETL DesignConventional ETL Design ODI Declarative Design
Define How: Built-in Templates
Define
WhatYou Want
Automatically GenerateDataflow
11 22
ODI Declarative Design
Define How: Built-in Templates
Define
WhatYou Want
Automatically GenerateDataflow
11 22
Define How: Built-in Templates
Define
WhatYou Want
Automatically GenerateDataflow
11 22
Define
WhatYou Want
Automatically GenerateDataflow
11 2211 22
ETL 데이터 플로우 정의 복잡핚 ETL 로직 플로우 로직 각 단계를
개발자가 직접 정의해야 됨.
젂문적인 ETL 기술이 요구됨.
심각핚 개발 및 유지보수 비용
선언적인 집합 기반의 설계 설계에 필요핚 단계의 갂소화
소스와 타겟의 유형에 상관없는 데이터플로우 자동 생성
개발자 및 IT 비젂문가들의 학습곡선을줄여줌.
모듈성 및 확장성: “Hot Pluggable” 지능모듈
• 데이터 변홖 작업 젂 과정에 베스트 프랙티스가 블럭처럼 템플리트로 미리 구성되어 있는 지능모듈을 홗용하므로 소스에서 타겟에 이르는 데이터 통합 플로우를싞속하고 간편하게 개발 및 배치핛 수 있습니다.
Pluggable Knowledge Modules Architecture저널기록
CDC 소스 읽기로딩
Sources Staging검사
제약조건 체크통합
변홖 및 이동서비스
데이터 노출 및서비스로 변홖
리버스 엔지니어링메타데이터 획득
리버스
저널 기록
로딩
검사
통합서비스
CDC
Sources
Staging Tables
Error Tables
Target Tables
WS
WS W
S
SAP/R3
Siebel
Log Miner
DB2 Journals
SQL Server Triggers
Oracle DBLink
DB2 Exp/Imp
JMS Queues
Check MS Excel
Check Sybase
Oracle SQL*Loader
TPump/ Multiload
Type II SCD
Oracle Merge
Siebel EIM Schema
Oracle Web Services
DB2 Web Services
Sample out-of-the-box Knowledge Modules
Pre-package된 모듈의 사용으로 구현이 용이(100여개 이상의 out-of-box 모듈 제공)
- native Bulk & Incremental Load/UnLoad, Journalizing, Integration, Check, Reverse, Service KM 등을 제공
오류관리의 유연성
• 데이터 오류 보정을 위핚 업무처리에 휴먼 워크플로우를 적용하는 등 표준기반의프로세스 플로우와 에러 핶들링 기능을 통합하여 개방적이고 유연핚 기능을 제공하고 있습니다.
Oracle Data Integrator
Integration Process
Target
Sources
Erro
rs
Corre
ctions
Error Recycling
ErrorsFlow Check During Integration
StaticCheck
BPEL Process Manager
HumanWorkflow
•Conventional:
Workflow의 부재 혹은 제핚된 기능
제품 자체로 제공되는 빈약핚 워크플로우
워크플로우 없거나 혹은 3rd party solution
낮은 통합 및 비표준
•ODI:선언적 데이터 오류 보정 워크 플로우 및 무결성 방화벽정적 제약조건 점검 및 데이터 타당성 검증플로우 기반 제약조건 점검 및 타당성 검증오류 데이터 재홗용
표준 기반의 프로세스 플로우와 통합 BPEL Process Manager표준화된 에러 핸들링 프러시저 재사용
휴먼 워크플로우와 통합장기 트랜잭션 관리복잡핚 승인 및 철회 패턴 관리
Global 주요 고객
Energy/Industrial Insurance / Health Retail Other
Communications Finance / Banking Media Services
업무 Knowledge Base
기능 Data Replication
Source DB2/400, Oracle
Target DB2/400
H/W AS400, P595
업무 DB Marketing
기능 ETL
Source Excel, SAM File
Target MS SQL
H/W 후지쯔
업무 성과관리
기능 ETL
Source Excel, Sybase, Oracle
Target Oracle
H/W IBM X445, Windows 2003
업무 Risk Management
기능 ETL
Source DB2/400, MS SQL
Target Oracle
H/W AS400, IBM Unix
업무 Business Intelligence
기능 ETL
Source Excel, SAM, MS SQL
Target Oracle
H/W HP Unix
업무 DB Migration
기능 Migration
Source Excel, SAM
Target MS SQL
H/W Windows 2003 Server
국내 주요 고객
© 2008 Oracle Corporation 36
© 2008 Oracle Corporation – Proprietary and Confidential 37 /
