Dynamic Warehousing 구현을 위한리얼타임데이터통합 · – 통합스크린에데이터통합프로세스를 관리 – 자동매핑및drag & drop 방식의 데이터변환

© 2007 IBM Corporation

Dynamic Warehousing 구현을위한리얼타임데이터통합

배상균SWG, IP&S팀

2 © 2007 IBM Corporation

Unified Metadata Management

Understand Cleanse Transform Deliver

IBM Information Server

Parallel Processing Rich Connectivity

IBM DB2 Warehouse

Industry Models and Pre-Built Solution Assets

Business Strategy and Planning Services

Integrated IBM Partner Components

Expertise & Accelerators

AnalyzeManage

Reliable Real-Time Delivery

Party, Product, Account

Define & Synch Manage Transact

IBM Master Data Management Server

Banking Public SectorRetail Telco Etc…. Etc….

IOD Framework for Dynamic WarehousingComplete, Integrated Information Infrastructure

데이터 통합 서비스


Business value 증대를위한데이터통합의요건

이상적인이상적인 데이터데이터 통합의통합의 요건요건

Right System

Right Time

Right Data

Business event

Action time orAction distance

Business Value

Data ready for analysis

Information delivered

Action taken

Value lost

Time

Source: Richard D. Hackathorn, Bolder Technology, Inc.

급변하는업무환경과고객요구에적절히대응하기위해 IT조직은양질의데이터를, 적절한시점에, 필요한시스템으로전달할수있어야합니다.

데이터 분석을 통한 의미있는 정보 생산에소요되는 시간과 Business value는

반비례

Time Value of DataTime Value of Data


데이터통합을위한 IBM의플랫폼양질의데이터를, 적절한시점에, 필요한시스템으로전달할수있기위해서는다양한기능과서비스를유기적으로통합해서제공해야합니다.

MDM

LegacyData

OtherERP

CRM

SCM

RDBMS

Web ServicesXML, EDI

Assessment andValidation

SourceSystems

Standardization & Alignment

Transformation & Movement

TargetTargetConnectivity

Source Connectivity

Cleansing &Harmonization

Implementation Methodology

BI/DW


Discover, model, and govern information

structure and content

Standardize, merge,and correct information

Combine and restructure information

for new uses

Synchronize, virtualize and move information for

in-line delivery

Platform Services

ParallelProcessing

ServicesConnectivity

ServicesMetadataServices

DeploymentServices

AdministrationServices

ERP/SCM



데이터통합기술발전경향

Source: Gartner, 2007

RealReal--timetime

Integrated PlatformIntegrated Platform

Service OrientedService Oriented

3가지 방향


기업내의다양한시스템/DB간데이터통합은갈수록실시간성격을많이요구받고있습니다.

Drivers• Requirements• Benefits• Action-based• ROI

Inhibitors• Gathering• Transformation• Aggregation• Analysis• Data cleansing

• Movement• Cost

Real-time 데이터통합요구사항의증가

Source: Gartner, 2007


Real-time 데이터통합의확대필요성

다양한 시스템간 Data Latency의 최소화

데이터통합인프라는배치성격과실시간성격의적절한조화를통하여기업의Real-time 요건을만족시켜야합니다.

Real-time 성격주기적 Batch

Real-time 성격 주기적 Batch

기업에서기업에서 운영하는운영하는 다양한다양한 시스템시스템 RealReal--time time 비중의비중의 증대증대


Front-end 시스템에서발생하는트랜잭션데이터를다양한분석시스템으로실시간으로변환및전달하기위해서 Real-time CDC를통한변경데이터추출이기술적으로중요합니다.

CDC : 시스템간 Data Latency최소화를위한핵심기술

• CDC : Changed Data Capture

• 다양한 CDC 방법

– ODBC/JDBC Adapters

– SQL Query (추출할 레코드 구분을 위해 Timestamp 활용)

– Database Triggers

– 변환 데이터 로깅을 위한 유저 테이블

– File Comparison (최종 CDC 시점의 전체 데이터와 비교)

– DB 로그에서 직접 추출


CDC : Real-time 데이터통합의기반기술

DB2 DB2log

Oracle

I5/DB2

OracleRedo log

OS/400 Journal

Real-Time CDC ETL Feeds DB2

Data Warehouse

Corporate ETL Server

CDC와 ETL 기술의 결합


Federation

Replication Change Data Capture

ConsolidationAnalytical & Reporting Tools

Web Applications

Federation

Product Performance

Real-time Inventory Level

Consolidation

Headquarters Stores

PrimaryData Center

BackupData Center

Replication

Replication

Capture and Publish

Database

Region 1 Product

Performance

Region 2 Product

Performance

eBusinessApplication

InformationServer

MessageQueue

Target app/DB

Federation Consolidation

Replication

Change Data Capture

Replication

IBM Information Server의데이터통합패턴

이기종 플랫폼지원을 통한

솔루션 보완 과제

Analytical & Reporting ToolsWeb Applications

ConsolidationConsolidation을을 위한위한핵심핵심 기술기술


A leading provider of heterogeneous real time Changed

Data Capture (CDC) and replication solutions

2,300 customers worldwide

15,000 licenses deployed

Over $100M and 12 years of R&D invested

Headquarters in Markham, Ontario

International Offices in North America, South

America, Europe, and Asia

Publicly traded (TSX: DMC)

DataMirror, IBM company• 2007년 9월에 IBM에합병

• 2008년 1Q에조직통합완료

DataMirror 합병을통한 CDC, 복제솔루션강화IBM은현재 Mainframe의다양한 DB 및 DB2에대한 CDC, 복제솔루션을가지고있습니다. (WebSphere Replication Server, Event publisher ...) DataMirror 합병을통해이기종 플랫폼 및 DBMS를 지원하는 방향으로 CDC 및복제 솔루션을 보완할계획입니다.


IBM Information ServerUnderstand Cleanse Transform Deliver

Discover, model, and govern information

structure and content


Combine and restructure information

for new uses

Synchronize, virtualize and move information

for in-line delivery

Platform Services

ParallelProcessing

Services

ConnectivityServices

MetadataServices

DeploymentServices

AdministrationServices

DataMirror

Real-Time Changed Data Capture (CDC)Heterogeneous Replication and SynchronizationHigh-Availability / Disaster Recovery (HA/DR)

DataMirror솔루션과 Information Server


DataMirror 고객사


DataMirror 제품군 – DataMirror Integration Suite


실시간데이터통합을위한 DB로그기반의 CDC- LiveAudit, Event Server등의추가옵션

Embeddable Java RDB

iSeries솔루션 – HA 구축을위한데이터복제

Oracle 솔루션 – HA 구축을위한데이터복제

DataMirror의핵심제품


Near-real time 성격의데이터를통한분석및리포팅

특정한이벤트에대한실시간모니터링

Dynamic Warehousing & Business Intelligence and Reporting

Real-time Event Detection

생산시스템과 e-Business 어플리케이션간의데이터통합

HA 구성및장애복구 효율적인방식의데이터복제를통한 HA 구현

e-Business를위한실시간데이터제공

DataMirror 제품의활용


Real-Time Integration

Need up-to-date information delivered for eCommerce applications

Need up-to-date information delivered to a data warehouse

Inventory

Downtown Store

Midtown Store

Uptown Store

DataMirror 제품의활용 – Use case

운영시스템 DW/Mart


Replication

Need to maintain business continuity during application migrations, consolidations, upgrades

Need to report on operational systems but cannot impact production system – must synchronize data across 1 or more databases

Less expensive

DBs

DataMirror 제품의활용 – Use case

소스 시스템 부하 최소화


Database Logs

Source Engine Target Engine

TCP/IP

Monitoring and Configuration

Database

Message Queue

DB2, Oracle,SQL Server, etc

Flat files

1. DBMS 1. DBMS 로그에서로그에서 데이터데이터CaptureCapture

2. 2. 변경변경 데이터데이터 전송전송

3. 3. 변경변경 데이터데이터 적용적용

운영시스템 부하 최소화를 위한 Push 방식의 데이터 복제

DataMirror 제품 –개요

DataMirror는다양한 DBMS에서발생하는데이터변경내용을실시간으로Capture하여, 해당데이터가필요한시스템으로데이터를변환및복제해주는데이터통합도구입니다.


운용시스템의 성능에 최소한의 영향

– DBMS와 연동 (트리거, API 등)하지 않는 로그 방식의 데이터 추출 기법

– 로그(LOG)중심의 데이터 복제 기술을 적용하여 운영시스템의 성능에 대한 영향을 최소화

– 변화가 발생한 트랜젹션(데이터)을 목표 시스템으로 전송 함으로 지연시간을 최소화

운영 시스템의 구조에 영향이 없음

– 트랜잭션 발생 시간을 위한 Timestamp 필드의 추가가 필요 없음

– 변경 데이터 추출을 위해 사용중인 어플리케이션 또는 테이블 스키마의 변경이 필요 없음

운용중인 IT환경에 영향이 없음

– Peer-to-peer 아키텍처로 추가적인 하드웨어가 필요하지 않음

– 단지 변화된 데이터의 복제 기술을 적용하므로 네트워크 부담을 최소화

운영 시스템의 구조에 영향이 없음

– 트랜잭션 발생 시간을 위한 Timestamp 필드의 추가가 필요 없음

DataMirror 제품 – CDC기능

DataMirror는변경데이터추출을위해 DBMS 로그직접읽는방식을활용합니다. 로그기반의데이터추출은트리거나 DBMS API를이용하는데이터추출방식이나Timestamp를이용한배치기반의데이터추출에비해소스시스템부하를최소화하고, 성능을극대화하는장점을가지고있습니다.


IBM System i

IBM System z

IBM System p

HP-9000

Intel

HP Alpha

Sun

MS SQL Server

Sybase ASE

DB2 / UDB

Oracle

TCP/IPTeradata OS/400

OS/390

AIX

HP-UX

Solaris

MS Windows

Linux

PointBase

DATABASESSource & Target

DATABASES Target Only

OPERATINGSYSTEMS

HARDWAREPLATFORMS

NETWORKPROTOCOLS

MESSAGE QUEUESupport

JMS

MQ Series

WebMethods

BEA

TIBCO

Netezza

Itanium

DataMirror 제품 –다양한플랫폼/DBMS 지원

DataMirror는동일 DBMS의복제뿐만아니라이기종 DBMS나플랫폼을지원합니다.


Insert

Update

Delete

InsertInsert

InsertInsert

InsertInsert

Real-Time Database Operational Conversions

작동작동 방식방식

DB Logs

SourceEngine

TargetEngine

TCP/IP

Monitoring and Configuration

AuditDatabase

아키텍처아키텍처

DataMirror 제품 – Audit 기능

소스에서 update, delete가발생된경우복제된타겟 DB에서데이터를파악할수가없지만, LiveAudit 기능을활용하면소스 DB에발생한트랜잭션을정확히파악할수있습니다.


Production System

EDW

Rules-based routing

Message Queue

Message QueueApplication

ProcessPerson

DataMirror 제품 – Event Server

소스 DB에발생한각종트랜잭션에 XML형태의데이터로변환한이후 Message 기반의솔루션에전달할수있습니다. 이를통해실시간으로발생하는이벤트를감지해서업무시스템을보다고객중심서비스로확장시켜나갈수있습니다.


0110

1010

데이터데이터 변환변환

Row 필터링

Column 필터링

컬럼값 변환

Summary 기능

데이터 병합

DataMirror 제품 –데이터변환기능

DataMirror는변경데이터를타겟에그대로적용하는데이터복제뿐만아니라타겟에적용시다양한데이터변환도가능합니다.


DataMirror 제품 – Zero programming

기존프로그램과 H/W구성의변경없이관리도구를통한설정만으로데이터복제를구현합니다.

복제복제 Wizard Wizard 제공제공 데이터데이터 변환변환 설정설정


구현구현 방법방법

C 프로그램Stored procedure

DataMirror 제품 – Customizing기능

User Exit 기능을이용해서타겟데이터적용시점에다양한변환기능을구현할수있습니다. 데이터의일반변환뿐만아니라외부어플리케이션과의연계나다수타겟테이블에데이터적용등의 customizing이가능합니다.


자바 기반의 GUI 제공– 환경 설정, 관리, 모니터링에 활용– 통합 스크린에 데이터 통합 프로세스를

관리– 자동 매핑 및 drag & drop 방식의

데이터 변환– Event 로그, 경고, 통계 리포팅 제공

DataMirror 제품 –모니터링, 관리툴

Data volume, operation별 실시간 조회

Easy to use


1. Capture

Source Journal

.

.

.

.

.

12345

DATASEQ

3a. Apply

Transfer엔진

Apply엔진

2. Transfer

Target 테이블Source 테이블

3b. 확인메타데이터

• 변경 데이터 추출 도중 발생할 수 있는 여러장애 상황을 고려하여 메타데이터를 관리함으로데이터의 정합성을 보장

2-phase commit

DataMirror 제품 –복제의신뢰성

소스 DB와타겟 DB에각각 PUSH엔진과 APPLY엔진이직접통신을통해데이터를통합하고메타데이터를관리함으로써복제의신뢰성을보장합니다.


변경데이터의 ESB (Enterprise Service Bus) integrationBilling 시스템인 AMDOCS의 Real-time event 발생감지를위한변경데이터전송데이터유형에따라필요한시스템으로 routing

Oracle Redo Log

Transaction 1

Transaction 2Transaction 3

Transaction 4

Transaction 5

Transaction 6

Transaction 7

Transaction 8

Transaction 9

Transaction 10

Customer

Address

Billing

Customer, Address, Memo, Service,

Billing etc…

Transaction 1

Transaction 2Transaction 3Transaction 4

Transaction 1

Transaction 1Transaction 7

Transaction 8

Queue 1

Transaction 10

Queue 2

Queue 3

XML Document

XML Document

XML Document

SeibelCRM

Other Application

Other Application

db size = 11 terabytes

40 million trans/day

1GB redo log generated per minute

구축사례 –미국의통신사


구축사례 –미국의 Cable 제공사

I5/DB2 OS/400 Journal

Regional Billing Application

Regional Billing Application

I5/DB2

I5/DB2

OS/400 Journal

OS/400 Journal

Real-Time CDC ETL FeedsData

Warehouse

Corporate ETL Server Customer Value CreationMarketing System

14개지역 Billing 시스템의변경데이터가실시간으로마케팅 DW로적재트랜잭션유형및변경시점의 timestamp가핸드코딩없이 ETL 서버로전송

RealReal--time CDCtime CDC와와 ETL ETL 솔루션의솔루션의 결합결합


백업시스템Active

ELS 시스템

운영시스템Active

클러스터시스템Standby

HACMP

초당 300~400건의 트렌잭션이 지연없이 실시간 복제

초당 300~400건의 트렌잭션이 지연없이 실시간 복제

HA 구성및복제를통한장애대처및Workload balancing 구현

장애 대처

• 운영 시스템에 장애 발생 시 1차로 클

러스터 시스템으로 전환

• 클러스터 시스템마저 장애 발생시

Backup 시스템으로 전환

구축사례 –교보자동차보험

Workload Balancing

• Backup 시스템은 항상 active로 운영

• 후선 업무 조회 및 분석시스템인 ELS에 최

신 데이터 제공


2007

Expand Capabilities• Release IBM branded DataMirror v.6.2

technology systems/standards• First phase product integration (DM TS with

DataStage)• Release DB2 Rep/EP v9.5 & Classic

Rep/EP v9.5

2009Extend Leadership • Leverage capture agents• Unified UI for management

Product MissionProtect Customer InvestmentIntegrate offeringsExtend/Optimize solutions

Integrate offerings • Release DM v6.5 with global translations• Tighter integration between DM TS, Rep/EP & DataStage

2008

로드맵

기존고객에대한보호뿐만아니라 IBM IOD 솔루션과의통합을위한로드맵을가지고있습니다.


로드맵 – 2007 IBM IOD conference 공식발표자료


DataMirror

database

2 3staging

areaDS/QS job

database

412

DataMirror

database

3

4

2DS/QS job

database

1

MQ

DataMirror

database

2 3 DS/QS job

database

41

FileFileFileDS/QS job

2

DataMirror

database

3

2

database

1 4

DS Custom Operator

1. Staging DB 통한연동 2. MQ를통한연동

3. 파일을통한연동 4. 제품내에통합

현재도활용 가능

로드맵 – ETL과통합

ETL 툴인 DataStage와 2008년까지완벽한연동기능이구현될예정입니다.




QualityStageInformation Analyzer

Federation Server

DataStage

Replication ServerData Event Publisher

Business Glossary

Information Services Director

Metadata Server

Parallel Processing

Rich Connectivity to Applications, Data, and Content

Discover, model, and govern information quality and

structure


Transform and enrich information

Virtualize, synchronize and move information

IBM Metadata Workbench

Transformation ServeriClusteriReflect

로드맵 – Information Server의진화


LegacyDatabase

LegacyDatabase

LegacyDatabase

.. ..

IBM Industry Models

IBMDB2 Warehouse


로드맵 – Dynamic Warehousing

LegacyDatabase

LegacyDatabase

LegacyDatabase

.. ..

Party

IBM Master Data Management

Product

Account

운영시스템의 변경분 데이터가 실시간으로 DB2 Warehouse로 통합Information Server를 통해 데이터가정제되고 변환되어 적재

IBM MDM의 변경 데이터와 레거시시스템과의 데이터 동기화


Information Integration

Master Data Management

SOA

Dynamic Warehousing

Replication

High AvailabilityGraphic TBD

eCommerce


SOA InfrastructureSOA Infrastructure

IBM FileNet BPMWebSphere BPMIBM FileNet BPMWebSphere BPM

IBM Rational®Data ArchitectIBM Rational®Data Architect

IBM InformationServer

IBM InformationServer

IBM WebSphereCustomer CenterProduct Center

IBM WebSphereCustomer CenterProduct Center

IBM industrydata modelsIBM industrydata models

IBMDB2 Warehouse

IBMDB2 Warehouse

IBM OmniFind™

Analytics EditionIBM OmniFind™

Analytics Edition

Event Management Data Quality Management Data Lifecycle Mgmt


Industry SOA Business Processes

Operational MDMCollaborative MDM Analytical MDM

CustomerCustomer / Shipping

ProductLocation

SupplierAccount

Event Management Data Quality Management Data Lifecycle Mgmt


Event Management Data Quality Management Data Lifecycle MgmtEvent Management Data Quality Management Data Lifecycle Mgmt


Industry SOA Business Processes Industry SOA Business Processes

Operational MDMCollaborative MDM Analytical MDMOperational MDMCollaborative MDM Analytical MDM



ProductLocationProductLocation

SupplierAccountSupplierAccount

Failure

IBM IOD 구현을위한기반솔루션


완벽한 Real-time 데이터통합솔루션Real-time CDC 솔루션인 DataMirror와 IBM IOD 솔루션의결합은기업에서필요한데이터를 right-time에통합할수있는완벽한솔루션을제공합니다.

엔터프라이즈엔터프라이즈 아키텍처아키텍처 지원지원 데이터데이터 통합의통합의 Value Value 증대증대

Loading into ODS in real-time

– Shrinking Batch windows

Operational BI

Event Detection

– Audit & Internal controls

– Event Driven SOA

Synchronous eBusiness

– Up-to-Date Web Portals

Workload balancing


Thank You

Documents

Dynamic Warehousing 구현을 위한리얼타임데이터통합 · – 통합스크린에데이터통합프로세스를 관리 – 자동매핑및drag & drop 방식의 데이터변환