Embed Size (px)
Citation preview
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate公司简介
bull 创建于1995年总部在美国旧金山
bull 数据复制领域的专业公司
bull 全球超过4000个安装许可分布在政府银行制造传媒电信证券医疗和零售等各大行业其中有多个全球财富500强企业
bull 与OracleIBMHPMicrosoftSybaseTeradata
等著名企业建立了紧密合作关系
bull 中科领新信息技术有限公司是GoldenGate公司中国区总代理和技术支持中心
bull 2009年被Oracle收购
数据复制的拓扑结构
单向复制
备份查询
双向复制
灾备双业务中心
点对点
多业务中心
广播复制
数据分发
集中复制
数据仓库N+1灾备
多级复制
层次化企业数据
Oracle GoldenGate 使用场景企业级的实时数据解决方案
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
Standby
(Open amp Active)
Reporting
DatabaseOGG
ETL
ETL
查询卸载
数据分发
bull Standardize on Single Technology for Multiple Needs
bull Deploy for Continuous Availability and Real-time Data Access for Reporting BI
bull Highly Flexible
bull Fast Deployments
bull Lower TCO amp Improved ROI
6
Oracle GoldenGate主要应用场景分类
高可用性 容灾与应急备份
实现
快速恢复和切换
最小化数据损失
重新同步主备两端数据
用途
在非计划性停机时保持业务连续
案例国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate公司简介
bull 创建于1995年总部在美国旧金山
bull 数据复制领域的专业公司
bull 全球超过4000个安装许可分布在政府银行制造传媒电信证券医疗和零售等各大行业其中有多个全球财富500强企业
bull 与OracleIBMHPMicrosoftSybaseTeradata
等著名企业建立了紧密合作关系
bull 中科领新信息技术有限公司是GoldenGate公司中国区总代理和技术支持中心
bull 2009年被Oracle收购
数据复制的拓扑结构
单向复制
备份查询
双向复制
灾备双业务中心
点对点
多业务中心
广播复制
数据分发
集中复制
数据仓库N+1灾备
多级复制
层次化企业数据
Oracle GoldenGate 使用场景企业级的实时数据解决方案
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
Standby
(Open amp Active)
Reporting
DatabaseOGG
ETL
ETL
查询卸载
数据分发
bull Standardize on Single Technology for Multiple Needs
bull Deploy for Continuous Availability and Real-time Data Access for Reporting BI
bull Highly Flexible
bull Fast Deployments
bull Lower TCO amp Improved ROI
6
Oracle GoldenGate主要应用场景分类
高可用性 容灾与应急备份
实现
快速恢复和切换
最小化数据损失
重新同步主备两端数据
用途
在非计划性停机时保持业务连续
案例国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
数据复制的拓扑结构
单向复制
备份查询
双向复制
灾备双业务中心
点对点
多业务中心
广播复制
数据分发
集中复制
数据仓库N+1灾备
多级复制
层次化企业数据
Oracle GoldenGate 使用场景企业级的实时数据解决方案
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
Standby
(Open amp Active)
Reporting
DatabaseOGG
ETL
ETL
查询卸载
数据分发
bull Standardize on Single Technology for Multiple Needs
bull Deploy for Continuous Availability and Real-time Data Access for Reporting BI
bull Highly Flexible
bull Fast Deployments
bull Lower TCO amp Improved ROI
6
Oracle GoldenGate主要应用场景分类
高可用性 容灾与应急备份
实现
快速恢复和切换
最小化数据损失
重新同步主备两端数据
用途
在非计划性停机时保持业务连续
案例国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
Oracle GoldenGate 使用场景企业级的实时数据解决方案
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
Standby
(Open amp Active)
Reporting
DatabaseOGG
ETL
ETL
查询卸载
数据分发
bull Standardize on Single Technology for Multiple Needs
bull Deploy for Continuous Availability and Real-time Data Access for Reporting BI
bull Highly Flexible
bull Fast Deployments
bull Lower TCO amp Improved ROI
6
Oracle GoldenGate主要应用场景分类
高可用性 容灾与应急备份
实现
快速恢复和切换
最小化数据损失
重新同步主备两端数据
用途
在非计划性停机时保持业务连续
案例国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
6
Oracle GoldenGate主要应用场景分类
高可用性 容灾与应急备份
实现
快速恢复和切换
最小化数据损失
重新同步主备两端数据
用途
在非计划性停机时保持业务连续
案例国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
高可用性 容灾与应急备份
实现
快速恢复和切换
最小化数据损失
重新同步主备两端数据
用途
在非计划性停机时保持业务连续
案例国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
案例国家体育总局体彩中心
N+1模式容灾
各省市集中备份
远距离
低带宽
IBM P570h
Hp Superdome Hp Superdome
IBM P570h
HA
Oracle 10g R2
RAC
Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HA Oracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570h
IBM P570h
HAOracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
IBM P570hIBM P570h
HA
Oracle
10g R1
天津分中心 成都分中心
武汉分中心
广州分中心
北京备份中心
GoldenGate
GoldenGate
GoldenGate
GoldenGate
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
高可用性 减少计划内停机
实现
保障业务零或者近似零停机
滚动升级
降低业务中断带来的损失
用途
保障系统应用数据库在升级移植和维护期间业务的可用性
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
高可用性 双业务中心（Active-Active)
实现bull 负载均衡提高系统整体性能bull 连续可用快速的容灾接管bull 冲突检测和处理
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
案例美 国 银 行
超过五千八百家分行及一万六千多部自动
柜员机热 备 份 数 据 中 心从 贯 穿 北 美 的 四台 主 机 (HP NSK)
抓 取 数 据保 障 ATM 7X24小
时可用
热 备 份 点
主 数 据 中 心
客 户
客 户
客 户
客 户
双向数据复制
GoldenGate has helped the Bank of America accommodate growth
Michele Schwappach Vice President and Senior Systems Manager
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
案例中华人民共和国海关总署
远距离容灾
低带宽
低延时
可随时接管的双业务中心
快速业务切换
Oracle 9i
RAC
Oracle 9i
RAC
Oracle 9i
RAC
决策支持库
GoldenGate单向复制
GoldenGate单向复制
H2000生产库
Oracle 9i
全国各地41个口岸H2000应用
GoldenGate双向复制
广州北京
H2000生产库
决策支持库
网络
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
13
查询卸载
bull 成本节省bull 提高资源利用率
Find a solution that can transfer our data in real-time keeping up with data volumes and meet future business needs In actuality GoldenGate was the only solution that handled all three requirements with easerdquo
ndash J Seelan DBA Manager 1-800-Flowerscom
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
CHALLENGES OPPORTUNITIES
bull Optimize OLTP system performance ndashoffload all query activity
bull Reduce TCO via platform changes and segment ldquolookersrdquo from ldquobookersrdquo
bull Handle growing data volumes and support heterogeneous systems over life-cycle of Air Travel Shopping Engine (ATSE)
bull Maintain data integrity across all systems
GoldenGate PROVIDES
bull Supports 16TB of data movement per day to read-only servers
bull Sourcendash Oracle 10g | Target ndash MySQL
bull Current plans to migrate to Oracle 11g on both source and target
RESULTS
bull 80 TCO Reduction ndash Millions $$ saved
COMPANY OVERVIEW
A world leader in the travel marketplace Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry
Query Offloading 案例Query Offloading Saves Millions $
ldquoBookers vs Lookersrdquo
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
Solution ndash Real-time Data Integration
bull Operational Reporting
bull Real-time Business Intelligence
ldquoAccessing the data in real time using GoldenGate we can immediately see if wersquore profitable and if our business processes are workingrdquo
- Sam Peterson SVP Technology Overstockcom
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
数据仓库实时供给（和ODI结合使用）
实现
数据仓库数据实时得到更新
对源系统低影响
用途
提升商务智能和信息分析能力
实时可用的数据仓库
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate TDM 是基于日志的实时CDC软件平台提供异构环境下大 量交易数据的实时捕捉变换和投递同时保持亚秒一级的数据延迟
基于GoldenGate TDM我们提供高可用容灾和实时数据集成的解决方案
GoldenGate TDM 采用高内聚低耦合的结构能够支持多种拓扑结构 包括一对一一对多多对一多对多层叠和双向复制
GoldenGate介绍
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate 工作原理
网络
源数据库 目的数据库
双向复制
队列文件 暂存数据变化
传输 数据经过压缩和加密传送到目的地
Capture 实时读取交易日志捕捉数据变化并可实现过滤
Delivery执行所需的数据变化然后将数据变化提交到目的库
CaptureSource Trail Target Trail
Source TrailTarget Trail
Delivery
Delivery Capture
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
交易数据管理
GoldenGate提供异构环境下交易数据的实时捕捉变换投递
特性 收益
实时性亚秒一级延迟
高性能能够以低资源消耗完成每秒数千交易的复制
异构环境支持在不同平台和数据库环境下复制数据
可扩展开放的结构使客户适应各种异构数据平台
以交易为单位复制维护交易一致性
可靠保证数据的连续可用
独立于数据库系统的复制技术 提供7x24服务
不停机保证业务的连续性在线升级迁移数据库系统及应用
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate变化数据捕捉的优势
针对SQL SERVERDB2都提供基于日志的CDC
直接从数据库日志中通过自己的专有程序抽取数据
支持在备份系统上抓取变化数据
对一些数据类型如LONGXMLBLOB都提供了支持
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
基于日志的实时数据复制
bull 亚秒级复制
bull 不依赖源数据库的触发器和规则对源数据库影响小
数据库日志
网络
CaptureSource Trail Target Trail
DeliveryData Pump
JMS Message Bus
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GG在数据传输方面的优势
GG有很好的机制来保证传输的交易一致性和断点续传
事务完整性-事务级粒度
只复制成功提交的事务
防止源和目标的不一致性
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate支持异构环境任意组合
Databases OS and Platforms
Capture
1048707 Oracle
1048707 DB2
1048707 Ingres
1048707 Microsoft SQL Server
1048707 Sybase ASE
1048707 Teradata1048707
1048707 Enscribe
1048707 SQLMP
1048707 SQLMX
Delivery
1048707 All listed above
1048707 MySQL Netezza Greenplum
1048707 HP Neoview
1048707 And any ODBC compatible DBs
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate 104支持的主流数据库版本
bull Oracle 8i (DML only)
bull Oracle 91 and 92 (DML and DDL)
bull Oracle 101 and 102 (DML and DDL)
bull Oracle 11g (DML and DDL)
bull DB2 UDB 8x and 95 on Windows and UNIX
bull DB2 UDB for OS390 and zOS 71 (until IBM end of service date)
bull DB2 UDB for zOS Version 81 and 91
bull SQL Server 2000 and 2005 on MS-supported OS as a source or
target
bull SQL Server 2008 on MS-supported OS as a target only
bull Sybase 1254 and 15 ASE
bull MySQL versions 40 and 41
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate is Strategic to Oracle
27
bull Over 400 customers with 4000+ implementations
across Fortune 500 companies Financial Services
Communications Healthcare Public Sector Retail amp
Utilities industries
bull Top 3 of 5 largest commercial banks
bull Top 3 of 3 busiest ATM networks
bull Top 7 of 10 financial data services companies
bull Top 4 of 5 telecommunications providers
bull Top 3 of 5 largest food amp drug stores
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
28
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
GG在Oracle数据复制产品中的定位
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
Stream
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GoldenGate 与 Streams的比较
29
GoldenGate is Oraclersquos strategic
replication solution
Lead with GoldenGate
bull Highly customizable and flexible
bull Optimized for Oracle Database
bull Few large references
Oracle Streams
bull Out-of-the-box solutions
bull Broad heterogeneous support
bull Excellent reference base
Oracle GoldenGate
Why buy GoldenGate
bull Better ROI overall GoldenGate is lower cost to implement and maintain
bull Enterprise-wide solution GoldenGate easily expands to new use cases
bull Support for Streams continues Continue to use Streams where itrsquos deployed
Streams continues to be a
supported Oracle Database feature
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
Agenda
bull GoldenGate主要应用场景介绍
bull GoldenGate简介
bull GoldenGate案例分析
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
华南GoldenGate成功案例分析
基于日志的实时变化数据捕捉
异构的多数据源系统
EDWODS
EDW
灾备数据保护
应用或系统在线升级
操作型报表
实时商务智能
OGG
ETL
ETL
查询卸载
数据分发
安信证券CDC数据交换平台DB2 ORACLE
SQL Server ORACLE
招商证券交易系统灾备DB2 --- DB2
DB2 --- Oracle
平安保险EPCIS平台迁移Oracle HPUX迁移至SUN平台上
平安保险ELIS客户系统数据同步SUN SOLARISOracle 10203
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
数据同步
平台Call center
前台营业系统
资讯系统
CRM 风险 人力 财务 会计 OA
网站
期货业务
安信CDC数据交换平台
交易系统
CDC数据交换平台
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
安信GG测试方案
1)环境问题
2)定制版本
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
招商证券灾备
172306091 1723060210Replicat
AIX64 53 04
DB2 827
AIX64 53 04
生产中心 容灾中心
Pump TcpIp 7809
UDF Trail
Extract
2 数据库服务器
1 通信链路
1 防火墙
图例
符号 计数 说明
图例副标题
设备名称用途
数量
操作系统 IP地址（示意） 备注
IBM P590 1 AIX 53 04 172306091 SOURCE
IBM P590 1 AIX 53 04 1723060210 TARGET
同步数据表273
初始测试
用户测试
第二次测试
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
招商证券灾备第一次测试
400W 交易数据 源3400 transactionsec target 2700
530W报盘后 源2200transactionsec target 1300
单表事务KSentrust (300W record) 源11000 target 6000
主要问题
1) GG版本 8
kill ER
2) 性能优化
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
招商证券灾备第一次测试性能优化
Local trail
Remote trail
Tables273
100
100
73
1000万
range
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
源数据库目的数据库
启动GoldenGate数据复制进程从备份时的SCN NO
开始抓取
网络Capture
Source Trail Target TrailDelivery
在线访问
平安EPCIS数据库平台迁移方案
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS同步
ELT
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
GG数据同步
GG数据同步
GG数据同步中心库
机构库
机构库
机构库
平安ELIS数据同步POC
ELT
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
2) Routing by query result
3) Conversion
1)Distributing by field value
FRAMEWORK
JE_SH
JE_QD
JR_SHJD_SH
JD_QD
SR
QR
SL
QL
Center db
org_dbshanghai
org_dbqingdao
JR_QD
ZLgg process gg train file
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
client_base client_extend
site_email
site_telephonesite_address
client_info
client_phone_info
SCENE 1 多表同步到单表
client_base
Client_extend
Site_email client_info
Site_address
Site_telephone
Site_telephone client_phone_info
One to many
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
gg_pol_agt
POL_JNT_INSURED
pol_ben
POL_INSURED
SCENE 2 单表同步到多表
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
TABLE ELISDATASITE_EMAIL amp
SQLEXEC (ID lookup5 ON UPDATE ON DELETE amp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup5conflictPRESENT) ON UPDATE ON DELETE)
SQLEXEC (ID lookup6 ON INSERTamp
QUERY select CLIENTNO conflict from lifedataclient_info where CLIENTNO = client amp
PARAMS (client = CLIENTNO) BEFOREFILTER ERROR IGNORE TRACE ALL) amp
FILTER (COLTEST(lookup6conflictPRESENT) ON INSERT)
SCENE 3 基于查询结果的路由
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATACLIENT_EXTEND TARGET LIFEDATAclient_info amp
colmap (usedefaults
PHONETICIZE_LASTNAME = LASTNAME
PHONETICIZE_FIRSTNAME = FIRSTNAME
)
SCENE 4 不同字段名称
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_TELEPHONE TARGET LIFEDATAclient_phone_info amp
colmap (usedefaults
PHONE_TYPE=CASE (SITE_DETAIL_CD 020001 1 020002 2020003 3020004 4)
PHONE_NUMBER=WHOLE_TEL_NO
)
SCENE 5 条件判断
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
MAP ELISDATASITE_ADDRESS TARGET LIFEDATAclient_info amp
colmap (usedefaults
CONTA_ADDR=IF (STREQ (SITE_DETAIL_CD030002) WHOLE_ADDRESS_NO COLSTAT(MISSING))
HOME_ADDR=IF (STREQ (SITE_DETAIL_CD030001) WHOLE_ADDRESS_NO COLSTAT(MISSING))
CONTA_POSTCODE=IF (STREQ (SITE_DETAIL_CD030002) POST_CODE COLSTAT(MISSING))
HOME_POSTCODE=IF (STREQ (SITE_DETAIL_CD030001) POST_CODE COLSTAT(MISSING))
)
Clientno Detail_cd whole_address
0001 030001 上海
0001 030002 深圳
CLIENTNO CONTA_ADDR HOME_ADDR
0001 上海(030001) 深圳(030002)
SCENE 6 合并远端多条记录到目标端一条记录
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
ZE
ZR_SH
ZR_QD
ZD
ZD_SH
ZD_QD
ZL
ZA
ZB
S1
Q1
Center db
org_dbshanghai
org_dbqingdao
For site_emailsite_telephonesite_address We need to transfer insert operation
On the source into update on the target db
(We use ldquoupdateinsertrdquo parameter for this scene)
Clientno Detail_cd whole_address
0001 030001 SHANGHAI
0001 030002 SHENZHEN
CLIENTNO CONTA_ADDR HOME_ADDR
0001 SHANGHAI(030001) SHENZHEN(030002)
SCENE 7 Insert TO Update
