Upload
meng-he
View
416
Download
4
Embed Size (px)
DESCRIPTION
Citation preview
实时数据处理 - Oracle GoldenGate
孟和渠道售前咨询顾问
2
内容安排
GoldenGate作为Oracle战略产品的现状和地位
GoldenGate 产品常见应用和实施方案
高可用性支持和容灾恢复
实时数据集成
GoldenGate 的技术原理
抓取复制原理
检查点机制
多种可选择性配置
异构平台的适应性
GoldenGate Director 和Veridata
3
产品现状
成长历程和全球服务
战略伙伴一起共成长
全球的35个国家的500多个大客户那里有4000多个实施案例
稳定广阔的用户群
创建于1995
年2009年被Oracle收
购
遍布全球的服务支持北美欧洲及中东亚太
提供全球范围内24times7的全面支持
4
全球的典型客户银行和金融业 医疗和卫生行业
电信服务业
制造业
政府公共部门
航空和交通运输服务行业
零售和电子商务
5
GoldenGate 是Oracle的战略性产品
5
bull 实时数据解决方案的行业领先者
bull 和Oracle数据库的最佳集成融合
bull 异构基础架构持续的高可用性
bull 数据处理软件的强强联合
bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业
bull 全球最大的5家商业银行中的3家 (60)
bull 全球最繁忙的3家ATM网络(100)
bull 全球最大的10家金融服务公司中的7家(70)
bull 全球最大的5 家电信运营商中的4家(80)
bull 在中国已经落地开花开始大规模应用部署
bull 国家海关总署
bull 国家税务总局
bull 国家体育总局体彩中心
6
GoldenGate 产品ndash Transactional Data Management 事务数据管理
GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验
Real Time 实时亚秒级的数据传输
Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌
Transactional 事务性确保事务的完整性
TDM 需求
Performance
Extensibility amp
Flexibility
Reliability
GoldenGate TDM的优异性
每秒处理数千事务的能力并且对宿主系统的性能影响小
支持开放的底层系统和客户的各种需求
提供持续的可操作性和可用性
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据集成
实时数据仓库 Real-Time Data
Warehousing
实时报表 Live Reporting
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
2
内容安排
GoldenGate作为Oracle战略产品的现状和地位
GoldenGate 产品常见应用和实施方案
高可用性支持和容灾恢复
实时数据集成
GoldenGate 的技术原理
抓取复制原理
检查点机制
多种可选择性配置
异构平台的适应性
GoldenGate Director 和Veridata
3
产品现状
成长历程和全球服务
战略伙伴一起共成长
全球的35个国家的500多个大客户那里有4000多个实施案例
稳定广阔的用户群
创建于1995
年2009年被Oracle收
购
遍布全球的服务支持北美欧洲及中东亚太
提供全球范围内24times7的全面支持
4
全球的典型客户银行和金融业 医疗和卫生行业
电信服务业
制造业
政府公共部门
航空和交通运输服务行业
零售和电子商务
5
GoldenGate 是Oracle的战略性产品
5
bull 实时数据解决方案的行业领先者
bull 和Oracle数据库的最佳集成融合
bull 异构基础架构持续的高可用性
bull 数据处理软件的强强联合
bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业
bull 全球最大的5家商业银行中的3家 (60)
bull 全球最繁忙的3家ATM网络(100)
bull 全球最大的10家金融服务公司中的7家(70)
bull 全球最大的5 家电信运营商中的4家(80)
bull 在中国已经落地开花开始大规模应用部署
bull 国家海关总署
bull 国家税务总局
bull 国家体育总局体彩中心
6
GoldenGate 产品ndash Transactional Data Management 事务数据管理
GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验
Real Time 实时亚秒级的数据传输
Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌
Transactional 事务性确保事务的完整性
TDM 需求
Performance
Extensibility amp
Flexibility
Reliability
GoldenGate TDM的优异性
每秒处理数千事务的能力并且对宿主系统的性能影响小
支持开放的底层系统和客户的各种需求
提供持续的可操作性和可用性
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据集成
实时数据仓库 Real-Time Data
Warehousing
实时报表 Live Reporting
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
3
产品现状
成长历程和全球服务
战略伙伴一起共成长
全球的35个国家的500多个大客户那里有4000多个实施案例
稳定广阔的用户群
创建于1995
年2009年被Oracle收
购
遍布全球的服务支持北美欧洲及中东亚太
提供全球范围内24times7的全面支持
4
全球的典型客户银行和金融业 医疗和卫生行业
电信服务业
制造业
政府公共部门
航空和交通运输服务行业
零售和电子商务
5
GoldenGate 是Oracle的战略性产品
5
bull 实时数据解决方案的行业领先者
bull 和Oracle数据库的最佳集成融合
bull 异构基础架构持续的高可用性
bull 数据处理软件的强强联合
bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业
bull 全球最大的5家商业银行中的3家 (60)
bull 全球最繁忙的3家ATM网络(100)
bull 全球最大的10家金融服务公司中的7家(70)
bull 全球最大的5 家电信运营商中的4家(80)
bull 在中国已经落地开花开始大规模应用部署
bull 国家海关总署
bull 国家税务总局
bull 国家体育总局体彩中心
6
GoldenGate 产品ndash Transactional Data Management 事务数据管理
GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验
Real Time 实时亚秒级的数据传输
Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌
Transactional 事务性确保事务的完整性
TDM 需求
Performance
Extensibility amp
Flexibility
Reliability
GoldenGate TDM的优异性
每秒处理数千事务的能力并且对宿主系统的性能影响小
支持开放的底层系统和客户的各种需求
提供持续的可操作性和可用性
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据集成
实时数据仓库 Real-Time Data
Warehousing
实时报表 Live Reporting
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
4
全球的典型客户银行和金融业 医疗和卫生行业
电信服务业
制造业
政府公共部门
航空和交通运输服务行业
零售和电子商务
5
GoldenGate 是Oracle的战略性产品
5
bull 实时数据解决方案的行业领先者
bull 和Oracle数据库的最佳集成融合
bull 异构基础架构持续的高可用性
bull 数据处理软件的强强联合
bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业
bull 全球最大的5家商业银行中的3家 (60)
bull 全球最繁忙的3家ATM网络(100)
bull 全球最大的10家金融服务公司中的7家(70)
bull 全球最大的5 家电信运营商中的4家(80)
bull 在中国已经落地开花开始大规模应用部署
bull 国家海关总署
bull 国家税务总局
bull 国家体育总局体彩中心
6
GoldenGate 产品ndash Transactional Data Management 事务数据管理
GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验
Real Time 实时亚秒级的数据传输
Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌
Transactional 事务性确保事务的完整性
TDM 需求
Performance
Extensibility amp
Flexibility
Reliability
GoldenGate TDM的优异性
每秒处理数千事务的能力并且对宿主系统的性能影响小
支持开放的底层系统和客户的各种需求
提供持续的可操作性和可用性
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据集成
实时数据仓库 Real-Time Data
Warehousing
实时报表 Live Reporting
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
5
GoldenGate 是Oracle的战略性产品
5
bull 实时数据解决方案的行业领先者
bull 和Oracle数据库的最佳集成融合
bull 异构基础架构持续的高可用性
bull 数据处理软件的强强联合
bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业
bull 全球最大的5家商业银行中的3家 (60)
bull 全球最繁忙的3家ATM网络(100)
bull 全球最大的10家金融服务公司中的7家(70)
bull 全球最大的5 家电信运营商中的4家(80)
bull 在中国已经落地开花开始大规模应用部署
bull 国家海关总署
bull 国家税务总局
bull 国家体育总局体彩中心
6
GoldenGate 产品ndash Transactional Data Management 事务数据管理
GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验
Real Time 实时亚秒级的数据传输
Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌
Transactional 事务性确保事务的完整性
TDM 需求
Performance
Extensibility amp
Flexibility
Reliability
GoldenGate TDM的优异性
每秒处理数千事务的能力并且对宿主系统的性能影响小
支持开放的底层系统和客户的各种需求
提供持续的可操作性和可用性
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据集成
实时数据仓库 Real-Time Data
Warehousing
实时报表 Live Reporting
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
6
GoldenGate 产品ndash Transactional Data Management 事务数据管理
GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验
Real Time 实时亚秒级的数据传输
Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌
Transactional 事务性确保事务的完整性
TDM 需求
Performance
Extensibility amp
Flexibility
Reliability
GoldenGate TDM的优异性
每秒处理数千事务的能力并且对宿主系统的性能影响小
支持开放的底层系统和客户的各种需求
提供持续的可操作性和可用性
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据集成
实时数据仓库 Real-Time Data
Warehousing
实时报表 Live Reporting
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
7
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
实时数据集成
实时数据仓库 Real-Time Data
Warehousing
实时报表 Live Reporting
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
8
GoldenGate 解决方案
高可用和容灾
双活数据库 Active-Active
零宕机 Zero-Downtime Operations
活备机 Live Standby
数据库分层 Database Tiering
更稳定的服务更高的性能更快的恢复最少的数据丢失
Real-Time Access
实时数据访问
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
9
高可用性方案零宕机操作
减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用
迁移
升级
维护
测试
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
10
高可用性方案活备机
最快的恢复和失败切换
二次同步备机和主系统
减少数据丢失和损坏
不受地理距离限制对带宽要求小
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
11
高可用性方案双活数据库
持续的可用性单个节点中断不影响
事务的分布式处理满足跨地域的部署要求提高处理能力
性能的可伸缩性可以增减节点
冲突检测和解决 必须的保证
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
12
高可用性方案数据库分层
应付生产系统中的大量只读操作
事务处理的高可用性和高性能
以较低的成本代价来容忍无限的数据块增长
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
13
GoldenGate 解决方案
实时数据集成
实时数据仓库
实时报表
最即时数据快速灵活决策数据整合易集成性
Real-Time Information
实时数据信息
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
14
数据集成实时数据仓库
提供BI的实时数据
减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)
其它数据集成有如下要求时
低负载
事务的完整性
更灵活
易实施和维护
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
15
数据集成实时报表
报表不对生产系统产生性能影响
实时按需出报表
无限的可伸缩性和较低的成本代价
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
16
GoldenGate的数据复制原理
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
监控进程 监控进程
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
17
配置了ldquo中转数据泵rdquo的复制过程
Data
PumpLocal
Trail
事务日志
Extract Server
CollectorReplicat
Trail
Manager Manager
源库
目标库
网络(TCPIP)抓取 跟踪文件数据收集 复制
本地跟踪文件
数据泵
监控进程 监控进程
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
18
检查点机制 ndash Extract 抓取进程
为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复
抓取进程Extract维护了
两个输入检查点(标识于日志log文件中)
一个输出检查点(标识于跟踪trail文件中)
检查点文件表
输出端对应的跟踪文件
输入端
事务日志文件
最后一条被读的记录
事务日志中最早的未提交记录
最后一条被写入跟踪文件的提交事务记录
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
19
检查点机制 ndash Replicat 复制进程
最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处
复制进程replicat维护了两个检查点
检查点文件表
输入端跟踪文件
最后一条已经读取的记录
最早的未提交的记录
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
20
GoldenGate工作原理总结
LAN WAN
Internet
源库 目标库
双向
跟踪文件 统一的数据格式适用于异构系统
路由传输 不受距离限制TCPIP协议压缩和加密
抓取 提交的数据可以被过滤性抓取通过事务日志读取
复制 完整性机制保障下的事务数据加载
抓取源 Trail 目标 Trail
源 Trail目标 Trail
加载
加载抓取
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
21
单向报表应用
双向实时恢复和双活
点对点负载均衡高可用容灾
广播数据分发
合并数据仓库
GoldenGate 多种可选择性配置
分层数据超市
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
22
GoldenGate 对异构平台的支持系统可以运行在如下平台
数据库 操作系统和平台
抓取端
Oracle
DB2
Microsoft SQL Server
Sybase ASE
Teradata
Enscribe
SQLMP
SQLMX
Ingres
加载端
All listed above
MySQL
and any ODBC compatible databases
Windows 2000 2003 XP
Linux
Sun Solaris
HP NonStop
HP-UX
HP TRU64
HP OpenVMS
IBM AIX
IBM zOS
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
23
GoldenGate TDM 其它的关键特性
支持表行列级的数据转换处理和过滤
支持自定义存储过程查询宏定义
动态回滚和时间定点恢复
冲突检测和解决-- 常用于双活环境
数据压缩
数据加密
归档和审计能力
管理和监控-- GoldenGate Manager
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
24
GoldenGate Directortrade 图形化的配置管理包
管理定义配置以及监控GoldenGate TDM
进程
关键特性
集中化管理GoldenGate 的各进程
丰富的管理界面和基于Web的图形界面
报警提示机制并且可以和第三方的监控软件集成
实时的反馈信息
对生产系统零影响
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
25
GoldenGate Veridatatrade 数据校验引擎
高速低负载的数据比较方案
校验和报告两个数据库之间的差异性
几乎不影响生产系统的性能
优点
减少财务和法律层面的风险暴露
加速和简化IT部门的数据比较工作
不影响生产系统的性能
对于备系统提供了更好的失败恢复机制
准确的决策支持和报表生成
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
2626
Active Data Guard
DirectMemory Access
Read On-Disk Logs
SQL
Direct Write to Logs
Oracle的数据迁移产品Comparing How They Work
Redo in Memory Buffer
GoldenGate
Data Integrator
DE
CR
EA
SIN
G L
AT
EN
CY
IN
CR
EA
SIN
G T
RA
NS
FO
RM
AT
IO
N
Retrieve Data Load Data
Disaster Recovery amp Data Protection
Real Time Data Integration amp High Availability
SQL Query Multi-step Complex SQL
Data Integration for Data Warehouse amp SOA
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
27
GoldenGate 总结
GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)
用途
多业务中心(高可用)
容灾
报表分离
数据仓库
优势
速度快
延迟小
可靠性高
跨系统跨平台
问amp答
问amp答