30
实时数据处理 - Oracle GoldenGate 孟和 渠道售前咨询顾问

04.golden gate概览

  • Upload
    meng-he

  • View
    416

  • Download
    4

Embed Size (px)

DESCRIPTION

 

Citation preview

Page 1: 04.golden gate概览

实时数据处理 - Oracle GoldenGate

孟和渠道售前咨询顾问

2

内容安排

GoldenGate作为Oracle战略产品的现状和地位

GoldenGate 产品常见应用和实施方案

高可用性支持和容灾恢复

实时数据集成

GoldenGate 的技术原理

抓取复制原理

检查点机制

多种可选择性配置

异构平台的适应性

GoldenGate Director 和Veridata

3

产品现状

成长历程和全球服务

战略伙伴一起共成长

全球的35个国家的500多个大客户那里有4000多个实施案例

稳定广阔的用户群

创建于1995

年2009年被Oracle收

遍布全球的服务支持北美欧洲及中东亚太

提供全球范围内24times7的全面支持

4

全球的典型客户银行和金融业 医疗和卫生行业

电信服务业

制造业

政府公共部门

航空和交通运输服务行业

零售和电子商务

5

GoldenGate 是Oracle的战略性产品

5

bull 实时数据解决方案的行业领先者

bull 和Oracle数据库的最佳集成融合

bull 异构基础架构持续的高可用性

bull 数据处理软件的强强联合

bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业

bull 全球最大的5家商业银行中的3家 (60)

bull 全球最繁忙的3家ATM网络(100)

bull 全球最大的10家金融服务公司中的7家(70)

bull 全球最大的5 家电信运营商中的4家(80)

bull 在中国已经落地开花开始大规模应用部署

bull 国家海关总署

bull 国家税务总局

bull 国家体育总局体彩中心

6

GoldenGate 产品ndash Transactional Data Management 事务数据管理

GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验

Real Time 实时亚秒级的数据传输

Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌

Transactional 事务性确保事务的完整性

TDM 需求

Performance

Extensibility amp

Flexibility

Reliability

GoldenGate TDM的优异性

每秒处理数千事务的能力并且对宿主系统的性能影响小

支持开放的底层系统和客户的各种需求

提供持续的可操作性和可用性

7

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

实时数据集成

实时数据仓库 Real-Time Data

Warehousing

实时报表 Live Reporting

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 2: 04.golden gate概览

2

内容安排

GoldenGate作为Oracle战略产品的现状和地位

GoldenGate 产品常见应用和实施方案

高可用性支持和容灾恢复

实时数据集成

GoldenGate 的技术原理

抓取复制原理

检查点机制

多种可选择性配置

异构平台的适应性

GoldenGate Director 和Veridata

3

产品现状

成长历程和全球服务

战略伙伴一起共成长

全球的35个国家的500多个大客户那里有4000多个实施案例

稳定广阔的用户群

创建于1995

年2009年被Oracle收

遍布全球的服务支持北美欧洲及中东亚太

提供全球范围内24times7的全面支持

4

全球的典型客户银行和金融业 医疗和卫生行业

电信服务业

制造业

政府公共部门

航空和交通运输服务行业

零售和电子商务

5

GoldenGate 是Oracle的战略性产品

5

bull 实时数据解决方案的行业领先者

bull 和Oracle数据库的最佳集成融合

bull 异构基础架构持续的高可用性

bull 数据处理软件的强强联合

bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业

bull 全球最大的5家商业银行中的3家 (60)

bull 全球最繁忙的3家ATM网络(100)

bull 全球最大的10家金融服务公司中的7家(70)

bull 全球最大的5 家电信运营商中的4家(80)

bull 在中国已经落地开花开始大规模应用部署

bull 国家海关总署

bull 国家税务总局

bull 国家体育总局体彩中心

6

GoldenGate 产品ndash Transactional Data Management 事务数据管理

GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验

Real Time 实时亚秒级的数据传输

Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌

Transactional 事务性确保事务的完整性

TDM 需求

Performance

Extensibility amp

Flexibility

Reliability

GoldenGate TDM的优异性

每秒处理数千事务的能力并且对宿主系统的性能影响小

支持开放的底层系统和客户的各种需求

提供持续的可操作性和可用性

7

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

实时数据集成

实时数据仓库 Real-Time Data

Warehousing

实时报表 Live Reporting

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 3: 04.golden gate概览

3

产品现状

成长历程和全球服务

战略伙伴一起共成长

全球的35个国家的500多个大客户那里有4000多个实施案例

稳定广阔的用户群

创建于1995

年2009年被Oracle收

遍布全球的服务支持北美欧洲及中东亚太

提供全球范围内24times7的全面支持

4

全球的典型客户银行和金融业 医疗和卫生行业

电信服务业

制造业

政府公共部门

航空和交通运输服务行业

零售和电子商务

5

GoldenGate 是Oracle的战略性产品

5

bull 实时数据解决方案的行业领先者

bull 和Oracle数据库的最佳集成融合

bull 异构基础架构持续的高可用性

bull 数据处理软件的强强联合

bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业

bull 全球最大的5家商业银行中的3家 (60)

bull 全球最繁忙的3家ATM网络(100)

bull 全球最大的10家金融服务公司中的7家(70)

bull 全球最大的5 家电信运营商中的4家(80)

bull 在中国已经落地开花开始大规模应用部署

bull 国家海关总署

bull 国家税务总局

bull 国家体育总局体彩中心

6

GoldenGate 产品ndash Transactional Data Management 事务数据管理

GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验

Real Time 实时亚秒级的数据传输

Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌

Transactional 事务性确保事务的完整性

TDM 需求

Performance

Extensibility amp

Flexibility

Reliability

GoldenGate TDM的优异性

每秒处理数千事务的能力并且对宿主系统的性能影响小

支持开放的底层系统和客户的各种需求

提供持续的可操作性和可用性

7

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

实时数据集成

实时数据仓库 Real-Time Data

Warehousing

实时报表 Live Reporting

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 4: 04.golden gate概览

4

全球的典型客户银行和金融业 医疗和卫生行业

电信服务业

制造业

政府公共部门

航空和交通运输服务行业

零售和电子商务

5

GoldenGate 是Oracle的战略性产品

5

bull 实时数据解决方案的行业领先者

bull 和Oracle数据库的最佳集成融合

bull 异构基础架构持续的高可用性

bull 数据处理软件的强强联合

bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业

bull 全球最大的5家商业银行中的3家 (60)

bull 全球最繁忙的3家ATM网络(100)

bull 全球最大的10家金融服务公司中的7家(70)

bull 全球最大的5 家电信运营商中的4家(80)

bull 在中国已经落地开花开始大规模应用部署

bull 国家海关总署

bull 国家税务总局

bull 国家体育总局体彩中心

6

GoldenGate 产品ndash Transactional Data Management 事务数据管理

GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验

Real Time 实时亚秒级的数据传输

Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌

Transactional 事务性确保事务的完整性

TDM 需求

Performance

Extensibility amp

Flexibility

Reliability

GoldenGate TDM的优异性

每秒处理数千事务的能力并且对宿主系统的性能影响小

支持开放的底层系统和客户的各种需求

提供持续的可操作性和可用性

7

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

实时数据集成

实时数据仓库 Real-Time Data

Warehousing

实时报表 Live Reporting

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 5: 04.golden gate概览

5

GoldenGate 是Oracle的战略性产品

5

bull 实时数据解决方案的行业领先者

bull 和Oracle数据库的最佳集成融合

bull 异构基础架构持续的高可用性

bull 数据处理软件的强强联合

bull 财富500强超过 400 客户和超过4000例实施案例 金融服务行业电讯行业 卫生 公用事业和零售业

bull 全球最大的5家商业银行中的3家 (60)

bull 全球最繁忙的3家ATM网络(100)

bull 全球最大的10家金融服务公司中的7家(70)

bull 全球最大的5 家电信运营商中的4家(80)

bull 在中国已经落地开花开始大规模应用部署

bull 国家海关总署

bull 国家税务总局

bull 国家体育总局体彩中心

6

GoldenGate 产品ndash Transactional Data Management 事务数据管理

GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验

Real Time 实时亚秒级的数据传输

Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌

Transactional 事务性确保事务的完整性

TDM 需求

Performance

Extensibility amp

Flexibility

Reliability

GoldenGate TDM的优异性

每秒处理数千事务的能力并且对宿主系统的性能影响小

支持开放的底层系统和客户的各种需求

提供持续的可操作性和可用性

7

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

实时数据集成

实时数据仓库 Real-Time Data

Warehousing

实时报表 Live Reporting

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 6: 04.golden gate概览

6

GoldenGate 产品ndash Transactional Data Management 事务数据管理

GoldenGate TDM 提供了跨平台异构系统上的实时事务数据的抓取路由传输加载和数据校验

Real Time 实时亚秒级的数据传输

Heterogeneous 异构性支持数据传输的跨平台和跨数据库品牌

Transactional 事务性确保事务的完整性

TDM 需求

Performance

Extensibility amp

Flexibility

Reliability

GoldenGate TDM的优异性

每秒处理数千事务的能力并且对宿主系统的性能影响小

支持开放的底层系统和客户的各种需求

提供持续的可操作性和可用性

7

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

实时数据集成

实时数据仓库 Real-Time Data

Warehousing

实时报表 Live Reporting

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 7: 04.golden gate概览

7

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

实时数据集成

实时数据仓库 Real-Time Data

Warehousing

实时报表 Live Reporting

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 8: 04.golden gate概览

8

GoldenGate 解决方案

高可用和容灾

双活数据库 Active-Active

零宕机 Zero-Downtime Operations

活备机 Live Standby

数据库分层 Database Tiering

更稳定的服务更高的性能更快的恢复最少的数据丢失

Real-Time Access

实时数据访问

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 9: 04.golden gate概览

9

高可用性方案零宕机操作

减少或者消除ldquo计划停机时间rdquo包括平台数据库或应用

迁移

升级

维护

测试

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 10: 04.golden gate概览

10

高可用性方案活备机

最快的恢复和失败切换

二次同步备机和主系统

减少数据丢失和损坏

不受地理距离限制对带宽要求小

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 11: 04.golden gate概览

11

高可用性方案双活数据库

持续的可用性单个节点中断不影响

事务的分布式处理满足跨地域的部署要求提高处理能力

性能的可伸缩性可以增减节点

冲突检测和解决 必须的保证

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 12: 04.golden gate概览

12

高可用性方案数据库分层

应付生产系统中的大量只读操作

事务处理的高可用性和高性能

以较低的成本代价来容忍无限的数据块增长

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 13: 04.golden gate概览

13

GoldenGate 解决方案

实时数据集成

实时数据仓库

实时报表

最即时数据快速灵活决策数据整合易集成性

Real-Time Information

实时数据信息

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 14: 04.golden gate概览

14

数据集成实时数据仓库

提供BI的实时数据

减少批处理窗口的依赖性(往往占用大量系统资源夜间作业)

其它数据集成有如下要求时

低负载

事务的完整性

更灵活

易实施和维护

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 15: 04.golden gate概览

15

数据集成实时报表

报表不对生产系统产生性能影响

实时按需出报表

无限的可伸缩性和较低的成本代价

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 16: 04.golden gate概览

16

GoldenGate的数据复制原理

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

监控进程 监控进程

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 17: 04.golden gate概览

17

配置了ldquo中转数据泵rdquo的复制过程

Data

PumpLocal

Trail

事务日志

Extract Server

CollectorReplicat

Trail

Manager Manager

源库

目标库

网络(TCPIP)抓取 跟踪文件数据收集 复制

本地跟踪文件

数据泵

监控进程 监控进程

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 18: 04.golden gate概览

18

检查点机制 ndash Extract 抓取进程

为了准确记录变化数据的捕捉情况extract和replicat进程都通过一个检查点文件来记录检查点从而保证能够从各种情况的失败中恢复

抓取进程Extract维护了

两个输入检查点(标识于日志log文件中)

一个输出检查点(标识于跟踪trail文件中)

检查点文件表

输出端对应的跟踪文件

输入端

事务日志文件

最后一条被读的记录

事务日志中最早的未提交记录

最后一条被写入跟踪文件的提交事务记录

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 19: 04.golden gate概览

19

检查点机制 ndash Replicat 复制进程

最佳做法同时配置检查点表和检查点文件检查点被同时保存于两处

复制进程replicat维护了两个检查点

检查点文件表

输入端跟踪文件

最后一条已经读取的记录

最早的未提交的记录

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 20: 04.golden gate概览

20

GoldenGate工作原理总结

LAN WAN

Internet

源库 目标库

双向

跟踪文件 统一的数据格式适用于异构系统

路由传输 不受距离限制TCPIP协议压缩和加密

抓取 提交的数据可以被过滤性抓取通过事务日志读取

复制 完整性机制保障下的事务数据加载

抓取源 Trail 目标 Trail

源 Trail目标 Trail

加载

加载抓取

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 21: 04.golden gate概览

21

单向报表应用

双向实时恢复和双活

点对点负载均衡高可用容灾

广播数据分发

合并数据仓库

GoldenGate 多种可选择性配置

分层数据超市

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 22: 04.golden gate概览

22

GoldenGate 对异构平台的支持系统可以运行在如下平台

数据库 操作系统和平台

抓取端

Oracle

DB2

Microsoft SQL Server

Sybase ASE

Teradata

Enscribe

SQLMP

SQLMX

Ingres

加载端

All listed above

MySQL

and any ODBC compatible databases

Windows 2000 2003 XP

Linux

Sun Solaris

HP NonStop

HP-UX

HP TRU64

HP OpenVMS

IBM AIX

IBM zOS

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 23: 04.golden gate概览

23

GoldenGate TDM 其它的关键特性

支持表行列级的数据转换处理和过滤

支持自定义存储过程查询宏定义

动态回滚和时间定点恢复

冲突检测和解决-- 常用于双活环境

数据压缩

数据加密

归档和审计能力

管理和监控-- GoldenGate Manager

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 24: 04.golden gate概览

24

GoldenGate Directortrade 图形化的配置管理包

管理定义配置以及监控GoldenGate TDM

进程

关键特性

集中化管理GoldenGate 的各进程

丰富的管理界面和基于Web的图形界面

报警提示机制并且可以和第三方的监控软件集成

实时的反馈信息

对生产系统零影响

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 25: 04.golden gate概览

25

GoldenGate Veridatatrade 数据校验引擎

高速低负载的数据比较方案

校验和报告两个数据库之间的差异性

几乎不影响生产系统的性能

优点

减少财务和法律层面的风险暴露

加速和简化IT部门的数据比较工作

不影响生产系统的性能

对于备系统提供了更好的失败恢复机制

准确的决策支持和报表生成

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 26: 04.golden gate概览

2626

Active Data Guard

DirectMemory Access

Read On-Disk Logs

SQL

Direct Write to Logs

Oracle的数据迁移产品Comparing How They Work

Redo in Memory Buffer

GoldenGate

Data Integrator

DE

CR

EA

SIN

G L

AT

EN

CY

IN

CR

EA

SIN

G T

RA

NS

FO

RM

AT

IO

N

Retrieve Data Load Data

Disaster Recovery amp Data Protection

Real Time Data Integration amp High Availability

SQL Query Multi-step Complex SQL

Data Integration for Data Warehouse amp SOA

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 27: 04.golden gate概览

27

GoldenGate 总结

GoldenGate提供了跨平台异构数据库上的实时事务数据复制(抓取路由传输加载校验)

用途

多业务中心(高可用)

容灾

报表分离

数据仓库

优势

速度快

延迟小

可靠性高

跨系统跨平台

问amp答

Page 28: 04.golden gate概览

问amp答

Page 29: 04.golden gate概览