<Insert Picture Here>

Oracle GoldenGate 产品交流

数据集成方案事业部资深技术顾问 符云波

技术架构及特点

议 程

GoldenGate 概述

主要应用场景和客户案例

GoldenGate 背景简介

• 创建于 1995 年，总部在美国旧金山。• 数据复制领域的专业公司。• 全球超过 4,000 个安装许可，分布在政府、银行、制造、传

媒、电信、证券、医疗和零售等各大行业，其中有多个全球财富 500 强企业。

• 与 Oracle 、 IBM 、 HP 、 Microsoft 、 Sybase 、 Teradata

等著名企业建立了紧密合作关系。• 2009 年被 Oracle 收购，成为 Oracle 在实时数据集成，数据

复制和数据高可用性领域的战略性产品。

GoldenGate 在全球的客户• 在数据集成领域中的最强的领导者• 是现有 Oracle 产品功能的重要补充

• 在异构环境中的连续可用性• 作为报表系统的实时数据访问• 为 BI ， EPM ， Exadata 获得实时数据• 零宕机的迁移 / 升级到 Oracle 数据库和应用

• 有超过 400 个客户部署了 4000 多套系统，其中包括很多财富 500 强中的企业：金融服务，通讯，医疗，公共部门，零售和公共事业

• 5 家最大的商业银行中的三家• 3 家最繁忙的 ATM 网络• 10 家最大的财务数据服务公司中的七家• 5 家最大的电信运营商中的四家• 5 家最大的食品和药品商店中的三家

技术架构及特点

议 程

GoldenGate 概述

主要应用场景和客户案例

Oracle GoldenGate 工作原理模块化架构

双向

捕获

捕获：通过读取事务日志，在事务发生时捕获（也可过滤）提交的事务。

队列

队列：准备数据，使数据排入队列以备路由。

传输

传输：分发数据以便路由到目标。

交付

交付：保证事务数据完整，根据需要转换数据。

源数据库 目标数据库

队列

路由：压缩、加密数据以便路由到目标。

LAN/WANInternet

TCP/IP

跨异构环境，对系统负载影响很低，对交易型数据做实时抓取、路由、转换和传递

和其他产品关键差异点

非侵入式、低影响和亚秒级的延迟

开放和模块化的架构 – 支持异构数据源和目标

保持交易事务的完整性 – 对中断和失败容忍度高

Oracle GoldenGate 独特点实时、跨异构和支持交易／事务完整性的复制

性能

弹性、可扩展

可靠

OLTP OLTP OLTPODS ODS EDW查询 / 报表

OLTPOld

OLTPNew

分析型

操作型

OLTP StageOLTP

GoldenGate 11g 主要特征 : 松耦合部署配置灵活

单向查询分流

双向主用 / 备用或

主动 - 主动，实现高可用性

集成 / 整合实时数据仓库

广播数据分发

级联式分布式业务

合并实时 BI

OLTPOLTP

OLTP OLTP

OLTP

对等负载平衡 / 多主分布式

GoldenGate 11g 主要特征 : 异构性支持所有主流平台， OS ， RDBMS

Databases O/S and Platforms

Oracle GoldenGate Capture: Oracle DB2 DB2 for v10 on z/OS Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX MySQL Informix JMS message queues Oracle Apps(E-Business Suite, JD Edwards, Peoplesoft)

Oracle GoldenGate Delivery: All listed above, plus:TimesTen, IBM System i Netezza, Greenplum, & HP Neoview ETL products

Linux

Sun Solaris

Windows 2000, 2003, XP

HP NonStop

HP-UX

IBM AIX

IBM z Series

zLinux

• 可以配置 Filter/Map 以及变换的部件 Capture （推荐） Data Pump

Replicat

Trail Trail Replicat

目标数据库源数据库

Network（ TCP/IP)

CollectorExtract（ Capture ）

Extract（ Data Pump ）

Filter/Map ＆ Transform Filter/Map ＆

Transform

Filter/Map ＆ Transform

Filter/Map ＆ 转换

• 各种故障的解决方法• GoldeGate 的故障

进程故障 -> 进程自动重启 Trail 文件故障 -> Checkpoint

• GoldenGate 以外的故障 服务器 /DB/ 网络的故障 -> Checkpoint

Trail Trail Replicat目标数据库

Network（ TCP/IP)

CollectorExtract（ Capture ）

Extract（ Data Pump ）

Checkpoint

源数据库

自动重启

可靠性：进程故障的解决确保事务完整性

自动重启

Checkpoint

Checkpoint

可选组件： GoldenGate Veridata™数据一致性比较• 高速的数据比对解决方案

• 正在使用的数据库直接审计，识别和报告数据的差异性

• 优点 :• 能快速地减少风险和对数据差

异采取行动• 加快和简化数据比较• 不中断业务系统• 加强决策和报告的可信度

• 关键特性 :• 支持大数据量比对• 当数据库在线的时候运行比对• 选择性数据比对• 灵活的报表机制• 支持异构数据库• 生成直观比较报告

可选组件： Management Pack提高管理效率

• 定义，配置，管理和报告GoldenGate 在业务系统中配置情况

• 使用 GodenGate管理服务体系架构

• 关键特性 :• 集中化管理所有的 GG 进程• 丰富的基于 web 的客户端界面增强了可视性

• 告警通知， Email 方式或者第三方的监控产品集成

• 实时反馈 GG 的进程运行情况

• 无影响的部署不会影响系统性能

技术架构及特点

议 程

GoldenGate 概述

主要应用场景和客户案例

GoldenGate 11g 广泛应用场景企业级解决方案 满足实时数据需求

基于日志，实时变化数据抓取

异构的源系统

EDWODS

EDW

灵活的高可用性

零停机移植和升级/ 容灾 / 应急

实时 BI/ 实时 DW

全面活动的分布数据库

报表数据库

ETL

ODI

查询卸载 / 分流

数据分布

新 DB/OS/HW/App

全球数据中心

SOA/EDA

OracleGoldenGat

e

•降低成本•减少风险

•获得更高的运行效率

• 标准化的单一的技术解决多种不同的需求

• 同时满足系统的连续可用性和报表 /BI 系统的实时数据访问的要求

场景：双活 / 多主数据中心

中心 A 应用 中心 B 应用

双向数据复制，冲突侦测处理

产品：• GoldenGate

方案特点：• 亚秒级延迟、低带宽要

求、无距离限制的双向数据复制

• 分布式计算提高性能• 任一中心计划 / 非计划

停机时，保障业务的连续可用性

• 支持广泛异构环境• 尽可能避免数据冲突和

及时自动处理冲突是实现双活的关键：GoldenGate 提供冲突侦测处理机制，发现和记录数据冲突，按照设定规则自动处理冲突中心 A 数据库 中心 B 数据库

解决方案• 使用 Oracle GoldenGate 在 3 大洲的 5 个数据中心上进行多主数据复制，应对数据分布和可用性挑战

• 实现从单节点到双节点 RAC 的跨操作系统零停机迁移

• 在 Oracle Exadata 上整合了实时报告生成，消除了对源系统的性能影响

投资回报 支持全天候全球制造运营并能

满足客户的 SLA 升级其系统以增强可伸缩性，

但不会对业务产生影响 通过将实时报告功能分流到

Exadata 来提高系统性能

业务挑战• 需要全天候运行以支持全球运营和严格的 SLA

• 每月升级、迁移和计划维护所需停机时间非常短• 每个工厂的数据中心需要多步骤生产过程中每台设备的最新

数据

RIM - BlackBerry

25

RIM 制造系统多主数据中心

• 在分布于全球的 5 个数据中心之间进行多主数据复制

• 实现具有冲突管理、无距离限制的完全双向的数据移动

• 确保全球制造 /维修服务的全天候可用性

• 在全球范围同步设备制造信息

• 在不同的地区间共享新产品测试信息以支持全球制造

RIM 运营报表分载到 Exadata

• 实时从生产数据库集中到 Exadata ，用于生成报表

XX银行电子渠道风险监管平台

电子渠道风险监管平台OAAM

网银数据库监管平台在线库 监管平台离线库

网银应用 解决方案：• GoldenGate 实时捕获网银数据库已提交交易，通过 Java接口交付到电子渠道风险监管平台进行风险管理

• 风险分析评估结果存入监管平台在线库

• 用户发起新的交易请求时，网银系统调用监管平台接口，结合在线库的现有交易信息进行风险控制

• GoldenGate 将监管平台在线库的数据实时同步到离线库

• 监管平台从离线库生成风险管理报表

• 统一模式扩展到其它电子渠道系统