View
206
Download
0
Category
Preview:
DESCRIPTION
Oracle GoldenGate 产品 交流. 数据集成方案事业部 资深技术顾问 符云波. 议 程. GoldenGate 概述. 技术架构及特点. 主要应用场景和客户案例. GoldenGate 背景简介. 创建于1995年,总部在美国旧金山。 数据复制领域的专业公司。 全球超过 4,000 个安装许可,分布在政府、银行、制造、传媒、电信、证券、医疗和零售等各大行业,其中有多个全球财富 500 强企业。 与 Oracle 、 IBM 、 HP 、 Microsoft 、 Sybase 、 Teradata 等著名企业建立了紧密合作关系。 - PowerPoint PPT Presentation
Citation preview
<Insert Picture Here>
Oracle GoldenGate 产品交流
数据集成方案事业部资深技术顾问 符云波
技术架构及特点
议 程
GoldenGate 概述
主要应用场景和客户案例
GoldenGate 背景简介
• 创建于 1995 年,总部在美国旧金山。• 数据复制领域的专业公司。• 全球超过 4,000 个安装许可,分布在政府、银行、制造、传
媒、电信、证券、医疗和零售等各大行业,其中有多个全球财富 500 强企业。
• 与 Oracle 、 IBM 、 HP 、 Microsoft 、 Sybase 、 Teradata
等著名企业建立了紧密合作关系。• 2009 年被 Oracle 收购,成为 Oracle 在实时数据集成,数据
复制和数据高可用性领域的战略性产品。
GoldenGate 在全球的客户• 在数据集成领域中的最强的领导者• 是现有 Oracle 产品功能的重要补充
• 在异构环境中的连续可用性• 作为报表系统的实时数据访问• 为 BI , EPM , Exadata 获得实时数据• 零宕机的迁移 / 升级到 Oracle 数据库和应用
• 有超过 400 个客户部署了 4000 多套系统,其中包括很多财富 500 强中的企业:金融服务,通讯,医疗,公共部门,零售和公共事业
• 5 家最大的商业银行中的三家• 3 家最繁忙的 ATM 网络• 10 家最大的财务数据服务公司中的七家• 5 家最大的电信运营商中的四家• 5 家最大的食品和药品商店中的三家
技术架构及特点
议 程
GoldenGate 概述
主要应用场景和客户案例
Oracle GoldenGate 工作原理模块化架构
双向
捕获
捕获:通过读取事务日志,在事务发生时捕获(也可过滤)提交的事务。
队列
队列:准备数据,使数据排入队列以备路由。
传输
传输:分发数据以便路由到目标。
交付
交付:保证事务数据完整,根据需要转换数据。
源数据库 目标数据库
队列
路由:压缩、加密数据以便路由到目标。
LAN/WANInternet
TCP/IP
跨异构环境,对系统负载影响很低,对交易型数据做实时抓取、路由、转换和传递
和其他产品关键差异点
非侵入式、低影响和亚秒级的延迟
开放和模块化的架构 – 支持异构数据源和目标
保持交易事务的完整性 – 对中断和失败容忍度高
Oracle GoldenGate 独特点实时、跨异构和支持交易/事务完整性的复制
性能
弹性、可扩展
可靠
OLTP OLTP OLTPODS ODS EDW查询 / 报表
OLTPOld
OLTPNew
分析型
操作型
OLTP StageOLTP
GoldenGate 11g 主要特征 : 松耦合部署配置灵活
单向查询分流
双向主用 / 备用或
主动 - 主动,实现高可用性
集成 / 整合实时数据仓库
广播数据分发
级联式分布式业务
合并实时 BI
OLTPOLTP
OLTP OLTP
OLTP
对等负载平衡 / 多主分布式
GoldenGate 11g 主要特征 : 异构性支持所有主流平台, OS , RDBMS
Databases O/S and Platforms
Oracle GoldenGate Capture: Oracle DB2 DB2 for v10 on z/OS Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX MySQL Informix JMS message queues Oracle Apps(E-Business Suite, JD Edwards, Peoplesoft)
Oracle GoldenGate Delivery: All listed above, plus:TimesTen, IBM System i Netezza, Greenplum, & HP Neoview ETL products
Linux
Sun Solaris
Windows 2000, 2003, XP
HP NonStop
HP-UX
IBM AIX
IBM z Series
zLinux
• 可以配置 Filter/Map 以及变换的部件 Capture (推荐) Data Pump
Replicat
Trail Trail Replicat
目标数据库源数据库
Network( TCP/IP)
CollectorExtract( Capture )
Extract( Data Pump )
Filter/Map & Transform Filter/Map &
Transform
Filter/Map & Transform
Filter/Map & 转换
• 各种故障的解决方法• GoldeGate 的故障
进程故障 -> 进程自动重启 Trail 文件故障 -> Checkpoint
• GoldenGate 以外的故障 服务器 /DB/ 网络的故障 -> Checkpoint
Trail Trail Replicat目标数据库
Network( TCP/IP)
CollectorExtract( Capture )
Extract( Data Pump )
Checkpoint
源数据库
自动重启
可靠性:进程故障的解决确保事务完整性
自动重启
Checkpoint
Checkpoint
可选组件: GoldenGate Veridata™数据一致性比较• 高速的数据比对解决方案
• 正在使用的数据库直接审计,识别和报告数据的差异性
• 优点 :• 能快速地减少风险和对数据差
异采取行动• 加快和简化数据比较• 不中断业务系统• 加强决策和报告的可信度
• 关键特性 :• 支持大数据量比对• 当数据库在线的时候运行比对• 选择性数据比对• 灵活的报表机制• 支持异构数据库• 生成直观比较报告
可选组件: Management Pack提高管理效率
• 定义,配置,管理和报告GoldenGate 在业务系统中配置情况
• 使用 GodenGate管理服务体系架构
• 关键特性 :• 集中化管理所有的 GG 进程• 丰富的基于 web 的客户端界面增强了可视性
• 告警通知, Email 方式或者第三方的监控产品集成
• 实时反馈 GG 的进程运行情况
• 无影响的部署不会影响系统性能
技术架构及特点
议 程
GoldenGate 概述
主要应用场景和客户案例
GoldenGate 11g 广泛应用场景企业级解决方案 满足实时数据需求
基于日志,实时变化数据抓取
异构的源系统
EDWODS
EDW
灵活的高可用性
零停机移植和升级/ 容灾 / 应急
实时 BI/ 实时 DW
全面活动的分布数据库
报表数据库
ETL
ODI
查询卸载 / 分流
数据分布
新 DB/OS/HW/App
全球数据中心
SOA/EDA
OracleGoldenGat
e
•降低成本•减少风险
•获得更高的运行效率
• 标准化的单一的技术解决多种不同的需求
• 同时满足系统的连续可用性和报表 /BI 系统的实时数据访问的要求
场景:双活 / 多主数据中心
中心 A 应用 中心 B 应用
双向数据复制,冲突侦测处理
产品:• GoldenGate
方案特点:• 亚秒级延迟、低带宽要
求、无距离限制的双向数据复制
• 分布式计算提高性能• 任一中心计划 / 非计划
停机时,保障业务的连续可用性
• 支持广泛异构环境• 尽可能避免数据冲突和
及时自动处理冲突是实现双活的关键:GoldenGate 提供冲突侦测处理机制,发现和记录数据冲突,按照设定规则自动处理冲突中心 A 数据库 中心 B 数据库
解决方案• 使用 Oracle GoldenGate 在 3 大洲的 5 个数据中心上进行多主数据复制,应对数据分布和可用性挑战
• 实现从单节点到双节点 RAC 的跨操作系统零停机迁移
• 在 Oracle Exadata 上整合了实时报告生成,消除了对源系统的性能影响
投资回报 支持全天候全球制造运营并能
满足客户的 SLA 升级其系统以增强可伸缩性,
但不会对业务产生影响 通过将实时报告功能分流到
Exadata 来提高系统性能
业务挑战• 需要全天候运行以支持全球运营和严格的 SLA
• 每月升级、迁移和计划维护所需停机时间非常短• 每个工厂的数据中心需要多步骤生产过程中每台设备的最新
数据
RIM - BlackBerry
25
RIM 制造系统多主数据中心
• 在分布于全球的 5 个数据中心之间进行多主数据复制
• 实现具有冲突管理、无距离限制的完全双向的数据移动
• 确保全球制造 /维修服务的全天候可用性
• 在全球范围同步设备制造信息
• 在不同的地区间共享新产品测试信息以支持全球制造
RIM 运营报表分载到 Exadata
• 实时从生产数据库集中到 Exadata ,用于生成报表
XX银行电子渠道风险监管平台
电子渠道风险监管平台OAAM
网银数据库监管平台在线库 监管平台离线库
网银应用 解决方案:• GoldenGate 实时捕获网银数据库已提交交易,通过 Java接口交付到电子渠道风险监管平台进行风险管理
• 风险分析评估结果存入监管平台在线库
• 用户发起新的交易请求时,网银系统调用监管平台接口,结合在线库的现有交易信息进行风险控制
• GoldenGate 将监管平台在线库的数据实时同步到离线库
• 监管平台从离线库生成风险管理报表
• 统一模式扩展到其它电子渠道系统
Recommended