Embed Size (px)
Citation preview
Oracle 白皮书
2013 年 7 月
通过 Oracle GoldenGate Veridata
确保数据一致性
通过 Oracle GoldenGate Veridata 确保数据一致性
概要................................................................................................................. 2
保持数据一致性面临的挑战 ............................................................................ 2
迁移错误 .................................................................................................... 2
源数据库与目标数据库中的差异 ................................................................ 3
实例化错误 ................................................................................................. 3
配置错误 .................................................................................................... 3
复制方面的漏洞 ......................................................................................... 3
复制延迟 .................................................................................................... 4
基础架构故障 ............................................................................................. 4
用户错误 .................................................................................................... 4
应用程序错误 ............................................................................................. 4
管理数据一致性的要求 ................................................................................... 4
Oracle GoldenGate Veridata .......................................................................... 5
Oracle GoldenGate Veridata 的工作原理 ....................................................... 5
Oracle GoldenGate Veridata 架构 .................................................................. 6
Veridata 组件 ............................................................................................. 7
客户示例 ......................................................................................................... 8
挑战 ............................................................................................................ 8
解决方案 .................................................................................................... 9
优势 ............................................................................................................ 9
总结................................................................................................................. 9
通过 Oracle GoldenGate Veridata 确保数据一致性
2
概要
企业需要数据高度可用，需要能够 24/7/365 或近乎 24/7/365 不间断地访问数据，同时不会导
致性能下降和服务中断，为此企业需要拥有冗余的分布式数据副本。然而，在当今复杂的 IT
环境中，在各个分布式数据副本之间保持数据一致性极具挑战，不幸的现实是可能出现数据差
异。如果不良数据未被发现并解决，则可能导致错误的决策、不满足服务级别协议要求，最
终出现运营、财务和法律风险。
在 Oracle GoldenGate Veridata 的帮助下，企业可以信心十足地在其备份系统、报告数据库、
主动-主动数据库和其他类型的冗余数据系统中实现数据一致性。在本文中，我们将这些系统
统称为目标数据库。Veridata 应用程序在源数据库与目标数据库之间执行定期检查，企业可根
据需要设置检查频率，且无需使任一系统脱机。
Oracle GoldenGate Veridata 为在对业务造成负面影响之前发现不同步的数据提供了一个易用
且强大的解决方案。Oracle GoldenGate Veridata 可与 Oracle GoldenGate 实时数据复制产品
一起部署，也可以单独部署，能够确保在各数据库之间保持数据一致性。
保持数据一致性面临的挑战 在我们讨论对帮助管理数据库间数据一致性的解决方案的需求之前，我们需要了解企业中
出现数据不一致的常见原因。
当目标数据库中的数据偏离源数据库时就出现了数据差异。数据偏离的程度取决于各种因
素，一些可能是有意而为之，一些可能是无意形成的。
即使使用能够可靠复制数据的产品，如 Oracle GoldenGate，仍会存在可能导致出现数据
差异的一些原因。如果目标数据库的目标是保持与源数据库严格一致，那么 IT 将需要
实施相应的流程和策略以确保实现此目标。下面几节将描述可能导致出现数据差异的一
些原因。
迁移错误
在可以开始复制之前，要使用各种不同的迁移工具来帮助进行目标数据库的初始加载。迁
移工具和复制产品中用于处理数据的配置上的差异可能会导致出现数据差异。
通过 Oracle GoldenGate Veridata 确保数据一致性
3
例如，如果某列值未知，迁移工具可能使用“?”，而复制产品可能使用“null”。当执行迁移
时，可能存在待办事务未纳入其中，从而导致目标数据库上的数据缺失。
源数据库与目标数据库中的差异
源数据库和目标数据库的配置差异，如编码、区域设置、字节顺序或数据库版本不同，可
能导致在迁移和复制过程中出现细微差异。例如，不兼容的字符集或日期/时间格式和范
围可能会导致目标数据库出现错误。
实例化错误
在可以开始迁移或复制之前，将需要使用正确的模式和约束条件实例化目标数据库。如果
这么做时出现故障，将导致源数据库和目标数据库不同步。
例如，如果无法设置主键/唯一键，可能会导致出现重复行。即使源数据库中无重复行也
可能会创建重复行，因为无法保证完成迁移作业时不出现任何故障。其他实例化错误包括
不正确的迁移作业、脚本和触发器，这些可能导致不正确地修改数据。
配置错误
复制产品的不当配置和意外配置可能导致出现差异。这种类型的差异不显示在复制日志
中，因为从复制产品的角度来看，是按配置执行。这还可能让 QA 测试发现不了问题。
例如，一些配置行为从复制角度来看没有问题，但从数据质量角度来看是不可接受的。比
如，使用 Oracle GoldenGate 时，DBA 可使用参数“REPLACEBADCHAR”，该参数将不可
打印的字符替换为更合适的字符。虽然这样可以使复制顺利执行，但从数据质量角度讲如
果企业没有进行相应的批准，可能是无法接受的。
又如，当对目标数据库应用事务时，Oracle GoldenGate 提供禁止触发器和级联删除操作的
选项。如果不使用这些选项或不正确使用这些选项，都可能导致出现无效数据。
复制方面的漏洞
虽然在源数据库与目标数据库之间启用了复制，并且复制运行完好，但也存在源数据库
中插入的数据未被复制的情况。例如，当批量插入数据时，用户常常会使用数据库中的
一些选项（如 Oracle 数据库中的 NOLOGGING），这些选项会导致复制系统避免捕获
这些数据。
通过 Oracle GoldenGate Veridata 确保数据一致性
4
复制延迟
使用异步复制，对源数据库进行更改与将这些更改提交到目标数据库之间将存在短暂的延
迟。然而，如果不满足最大延迟要求，可能会违反服务级别协议或数据合规性要求。
基础架构故障
系统故障、磁盘损坏和网络故障等基础架构错误可能导致源数据库与目标数据库之间出现
数据差异。恢复有故障的系统后，一项主要任务是要确保源系统与目标系统之间的数据一
致性毫发无损。
虽然 Oracle GoldenGate 等复制或迁移产品通常具有检查点功能，但它们无法保证发生崩溃
后对系统进行恢复时目标数据库中数据的质量。
用户错误
通常创建目标数据库的目的是分流源数据库的查询处理。这样可以在不影响源数据库上运
行的应用程序的情况下生成丰富的运行报告。根据使用的技术，目标数据库不仅对于读操
作是开放的而且对于写操作也可能是开放的。如果是这样，即使应用了 IT 策略，用户
/DBA 也可能会无意或恶意修改数据。
应用程序错误
使用目标数据库的应用程序可能因逻辑错误以及在应用程序升级期间更改数据。此外，即
使目前复制运行正常且数据保持一致，IT 也可能会开发使用目标数据库的新应用程序，因
此可能会在未来某个时候修改数据。
管理数据一致性的要求 现在我们已充分了解在整个企业内维护一致数据面临的挑战，下面我们将讨论一些关键要
求，这些要求不仅可帮助应对上述挑战，而且还能无缝融入 IT 组织中。下面列出了管理
数据库间数据一致性的技术要求。
高速度、低影响的数据比较
支持异构数据库
能够处理大量数据
管理数据比较的灵活选项
支持数据不断变化的实时数据库
侵入性极低
通过 Oracle GoldenGate Veridata 确保数据一致性
5
源系统和目标系统无需停机
能够发现数据中的不一致
对硬件和网络资源的影响很低
提供有关不一致数据的详细、可指导行动的报告
对各种角色和访问级别的灵活报告
数据安全性
易于使用、理解、配置、部署和诊断
Oracle GoldenGate Veridata
Oracle GoldenGate Veridata 是一款易于使用、高性能且侵入性极低的产品，可帮助管理整
个企业内的数据一致性。该产品可在多种情境下使用以确保数据一致性，包括比较包含大
量数据的数据库或比较数据不断变化的数据库。
Oracle GoldenGate Veridata 通过其用户界面简化配置，提供灵活的比较选项，还支持异构
数据库。该产品以 Java 技术为基础而构建，在处理数据时提供全球化和安全支持。
Oracle GoldenGate Veridata 可与 Oracle GoldenGate 等产品以及其他类似产品无缝协作，它
可对这些产品的功能加以补充并确保数据一致性。请访问 Oracle GoldenGate Veridata 网
站，了解最新的产品信息。
Oracle GoldenGate Veridata 的工作原理 在探究 Veridata 的架构、安装和配置细节之前，我们简单介绍一下 Veridata 的工作原理。
与要么全有要么全无的方法不同，Veridata 允许用户选择要比较的对象以及灵活地确定比
较方式，以便只处理相关数据，只突显相关差异（也称为不同步的行）。
在初始比较（或行散列）步骤中，利用查询从源表和目标表检索行。如果源数据库与目标
数据库属于不同的类型，列将转换为标准化的数据类型格式，以进行准确比较。
默认情况下，Veridata 在比较行时，会以值一一对应的方式比较主键的所有列，而对所有
非键列使用散列值。用于计算散列值的独特的数字签名缩小了通过网络传输以进行比较的
数据，同时仍提供高效且高度可靠，但是并非绝对的机制来确定两行是包含相同还是不同
的列值。
通过 Oracle GoldenGate Veridata 确保数据一致性
6
为完全确保发现不同步的行，Oracle GoldenGate Veridata 可配置为以列一一对应的方式比
较非键行，而不使用散列。全列比较会降低处理性能且下降程度与列数成比例，还会增加
网络使用率，因此不建议作为最佳实践。
在实际复制环境中，Veridata 完成初始比较后，将看起来不同步的行存储在 MOOS (maybe
out-of-sync) 队列中。不确定的原因是复制与比较同时执行，因此，差异可能是在源系统上
捕获但尚未应用于目标系统的进行中事务引起的。
在确认步骤，也称为确认不同步 (COOS) 步骤中，Veridata 在不断变化的环境中确认行状
态，从而确保结果准确。默认情况下，执行确认处理的线程与初始比较步骤并行执行，但
每行的确认直到超出指定的复制延迟阈值后才执行。在这一步的最后，会给出对 MOOS
队列中的行的评估结果，如下所示：
动态 — Veridata 无法确认这些行不同步，因为执行初始比较步骤后对行进行了更新。
同步 — Veridata 能够确认这些行是同步的。
永久不同步 — Veridata 能够确认执行初始比较步骤后这些行仍不同步。
完成作业后，可以通过使用 Oracle GoldenGate Veridata Web 界面或直接查看文件来查看比
较报告和不同步报告。
Oracle GoldenGate Veridata 架构
通过 Oracle GoldenGate Veridata 确保数据一致性
7
以上架构示意图展示了各个 Veridata 组件的典型架构设置。箭头表示发起通信的起始位
置，所有通信都是双向的。虚线表示 Veridata 组件可以存在于托管数据库的同一台机器
上，也可存在于不同机器上。
Veridata 组件
Veridata 服务器
从版本 11.2.1 开始，Veridata Server 组件与 Web Server 共存，因此我们将这一对称为
Veridata Server。使用 web 浏览器，用户可以连接到 Veridata 服务器并配置 Veridata 作业及
其关联对象。该配置存储在位于数据库中的信息库中。在配置必需的 Veridata 元数据后，
用户就可以开始进行比较以及查看报告了。
Vericom
Vericom 是一个用于执行 Veridata 作业的独立 Java 程序。Vericom 使用信息库中的配置信息
来获得有关 Veridata 作业的细节。用户可从命令行使用适当的选项调用 Vericom。还可以
使用 Vericom 来调度执行比较作业。Veridata 服务器和 Vericom 通常与源数据库和目标数据
库安装在不同的机器上。
Veridata 代理
Veridata 代理通常位于运行源数据库实例和目标数据库实例的相同机器上。用户可以使用
配置文件对代理进行配置，代理负责从数据库获取行并将其转发给 Veridata 服务器或
Vericom 进程。从 11.2.1 开始，只支持基于 Java 的代理。只对 NonStop 平台上运行的
NonStop SQL/MP 和 Enscribe 数据库支持 C 代理。
Veridata Web 用户界面
可以使用 Veridata Web 用户界面配置 Veridata 构件，启动 Veridata 作业和查看报告。以下
屏幕截图展示了 Veridata Web 用户界面。
通过 Oracle GoldenGate Veridata 确保数据一致性
8
客户示例
Thomson Reuters 是全球领先、面向企业和专业人士的智能信息提供商。该公司将行业专业
知识与创新技术相结合，为金融、法律、税务和会计、科学以及媒体市场中的决策者提供
新闻、法律简报和分析等信息。
挑战
公司在数据管理方面面临着多项挑战，其中包括确保公司旗舰法律研究产品的数据完整
性。这些法律研究产品基于多主、多数据库配置运行。Thomson Reuters 的目标是提供高度
可用、可靠的服务以确保获得用户的信赖，因此它必须确保律师、律师助理、法官助理和
法官等系统用户拥有法律案件和判例方面的最新准确信息。
Thomson Reuters 需要一种解决方案来发现数据差异并在不停机的情况下在各个数据库之间
重新同步数据，以确保一致的用户体验，并避免因服务级别降低而导致收入损失的情况。
通过 Oracle GoldenGate Veridata 确保数据一致性
9
解决方案
Thomson Reuters 部署了 Oracle GoldenGate Veridata 11g，因而在数据不同步时能够快速、自
动发现这种情况，且不会中断数据库可用性。公司不再需要运行复杂的查询并投入大量的
人力资源以发现受影响的数据，在某些情况下可节省数周的时间。
利用该解决方案，当公司的 Oracle 数据库环境发生不同步情况时，可以将停机时间降至最
低并缩短平均恢复时间。Oracle GoldenGate Veridata 增强了保持数据库联机和同步的流
程，以确保服务级别和用户可信度。Thomson Reuters 的 IT 团队创建了一个 PL/SQL 过
程，用以解析 Veridata 和不同步 XML 报告文件，定位不同步的行，以及自动修复源环
境，这进一步节省了时间和资源，从而扩展了 Oracle GoldenGate Veridata 的价值。
优势
通过使用 Oracle GoldenGate Veridata，Thomson Reuters 无需手动将数据从一个站点复制到
另一个站点，也无需使站点长时间地停机以从另一个站点重新实例化一个站点。这样，公
司就提高了系统可用性，降低了错误风险并提升了客户满意度。
当 Thomson Reuters 从 IBM DB2 等第三方数据库迁移到 Oracle Database 11g 时，公司利
用该解决方案高效地检测可能的错误和数据遗漏，从而简化了流程，避免了可能的数据
丢失。
Thomson Reuters 利用扩展解决方案的高级同步功能，无需重新实例化数据库，每晚可处理
7200 多万行的数据，这样六个月节省了数百小时的停机时间。
最后，该解决方案还提高了公司在解决事件后将数据库恢复服务之前，检查数据库在生产
环境和测试环境中运行状况的能力。
总结 在当今复杂的 IT 环境中，一个不幸的现实是可能会出现数据差异。如果不一致的数据未被
发现并解决，则可能导致错误的决策、不满足服务级别协议要求，最终出现运营、财务和法
律风险。
Oracle GoldenGate Veridata 为在对业务造成负面影响之前发现不同步的数据提供了一个易
用且强大的解决方案。Oracle GoldenGate Veridata 与 Oracle GoldenGate 一起部署，提供了
确保数据一致性的实时数据集成和持续可用性解决方案。
甲骨文（中国）软件系统有限公司
北京远洋光华中心办公室
地址：北京市朝阳区景华南街5号远洋光华中心C座21层
邮编：100020
电话：(86.10) 6535-6688
传真：(86.10) 6515-1015
北京汉威办公室
地址：北京市朝阳区光华路7号汉威大厦10层1003-1005单元
邮编：100004
电话：(86.10) 6535-6688
传真：(86.10) 6561-3235
北京甲骨文大厦
地址：北京市海淀区中关村软件园24号楼甲骨文大厦
邮编：100193
电话：(86.10) 6106-6000
传真：(86.10) 6106-5000
北京国际软件大厦办公室
地址：北京市海淀区中关村软件园9号楼国际软件大厦二区308单元
邮编：100193
电话：(86.10) 8279-8400
传真：(86.10) 8279-8686
北京孵化器办公室
地址：北京市海淀区中关村软件园孵化器2号楼A座一层
邮编：100193
电话：(86.10) 8278-6000
传真：(86.10) 8282-6401
上海名人商业大厦办公室
地址：上海市黄浦区天津路155号名人商业大厦12层
邮编：200001
电话：(86.21) 2302-3000
传真：(86.21) 6340-6055
上海腾飞浦汇大厦办公室
地址：上海市黄浦区福州路318号腾飞浦汇大厦508-509室
邮编：200001
电话：(86.21) 2302-3000
传真：(86.21) 6391-2366
上海创智天地10号楼办公室
地址：上海市杨浦区凇沪路290号创智天地10号楼512-516单元
邮编：200433
电话：(86.21) 6095-2500
传真：(86.21) 6107-5108
上海创智天地11号楼办公室
地址：上海市杨浦区淞沪路303号创智天地科教广场3期11号楼7楼
邮编：200433
电话：(86.21) 6072-6200
传真：(86.21) 6082-1960
上海新思大厦办公室
地址：上海市漕河泾开发区宜山路926号新思大厦11层
邮编：200233
电话：(86.21) 6057-9100
传真：(86.21) 6083-5350
广州国际金融广场办公室
地址：广州市天河区珠江新城华夏路8号合景国际金融广场18楼
邮编：510623
电话：(86.20) 8513-2000
传真：(86.20) 8513-2380
成都中海国际中心办公室
地址：成都市高新区交子大道177号中海国际中心7楼B座02-06单元
邮编：610041
电话：(86.28) 8530-8600
传真：(86.28) 8530-8699
深圳飞亚达科技大厦办公室
地址：深圳市南山区高新南一道飞亚达科技大厦16层
邮编：518057
电话：(86.755) 8396-5000
传真：(86.591) 8601-3837
深圳德赛科技大厦办公室
地址：深圳市南山区高新南一道德赛科技大厦8层0801-0803单元
邮编：518057
电话：(86.755) 8660-7100
传真：(86.755) 2167-1299
大连办公室
地址：大连软件园东路23号大连软件园15号楼502
邮编：116023
电话：(86.411) 8465-6000
传真：(86.755) 8465-6499
苏州办公室
地址：苏州工业园区星湖街328号苏州国际科技园5期11幢1001室
邮编：215123
电话：(86.512) 8666-5000
传真：(86.512) 8187-7838
沈阳办公室
地址：沈阳市和平区青年大街390号皇朝万鑫国际大厦A座39层3901&3911室
邮编：110003
电话：(86.24) 8393-8700
传真：(86.24) 2353-0585
济南办公室
地址：济南市泺源大街150号中信广场11层1113单元
邮编：250011
电话：(86.531) 6861-1900
传真：(86.531) 8518-1133
南京办公室
地址：南京市玄武区洪武北路55号置地广场19层1911室
邮编：210018
电话：(86.25) 8579-7500
传真：(86.25) 8476-5226
西安办公室
地址：西安市高新区科技二路72号西安软件园零壹广场主楼1401室
邮编：710075
电话：(86.29) 8834-3400
传真：(86.25) 8833-9829
重庆办公室
地址：重庆市渝中区邹容路68号大都会商厦1611室
邮编：400010
电话：(86.23) 6037-5600
传真：(86.23) 6370-8700
杭州办公室
地址：杭州市西湖区杭大路15号嘉华国际商务中心810&811室
邮编：310007
电话：(86.571) 8168-3600
传真：(86.571) 8717-5299
福州办公室
地址：福州市五四路158号环球广场1601室
邮编：350003
电话：(86.591) 8621-5050
传真：(86.591) 8801-0330
南昌办公室
地址：江西省南昌市西湖区沿江中大道258号
皇冠商务广场10楼1009室
邮编：330025
电话：(86.791) 8612-1000
传真：(86.791) 8657-7693
呼和浩特办公室
地址：内蒙古自治区呼和浩特市新城区迎宾北路7号
大唐金座19层北侧1902-1904室
邮编：010051
电话：(86.471) 3941-600
传真：(86.471) 5100-535
郑州办公室
地址：河南省郑州市中原区中原中路220号
裕达国际贸易中心A座2015室
邮编：450007
电话：(86.371) 6755-9500
传真：(86.371) 6797-2085
武汉办公室
地址：武汉市江岸区中山大道1628号
武汉天地企业中心5号大厦23层2301单元
邮编：430010
电话：(86.27) 8221-2168
传真：(86.27) 8221-2168
长沙办公室
地址：长沙市芙蓉区韶山北路159号通程国际大酒店1311-1313室
邮编：410011
电话：(86.731) 8977-4100
传真：(86.731) 8425-9601
石家庄办公室
地址：石家庄市中山东路303号石家庄世贸广场酒店14层1402室
邮编：050011
电话：(86.311) 6670-8080
传真：(86.311) 8667-0618
昆明办公室
地址：昆明市三市街六号柏联广场写字楼11层1103A室
邮编：650021
电话：(86.871) 6402-4600
传真：(86.871) 6361-4946
合肥办公室
地址：安徽省合肥市蜀山区政务新区怀宁路1639号平安大厦18层1801室
邮编：230022
电话：(86.551) 6595-8200
传真：(86.551) 6371-3182
广西办公室
地址：广西省南宁市青秀区民族大道136-2号华润大厦B座2302室
邮编：530028
电话：(86.771) 391-8400
传真：(86.771) 577-5500
通过 Oracle GoldenGate Veridata 确保数据一致性
2013 年 7 月
公司网址：http://www.oracle.com（英文）
中文网址：http://www.oracle.com/cn（简体中文）
销售中心：800-810-0161
售后服务热线：800-810-0366
培训服务热线：800-810-9931
欢迎访问：
http://www.oracle.com（英文）
http://www.oracle.com/cn（简体中文）
版权© 2014 归 Oracle 公司所有。未经允许，不得以任何
形式和手段复制和使用。
本文的宗旨只是提供相关信息，其内容如有变动，恕不另
行通知。Oracle 公司对本文内容的准确性不提供任何保证，
也不做任何口头或法律形式的其他保证或条件，包括关于
适销性或符合特定用途的所有默示保证和条件。本公司特
别声明对本文档不承担任何义务，而且本文档也不能构成
任何直接或间接的合同责任。未经 Oracle 公司事先书面许
可，严禁将此文档为了任何目的，以任何形式或手段(无论
是电子的还是机械的)进行复制或传播。
Oracle 是 Oracle 公司和/或其分公司的注册商标。其他名
字均可能是各相应公司的商标。
