Oracle GoldenGate Veridata概要

Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

Oracle GoldenGate Veridata12c 概要 v.2.2

2016年2月日本オラクル株式会社クラウド＆テクノロジー事業統括


Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

2


Program Agenda

Oracle Data Integration - Oracle GoldenGate 製品群の御紹介

Oracle GoldenGate Veridata 12c 概要

主な動作環境、接続対象

3

1

2

3


Oracle Data Integration Oracle GoldenGate 製品群の御紹介

4


Oracle Data Integration 12c Big Data や Cloud環境に対応したリアルタイムデータ統合テクノロジー

• Oracle Exadata / Database 12c に最適化されたリアルタイムレプリケーション

• シンプルな配置で実現する End to End での統合

• 構造化データ/Hadoop/NoSQLに対する統合的なツール

• オンプレミスや異種混在クラウド環境への柔軟な配置

• 可用性の継続やOracle Applicationsとのリアルタイムデータ統合の実現

Oracle Data Integrator

Oracle GoldenGate

Oracle Enterprise Data

Quality

Oracle Data Service

Integrator Big Data

Database

Apps

Cloud


Oracle GoldenGate 従来型のアーキテクチャを変える、エンタープライズ・レプリケーション技術

6

Oracle GoldenGate

ログベースのチェンジデータキャプチャと配信

アクティブ-アクティブ構成のレプリケーション

確実性とトランザクションの完全性

ソースおよびターゲットの異種混在環境サポート

Java 統合, Real-time イベント

• 高性能かつ影響を抑えたリアルタイムデータ統合と複製

• タイムリーなデータによるビジネス洞察力の向上

• 24/7運用のための継続的な可用性

Big Data

Database

Apps

Cloud


Oracle GoldenGate 製品群レプリケーションのコアテクノロジーと周辺製品

7

レプリケーション機能を実現するコア・コンポーネント接続するデータベース毎に各種ライセンスを提供(*)

Oracle GoldenGate

Management Pack for Oracle GoldenGate

Oracle GoldenGate Veridata

GoldenGateのレプリケーション構成を運用管理するための機能 EM Plug-in , Director , Monitor といったツールから選択して構成

異機種間のデータ突合が可能データ突合による整合性チェックと、不一致データのレポーティング・修正が可能


Oracle GoldenGate Veridata 12c 概要

8


Oracle GoldenGate Veridata 12c 概要高速データ比較＆修正ソフトウェア

• Veridataは複製元と複製先の異なるデータベース間におけるデータの比較照合・修正を実施するためのソフトウェア

• GoldenGate等でレプリケーションしている途中やレプリケーションした結果のデータの同期を確認

• 人為的ミスによるデータ不整合の早期発見が可能

• システムへの影響度少（表ロックなし、DB外でのデータハッシュ・ソート・比較、列・行のサブセット化）

9

本番DB バックアップDB 災害対策 / 高可用性

OLTP レポーティングリアルタイム・レプリケーション

現行DB 新DB アップグレード / 移行

様々な環境のデータベース間でデータを比較


WebLogic Server ドメイン

Oracle GoldenGate Veridata 12cのアーキテクチャ Veridataに含まれるコンポーネント

• Veridata Server – 実行エンジン（データの比較、修正、レポート生成等）

– WebLogic Domain上で動作

• Veridata Web – WebブラウザベースのGUI

– 動作設定、レポートおよび非同期データの参照・修正

• Veridata Agent – データベースのデータを取得・修正するエージェント

• Veridata Repository – 設定情報を保持するデータベース

• Veridata Command Line Interface – Veridata Serverのコマンドライン・インタフェース

• vericom：自動化されたプログラムで比較を実行

• veridata_scripting：リポジトリに設定情報をロード

• reportutil：暗号化されたレポートや非同期データを参照

ソースDB Veridata リポジトリDB

比較データ抽出

Webから操作

コマンドラインから操作

Veridata Agent

レプリケーション

Veridata Server

Veridata Command-line Tool

ターゲットDB

• 高速なデータ比較が可能

• 信頼性の高い2フェーズのデータ比較

• 柔軟なデータ比較設定が可能

• ジョブ実行管理履歴とレポート機能

Veridata Agent

JDBC

JDBC

TCP/IP / SSL


Oracle GoldenGate Veridata 12cの動作概要（1/7） Veridataに含まれるコンポーネント

• Veridataで比較する対象のデータベース、テーブルを設定

• 比較を実行するジョブを作成し、実行開始 1

2

3

4

ターゲットの設定とジョブの実行

Initial Comparison （初期比較）

Comfirmation （確認）

Repair （修復）* オプション

• キー列の値と、非キー列のハッシュ値をDBから取得し、比較を実行

• 不一致の比較セットは、MOOS (maybe out-of-sync)キューに蓄積

• 大量の行を含む表に対してはオプションで差分比較を選択可能（NEW！）

• MOOSキューから順次確認処理を実施

• 元データにおける初期比較時から変更の有無を元に、確認処理を実施

• GUI(Web)からレポートを参照

• コマンドラインツールから参照することも可能 5 レポートの参照

• Step3で非同期になったデータを修復することが可能（オプション）


Oracle GoldenGate Veridata 12cの動作概要（2/7） ① ターゲットの設定とジョブの実行

ブラウザから、Veridata Serverにアクセスし、比較する対象のデータソースへの接続に関する情報、比較ペアとなる表の設定などを登録し、ジョブとして構成します。

ジョブの登録後、Webコンソールからジョブを実行することで比較処理が開始されます。

Veridata Webコンソールターゲット設定画面

ジョブの設定画面

ジョブの実行画面


Oracle GoldenGate Veridata 12cの動作概要（3/7）（参考）設定に関する主な設定項目

主な設定カテゴリ日本語の説明設定の概要

Connection Configuration コネクションの設定エージェントをインストールした端末への接続に関する情報

Group Configuration グループの設定ソースとターゲットから構成される比較対象のグループ

Job Configuration ジョブの設定グループを選択して、ジョブを構成

Profile Configuration (オプション)

プロファイルの設定比較動作に関する詳細設定


Oracle GoldenGate Veridata 12cの動作概要（4/7） ② Initial Comparison（初期比較）

Veridata Server

DB-2 DB-1

主キー値ハッシュ値主キー値ハッシュ値

MOOS(Maybe Out-Of-Sync)キュー




比較

比較

比較

比較後、不一致の可能性があるペアをMOOSキューへ。

ジョブを実行すると初期比較プロセスに移ります。

Veridata Agentが主キーの値と、非キー列のハッシュ値の組み合わせを行ごとに取得し、Veridata serverに転送して比較します。

ソースとターゲットデータベースの列が異なるタイプの場合は、正確な比較をするために標準的なデータ型フォーマットに変換されます。

比較時に不一致と思われるペアはメモリ上のMOOS（Maybe out-of-sync）キューに保存されま

す。これは、比較実行時にレプリケーションが実行されている場合（特に遅延がある場合）、データが転送中の可能性があるためです。


Oracle GoldenGate Veridata 12cの動作概要（5/7） ③ Confirmation（確認）

Veridata Server

DB-2 DB-1

MOOS(Maybe Out-Of-Sync)キュー

MOOSキューから、不一致のペアを取り出し、該当行の最新状態を取得して確認を行います。

最終的なステータス判別を行います。「in-sync」：この時点で同期状態にあること

を意味します。「persistently out-of-sync」：初期比較時

に非同期で、かつその後も変化がなく非同期であることを意味します。

「in-flight 」: 初期比較時に非同期で、か

つその後変更があり同期確認ができなかったことを意味します。

非同期と判定されたデータは、OOS（Out-of-

sync）ファイルに格納されます。

主キー値主キー値

不一致ペアに関する最新の状態を確認し、レポートに反映

値値値値値値値値

値値値値値値値値値比較

STEP1 STEP1

STEP2 STEP2

STEP3


Oracle GoldenGate Veridata 12cの動作概要（6/7） ④ Repair（修復）

16

一致しなかった場合、Out-of-syncのレポートから非同期データを確認することができます。

修復をしたい場合は、修復対象を選択して「Run Repair」ボタンを押すと修復が実施されます。

リペアジョブは下記のステータスとなります。 • Out-of-Sync：非同期でリペアしていない状態 • Running：リペアジョブが実行中 • Pending：リペアジョブが待機中 • Successful：リペア処理が成功して終了 • Errors：リペアジョブがエラーで終了 • Warnings：1行以上がリペアできなかった場合 • Cancelled：リペアジョブをキャンセル済 • Cancelling：キャンセル処理実行中


Oracle GoldenGate Veridata 12cの動作概要（7/7） ④ レポートの参照

ブラウザからVeridata Webにアクセスし、レポート

を参照します。コマンドラインツールからも参照可能です。

不一致データは、Veridataがアクセスするバイナリ形式の「OOSファイル」の他に、ユーザ独自の外部プログラムからアクセス可能なXML形式の「OOSXMLファイル」にも出力することが可能です。

主なレポート項目使用した比較パラメータ比較した行数および非同期行数比較のタイミングパフォーマンス統計ソース・データ値およびターゲット・データ値リペア結果


主な動作環境、接続対象、参考情報

18


主な動作環境、接続対象 ※サポートされているOSの種類、バージョン等の詳細はCertification Matrix をご参照下さい。 http://www.oracle.com/technetwork/middleware/fusion-middleware/documentation/fmw-1221certmatrix-2739738.xlsx

コンポーネントデータベース OS

Veridata Server ※リポジトリ・データベース Oracle Database SQL Server

Linux x86-64 Oracle Solaris on SPARC, Solaris on x86-64 Windows x64 HP-UX Itanium(64bit) IBM AIX on POWER systems(64bit)

Java Agent

Oracle Database IBM DB2 LUW , IBMDB2 for z/OS IBM DB2 for I, IBM Informix MS SQL Server , Teradata Sybase Adaptive Server Enterprise

Linux x86-64(64bit) Oracle Solaris on SPARC(64bit) , Solaris on x86-64(64bit) Windows x64(64bit) HP-UX Itanium(64bit) IBM AIX on POWER systems(64bit) IBM z/OS on System Z(64bit)、IBM i on Power Systems(64bit)

C Agent HP NonStop Enscribe HP NonStop SQL/MP

HP NonStop Itanium(OSS) (32bit) HP NonStop S-series(Guardian) (32bit)

19

：枠内の環境については、グローバルサポートでのご提供となります。


システム要件～ GoldenGate Veridata サーバ

• CertifyしているOS、JDKの詳細なバージョンはCertification Matrixをご確認ください。

• Non-StopシステムにVeridataサーバまたはWebユーザーインターフェースをインストールすることは推奨しません。

• リポジトリ:下記のDBの利用が可能です。

– Oracle

– SQL Server

• Java Environment：JDK 1.8以降

20


システム要件～ GoldenGate Veridata Agent

• CertifyしているOS、データベース、JDKの詳細なバージョンはCertification Matrixをご確認ください。

• Java Environment：JDK 1.8以降（DB2 for i以外）、Java6/7（DB2 for i）

• 一つのDBインスタンスに対して、少なくとも一つのAgentが必要です。

• マルチバイト・データの比較に関する考慮事項

– NonStopプラットフォームを除き、Java agentをご利用ください。

– Java agentはUTF-8を使って、データを比較します。不一致データもUTF-8でレポートファイルに書きこまれます。

– 下記のすべての条件を満たす場合、C-Agentも利用可能です。

1. ソースとターゲットDBの両方はOracle Database

2. 両方共同じキャラクターセットを利用

3. 両方のホストは同じエンディアン

– Oracle C-AgentとJava agentは併用できません。

– UTF-8以外のキャラクターは16進数でレポートファイルに書きます。

21


システム要件～ディスク・メモリ等

• Veridata Server

– ディスク及び仮想メモリ

• 基本：200MBの仮想メモリ

• 比較データ格納・ソート用仮想メモリ

– データのサイズ等に依存するため、詳細な計算式はマニュアルを参照。

• WebLogic Server (Infrasturucture。Repositoryは含まない)

– メモリ：最小物理メモリ（4GB）、最小利用可能メモリ（8GB）

– 最小ディスク容量：1.4～1.5GB

• Veridata Agent

– ディスク：200MB程度（Platformに依存）、Unix及びLinuxの場合Java環境分も必要。

– メモリ：1GBのRAMが必要

• Veridata Web UI

– ブラウザ

• Microsoft Internet Explorerバージョン11以降

• Mozilla Firefoxバージョン38以降

• Google Chrome バージョン43

• Apple Safari バージョン8以降

– 解像度：最低1024 x 768

• Universal Installer起動環境

– CPUスピード：最低300MHｚ

– モニター：最低256色（GUI画面利用時）

– スワップ領域：最低512MB

– テンポラリ領域：300MB

– JDK1.8以降

22


主な注意事項と制限事項（2015年10月時点） Oracle GoldenGate Veridata R12.2.1

• VeridataはR12.1.3よりOracle Fusion Middlewareの1コンポーネントとして提供されております。Veridata ServerがJava化されているため、Veridata Serverをインストールする前にFusion Middleware Infrastructureをインストールする必要があります。

• Veridata WebのGUIは英語での提供となります。

• レポートファイルはUTF8で生成されます。

•接続対象のデータベースのサポートサービスが終了している場合、Veridataに関するサポートサービスの対象外となります。

23

※その他の考慮事項に関しては、マニュアルをご参照下さい。


参考情報

• Oracle GoldenGate Veridata 12c データシート（英語）

– http://www.oracle.com/us/products/middleware/059493.pdf

• Oracle GoldenGate Veridata 12c マニュアル、URL等

– Oracle Veridata 12.2.1マニュアル（英語） • http://docs.oracle.com/goldengate/v1221/gg-veridata/index.html

– Oracle® Fusion Middleware System Requirements and Specifications 12c (12.2.1) • http://docs.oracle.com/cd/E23104_01/sysreqs1221/sysrs.htm

– Supported Virtualization and Partitioning Technologies for Oracle Fusion Middleware • http://www.oracle.com/technetwork/middleware/ias/oracleas-supported-virtualization-089265.html

– Oracle JDeveloper and ADF 12c (12.2.1.0.0) Supported Systems • http://www.oracle.com/technetwork/developer-tools/jdev/documentation/122-cert-2708091.html

24

http://www.oracle.com/us/products/middleware/059493.pdf

http://docs.oracle.com/cd/E23104_01/sysreqs1221/sysrs.htm

http://www.oracle.com/technetwork/middleware/ias/oracleas-supported-virtualization-089265.html







http://www.oracle.com/technetwork/developer-tools/jdev/documentation/122-cert-2708091.html








Document Control

Author

日本オラクル株式会社 • 谷川信朗

• 舟橋直美

Oracle Asia Research & Development Center • 黄明

• 梁国賢

Reviewer

日本オラクル株式会社 • 後藤陽介

25

変更履歴

Date Version

2014/9/17 1.0 Created.

2015/9/17 1.1 テンプレート変更

2015/11 2.1 Veridata R12.2.1対応

2016/2 2.2 先頭スライド削除


Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 27

Technology

Oracle GoldenGate Veridata概要