Platinumが語る！クラウド／ビッグデータ基盤を支える最新テクノロジーの実践

Platinumが語る！クラウド／ビッグデータ基盤を支える最新テクノロジーの実践

『Platinum列伝シリーズ（番外編）』

株式会社富士通北陸システムズデータベースソリューション事業本部基盤ソリューション部プロジェクト部長池田高志

Copyright 2015 Fujitsu Hokuriku Systems Limited

会社概要


所在地本社：石川県金沢市増泉三丁目4番30号

東京：東京都港区港南4-1-8 リバージュ品川

社名株式会社富士通北陸システムズ（略称：ＦＪＨ）

事業内容

・コンピュータ関連機器の基本ソフトウェア研究、開発

・コンピュータユーザーのシステムインテグレーション、コンサルティング

・アプリケーションソフトウェアの開発、販売

設立 1983年 9月

売上高 175億円（2013年度）

資本金 1億2,000万円

従業員数 749名（2014年4月1日現在）

1

業務内容


アプリビジネス＜システム本部＞北陸を中心とする業務システムインテグレーション

基盤ビジネス＜データベースソリューション事業本部＞ DB／インフラインテグレーション

ソフトプロダクト＜ソフトウェア事業本部＞富士通MW／PFソフト開発

2

業務内容


アプリビジネス＜システム本部＞

ソフトプロダクト＜ソフトウェア

事業本部＞

基盤ビジネス＜データベースソリューション

事業本部＞

お客様サポートと開発技術を融合したビジネスを実践を通じスピーディに展開

FJH Mix

3

1991年

アプリ基盤ビジネス

インフラサービス

サポートビジネス

Oracle製品評価（UNIX、Windows、Linux）、商談支援、ﾌﾟﾚ・ｱﾌﾀｰ支援

1995年 2000年 2005年 2010年 2015年

富士通Oracleサポートデスク

Oracleサービス対応（RAC、バックアップリカバリ、災害対策、設計等）

インフラサービス対応（サーバ、ストレージ、クラスタ、ミドル、バックアップソフト等）

富士通大規模インフラ対応金融、製造、流通、官公庁、自治体、社会基盤

Engineered Systems対応

富士通Unix機への Oracleソース移植


データベースソリューション事業本部の沿革 Platinum第１号 7年連続取得者数No.1

Platinum of the Year 2010 2011 2013

4

0

10

20

30

40

50

60

70

80

FJH A C B E D F H G I

43 30

11 21 17

8 9 8 8 9

33

15

23 5 6

13 10 7 4 1

ORACLE MASTER取得者数

11g (140人)

10g (202人)

ORACLE MASTER Platinumとは


Oracle DB技術者(約23万人)の最高位(0.06% : 140人※)

FJHのPlatinum取得者数：33/140(約1/4)

７年連続累計取得者数No.1

約23万人 Bronze

Silver

Gold

Platinum

*Oracle Database 11gのみパートナ企業別取得者数 2015年3月15日現在

5

当社ORACLE MASTER Platinumメンバー


サポート、インフラサービス、アプリ基盤ビジネスの各領域で活躍中

6

Platinum列伝シリーズとは

2010年当社Platinumメンバーが現場実践ノウハウをインターネット配信

現在はOTNセミナーオンデマンドにて視聴可能

Platinumが語る！

1. 現場から学ぶバックアップ・リカバリの極意

2. 現場から学ぶパフォーマンスチューニング

3. 現場から学ぶ Oracle RAC 設計構築の極意

4. 現場から学ぶ Oracle災害対策環境の設計構築の極意

本日は、Platinum列伝シリーズ（番外編）


Oracle Technology Network http://www.oracle.com/technetwork/jp

7


クラウド／ビッグデータ基盤を支える最新テクノロジー

8

クラウド／ビッグデータ基盤に求められる要件

スモールスタート構成

オンデマンドで拡張可能な柔軟性

集約基盤としての高可用性／信頼性

データ集約基盤としての高いセキュリティレベル

災害対策保護レベル

データ集約、データ配信の連携基盤

超高速データ分析

Copyright 2015 Fujitsu Hokuriku Systems Limited 9

クラウド／ビッグデータ基盤に求められる要件


11g Oracle 12c

PDB

データベース・インメモリ

PDB

OS OS

VM VM

モダナイゼーションビジネスイノベーション

PDB

データベースセキュリティ

10g

11g

OS

リアルタイム・データ連携

OS

VM

11g マルチテナント

データベース・クラウド基盤

データベース移行 Engineered

Systems

10


データベース・クラウド環境の実現 Oracle Database 12c マルチテナント

＜クラウド＞

11

データベース仮想化により独立性とリソース効率化を両立

CDBでリソースを一元管理

PDB毎に独立性を確保

Oracle Database 12c マルチテナントの特徴


※CDB：Container Database PDB : Pluggable Database

業務業務業務業務業務業務

DB

VM Hypervisor

DB

OS

DB

スキーマスキーマ

VM

DB スキーマ

OS OS OS

業務業務業務

DB DB DB

VM OS

サーバ統合 (OS仮想化)

DB統合 (DBスキーマ分離)

サーバ統合 (複数インスタンス)

マルチテナント構成

業務

OS

CDB

PDB PDB PDB

業務業務

従来のデータベース統合方式

12

Oracle Database 12c マルチテナントの特徴


サーバ仮想化による統合マルチテナント・データベース

各DB環境毎にそれぞれ管理（パッチ適用、アップグレード、バックアップ等）

ＶＭ層の監視も必要

複数のシステムを１つのDBとして管理１回の適用ですべてのPDBに対応（パッチ適用、アップグレード、バックアップ等）

運用管理にかかるコストを削減 DBの管理コストは統合前と変わらない

VM

DB

VM

Hypervisor

DB

VM

DB

OS OS OS

バックアップ監視

OS

CDB

PDB PDB PDB

バックアップ監視

13

マルチテナント実践事例社内検証


・Oracle DBマルチテナント構成のスケーラビリティを確認したい・大規模データベース集約基盤を想定した負荷テスト・クラウド基盤を見据えたスモールスタート、拡張性を見極めたい

課題、要望

・Oracle Database 12c Multitenantの最大構成256PDB/1CDB構成・FUJITSU SPARC M10サーバの最大構成1024コア(メモリは16TB)で検証・トランザクション数がリニアにスケールし、レスポンスは一定であることを確認

プロジェクト概要

14

マルチテナント実践事例検証環境


PRIMERGY (x86) x5

Oracle Load Testing (負荷掛け装置)

ETERNUS DX410 S2 x4

Database Storage

Oracle Enterprise Manager (Database 管理)

PRIMERGY (x86) x1

Fujitsu M10 (16 BB) 1024core/16TB

memory

SPARC M10 (16 BB) 1024core/16TB memory

富士通沼津工場

15

マルチテナント実践事例検証環境


PDB PDB PDB PDB

PDB PDB PDB PDB

PDB PDB PDB PDB

Container DB

Database 12c

Solaris 11

OVM for SPARC

SPARC M10 + DB 12c PDB

Container DB

Database 12c

Solaris 11

OVM for SPARC

PDB PDB PDB PDB

最小構成からスモールスタートし最大構成まで拡張 252 PDB まで拡張！ 1,024 コアまで拡張！

64core

64core

64core

SPARC M10 + DB 12c PDB

64core

64core

64core

64core

64core

64core

64core

64core

64core

64core 64core

64core

64core

16


18


データベース・クラウド(DB統合)環境

＜クラウド＞

19

データベース・クラウド環境の要件


サーバ仮想化による統合マルチテナント・データベース

業務AP毎の要件(DB Ver.等)に適合可 CDBは、Oracle 12c以上 PDBは、Ver.混在不可

運用管理にかかるコストを削減 DBの管理コストは統合前と変わらない

VM

DB

VM

Hypervisor

DB

VM

DB

OS OS OS

OS

CDB

PDB PDB PDB

業務A 業務B 業務C

11g 11g 12c

12c

業務A 業務B 業務C

20

・データベース統合基盤として高可用性を担保したい・システム毎のパッケージ要件により、Oracle Databaseバージョンに差異がある・まずは安価にスタートしたい（Standard Editionの指定）

お客様の課題、ご要望

・Oracle VM/Oracle Linuxを活用し、Oracle SE RAC環境を提供・RACの高可用性とOracle VMの高可用性(HA)を組み合わせて可用性を最大化・１ノード障害時でも、迅速に100％性能に復帰が可能


データベース・クラウド実践事例情報サービス業様


通常時は、RAC構成(Server 1/Server 2)で高可用性を担保

データベース・クラウド実践事例


Oracle VM

Server１

Oracle Linux

Oracle VM

Server２

Oracle Linux

Oracle VM

Server３

Aシステム Oracle RAC

Oracle Linux Oracle Linux

Bシステム Oracle RAC


Cシステム Oracle RAC


Dシステム Oracle RAC

Oracle Linux

Oracle VM Manager

RAID

RAID

RAID

Storage

・・・

Aシステム DB

Dシステム DB

Bシステム DB

Cシステム DB

Enterprise Manager 12c

Aシステム開発用

Bシステム開発用

Cシステム開発用

Dシステム開発用

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

22

１ノード故障時は、HA機能でServer３に遷移し100%状態に復帰


Oracle VM

Server１

Oracle Linux

Oracle VM

Server２

Oracle Linux

Oracle VM

Server３

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Oracle VM Manager

RAID

RAID

RAID

Storage

・・・

Aシステム DB

Dシステム DB

Bシステム DB

Cシステム DB

Enterprise Manager 12c

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

Aシステム Oracle RAC

Bシステム Oracle RAC

Cシステム Oracle RAC

Dシステム Oracle RAC

Aシステム開発用

Bシステム開発用

Cシステム開発用

Dシステム開発用

Oracle Linux

Oracle Linux

Oracle Linux

Oracle Linux

データベース・クラウド実践事例

23

UNIX基盤にSPARC M10、IA基盤にExadataを導入

サーバ台数を1/11に削減、運用管理コストを1/8に削減

UNIX Servers

X86 Servers

PRIMERY SITE PRIMERY SITE STANDBY SITE

データベース・クラウド実践事例富士通株式会社


クラウド利用のための運用管理環境を整備

Oracle RACによる高信頼性基盤

統合監視としてEnterprise Manager

DBバックアップの仕組みを標準化

災害対策環境をActive Data Guardで実現

24


データベース・インメモリ（Oracle Database In-Memory）

＜ビッグデータ＞

25

Oracle Database In-Memoryの特徴


同一のデータをロー型、カラム型両方のフォーマット

でメモリ上に保持

両方のフォーマットを同時に利用可能、トランザク

ションの一貫性も担保

カラム型フォーマットはメモリ上にデータを圧縮して

格納

2種類のフォーマットをオプティマイザが自動判別

集計、レポート処理はカラム型フォーマットに対して実行

OLTP処理はロー型フォーマットに対して実行

注文

売上分析

売上売上

メモリメモリ

ロー型フォーマット

カラム型フォーマット

売上

インメモリのカラム型フォーマットで分析処理をリアルタイム化

In-Memory

26

・ミッションクリティカルな超高速情報系システムを実現する高信頼な基盤が必要・情報系にOracle DB、DWH専用機の２つの環境が混在しており複雑化・一元化するとともに分析処理の超高速化を図りたい


・Oracle 12c Database In-Memoryを活用し情報系基盤の集約を提案・PoC(概念実証)を実施し、平均300倍の効果を確認・Oracle RAC + Database In-Memory構成による高信頼構成を実現


Database In-Memory実践事例金融業様


超高速アクセスと高信頼基盤、一元管理による利便性向上を実現

Database In-Memory実践事例


Oracle 9i

copy

基幹系情報系

Oracle 11g

基幹系

情報系

Oracle 11g

Oracle 11g

Oracle 11g

Oracle RAC

Oracle 12c

データデータ

メモリメモリ

ロー型カラム型

DWH 専用機

DWH 専用機

アクセスを集約

高信頼

In-Memory 高速分析

リアルタイム連携

Data Guard Data Guard

アクセスが分散

Golden Gate

28


Engineered Systems（Exadata）

＜クラウド／ビッグデータ＞

29

ハードウェア/ソフトウェアが一体化され、最適化されたデータベース専用マシン

※DBに関するI/Oを大幅に削減→ Exadata専用ソフトウェアの効果大

Exadata Database Machineとは


• 大量データ処理向けの特長（DWH） – Smart Scanによってサーバ-ストレージ間のI/O量を削減 – Storage IndexによってストレージI/O量を削減 – InfiniBandによる超高速ネットワーク – 必要なストレージ容量とI/O量を削減可能な列圧縮

• オンライン処理向けの特長（OLTP） – Smart flash cacheによる極めて高いRandom I/O性能 Read/Write対応 – 高い業務継続性（RAC, Data Guard等）

• システム統合基盤向けの特長 – あらゆるワークロードに対して最適なパフォーマンスと拡張性を提供

– マルチDB, マルチユーザ環境等でも、安定したレスポンスを提供

30

超高速データベースソリューション for Exadata


移行要件定義運用構築設計

①Exadata専用設計・カスタマイズお客様要件に応じたExadata専用設計カスタマイズ設定を実施

④DBマイグレーション for Exadata ExadataへのDBマイグレーションを安心・迅速・確実に実施

③Exadata運用監視ソリューション Oracle Enterprise Managerを活用し運用監視を一元化

②バックアップ・リカバリ・ソリューション for Exadata 実績豊富なバックアップ・リカバリ・ソリューションをExadataに適用

31

・グローバルなデータを高速に処理できるDWHの構築が必要・定型／非定型の検索処理のいずれも高速化したい・Oracle BI基盤の可用性向上も実施したい


・Exadata + Oracle BIによる高速DWH基盤を実現・Oracle BIによるスモールスタート環境と可用性向上・富士通Systemwalkerと連携した統合監視、ジョブ実行環境を実現


Exadata実践事例製造業様


当社ソリューション適用により高速DWH基盤を迅速かつ確実に実現

Exadata実践事例


販売情報（定型）

Oracle BI

BIサーバ PRIMERGY

ストレージ ETERNUS

プライマリ

スタンバイ

Oracle BI

BIサーバ PRIMERGY

クレーム管理（非定型）

Exadata Quarter Rack

Systemwalker 監視サーバ PRIMERGY

33




34



Oracleデータベース

Advanced Security

DBデータの透過的暗号化バックアップデータの暗号化ハードウェア暗号化対応* テストデータ

Database Vault

DBアクセス制御職務分掌の実現

*Intel Xeon(AES-NI) *SPARC 64X/X+

APサーバ

Audit Vault Agent

Audit Vault Server Audit Vault and Database Firewall

監査ログの収集 DBアクセスのモニタリングとブロッキング(ファイアウォール)

Data Masking Pack

テストデータ生成のためのマスキング処理を自動化

機密データをリアルタイムにマスキング

Data Redaction

35

不正アクセスの早期検知、集中管理を実現

Audit Vault and Database Firewall


早期検知

ポリシー制御によるアラート発出にて不正アクセスの早期発見が可能

集中管理

複数のデータベースの監査データを一元管理し管理者の負担を軽減

Application

Audit Vault Server

Audit Vault Agent

監査対象 - Database - OS - Directory - File System - Custom APP

Database Firewall Server

36

・インターネットサービス提供システムのデータベースセキュリティの強化が必要・不正アクセスや情報漏洩につながるアクセスを早期に検知したい・定期的にセキュリティレポートを作成したい


・Audit Vault and Database Firewallを導入し不正アクセスの早期検知を実現・組み込み済みのテンプレートを活用し、迅速にレポーティング環境を構築・事前検証によりハードウェアとの組み合わせの問題もクリア


データベースセキュリティ実践事例情報通信業様


データベースセキュリティの不正アクセス検知とレポーティング環境を実現

データベースセキュリティ実践事例


FUJITSU PRIMERGY FUJITSU PRIMERGY

Database Firewall Server （Oracle Linux)

Application Database

Audit Vault Server （Oracle Linux)

Network Switch

全SQLをモニタリングログを集約

レポート生成

ローカル操作も監査

38


リアルタイム・データ連携（GoldenGate）

＜クラウド/ビッグデータ＞

39

Oracle GoldenGateの特徴

データベース間のデータ複製をリアルタイムに行う製品

異なるDBバージョン、プラットフォーム間でのデータの複製が可能

独自のログ取得/適用機構による高速なログ転送を実現

負荷分散や統合など、システム用途に応じた多様な組み合わせが可能

12c REDO

Golden Gate

Golden Gate

REDO 11g LAN/WAN

Aシステム Bシステム

高速なログ転送

低負荷なログ取得リアルタイム反映

Copyright 2015 Fujitsu Hokuriku Systems Limited 40 40

GoldenGate実践事例金融業様


・災害対策と負荷分散を兼ねた複数センター構成を実現したい・数百キロレベルでの完全同期はネットワーク遅延のため非現実的・データベースの連携が最も大きな課題


・Oracle GoldenGateをリアルタイム性の高いデータ反映に適用・同期方式がシンプルなActive Data Guard構成の併用により大量更新にも対応・データ特性に応じた連携方式を組合わせたハイブリッド構成を実現


41

災害対策と負荷分散を兼ね備えた複数センターデータ基盤を実現

WAN

Data E

Data W

Data W

Data E

GoldenGate実践事例金融業様


Master Golden Gate

Golden Gate

東日本システム西日本システム

Master

Active Data Guard

Active Data Guard

Active Data Guard

Active Data Guard

REDO REDO

リアルタイム連携

災害対策災害対策

両センター Active

両センター Active

42


最新データベースへの安全な移行ステップ


43

データベース移行にともなう課題データベースの大容量化（数百GB～数TBなど）

システム停止時間の極小化（数時間程度）

最新データベースへの移行


9i

10g

11g

Oracle 12c

PDB

Database In-Memory

PDB

Linux/Solaris/Windows

Linux

Solaris

Windows

VM

PDB

44

データベース移行方式の選定基準


移行方式開発

コスト

異なるH/W

異なるOS 種別

異なるBlock Size

異なるキャラクタセット

断片化の解消

移行時の

停止時間

Export/Import 低 ○ ○ ○ ○ ○ 大

データ量比例

CSVアンロード/ロード中 ○ ○ ○ ○ ○ 大

データ量比例

データコピー

(DB Link + ダイレクトロード)

中 ○ ○ ○ ○ ○ 中

データ量比例

トランスポータブル表領域

中 ○ △ RMANによる変換要

△ × × 小

異なるHW時は

データ量比例

Data Guard

中 ○ × × × × 短時間（数分～）

Golden Gate 高 ○ ○

○ △ 組合せ確認要

○ 短時間

（数分～）

45

データベース移行時のダウンタイムを極小化移行当日は差分データの最終適用のみ

逆方向のログ送信により、旧システムへの迅速な切り戻しも可能

GoldenGateを活用したデータベース移行


12c REDO

Golden Gate

Golden Gate

REDO 11g LAN/WAN

旧システム新システム

高速なログ転送

低負荷なログ取得差分データのみ反映

逆方向の送信も可能

46

・データベース移行時のダウンタイムを最小化したい（システム停止２,３時間以内）・新システムへの切り替え後も一定期間は旧システムに戻せるようにしたい・新システムで発生したトランザクションデータの連携が必要


・GoldenGateを活用した移行により、移行当日のダウンタイム２時間以内を実現・逆方向の伝播(新→旧)により、DB切り戻し時間も１時間以内を実現・データ整合性チェックにはData Guard環境を活用し、本番影響を排除


GoldenGate移行実践事例金融業様/官公庁様


移行当日のダウンタイムは２時間以内。逆方向送信で切り戻しも実現

GoldenGate移行実践事例


Oracle 11g

Oracle 11g

Oracle 10g

Oracle 10g

Data Guard Data Guard Golden Gate

Golden Gate

最新データを旧システムにも反映

移行当日は最終差分反映のみ

Data

②初期データ移行

REDO

①更新データ送信

Golden Gate

Golden Gate

REDO

Data

③逆方向データ送信

1TB/10TB/20TB

データ整合性チェック

本番系

災対系

本番系

災対系

48


富士通北陸システムが提供するプロフェッショナルデータベース・ソリューション

49

プロフェッショナルデータベース・ソリューション


運用・改善

教育サービス

トータルDBソリューションコンサルティング

上流コンサル

「安心・安全」「高信頼・高可用」のシステム構築

アプライアンス向けソリューション

高速分析

統合プラットフォームソリューション for Oracle Engineered Systems

共通プラットフォーム向けソリューション

「短期間」「確実」なシステム移行

超高速分析ソリューション for Exalytics

APサーバ最適化ソリューション for Exalogic

超高速データベースソリューション for Exadata

DBセキュリティ・ソリューション

ディザスタ・リカバリー・ソリューション

RACソリューション

ブレード・ソリューション

バックアップ・リカバリー・ソリューション

DBマイグレーション for Oracle

データ管理コスト削減ソリューション

性能チューニングサービス

運用サポートサービス

情報系データ活用

ビッグデータ分析ソリューション for Oracle Endeca Information Discovery

データベースIn-Memoryソリューション

トータルDBソリューション教育サービス

データベース不正アクセス監視

50

まとめ

クラウド／ビッグデータ基盤を支えるテクノロジー実践 Oracle Database 12c マルチテナント

データベース・クラウド環境（Oracle VM + Oracle RAC）

データベース・インメモリ（Oracle Database In-Memory）

Engineered Systems（Exadata）

データベースセキュリティ（Audit Vault and Database Firewall）

リアルタイム・データ連携（Golden Gate）

データベース移行（Golden Gate）

個々の製品のみではなく、組み合わせて活用するケースが多い

サポート、インフラサービス、アプリ基盤担当者が情報交換し実現

課題解決に当社Platinum技術者のノウハウをご活用下さい Copyright 2015 Fujitsu Hokuriku Systems Limited 51


Technology

Platinumが語る！ クラウド／ビッグデータ基盤を支える最新テクノロジーの実践

Platinumが語る！クラウド／ビッグデータ基盤を支える最新テクノロジーの実践