NTTグループにおけるOSS活用状況jp-redhat.com/forum/2012/pdf/5-D.pdfPostgreSQL 開発・改善へパッチ貢献 PostgreSQLのレプリケーション機能開発への貢献でIPAより

Copyright(c)2009-2012 NTT CORPORATION. All Rights Reserved.

NTTグループにおけるOSS活用状況

2012年10月23日日本電信電話株式会社

オープンソースソフトウェアセンタ

•

NTT OSSセンタの活動•

NTTグループにおける事例紹介

•

最近の動向•

課題など

2Copyright(c)2009-2012 NTT CORPORATION. All Rights Reserved.

NTT OSSセンタの活動

•概要 ①OSSトータルサポート

②OSS適用推進 ③技術開発

④ソフトウェア基盤技術力向上


• OSS活用によるNTTグループ社内システムのTCO削減と SI競争力の強化を目的に2006年4月設立

• 事業現場におけるOSS導入阻害要因の解消をめざす

NTT OSSセンタ設立のねらい

情報収集を一元的にできないか情報収集を一元的にできないか

プロダクトの保守サポート体制は大丈夫なのかプロダクトの保守サポート体制は大丈夫なのか

構築ノウハウ（ミドルウェアの選定・構成方法等）を結集できないか構築ノウハウ（ミドルウェアの選定・構成方法等）を結集できないか

エンタープライズ用途にはOSSの機能強化（高信頼化・高可用化）が必要ではないかエンタープライズ用途にはOSSの機能強化（高信頼化・高可用化）が必要ではないか

などなど


• 下記①～④の4つのミッションでグループ事業に貢献

NTT OSSセンタの位置づけ

*)OSSVERT®：OSs Suites VERified

Technically（技術検証済みOSS組合せ）

事業会社事業会社

SI会社SI会社問合せ対応、導入支援、

プロダクト保守等

技術検証、

検証済OSS

の導入推進

プロダクト/

ツール類の開発

技術者育成、

人材交流

各種ＯＳＳコミュニ

ティ

社内システム

の設計・開

発・運用

グループ各社グループ各社

サポート

ベンダ、NTT

研究所等

お客様

サポート連携

開発連携

①OSSトータルサポート

NTT OSSセンタ

②OSS適用推進 (OSSVERT®*検証)

③技術開発(DBMS,高可用ミドル等)


NTT OSSセンタのミッションと位置づけ







提供サービスの例

提供サービスの例

ライフサイクルのステージ

ライフサイクルのステージ

検討支援検討支援

情報提供／問合せ対応情報提供／問合せ対応

検証支援／故障解析と回避策提示検証支援／故障解析と回避策提示

構築支援構築支援

• システムライフサイクルの各ステージでOSS化をサポート• システム化の検討段階での製品選定、性能検証から構築支援、

運用時のトラブル対応まで

OSSトータルサポートとは

システム化検討

システム化検討設計設計構築構築試験試験運用運用

OSSトータルサポートのスコープ


0

100

200

300

400

500

600

2006

.Q1

Q3

2007

.Q1

Q3

2008

.Q1

Q3

2009

.Q1

Q3

2010

.Q1

Q3

2011

.Q1

Q3

2012

.Q1

四半期件数

0

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000

累計件数

四半期計累計

• 専用ポータルサイト経由の問合せ累計8,807件(2012年9月末) に回答期限SLAを守って対応

• 緊急

11％、商用トラブル

3％• 顧客満足度

98％（「迅速さ/わかりやすさ/有用度」に「満足･やや満足」の率）

問合せ対応(1/2)

～受付件数～

累計8,807件

年間1,700件程度

問合せ受付件数の推移(四半期ごと)

837 1137 1186 1585 1490 1691


「OS/ミドルバグ」の内訳問合せ内容の内訳

8,807件265件

全体の 0.5～0.6％

• 累計問合せ8,807件のうち、不具合解析

31％、 OS/ミドルのバグ起因

3％、新規バグ0.5～0.6％

• サポート対象としている約50プロダクト/100バージョン以上、 20Mライン規模のソフトウェア群が対象

問合せ対応(2/2)

～品質に関する考察～







• Web3層モデルを中心としたOSSミドル組合せ検証により品質･性能確認、各種パラメータ値決定、適用領域明確化

• 失敗しない製品選定• 手戻りのない設計･開発• 性能向上、迅速なトラブル解決

OSSVERT®モデル検証

アクティブスタンバイ

DBサーバ

APサーバ

Webサーバ

クライアント

ApacheUltraMonkey

Amanda

OpenJDK

JBoss/Tomcat

PostgreSQL/

MySQL

Pacemaker/

Heartbeat

社内システムへのOSSVERT®導入数

OSSVERT®モデル構成イメージ

1438 44 52 62 69

0

10

20

30

40

50

60

70

80

2006 2007 2008 2009 2010 2011


• マイグレーション効率化に向け,ノウハウ蓄積･支援ツール整備（OSSマイグレーション支援サービスOSSMA）

OSSマイグレーション支援

OS やハードへの

依存が少なくツール不要

総合試験総合試験結合試験結合試験開発/単体試験開発/単体試験詳細設計詳細設計基本設計基本設計事前検討事前検討

工数

•見積もり精度向上•見積もり稼働削減

ソースコード書換え稼働削減

環境依存度が高く、移行見積もりや移行に時間がかかる領域はツールでカバー

商用

UNIX 上のアプリケーション商用

UNIX 上のアプリケーション

Linux 上のアプリケーション

Linux 上のアプリケーション

Java 言語

商用データベース商用データベース PostgreSQLPostgreSQL

商用アプリケーションサーバ商用アプリケーションサーバ JBossJBoss

商用UNIX商用UNIX LinuxLinux

SQL / DDL

設計情報

C 言語/シェルスクリプト

C 言語

マイグレーション工数削減ターゲット







• NTT研究所において、データベースの研究開発に着手した 2003-4年当時、機能と開発体制から選定

PostgreSQL開発(1/2)

～なぜPostgreSQLか～

PostgreSQL（7.4） MySQL(4.0)

機能

SQLの対応範囲 SQL92をほぼカバーし、問題ない

副照会とカーソルの一部に制約があった

日本語文字の対応

JIS, EUC等主要コードは問題なく対応種々の制約があった

開発体制

開発主体ベンダ独立のコミュニティが開

発しており、パッチの受け入れ等について中立性が高い

特定ベンダのプロダクトであり、パッチの受け入れ等はベンダの意向に左右される

海外コミュニティ開発コミュニティを含め活発ユーザコミュニティのみ活発

国内コミュニティユーザコミュニティが活発ユーザコミュニティが立ち上

がりつつあった

オープンソースDBMSの比較(2003-4年当時)


• 新機能や性能改善のための開発に貢献• 9.xにおいて国内トップのパッチ貢献数• 開発方針議論への参画、ユーザ会JPUGポータルサイト運営支援

PostgreSQL開発(2/2)

～開発貢献実績～

2007

2008

2009

2000

7.37.3

7.47.4 •CPUスケール•オンライン索引作成•GIN: 汎用転置索引

•CPUスケール•オンライン索引作成•GIN: 汎用転置索引

8.2

•非同期レプリケーション•列

/ 条件付きトリガ•排他制約•Windows 64bit対応

•非同期レプリケーション•列

/ 条件付きトリガ•排他制約•Windows 64bit対応

9.0

(2010/9)

2011

•Windows対応•セーブポイント•メディア故障対応•テーブルスペース

•Windows対応•セーブポイント•メディア故障対応•テーブルスペース

8.02010

•同期レプリケーション•UNLOGGED

TABLE•パーティショニングを強化

•同期レプリケーション•UNLOGGED

TABLE•パーティショニングを強化

9.1(2011/9)

2012

•インデックスオンリスキャン•大幅な性能向上•プラニング改善•レプリケーション進化

•インデックスオンリスキャン•大幅な性能向上•プラニング改善•レプリケーション進化

9.2(2012/9)

•パーティショニング•2相コミット•バッファ管理改良

•パーティショニング•2相コミット•バッファ管理改良

8.1

OSSセンタ設立NTT参画

2003

2006

NTT貢献機能

可用性･運用性が大きく改善


• 高可用で高性能なDBサーバを目標にEnterpriseDB社と連携して開発中

• 参照性能に加えて更新性能もスケールアウト• データの処理･格納を多重化することで高可用性を確保

大規模高可用分散DB Postgre-XC

・・・・

・・・・

・・・・コーディネータ

データノード*)GlobalTransactionManager

SQL解釈・分散GTM*

データ実体

トランザクション制御

クライアント

Postgre-XCの論理構成







• 主要プロダクトのOSSコミュニティに積極的に参画

コミュニティ活動(1/2)

～主な活動～

主なコミュニティ活動状況プロダクト

（ソースコード規模）主な活動役員クラスメンバPostgreSQL（700KL）

○PostgreSQL

開発・改善へパッチ貢献○PostgreSQLのレプリケーション機能開発への貢献でIPAより

「日本OSS奨励賞」を受賞（2010.10）

○大規模高可容分散DB（Postgres-XC）の開発○企業ユーザ会PGECons立ち上げ（2012.4設立）

JPUG理事PGEcons理事長

Linux（10ML）

○Linux Kernel 開発・改善へパッチ貢献○カーネルクラッシュダンプ機能開発等への貢献でIPAより「日

本OSS貢献者賞」を受賞（2009.10）

○OSS仮想化普及促進に向けOpen Virtualization Alliance加盟

LKDTT

(Linux Kernel Dump Test Tool)メンテナ

Heartbeat/Pacemaker（260KL）

○コミュニティのステアリングコミッティメンバとして

HeartbeatからPacemakerへの移行に大きく貢献

○Heartbeat/Pacemakerコミュニティへの貢献で「日本OSS貢

献者賞」を受賞(2012.3)

ステアリングコミ

ッティメンバ,

コミッタ,メンテナ

UltraMonkey（60KL） ○NTTコムウェア社発、負荷分散ソフトのコミュニティを牽引コミッタTOMCAT/mod_jk（200KL）

○貢献が認められ、上級コミッタに昇格（2012.7) 上級コミッタ,

コミッタ

JBoss（3.8ML） ○Red Hat社とのJBoss品質改善TFに参画、品質改善に貢献 HornetQコミッタOpenJDK（3ML） ○バグ報告とパッチ貢献－


• 各種OSSコミュニティに対して機能拡充･品質改善提案• パッチ貢献累計852件(2012年9月末現在)

コミュニティ活動(2/2)

～パッチ貢献～

パッチ貢献件数

3

11

16

15

25

21

40

1

7

7

25

24

24

0

10

12

37

13

72

2

10

34

5

35

38

86

2

0

25

1

92

67

32

2

0

10

0

29

15

4

0 50 100 150 200 250 300

OpenJDK

JBoss

Tomcat/mod_jk

UltraMonkey

Heartbeat/Pacemaker

Linux

PostgreSQL

件数

2006 2007 2008 2009 2010 2011 2012.1-2Q


• コミュニティ貢献活動が評価され、2009年から3年連続 NTT OSSセンタから受賞者を輩出

• 2009年

日本OSS貢献者賞

フェルナンド・バスケス• Linuxカーネル開発• 特に「カーネルクラッシュダンプ」

「ディスクI/O制御／仮想化」への貢献

• 2010年

日本OSS奨励賞

藤井

雅雄• PostgreSQL開発• 特に「ストリーミング･レプリケーション機能」

• 2011年

日本OSS貢献者賞

森

啓介• Heartbeat/Pacemakerの開発• 特に「共有ディスク排他制御機能」

IPA/日本OSS推進フォーラムから表彰拝受


• PostgreSQLのエンタープライズ領域への適用拡大に向けて、NTT他が発起人となり企業ユーザ会設立

(2012年4月)

PostgreSQLエンタープライズ・コンソーシアム

活動項目概要

情報発信下記共同検証の結果や、協賛の企業の実例を持ち寄り、誰もが利用可能な情報発信サイトを提供する

共同検証エンタープライズ領域の適用に向けて、一般的に検討したり、

補足しなければならない要件に対して、実証を踏まえて、情報を充実していく

開発コミュニティへのフィードバック

よりミッションクリティカル性の高い領域に向けた技術的な課題を集約し、開発コミュニティに要望を発信していく

開発プロジェクト支援

協賛企業間でPostgreSQLの機能拡張に関する連携開発や、必要な周辺ツールの開発プロジェクトを支援する

主な活動


• NTTからLPI-Japanに働きかけ「オープンソースデータベース技術者認定試験」が実現(2011年7月開始)

• NTT OSSセンタは試験問題レビューや試験対策本執筆 (2011年10月刊行)で貢献

• NTTソフトウェア社がOSS-DBアカデミック認定校に認定 (2012年7月)

オープンソースデータベース技術者認定試験

http://www.oss-db.jp/news/information/20110726_01/

より抜粋

OSS-DB Goldの第一号かつ最高得点の認定者の徐

倍さん（NTT OSSセンタOB、現NTTコムウェア社）

http://www.oss-db.jp/news/information/20110726_01/


Red Hat社との連携施策

•各種ベータプログラムへの参画•JBoss

Improvement Task Force


• Red Hat社製品ベータ(非公開プロダクトの先行評価) プログラムにNTTグループ事業会社と共に積極的に参画

• 日米Red Hat社と密に連携して製品の品質改善に貢献• NTTグループでの利用可能性を先行評価

各種ベータプログラムへの参画

2009 2010 2011 2012参画例

仮想化製品KVMおよび管理機能を評価・問題を抽出しレポート、開発にフィードバック

分散ストレージ製品GlusterFSを評価・NFSのロックを含めて正常動作を確認・インストーラの問題を抽出しレポート

RHEL OpenStackを評価（現在進行中）


• 機能およびサポート品質の改善に向け,2010年8月立上げ• 米国ボストン開発拠点へ

技術者を派遣(2011年8月～)、活動を強化

JBoss

Improvement Task Force

製品品質の向上（基本バグが残存している）

サポート品質の向上（問題解決が長期化している）

パッチ提供手段の改善（プログラム入替方式である）

•リリース前試験へのNTT試験項目の反映•NTTのリリース前試験への参画

•再現環境の共同構築•国内技術者の育成

•プログラム入替方式からパッチ提供方式への移行検討

主要課題とアプローチ



•OSS適用事例•トラブルシューティング事例


• NTT網情報を利用者に対してプロアクティブにメールや Webで情報配信するKシステム

• OSSVERTフル活用（RHEL/KVM/Apache/mod_jk/Tomcat /Pacemaker/PostgreSQL/UltraMonkey(+Postfix/Dovecot)

によりシステム開発･運用コストを低減• 2011年12月サービスイン

事例1：NTT開発OSSソリューション適用(1/2)

外部用AP1

FW

社内用セグメント外部用セグメント社内用Web/AP1SMTP1/POP1

運用監視

外部用WEB1

外部用AP2社内用Web/AP2SMTP2/POP2

DB1

DB2

負荷分散2

負荷分散1RTSW

社内網

外部用WEB2

仮想化

仮想化

インターネット

•Webアクセス3千件/日•メール送信24万件/日

•仮想化によるサーバ集約

•たすき掛けHA 構成および待機系DBサーバ利用によるサーバリ

ソース有効利用


セカンダリセカンダリ

同期レプリケーションデータベースデータベース

監視・制御

プライマリプライマリ

PostgreSQL PostgreSQL

高速自動フェイルオーバ切り替え時間10秒～60秒程度

PostgreSQL

Pacemaker

• PostgreSQLとPacemakerを組合せて開発した高可用同期レプリケーションDBクラスタ「PG-REX」を採用

• RG-REXソリューション開発(2010/7-2011/8)とKシステム開発 (2011/5-2011/12)のスケジュールが合致、タイムリに事業導入

事例1：NTT開発OSSソリューション適用(2/2)

PG-REXの動作概要

•PostgreSQL9.1完全互換•高可用な高速自動フェイルオーバ•共有ディスク不要•待機系の有効利用(参照処理可)

•参照処理が可能•フェイルオーバ

時はプライマリに昇格


• ISP事業の顧客管理･料金業務を行うNシステム• 必要なコンポートネントの目利きを十分に実施した上で

JBoss

Enterprise SOA Platform(ESP)適用を支援• RHEL/Apache/mod_ssl/mod_jk/JBoss

ESP,EAP/PostgreSQL採用

• 2011年10月サービスイン

事例2：JBoss

SOAプラットフォーム初適用

バックヤードシステム群

バック層中間層フロント層

クライアント

BPMサーバJBoss

ESP

JBoss ESP

DBサーバ

商用DBMS商用DBMS

業務サーバJBoss

EAP

JBoss EAP

DBサーバ

商用DBMS商用DBMS

GWサーバJBoss

ESP

JBoss ESP

業務サーバJBoss

EAP

JBoss EAP

DBサーバ

PostgreSQLPostgreSQL

GWサーバJBoss

ESP

JBoss ESP

SOAP SOAP

SOAPHT

TP RPC FTP

フロントシステム群

HTTP(S)

SOAP SOAP

SOAPHT

TP RPC FTP

•SOA3層機能構成による高い柔軟性

•フロント層に PostgreSQL採用


• 特定サービスに関する契約情報(申込情報や顧客情報等)を管理して営業を支援するMシステム

• 商用製品からRHEL/Apache/mod_jk/JBoss

EAP/PostgreSQL に移行し、システム開発・運用コストを低減

• 2012年12月サービスイン(予定)

事例3：OSSへのマイグレーション(1/2)

複数社内システムを統合するIT基盤クライアント

社内網 SW

社内網

Web/AP/DB

運用管理/バックアップ

他システム

サーバエンクロージャ•統合基盤へ収容•機能統合によるサーバ集約

(Web/AP ＋

DB →

Web/AP/DB)


• OSSマイグレーション支援サービスOSSMAをフルに活用し、効率的にOSSへの移行開発中

事例3：OSSへのマイグレーション(2/2)

■JBoss特に問題なし

■PostgreSQLパーティション

性能に不安

■JBoss本件では未実施

（これまでの実績では概ね95%以上が流用可能）■PostgreSQL（

DDL/Java/Pro*C ）修正規模はプログラム全体の6％

（ほとんどが簡易なもの）

実機性能検証結果をレポート

不安を払拭

OSSMA適用イメージ

④

製造(移植)実装は？

⑤ 試験試験の方法は？

②

移植性検討変更量は？

①

適用性検討使えるか？

マイグレーションプロセス

③ 設計構成への影響は？

OSS によるシステム要件の

実現性検討

影響箇所抽出修正規模見積り修正方法検討

OSSVERT ベースの

方式設計ソースコード

修正および実装OSSの機能試験

抽出･実施支援内容



•OSS適用事例•トラブルシューティング事例


RHEL5.5 KVMVM停止

Red Hat社

事業会社

OSSセンタソースコード解析に基づき問題xを回答

解析依頼

▲問題xパッチを含む

RHEL5.8向け修正パッケージ

リリース

• クラウドサービスBにて「VM停止」• 問題x：メモリ管理の境界バグ(4GB超での条件判定誤り)• 問題y：仮想VGAのバグ(2月リリースRHEL5.8で修正済み)

事例a：Red Hat社と共同で深い問題を解決

Red Hat社およびOSSセンタ双方による解析で解決

3/28

30

4/11

25

5/2 21

解析依頼

問題x,yのパッチ作成･検証

コア解析で問題事象を一次回答

問題xに加えて問題yを回答


• 社内システムKにて「APからのデータ投入に失敗」• 2バイト言語の扱いの不備(アジア圏固有の問題)

事例b：バグパッチ投稿で早期に解決

SI会社

OSSセンタ

コミュニティ

PostgreSQL8.1.4データ投入

失敗

1/26

31

2/1 9

11

16

27

4/23

▲原因特定･回避策提示

バグ報告

問合せ

パッチ投稿

▲8.3開発版修正

▲8.1系修正

▲AP側で暫定対処

▲修正済み

8.1.9リリース

パッチ投稿によりコミュニティを動かすことに成功


最近の動向

•レガシー系社内システムのさらなるTCO削減•OSS適用領域拡大への期待


• とにかくコストを抑えて静かに延命したい• とはいえ、何かあったら解析は必要

レガシー系社内システムのさらなるTCO削減

【参考】NTTグループの事業構造の変化

OSSによるTCO削減への期待拡大

やめられない♪とめられない♪


• クラウド、ビッグデータに先行して取り組んでいる NTT研究所やグループ内外各社との連携強化へ

• システムのライフサイクル全般へOSSVERT®を拡張「システム構築」から「設計･開発(上流)」「試験･運用(下流)」へ

OSS適用領域拡大への期待

【参考】拡大するOSSのカバー領域日経BP社

IT Japan 2012レポートレッドハット

代表取締役社長

廣川裕司氏インタビュー(2012/9/25)http://itpro.nikkeibp.co.jp/article/COLUMN/20120920/423933/

より抜粋

NTTグループもクラウド、ビッグデータを牽引する OSS群に注目

2006年

NTT

OSSセンタ設立

http://itpro.nikkeibp.co.jp/article/COLUMN/20120920/423933/


課題など


• 自己分析(自己満足?)によると...

NTT OSSセンタの成功?のポイント

NTTグループインハウスの専門家集団による

手厚いワンストップサポートを実現したこと

NTTグループインハウスの専門家集団による

手厚いワンストップサポートを実現したこと



• 「お任せください。彼/彼女がいるうちは」ではダメ

悩みごと(1/3)

～サポート品質･技術レベル維持～

事業現場から求められているのは長期安定的なサポート提供と品質の維持

事業現場から求められているのは長期安定的なサポート提供と品質の維持

大きな会社にありがち?な人事育成ローテーションポリシ

とどう折り合いをつけるか

大きな会社にありがち?な人事育成ローテーションポリシ

とどう折り合いをつけるか


悩みごと(2/3)

～サポート拡大要望への対応～

エンタープライズ系

ネットワーク系

端末系

LinuxApacheTomcat

PostgreSQLUltraMonkey

・・・

拡大

Xen/KVMOpenJDK

Pacemaker・・・

Struts/Spring

Hadooppuppet

mod_cluster

・・・

Apache commons

OpenSSHNFSv4

shibboleth

・・・

JRadius

OpenStackZimbra

Turmeric(SOA)

Ruby

Android

astrerisk

その他の利用OSS（300種以上）

SugarCRM

・・・

OpenOffice

Talend

サポート対象は約30 種からスタートし、約50種まで拡大

• どこまで拡大するのか/できるのか（プロダクト拡大、長期保守、ミッションクリティカルサポート、

グローバルサポート...）

研究所で利用約50種

グループ会社からの

サポート追加要望約30種

NTTグループにおけるOSS利用拡大イメージ


• いつごろ、どんなポジションへシフトするか/しないか

悩みごと(3/3)

～あるべき組織ポジション～

【現在】研究所内組織において

R&D活動と事業現場サポートの両輪で活動

【現在】研究所内組織において

R&D活動と事業現場サポートの両輪で活動

【将来シナリオ1】OSSサポートビジネス

市場が活性化、一般市場向けサポートビジネス展開へ

【将来シナリオ1】OSSサポートビジネス

市場が活性化、一般市場向けサポートビジネス展開へ

【将来シナリオ2】OSSがコモディティ化、

市中のサポートサービスが品質･価格ともに安定し、イン

ハウス部隊は役目を終えて解散

【将来シナリオ2】OSSがコモディティ化、

市中のサポートサービスが品質･価格ともに安定し、イン

ハウス部隊は役目を終えて解散


皆様の今後の OSS利用／適用推進活動に

少しでもお役に立てれば光栄です。

ご清聴ありがとうございました。

Documents

NTTグループにおけるOSS活用状況jp-redhat.com/forum/2012/pdf/5-D.pdfPostgreSQL 開発・改善へパッチ貢献 PostgreSQLのレプリケーション機能開発への貢献でIPAより