システム運用で怖いのは「人的ミス」と「見えない」こと。conf.itsmf-japan.org/conf10/dlpage/con/A1-3.pdf · ・システム締め延長（千手により、自動制御）

Copyright（C） Nomura Research Institute, Ltd. All rights reserved.

株式会社野村総合研究所

IT基盤インテグレーション事業本部

寺井忠仁

システム運用で怖いのは

「人的ミス」と「見えない」こと。

1


ＮＲＩ野村総合研究所グループのご紹介

■従業員数；７,７３８名

■資本金；１８６億円

■売上高；３,６３０億円

（２０１３年３月期）

主な事業とサービス

2


２０１２年３月期連結売上高

３,３５５億円

コンサルティングサービス３６０億円１０.８％

サービス別売上高構成

開発・製品販売１,２５５億円

３７.４％

運用サービス１,６４０億円４８.９％

商品販売９８億円２.９％

運用サービスの売上比率 48.9％ ※NRIの財務データ

※記載金額は、億円未満を切り捨てて表示 3


4

NRIのデータセンター


システムマネジメント事業への取り組み

お客様

運用改革コンサル

ITSM導入支援

運用基盤構築

運用ツール提供

教育・研修支援

データセンターコンサル

セキュリティコンサル

主な提供サービス

インソース

自社で運用改革推進

①ＳＬＭによるＳＬ向上

②自動化・無人化

③プロセス改革

④教育・資格制度

⑤開発部門へのけん制

⑥コンプライアンス（ＳＯＸ法等）

⑦セキュリティ・安全対策

弊社における主な改革＜見える化：継続＞

アウトソーシング

ＮＲＩ

（４００社以上）

新たな器で運用改革を実現

サービスレベル向上

運用コスト削減

リスク管理（セキュリティ、安全対策）

コンプライアンス

運用改善

①アウトソーシング

②運用改善サービス

お客様のソーシング戦略


6

「所有」から「利用」へ → リリース業務増

「人的ミス」の原因、対策

「自動化」のイメージ

「見える化」の課題、対策

まとめ


7

1965年野村総合研究所設立

1960年台 1980年台現在

国内初の民間シンクタンク

国内初の商用コンピュータ導入

「情報と創業」

アウトソーシングの拡大

「Navigation X Solution」

開発・運用一体化

1966年野村コンピュータシステム設立（旧野村電子計算センター）

1988年野村総合研究所に合併

1968年 NRIデータサービス設立（旧野村オペレーションサービス）

2006年野村総合研究所に合併

事業

開発

運用

7

NRIのあゆみ


運用組織改革

業務移管

SLA導入

べき・べからず集

運用設計標準フレームワーク

運用・開発トレーニ制度

リリース会議

サービスデスク

統合監視・スーパーバイザーによる集中監視

オペレーションエンジニアのレベルアップ（社内認定制度）

運用・オペレーションの標準化・均質化

運用業務分析

システム別運用最適化

可視化によるメッセージ削減、コール削減

障害ナビゲーションシステム

オペレータ削減

運用効率化施策

トラブル撲滅会議

メインフレーム運用改善

ITSMS導入

開発・運用の

組織改革

見える化、標準化

組織活性化

トラブル削減

安定運用

運用業務の見える化

日報システム

MSP展開

ESP展開

Senju/SM導入

ESP 障害ナビゲーション障害時自動電話千手コマンド連携千手基盤導入

MSP リリース管理運行管理運用工程標準化

センター移転

DR構築

IT資産管理システム

Senju Family 統合監視ツール

ツールによる

自動化

運用効率化

8

改善活動の全体像


役割別に分離、集約・統合化、省力化

9

顧客Ａ

運用管理

オペレーション

サーバ監視

Ｎ/Ｗ監視

顧客Ｂ

運用管理


サーバ監視

Ｎ/Ｗ監視

顧客Ｃ

運用管理


サーバ監視

Ｎ/Ｗ監視

運用管理オペレーションサーバ、

Ｎ/Ｗ監視

統合集中監視


メインフレーム分業制「所有」から「利用」

運用

開発

運用改善イメージ

オペレータオペレータ

運用管理

開発管理

ベンダーA

ベンダーB

ユーザー

顧客担当

マネージャー

関連部署

運用開発

開発管理

ベンダーA

ベンダーB

ユーザー

顧客担当サービスデスク

データセンターオンプレミスクラウド

運用高度化

運用ポータル

セルフサービスポータル

ホスト

オペレータ

開発管理

顧客担当

ベンダー

10


11

バックエンド処理 ※業務効率化、生産性向上

1990年台 2000年台現在将来

メインフレームオープン化仮想化・クラウド所有から利用へ

運用の変遷

ITサービス提供 ※ビジネス基盤強化

IT利用目的

ITによる事業貢献 ※環境変化に対応

ITのコモディティ化 ※スピード経営実現

限られた管理対象厳格なルール明確な役割

管理対象の拡大あいまいなルール

属人的運用

運用管理

サービス視点管理ルールと現場のかい離

縦割りから横割り

自動化・無人化 DevOps

ITサービスマネージャ

Senju Family

Senju/OCリリース ※ジョブ・監視

Senju/ENリリース ※混在ツールの統合

Senju/SMリリース ※ITSMSの実現

更なる自動化基盤を推進

11


「つくり1年、廻し10年」 → 「使いながら良くする」

アジャイルリーン・スタートアップ

DevOps・・・

開発期間短縮リリース作業頻発

12


定常作業

運用改善テーマ

運用業務

変更・リリース作業

障害対応

更なる自動化

運用スピードUP

人的ミス防止

見える化

13


14





まとめ


①考慮漏れ＝基盤設計時の検討不足など

→運用は設計時から作りこむ

②運用ミス＝運用担当者の手順指示ミスや申請ミス →変更管理を徹底

③作業ミス＝オペレータの操作ミス

→現場の改善と自動化

④不可効力＝ハード障害やソフトの未知のバグなど →リスク管理の随時見直し

人的ミスに対する対策ポイント

25%

31% 13%

31%

オペレーションミス

運用ミス

考慮漏れ

不可抗力

作業ミス

15

運用

ミス

考慮

モレ

不可

効力

作業

ミス

「人」起因は対応可能


ITIL®での重点ポイント

サービスストラテジ

需要管理

ポートフォリオ管理財務管理

サービスデザイン

サービスカタログ管理サービスレベル管理キャパシティ管理

可用性管理ＩＴサービス継続性管理情報セキュリティ管理

サプライヤ管理

サービストランジション

移行の計画立案

およびｻﾎﾟｰﾄリリース管理および

展開管理ｻｰﾋﾞｽの妥当性確認

およびﾃｽﾄ評価

サービスオペレーション

サービスデスクアクセス管理

要求実現インシデント管理

イベント管理問題管理

ＩＴ運用管理アプリケーション管理

技術管理

継続的サービス改善ＣＳＩ改善プロセス

サービス測定サービス報告

顧客/ユーザー

※ITIL® is a Registered Trade Mark of the Cabinet Office. 16

運用

ミス

考慮

モレ

不可

効力

作業

ミス

作業ミス

考慮モレ

運用ミス

不可効力


ＮＲＩ標準フレームワークへの組み込み

運用基盤アーキテクチャの標準化

運用受け入れ基準の明確化

システム開発時のフレームワークの工程に運用設計を組み込み

運用設計工程におけるアウトプットのドキュメントを標準化

開発/運用の役割分担・責任マトリクスによる明確化

システム監視基盤、バッチジョブ実行基盤としての運用基盤構成のアーキテクチャを標準化

運用共通基盤の利用ガイドラインイベント管理・インシデント管理・サービス要求基盤のＩＦを全プロジェクトに提供

リリース会議

における運用受け入れ基準の設定

運用受け入れ基準（約50項目）の遵守率を各システム毎に評価・検証

オペレーション訓練状況のチェックリストを評価・検証

リリース後のランニング工程における障害・イベント状況を継続的にウォッチ

運用

ミス

考慮

モレ

不可

効力

作業

ミス

17

①考慮漏れ NRIの事例：標準フレームワーク


開発と運用の壁

開発担当者運用担当者

運用部隊のサポートが弱い

何もしてくれない

開発部隊に言われるがままの単純作業受け入れ

単純作業が溢れ、本来やるべき障害対応の

サポート範囲が狭くなった

設計・開発時に運用品質のために考慮してほしいチェックポイント集を作成

・障害連絡（電話＆メール）

・リブート運用（手動）

・テープ交換（手動）

・テープ搬送（手動）

・Diskランプチェック（手動）

・大量メッセージ出力（目視で切り分け、無視）

・システム締め延長運用（手動）

・ジョブ登録（手動登録）

・テープ交換（DISK化、ライブラリにより、自動交換）

・テープ搬送（ネットワークを利用し、データ伝送化）

・Diskランプチェック（ログ監視により自動化）

・大量メッセージ出力（SENでフィルタし、少出力化）

・システム締め延長（千手により、自動制御）

・ジョブ登録（千手オフライザ利用により、簡易登録化）

・障害連絡（千手により、自動電話＆メール通知）

・リブート運用（千手ジョブによる、自動化）

適用前適用後

①考慮漏れ NRIの事例：「べき・べからず集」

運用

ミス

考慮

モレ

不可

効力

作業

ミス

18


手順が明確化されておらず、指示内容があいまい

システムの中身が担当以外には判らず、変更申請の監査ができていない

変更が多すぎて、一つ一つをレビューする事が出来ない

結果

②運用ミス対策のポイントは、「変更管理」

19

運用

ミス

考慮

モレ

不可

効力

作業

ミス


②運用ミス変更管理の７つのＲ

変更を「提起（Ｒａｉｓｅｄ）」したのは誰か？

変更の「理由（Ｒｅａｓｏｎ）」は何か？

変更に求められる「見返り（Return）」は何か？

変更に伴う「リスク（Risk）」は何か？

変更を行うために必要な「リソース（Resource）」は何か？

変更の構築、テスト、実施の「責任者（Responsible）」は誰か？

この変更と他の変更との「関係（Relationship）」は何か？

20

運用

ミス

考慮

モレ

不可

効力

作業

ミス


人材育成

③作業ミス対策のポイントは「改善意識と自動化」

21

運用

ミス

考慮

モレ

不可

効力

作業

ミス

ヒューマンスキル

ビジネススキル

ITスキル

現場の改善意識

改善活動の支援（例：KY活動）

活動の見える化（例：エン楽会）

etc…

業務自動化

ツールによる自動化外部業務委託

etc…


③作業ミス業務の標準化・自動化

22

SSAにより自動実行

予定日付／予定時刻の到来をもって、SSA機能によりRBAが自動実行される

リリースフローの自動実行

・手動オペレーションを削減し、属人化を排除

・業務を標準化し、システムで代行可能

運用

ミス

考慮

モレ

不可

効力

作業

ミス


④不可抗力リスク管理の定期的見直しが重要

23

• 所有から利用へ

• 利用形態の多様化

• 情報の事業影響度大

リスク移転

リスク回避

リスク保有

リスク低減

低発生確率高

大

影

響

度

小

Ｐ

Ｃ

Ａ

Ｄ

運用

ミス

考慮

モレ

不可

効力

作業

ミス

コストと品質のバランス頻繁な見直しが必要


24





まとめ


運用業務の見える化（定性データ）

業務や技術の問題

ドキュメント・手順書整備の問題

定常業務に加え、緊急の依頼が多い

無駄なメッセージの対応に時間がかかる

状況把握に時間がかかり、対応が遅くなる

クラウド・仮想化の管理法が不明

覚えるべき技術やツールが多い

情報・ノウハウ共有の問題

運用のノウハウが蓄積できていない

パートナーが多くてノウハウが貯まらない

ゴリ押しの特殊運用は特定の人しか判らない

パートナー社員は雇い主に改善依頼を言いにくい

役割が明確になっておらず、タスクが放置される

過去の履歴が管理しきれない

障害は詳細確認前でもすぐに連絡して欲しい

運用状況をリアルタイムに共有して欲しい

運用が持っている情報をユーザにも公開して欲しい

ドキュメントが更新されていない

ドキュメントの書き方や文言がバラバラ

運用手順がしっかり定義されておらず対応が不明

モチベーションやコストの問題

コスト削減がなかなかできない

モチベーション維持がたいへん

㈱野村総合研究所調べ 25

システム状況見える化

プロセス見える化

ナレッジ見える化

利用者・開発の声

コミュニケーション見える化

システム

状況ナレッジ

プロセスコミュニ

ケーション


運用

開発

① システム状況の見える化情報共有改善イメージ

オペレータオペレータ

運用管理

開発管理

ベンダーA

ベンダーB

ユーザー

顧客担当

マネージャー

関連部署

サーバ監視ジョブ運用

【これまでの運用イメージ】

運用開発複数拠点

開発管理

ベンダーA

ベンダーB

ユーザー

顧客担当

マネージャー

関連部署


マルチデバイス

対応ナビゲーション

情報連携基盤

データセンターオンプレミスクラウド

オペレータ

運用管理

ジョブ運用

サーバ監視

運用高度化運用ポータルセルフサービスポータル

申請・承認ワークフロー

自動オペレーション

イベントフィルタ

自動通知サービス要求状態

運用レポート

ナレッジ・FAQ

ワークフローイベント集約

ダッシュボード

ビジネスインパクト分析

【これからの運用イメージ】情報取得・通知

操作・対応

連携・指示

26

システム

状況ナレッジ


ケーション


② ナレッジの見える化データ蓄積

27

システムA

開発

運用

保守

システムB

開発

運用

保守

システムC

開発

運用

保守

システムA

システムB

システムC

開発

運用

保守

システム

状況ナレッジ


ケーション


データ

情報

ナレッジ知恵

② ナレッジの見える化「情報」を「知恵」に昇華

データを整理関係を理解

情報を分析パターンを把握

ナレッジを組合せ意思決定を誘導

DIKWモデル

D ：Data（データ）

I ：Information（情報）

K ：Knowledge（知識）

W ：Wisdom（知恵）

28

システム

状況ナレッジ


ケーション


対応の証跡を今すぐ見せて

③ プロセスの見える化プロセス整備前・後

29

ログを送れと言われてもよく分からない

ユーザA ユーザA ユーザB ユーザC

いつまで待たせるんだ !

ユーザB

いつものベンダさんに聞こう

ユーザC

どこに問合せればいいの？

ユーザD

アプリA 開発者

アプリB 開発者

インフラ担当者

ベンダA社担当

ベンダB社担当

ベンダC社担当

監査担当者

運用担当者

とりあえず直せばいいでしょ

急いでと言われても勝手に変更できない

私に聞かれても困る

ユーザに依頼されたから直接リリースした

そういうことは運用に聞いて

関係ないベンダにクレーム入れたのは誰?

本番にリリース ? 聞いてない・・

また同じ問合せ

システムシステム

29

インシデント

解決

問題既知のエラー

変更要求（RFC)

リリース

問合せ/申請

記録・参照

過去のインシデント

既知のエラー DB

構成管理 CMDB

参照

FAQ

ユーザD

システム

状況ナレッジ


ケーション


④ コミュニケーションの見える化情報共有改善イメージ

メールログ情報経過管理構成管理

etc :

監査担当者

運用担当者

ベンダ担当

アプリ開発者



30 ユーザA ユーザB ユーザC

アプリA 開発者

アプリB 開発者


ベンダA社担当

ベンダB社担当

ベンダC社担当

監査担当者

運用担当者

ユーザA ユーザB ユーザC

システム

状況ナレッジ


ケーション

30


①システム状況の見える化

→必要な情報の抽出、公開

②ナレッジの見える化

→スキルベースからナレッジベースへ

③プロセスの見える化

→サービスデスクを整備

④コミュニケーションの見える化

→情報共有基盤の整備、現場定着

「見える化」対策のポイント

31

システム

状況ナレッジ


ケーション

見える化

見せる化

魅せる化


32





まとめ


自動化技術

【自動車の自動化技術】

– オートマチック

– アンチロックブレーキ

– エアバック

– オートクルーズ

– カーナビゲーション

【Senju Familyの運用自動化技術】 – モニタリング

– ジョブスケジュール

– メッセージアクション

– 高度フィルタリング

– ランブックオートメーション

– Senju Service Automation

33

運用無人化自動運転

物人


自動化の課題

34

自動車運転

自動化

人の判断見える化

システム運用

自動化

人の判断見える化


自動化の目的

【自動車運転自動化】

① 渋滞解消

② 事故防止

③ 省エネ

【システム運用自動化】

① 運用スピードUP

② トラブル防止

③ コスト削減

35

・運転手の不満、６割が渋滞

・交通事故原因、９割が運転技術ではなく見落とし

・所有から利用へ

・人的要因のトラブル撲滅

・人手運用の限界


・イベントオートメーションのアウテージ時間（平均時間：８３分。自動化未使用時：４時間）（出所：ＮＲＩ-Ａ調査レポート）

自動化未使用時４時間 → 自動化後平均８３分。

・ＤＥＴＥＣＴ（検知）

問題の存在を検知するまでが２２分。

（監視ツールによるイベント自動検知機能を使用）

・ＩＤＥＮＴＩＦＹ（判明）

問題の内容を正しく判明するまでの時間。

問題の関連付、特徴付、テクニカルチーム等の割り当て処理を含む。

・FＩＸ（解決）

問題を受け取ったテクニカルチームによる、

問題の修正に費やす時間。

正しい問題分類処理にも密接に関係する。

自動化効果調査レポート

36


運用自動化（Senju Service Automation）イメージ

最終承認者による承認が完了すると、申請状況が「承認済」となる

予定日時が到来すると・・・ランブックが自動実行される。

予定日時が到来するまでは、依頼待ちのステータス。

開発担当者

運用責任者オペレータ

②受付/承認 ①申請 ③オペレーション指示

業務サーバ

④実行/結果確認 ⑤実行結果連絡

Senju Service Manager Senju Enterprise Navigator Senju Operation

Conductor

④実行指示

①申請 ②受付 ③承認 ⑤自動実行 ⑤実行結果連絡


38





まとめ


定常作業

まとめ

変更・リリース作業

障害対応

更なる自動化

運用スピードUP

人的ミス防止

見える化

考慮漏れ

運用ミス

作業ミス

不可効力

状況把握

ナレッジ

プロセス

コミュニケーション

開発考慮

変更管理

リリース管理

リスク管理

抽出/公開

収集/分析


情報共有基盤

運用ミス

考慮モレ

不可効力

作業ミス

システム

状況ナレッジ


ケーション

運用業務改善テーマ原因→解決将来

39


ご清聴、誠にありがとうございました。お問い合わせ、ご感想等は下記までお願いいたします。

40

Documents

システム運用で怖いのは 「人的ミス」 と 「見えない」 こと。conf.itsmf-japan.org/conf10/dlpage/con/A1-3.pdf · ・システム締め延長（千手により、自動制御）

システム運用で怖いのは「人的ミス」と「見えない」こと。conf.itsmf-japan.org/conf10/dlpage/con/A1-3.pdf · ・システム締め延長（千手により、自動制御）