ログ分析からセキュリティ監視まで：Oracle Management Cloudで実現するIT運用データのビッグデータ分析 [Oracle Cloud Days Tokyo 2016]

ログ分析からセキュリティ監視まで：Oracle Management Cloudで実現するIT運用データのビッグデータ分析

日本オラクル株式会社 Cloud/Big Data/DISプロダクト本部小幡創

2 Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。


OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。

Copyright © 2016 Oracle and/or its affiliates. All rights reserved. | 4

Mark Hurd -- Oracle OpenWorld Keynote 09-19-2016 https://www.oracle.com/openworld/on-demand/index.html


Mark Hurd -- Oracle OpenWorld Keynote 09-19-2016 https://www.oracle.com/openworld/on-demand/index.html


2025年までに新規本番システムの80%がクラウドへ

オラクルは最もはやく成長しているが、競争も熾烈

今後5～10年は「ハイブリッドクラウド・マルチクラウド」の時代

ハイブリッド・マルチクラウド時代のチャレンジ


散在するリソース

トラブルシューティング

セキュリティ

「各部署でさまざまなクラウドを使っておりオンプレミスにもVMが山ほど。本当に使われているのか？逼迫してないか？」

「ログや監視データをもっと活用してトラブルを防ぎたい。でも運用に入ると問題分析に必要な情報をすぐに入手できない」

「暗号化や監査情報が散在していて可視化できていない。どうやって脅威をプロアクティブに発見・分析すればよい？」



散在するリソース

トラブルシューティング

セキュリティ

「各部署でさまざまなクラウドを使っておりオンプレミスにもVMが山ほど。本当に使われているのか？逼迫してないか？」

「ログや監視データをもっと活用してトラブルを防ぎたい。でも運用に入ると問題分析に必要な情報をすぐに入手できない」

「暗号化や監査情報が散在していて可視化できていない。どうやって脅威をプロアクティブに発見・分析すればよい？」

IT運用で発生するさまざまなビッグデータを一元的に集約し

ビッグデータ分析できるプラットフォーム・アプリケーションが必要


• 従来型オンプレミス IT管理製品

• PaaS/IaaSベンダー管理ツール

• SaaS型IT管理製品


オンプレミスのインフラ監視が中心

自社クラウド内の管理が中心

単一ソリューションに特化

Oracle Management Cloud

モニタリング

診断

パフォーマンス管理

オーケストレーション

スケジュール構成管理

レポーティング

通知ログ

分析・解析

リソース管理


Oracle Management Cloud

モニタリング

診断

パフォーマンス管理

オーケストレーション

スケジュール構成管理

レポーティング

通知ログ

分析・解析

リソース管理


情報システム部門が必要とするツールを総合的にクラウド(SaaS)ベースで提供

• サーバーレスですぐ使い始められる • ネットワークや組織のカベを超えて情報共有 • 各サービスが連携されビッグデータ分析を実現 • ヘテロジニアス環境・マルチクラウドに対応

Oracle Management Cloudのサービス

Application Performance Monitoring

Log Analytics

IT Analytics


Infrastructure Monitoring

Compliance Orchestration Security

Monitoring and Analytics

Oracle Management Cloudのサービス


Log Analytics

IT Analytics



Compliance Orchestration Security

Monitoring and Analytics

アプリケーション性能とユーザー体験を可視化し、

満足度を向上

あらゆるログデータを収集、可視化することで、新しい知見を抽出

ITリソースの利用状況を横断的に集約・分析し、投資判断を支援

クラウドやオンプレミスをまたがりITコンポー

ネントを監視

継続的アセスにより ITシステムの脆弱性を発見・スコア化

クラウドスケールのタスクスケジューリングと自動実行

あらゆる運用データをもとにセキュリティの脅威を発見、対処

Oracle Management Cloudを支えるプラットフォーム


マシンラーニング

ビッグデータ処理基盤

検索エンジン

通知サービス

統合データモデル


Log Analytics IT Analytics


Compliance Orchestration Security Monitoring and Analytics

マシンラーニングエンジンの例：「外れ値」検出

15

ベースライン自動作成「通常と違う値」を検知

AJAXコールのレスポンス時間

Copyright © 2016 Oracle and/or its affiliates. All rights reserved. |

マシンラーニングエンジンの例：ログのトレンド相関分析


27000件以上のログエントリを

110種類のパターンに分類

出現パターンが似ているログを自動検知

マルチ・ハイブリッドクラウド、ヘテロジニアス環境に対応


ログ、運用データ等

Oracle Cloud

他社クラウド

オンプレミス他社製品

オンプレミスオラクル製品

マルチ・ハイブリッドクラウド、ヘテロジニアス環境に対応


ログ、運用データ等

Oracle Cloud

他社クラウド

オンプレミス他社製品

オンプレミスオラクル製品

IT運用で発生するさまざまなビッグデータを一元的に集約・連携し、

Operational Insight (実用的な知見)を得られる Oracle Management Cloud

ユースケース1: マルチクラウド時代のリソース最適化


Application Performance Monitoring ＋

Infrastructure Monitoring ＋

IT Analytics Oracle Cloud

他社クラウド

オンプレミス

「もっともリソースが余っている・ひっ迫しているサーバーは？」「性能が低下しているDBは？」「今後のリソース使用予測は？」に対する知見を提供

ユースケース2:クラウド時代のトラブルシュート高速化


エンドユーザー

アプリケーション

インフラストラクチャ

ログファイル

ユースケース2:クラウド時代のトラブルシュート高速化


エンドユーザー

アプリケーション

インフラストラクチャ

ログファイル

Log Analytics

大量のログからトラブル解決の手がかりを発見

ログを活用し

トラブルの兆候を未然に検出



OS、VM、RDBMS、NoSQL、APサーバー、ストレージ、クラウドなどあらゆるITコンポーネントのメトリックを監視

E/U性能監視

ユーザーが体感した遅延を監視

遅延ページやAjaxコール、発生時間を発見

アプリケーション性能監視

Servletや外部呼び出し、SQLなどの性能を分析ベースライン技術により「外れ値」を検出

ユースケース3: セキュリティビッグデータ分析



Log Analytics

Compliance

Orchestration

Security Monitoring and Analytics

ユーザーアクティビティ監視データ

ログデータ

ITセキュリティアセスメントデータ

脅威への対処

あらゆる運用データをもとにセキュリティの脅威を発見、対処

ソリューション適用の例


ディーラー・代理店向けシステム(製造業・流通業等)

B2C、B2B2Cのアプリケーションでは顧客体験をリアルタイムに監視し、トラブルに対して即座に対応できなければビジネスチャンスを失ってしまい

ます OMCでは、ユーザー体験からアプリ性能分析、ログ分析まで統合的に実

現できます

決済サービス(金融業等)

決済の実現には複数のシステムが連携して安定したサービスレベルを保つことが欠かせませんが、複数のチームをまたがるシステムの監視や障害分析は楽ではあり

ません OMCは組織やシステムをまたいだ一元的なトラブルシューティングのビューを提供します

グループ会社共通IT

各会社に対するサービス品質を監視しながら、多様なテクノロジーをサポートし、多数のサーバー・VMのリソースを最適化する

必要があります OMCは多数・多様な環境に対して運用ビッグデータを一元化し、「発見」「気づき」を支援します

アプリケーション・パフォーマンスをエンド・ツー・エンドで”見える化”


たとえば・・・ • アプリが遅いとクレームが・・どこが本当に遅いのかな？ • 調べたいけど大量のデバッグログは出せない・・ • 早く見たいのに本番環境での情報取得は時間がかかる！

Application Performance Monitoring (APM)

• グラフィカルな画面でアプリケーション性能を詳細に分析し、ユーザーからクレームが来る前に対応

• クラウドベースですぐ使え、組織やシステムのカベを超えて情報連携。ログ分析連携でエラー詳細も簡単把握

主な機能 • AP性能の詳細分析

(サーブレット/外部呼出し等)

• E/U性能分析(含Ajax) • Log Analyticsとの連携

こんな方にオススメ • 業務システムの性能を見える化したい開発・運用の方 • 運用環境の性能問題を迅速に解決したい方(DevOps等)

主な対応プラットフォーム • WebLogic Server • Tomcat/JBoss/WildFly • IIS (.NET) / WebSphere • Node.js

料金体系 • $250/月/JVM ～

(non-Metered)


使用イメージ

25

現状 APM Cloud Service

キャンペーン管理(Tomcat)

• 業務プロセスの背後で複数のシステムが複雑に連携 • 各システムが個別に管理され、管理度合いもまちまち • 開発者が必要な情報を手に入れることができない

信用情報照会

会員情報管理(WLS)

ポイント計算処理(.NET)

ゲートウェイシステム(Tomcat)

管理者「ウチは問題ありません」

管理者「ウチ性能データ取ってない

です」

管理者「ウチは外部ASPですから・・」

「処理が遅い！」

• アプリケーションの性能を、システムをまたいで統合的に分析 • WebLogic ServerだけでなくTomcatやJboss等ヘテロな環境を分析可能

• 複数の担当者間で単一の「事実」を共有することができる


アプリケーション&インフラのシステムログ解析サービス

Log Analytics

26

たとえば・・・ • 昨日一日に何件の窓口受付処理があったんだろう？ • 障害対応ですぐログがほしいのに取得に時間がかかる！ • 無視可能なログが多すぎて重要な情報が見つからない・・

Log Analytics

• ログをビジュアルに解析し、今まで気づかなかった知見を獲得。障害の早期解決や、ビジネスの改善へ

• クラウドベースで本番環境にアクセスせずにログを参照でき、組織やシステムのカベを超えて情報連携可能

主な機能 • ログのパースと可視化 • クラスタリング分析 • 事前定義済みパーサー

こんな方にオススメ • ログから業務システムの状況を可視化したい方 • 大量ログの分析や共有に課題をお持ちの方

主な対応プラットフォーム • Linux(Oracle, RedHat) • Solaris • AIX • Windows

料金体系 • $1500/月/300GB ～

(non-Metered)

2016-02-29 19:23:42,317 [[ACTIVE] ExecuteThread: '6' for queue: 'weblogic.kernel.Default (self-tuning)'] ERROR console.ConsolePerfCollector logp.251 - Session Expired while processing page with viewId null,so tracing for the page is not recorded. ConsolePerfTraceData is... 2016-03-11 17:10:08,130 [EMUI_17_10_08_/console/database/instance/orarep/sqlmonitor/list] ERROR reports.ReportXmlBean logp.251 - getReportXML SQLException: ORA-31011: XML解析に失敗しました ORA-19213: 行 1 LPX-00118: Warning: エンティティ“amp;inst_id=1&amp”が未定義です ... 2016-04-11 04:30:10,069 [Job Step 19871 Job Long-System Pool:JobWorker] ERROR metadata.TargetMetadataManager log.? - /u01/app/em/oracle_common/ccr/sysman/admin/metadata/oracle_si_virtual_server_map.xml (そのようなファイルやディレ>クトリはありません) 2016-04-29 18:50:28,628 [Job Step 68825 Job Critical Pool:JobWorker] ERROR jobs.pingCfmEMDDown pingEMDURL.493 - pingCfmEMDDown: pingEMDURL : Failed to reverse ping. Try = (1/2) EMD =


お客様事例 – Log Analytics


Before After

代理店・販売店から問い合わせ

監視システムには特にメッセージは上がっていません

運用担当

確かに接続がブロックされてますね。APにエラーが出てないですか NW担当

AP担当ログを見ましたが、DB接続エラーで

すね。DBを見てください

2時間後

6時間後

DB担当リモートクライアントからの接続要求が普段より多すぎます。なぜでしょう

セキュリティ担当

クライアントに余計な権限を渡してしまっていました・・(根本原因)

9時間後

次の日

だいぶ後

• 組織やシステムごとにばらばらにログ分析 • テキストエディタやExcelなど手作業による非効率な分析 • 時間範囲指定検索や集計、グラフ化などの分析が困難

まずはIPアドレスとだいたいの時間で絞り込んで・・・

表示されたすべてのログから、さらにエラーと警告を抽出

エラーが出る前の変更ログは・・なにか権限追加をしているな！

• Web検索をするかのように、ログを検索 • 一つのコンソールからシステムや組織のカベを超えて検索 • 時間範囲指定やグラフ化など人間に理解しやすい分析 • トラブルシューティングの時間を大幅に短縮可能

15分

ITに対するビジネスインテリジェンスをクラウドで提供

IT Analytics

たとえば・・・ • 過去3ヶ月間で最もリソース使用増加が多いシステムは？ • Excelはデータ量が多いとハングするし情報共有が不便 • エンタープライズBI製品を導入するのは大掛かりすぎる

IT Analytics

• リソース情報やパフォーマンス情報から「気づき」を得るための事前定義済みダッシュボードやインタラクティブ分析機能

• クラウドベースで本番環境にアクセスせずにログを参照でき、組織やシステムのカベを超えて情報連携可能

主な機能 • データ自動収集 • データ・エクスプローラ • ダッシュボード

こんな方にオススメ • リソースやキャパシティ情報を可視化したい方 • 部門やネットワークをこえた情報共有を進めたい方


料金体系 • $350/月/processor ～

(non-Metered)


「気づき」を得るための事前定義済みダッシュボード


Host Resource Analytics

多数のサーバー・VMの中から使われていないもの、リソースが逼迫しているものを発見

Availability Analytics

ダウンタイムやイベントに関する傾向や統計を提示

Application Performance Analytics

APMデータを長期分析。「実は特定ブラウザからのアクセスがほかより遅かった」など

Database Performance Analytics

多数のデータベースから知見を抽出。「最も急速に性能が劣化しているSQL文は？」など

あらゆるITコンポーネントをメトリック監視



たとえば・・・

• インフラ監視は行っているが、オペレーターしか見ることができず、トラブルシューティングの際にすぐに確認できない。クラウドの監視は別になっている Infrastructure Monitoring

• クラウドベースのシンプルで拡張可能な監視により、オンプレミス、クラウドのあらゆるITコンポーネントのメトリックを収集、アラート通知、即座に分析

主な機能 • 監視ダッシュボード • アラート通知 • 監視対象の拡張

こんな方にオススメ

• アプリケーションからインフラまで包括的な監視とトラブルシューティングを行いたい方


料金体系 • $500/月/100

monitored objects (non-Metered)

Oracle Management Cloudで実現する IT運用データのビッグデータ分析


統合プラットフォーム

✔ セキュリティ

✔ リソースの最適化

✔ トラブルの予防と対応の高速化

https://cloud.oracle.com/ja_JP/management


34

Oracle Digitalは、オラクル製品の導入をご検討いただく際の総合窓口。電話とインターネットによるダイレクトなコニュニケーションで、どんなお問い合わせにもすばやく対応します。

もちろん、無償。どんなことでも、ご相談ください。


http://www.oracle.com/jp/contact-us/index.html



Technology

ログ分析からセキュリティ監視まで：Oracle Management Cloudで実現するIT運用データのビッグデータ分析 [Oracle Cloud Days Tokyo 2016]