オープンソースBI Petnahoによるビッグデータ分析 - pentaho ......Pentahoについて • サブスクリプションモデルによるビジネスインテリジェンスのリーダー企業

オープンソースBI Petnahoによるビッグデータ分析

株式会社KSKアナリティクス

KSKアナリティクスについて

© 2012, Pentaho and KSK Analytics. All Rights Reserved.

2

会社名株式会社KSKアナリティクス (KSK Analytics Inc.)

ミッション “Data to Knowledge”（データを価値ある情報へ）

事業内容

1.アナリティクス・ソフトウェア事業：オープンソースを中心としたデータ分析・情報活用ソフトウェアの販売、サポート、ローカライズ、トレーニングの提供。 2.アナリティクス・ソリューション事業：HadoopやBIツールなど複数のオープンソースを組み合わせた分析ソリューションの提供

取扱OSBI製品

ＢＩデータウェアハウスデータマイニングプランニング

沿革

2006年8月大阪市にて会社設立 2007年10月 Pentaho社とのパートナー契約を締結、国内サービスを開始 2008年1月東京オフィスを開設 2010年6月 Infobright社とのパートナー契約を締結、国内サービスを開始 2011年1月 Pentaho Global Partner Award 2011を受賞 2011年4月 Rapid-I社とのパートナー契約を締結、国内サービスを開始 2011年9月 Pentahoプラチナリセラーに昇格 2012年2月 Jedox社とのパートナー契約を締結、国内サービスを開始

Pentahoについて

• サブスクリプションモデルによるビジネスインテリジェンスのリーダー企業

• 多くの実績:

• 1,200以上の商用ユーザー

• 10,000以上のデプロイメント

• 185か国

• BI/BAのオープンソース・プロジェクトを数多く支援

3

INDUSTRY RECOGNITION OVER 160 PARTNERS GLOBALLY


なぜPentaho？

© 2012, Pentaho and KSK Analytics. All Rights Reserved. 4

イノベーション & 拡張性

カスタマーサービスの優位性

トータル価値

8週間でマーケットへ 2週間でマーケットへ

4000万円以上のコスト削減

75% ソフトウェア費用削減

20,000 ソースの音楽ファイル

1000 店舗すべての業務レポート

1か月以下のROI

会員500万人のl購買パターンを分析

500,000人の患者のレコードの分析

“… トップクラスのプロフェッショナルサポート”

“ソフトウェアと同じくらいサポートが充実”

“… プロジェクトを通じて、良いパートナーだった”

“…ROI はすぐに出た.”

予算内の4か月ですべてを構築

1日でマーケティングダッシュボードを作成

デプロイメントのスピード

“サポートが大変良い（回答の内容やその早さ）”

http://www.pentaho.com/customers/56/cipal/

Pentaho主要機能


アナリスト / パワーユーザー

データマイニング

情報ユーザー/ 経営陣ダッシュボード

アナリスト/ ビジネスユーザー

分析

ビジネスユーザーレポート

開発者 / DB管理者データ統合

アドバンスドな予測分析

セルフサービス＆インタラクティブ KPI、地図、チャート

セルフサービス＆インタラクティブ非定型OLAP分析

アドホックレポート業務レポート

高性能なデータ統合, ビッグデータ, クレンジング、プレゼンテーション

ダッシュボード


レポート – インタラクティブ, 定型, 配信


レポート – テンプレート & スタイル


アナライザー（分析）


ビッグデータ？


• Volume（量）：TバイトやPバイトクラスのデータ、日次で発生

• Variety（多様性）：構造化で加えて非構造化データ

• Velocity（速度）：ログやセンサー情報など、増加し続ける（Bigger Data）

14

シナリオ1 シナリオ2 シナリオ3

シナリオ 1


業務データベースダッシュボード

レポート

シナリオ 2


データマート / ウェアハウス

メタデータ


レポート

アナライザー

シナリオ 3


非構造化データ

構造化データ

ビッグデータテクノロジー

and/or

ステージングエリア

Pentaho Data Integration

ソースデータ取得

必要な初期統合


クレンジング

データ変換

Change Data Capture

データウェアハウス管理

PDI PDI メタデータ


レポート

アナライザー


さらなるバリエーション


アドホックデータ

アラート Eメール & 添付

18

非構造化データ

構造化データ

ビッグデータテクノロジー

and/or

ステージングエリア


ソースデータ取得

必要な初期統合


クレンジング

データ変換

Change Data Capture

データウェアハウス管理

PDI PDI メタデータ


レポート

アナライザー


OLTP 構造をスタースキーマへ


業務データベースデータウェアハウス／データマート

異なるフォーマット


20

PDIコンポーネント


• Spoon – モデリングのためのグラフィカルな環境

– 「データ変換」は、データの流れを定義するメタデータモデル、一連のデータ処理

– 「ジョブ」は、ワークフローのようにETLのリソースや実行を定義するモデル、複数のデータ変換を実行

• Pan – Spoonでモデリングしたデータ変換を実行するコマンドラインツール

• Kitchen – Spoonでモデリングしたジョブを実行するためのコマンドラインツール

• … そして、Kettle – このエンジンそのものの総称

KDE ETTL Environment

21

Spoon Interface – Designing a Transformation

Job Example

PDIコンポーネント


• エンタープライズ版データ統合サーバー – リモート実行とモニタリング

– 統合スケジューリング

– エンタープライズセキュリティ

– コンテンツのバージョン管理

– リモート分散クラスター実行

22

Pentaho主要機能






分析








Cloud Friendly!!

外部のデータソース取込

情報配信分析プラットフォーム

サブスクリプションモデル

“伝統的な” データベースをサポート


データ統合／分析

etc etc etc

幅広いビッグデータプラットフォームをサポート

25 © 2012, Pentaho and KSK Analytics. All Rights Reserved.

Hadoop NoSQL Analytic Databases

amongst others

ビッグデータ・アーキテクチャー


データレイク

データマート

データソース

データウェアハウスアドホック

その他情報

Pentaho for Hadoop


• 容易なデータ統合 – 外部データとHadoopデータ

• 技術的な障壁を下げる - MapReduceジョブを作成・管理するグラフィカルなデザイン環境

• 簡単に高性能なデータマートを生成 – インタラクティブな分析を可能に

• 総合的なBIソリューション – レポート、アドホック（非定型）クエリー、インタラクティブ分析でビッグデータに対応

Log

Files

Hadoop

Pentaho Data Integration Jobs

DBs and

other sources

Batch Reporting

and Ad Hoc Query

Interactive Analysis

Data Marts

Agile

BI

H D F S

Hadoopオプション


Java MapReduceジョブ or

Pigスクリプト

ビジュアルMapReduce plus

Jobオーケストラ

Mix & Match

もしスクリプトで作成していたら、PDIジョブから呼び出し可能。既存資産も有効活用。

統合マネジメント


単なる処理だけではない…

確認監視実行通知

Case Study


Pentahoのメリット

• Eメールやソーシャルによるキャンペーンデータ、大量のWebログクリックストリームのデータセットを分析

• 500万人のメンバーの購買パターンを理解する

• コードを書くことなくMapReduceジョブをデザインできる簡単なETL、技術的な障壁を低くする

なぜPentaho？

• Hive経由でのHadoopデータに対するアドホックなレポート

• Hadoop, データウェアハウス, OLTPデー

タを横断的にブレンドした情報を提供できるETLツール

ビジネス課題

クラウド環境で何十億レコードものデータを追跡し、分析したい

.

“Ideeliは、Pentahoを選択しました。なぜなら、Hadoop, Hbase, MapReduceの機能が

Pentahoデータ統合にビルトインで入っていたからです。これにより私たちのビジネスの事実を把握することが可能になりました。.”

ポール・ザニス, データサービスディレクター

Case Study



• Hadoop統合, データ統合, レポート, ダッシュボード, 非定型分析を含む統合的なBIプラットフォームを構築

• KSK Analyticsによる24週間のPentaho-Hadoop構築サービス

• さらにInfobrightとの組み合わせにより, 本分析サービスは大量データ

を非定型分析で使用できる、複数年度にわたる詳細な顧客の利用情報を多面的に見ることが可能

Why Pentaho

• フルスイートのBIプラットフォーム

• Hadoopへの容易なアクセスにより、初めてのHadoopプロジェクトの障壁が下げられた

• HadoopやInfobrightを含めた分析基盤構築のプロフェッショナルサポート

ビジネス課題

他社との差別化のために、より長期的、多面的な顧客データの分析を行いたい。しかし、従来のデータベースでは顧客の利用状況やシステム運用状況についてのログデータが利用できなかった

某大手Webマーケティング企業様

データマートデータウェアハウス

Webログデータ

PDI PDI

データレイク

ビジネスインテリジェンス

レポート

OLAP


アドホック

Case Study



• 大量データに対する簡単使用のビジュアライズとデータ分析

• 3倍以上に改善されたレポート発行速度と表現の柔軟性

• ビジネス部門だけでのデータアクセス、データ分析、ビジュアライズによりIT部門の負荷が軽減

なぜPentaho？

• Hadoop とHiveからのデータ取得、分析

• 分析に詳しいプロフェッショナルサポート

• ビジネス部門のためのセルフサービス分析＆レポート

• コストパフォーマンス

ビジネス課題

個別の製品のレポート機能を組み合わせるレガシーシステムを使用してきたが、その結果、レポーティングが非効率で時間のかかるものになっていた

“Pentahoは私たちのビッグデータ環境に完全にフィットする製品です”

イブラハムハッセイ, データウェアハウスディレクター, TravelTainment

Case Study



• 大量のログデータに対する容易なビジュアライズ

• ビジネス部門の担当者によるセルフサービスのレポート、アドホックなピボット、集計、グルーピング

• レポートのスケジューリング、定期配信

Why Pentaho

• トレーニングの要らないドラッグ＆ドロップの操作性（アナライザー）

• Hadoopを含むさまざまなデータソースのデータ統合

• コストパフォーマンス

ビジネス課題

各種マーケティング施策を立案するために必要な事実データをビジネス部門のリクエストに応じて提供。しかし個別に対応するために時間とコストがかかっていた。

某大手オンラインゲーム会社様

Pentaho主要機能






分析








コンポーネントとして独立

統合


Pentaho

BI Server 他の

アプリケーション

Pentaho

カスタム拡張プログラム

独自のアプリケーション

Pentaho

コンポーネント

Thank You


製品に関するお問い合わせは、下記までお気軽にご連絡ください。

株式会社 KSKアナリティクスセールス＆マーケティングチーム www.ksk-anl.com [email protected]

東京オフィス：東京都港区港南2-15-1 品川インターシティA棟 28F TEL:03-6717-4538 FAX:03-6869-0148

本社オフィス：大阪市中央区本町1-1-3 本町橋西ビル2F TEL:06-4705-7607 FAX:06-4705-7602

Pentaho日本語サイト

Pentahoについての、最新情報やお問合せ、体験版ダウンロードなどは以下のサイトをご覧ください。

www.pentaho-partner.jp
http://jedox-partner.jp/http://jedox-partner.jp/http://jedox-partner.jp/

Documents

オープンソースBI Petnahoによるビッグデータ分析 - pentaho ......Pentahoについて • サブスクリプションモデルによるビジネスインテリジェンスのリーダー企業