Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Copyright © 2012 SAS Institute Inc. All rights reserved.
アナリティクスの高速化アナリティクスの高速化アナリティクスの高速化アナリティクスの高速化でででで
ビッグデータをビッグデータをビッグデータをビッグデータを迎え撃て迎え撃て迎え撃て迎え撃て!!!!
―次世代の次世代の次世代の次世代のSASソリューションソリューションソリューションソリューションVisual Analytics、、、、HPAのご紹介のご紹介のご紹介のご紹介
2012年年年年8月月月月2日、日、日、日、3日日日日
SAS Institute Japan株式会社株式会社株式会社株式会社
ビジネス開発本部ビジネス開発本部ビジネス開発本部ビジネス開発本部 Information Management & Analytics
マネージャー
石井宏司
2
Copyright © 2012, SAS Institute Inc. All rights reserved.
本日の本日の本日の本日のAgenda
� “ビッグデータ”の真意
� SAS® High-Performance Analyticsによる高速分析
� SAS® Grid Computing
� SAS® In-Database
� SAS® In-Memory Analytics
� SAS® High-Performance Analytics for Teradata / Greenplum紹介
� SAS® Visual Analytics紹介
� まとめ
3
Copyright © 2012, SAS Institute Inc. All rights reserved.
“ビッグデータ”の真意
4
Copyright © 2012, SAS Institute Inc. All rights reserved.
大きな成果を生み出す“分析”に企業は注力する必要がある
“分析”には十分な“データ”が必要
分析対象の“データ”は急激に増加している
� IDCジャパンは2010年~2015年における国内ディスク
ストレージシステム出荷容量の年平均成長率
(CAGR)を45.1%と予測し、同期間のファイルベース容
量のCAGRを59.3%と予測
� データ粒度の細かさ(サマリ->トランザクション)
� データ種類の増加(取引データ、顧客の行動
データ、顧客の属性データ、etc)
増え続けるデータ量に対応できる環境の必要性
ビッグデータの分析処理パフォーマンスが課題
分析環境・システムの課題分析環境・システムの課題分析環境・システムの課題分析環境・システムの課題
Source: IDC Japan, 2011/8
5
Copyright © 2012, SAS Institute Inc. All rights reserved.
速度
多様性
量
複雑性
既存システム環境
期待スピードに
間に合わない
ストレージの
許容量を超える
異なるデータタイプ
の混合分析が
できない
新たなデータタイプ
を解析できない
SAS社の“ビッグデータ”の定義:
分析対象のデータ量や処理速度、扱う必要のあるデータの種類が、正確でタイムリーな
意思決定のために企業が現行運用するシステム(ストレージや計算能力)では賄えなく
なっているもの。
ビッグデータとはビッグデータとはビッグデータとはビッグデータとは…………
6
Copyright © 2012, SAS Institute Inc. All rights reserved.
� ウィスコンシン州税務局 (政府・官公庁 : Wisconsin Department of Revenue)
�分断されたデータを統合し、解析することで、約32億円の税金を従来より短期間で素早く徴収
し、これまで見落としていた5億円の税金を新たに発見し徴収
� カタリナマーケティング (流通・小売 : 世界最大の顧客行動マーケティング会社)
�顧客の購買行動を予測し、従来手法に比べ、顧客を8倍誘因。マーケティング施策の多くは、
25%のレスポンス率を獲得
� Staples (流通・小売 : 米国の事務用品小売会社)
�既存店舗の過去の販売実績、立地属性情報などを解析し、毎年約5,000か所の出店候補地の
中から最適な立地を選定。結果、数百万ドルの閉店コストを削減
� 国内大手行/地銀各行 (金融・銀行)
�SASのイベント・ベースド・マーケティングのソリューションを導入し、データマイニングによって顧客の
購買行動を検知する最適なイベントを特定し、営業活動に役立て、収益を拡大
� エクスペディア (サービス・旅行 : 世界をリードするオンライン旅行会社)
�顧客やクリックストリームデータを含む約200テラバイトのデータを分析し、オンライン上の顧客経験を
最適化し、顧客生涯価値を増加させ、売上は最大10%、数千万ドル(数十億円)も急上昇
データマイニング活用事例データマイニング活用事例データマイニング活用事例データマイニング活用事例
7
Copyright © 2012, SAS Institute Inc. All rights reserved.
ビッグデータ・アナリティクス
SASの革新的なアプローチ
8
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® High-Performance Analytics~ビッグデータを高速に分析し、成果を出す!~~ビッグデータを高速に分析し、成果を出す!~~ビッグデータを高速に分析し、成果を出す!~~ビッグデータを高速に分析し、成果を出す!~
運用・展開の柔軟性: オンプレミス クラウド
アーキテクチャの柔軟性: SMP MPP Grid
9
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® Grid Manager
高可用性高可用性高可用性高可用性 柔軟性向上
ITリソース有効活用リソース有効活用リソース有効活用リソース有効活用 処理パフォーマンス向上処理パフォーマンス向上処理パフォーマンス向上処理パフォーマンス向上
負荷分散分散スケジューリング 並列負荷分散
Server Tier
Client Tier
Data Tier
SAS アプリケーション/プログラム
>データマイニング
>データ統合
>ビジネスソリューション
..etc
SAS データ
SAS メタデータ
..etc各種データソース
イメージ図
複数の異なるユーザー
により実行される異なる
ジョブを最適なリソース
に振分実行
単一の重いジョブを複
数のサブタスクに自動
分割し、それぞれ最適
なリソースに振分並列
実行
SAS® Grid Computing – アーキテクチャアーキテクチャアーキテクチャアーキテクチャ
10
Copyright © 2012, SAS Institute Inc. All rights reserved.
In-Database
機能タイプ機能タイプ機能タイプ機能タイプ
概要概要概要概要 例例例例
SAS® In-Database for
SAS® Solutions
データベース上に業務
ロジックを配置、実行
SAS® Anti-Money Laundering
SAS® Warranty Analysis
SAS® Marketing Automation..etc
SAS® Scoring Accelerator データベース上にSASスコア
リングモデル配置、実行
SAS® Enterprise Miner™で作成
されたスコアリングモデルの配置と
実行
SAS® Analytics Accelerator SAS/STAT、SAS/ETSなど
分析系プロシジャの拡張
相関分析や回帰分析など高度
な分析処理の実行
Base SAS : Format Publishing
& Function
データベース上に
フォーマット配置、利用
データ区分化処理などの実行
(年齢->年齢層に区分化など)
Base SAS : SQL Pushdown Base SASプロシジャの拡張記述統計集計処理の実行
(要約統計量、ランク、ソート、など)
In-Databaseは、データ加工や分析などの処理を対象データが格納されているデータベース側で実行させる機
能です。SASはデータベース側で処理済みの結果のみを受け取る形になる為、SASとデータベース間のデー
タ転送量が削減され処理パフォーマンスが飛躍的に向上します。また、データベースサーバーのリソース有効
活用も見込めます。
高度
対応DB
Teradata
Oracle (Exadata)
IBM DB2
Netezza
Greenplum
SAS® In-Database
11
Copyright © 2012, SAS Institute Inc. All rights reserved.
Data Warehouse / Database
SAS Scoring
SAS Modeling
Data Warehouse / Database
SAS Scoring
SAS Modeling
従来型のアーキテクチャ In-Databaseアーキテクチャ
SAS Modeling
スコアリング
対象データ
スコアリング
結果のみ
イメージ図
SAS Enterprise Minerで作成したモデルをDB内に埋
め込み、DB内で直接スコリング処理を実行できる。
少量のスコアリング結果だけがSASサーバーに返さ
れることで劇的な処理時間短縮を実現
SAS® Scoring Accelerator
12
Copyright © 2012, SAS Institute Inc. All rights reserved.
Teradata or EMC Greenplum
Database Appliance
SASクライアント
-統計分析:SAS/STAT®
-時系列予測:SAS/ETS®
-データマイニング:SAS® Enterprise Miner™
-データベース接続:SAS/ACCESS®
データ分散 並列分散・高度分析処理 インメモリー処理+ +
~SAS® High-Performance Analytics for Teradata / Greenplum~
SAS® In-Memory Analytics
12
13
Copyright © 2012, SAS Institute Inc. All rights reserved.
•HP Explore•HP Transform•HP Variable Selection•HP Impute•HP Regression•HP Neural Network...
SAS® Enterprise Miner™では、従来通りの簡単ドラッグ操作で、HPDMタブ内に搭載されている
ハイパフォーマンス処理用の機能ノードを使用し、データマイニングプロセスを作成し、実行できる
SAS® High-Performance Analytics
14
Copyright © 2012, SAS Institute Inc. All rights reserved.
END-TO-END HIGH PERFORMANCE CAPABILITIES
データ探索
DATA
EXPLORATION
モデル開発
MODEL
DEVELOPMENT
モデル展開
MODEL
DEPLOYMENT
• 記述統計
• 要約
• 予測型モデリング
• 変数選択
• モデル比較
• スコアリング
分析
ライフサイクル
データの探索からモデル構築そしてモデル展開、スコアリングまでの分析ライフサイクル全体
を高速化できる
SAS® High-Performance Analytics
15
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® High-Performance Analytics ::::活用分野例活用分野例活用分野例活用分野例
業種業種業種業種 活用分野活用分野活用分野活用分野
保険 テレマティクス, クレーム分析, 料率計算, 大災害モデリング
銀行 顧客分析, 動的価格設定, 不正シナリオ/エクスポージャ
通信 債権回収スコアリング, 請求ショック回避, ネットワーク検出&修復
流通・小売 価格最適化, 品揃え調整
政府・官公庁 未納税徴収, 犯罪予見・防止, 年金ポートフォリオリスク
製造 テレマティクスデータ, 各種装置データ/センサーデータ, 設備故障予
測
ヘルスケア 診療の品質と安全性, 顧客中心型健康保険, クレーム分析
医薬・製薬 臨床試験/シミュレーション, オーダーメード医療
全業種 顧客分析(セグメンテーション、新規顧客獲得、離反防止、等)
16
Copyright © 2012, SAS Institute Inc. All rights reserved.
~SAS® Visual Analytics~
In-Memoryテクノロジーを活用し、大量データ・ビッグデータに対する分析をアドホック
に、ビジュアルに、容易に、超高速で実行し、その結果をモバイル環境で共有でき
る、ハイパフォーマンス・データ探索製品
全てのデータを一度に数秒で解析し、即座に結果を共有する
SAS® In-Memory Analytics
17
Copyright © 2012, SAS Institute Inc. All rights reserved.
インメモリー
ビジュアルデータ探索/BI モバイルBI
(HDFS)
� 最先端テクノロジーを組み合わせた、他に類を見ないインメモリー分析エンジンを活用
ビッグデータ
廉価なブレードサーバー
HDFSを用いた
データ分散
インメモリー
並列分散処理
廉価なブレードサーバー構
成による柔軟な拡張
モバイル環境で
情報共有
ビジュアルで
容易で
アドホックに
超高速な分
析
� 大量データに対する超高速データ探索/超高速ビジネス・インテリジェンス活用を実現
SAS® Visual Analytics とはとはとはとは
18
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® LASR™ ANALYTIC SERVERインメモリー分析エンジンインメモリー分析エンジンインメモリー分析エンジンインメモリー分析エンジン
SAS® Visual Analytics : コンポーネントコンポーネントコンポーネントコンポーネント
ハブハブハブハブ
• 共通の入り口
• 全ての機能にアクセス
• 役割に基づくビュー
モバイルモバイルモバイルモバイル BI
• デザイナーで作成され
たレポートを閲覧する
専用iOSアプリ
データ準備
• データ加工
• データロード
• サーバーモニタリング
デザイナーデザイナーデザイナーデザイナー
• Web/モバイル向けレ
ポート/ダッシュボード
作成
エクスプローラーエクスプローラーエクスプローラーエクスプローラー
• アドホックなデータ
探索・分析・発見
19
Copyright © 2012, SAS Institute Inc. All rights reserved.
Explorer
� データ探索と発見
� 隠れた関係性や傾向、相違点などを発
見するデータの可視化
� 自動チャーティング
� 多様な可視化:棒グラフ、線グラフ、散
布図、バブルチャート、地図、その他
� アナリティクス:相関分析と回帰(線形、
ベストフィット)
� ダイナミックな階層指定:ドリルダウン、他
の系列へ ドリルアクロス
� 探索結果の保存と共有
SAS® Visual Analytics
アドホックなデータ探索&可視化
20
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® Visual Analytics Explorer データ項目をワークスペースへドラッグ
するとデータタイプや項目数によって
最適なチャート(棒、線、ヒストグラム、
散布図、など)を自動的に表示する
-自動チャート化機能
21
Copyright © 2012, SAS Institute Inc. All rights reserved.
Designer
� レポートやダッシュボードをデザイン
� 既存の探索結果やテーブルを活用し
たレポート作成
� WYSIWYG デザイン
� デザイナーで作成したレポートをビュー
ワーで閲覧
� 複数の異なるデータソースに基づくレ
ポート作成
� レポート上での可能操作設定/プロン
プト
� マルチセクションレポート
SAS® Visual Analytics
レポート作成者または分析者が、
レポートやダッシュボードを作成
22
Copyright © 2012, SAS Institute Inc. All rights reserved.
作成したレポートは、全てのチャネルやデバイスで閲覧可能!
SAS® Visual Analytics Designer
Web Viewerでレポート参照 モバイル上でレポート参照
デザイナーで作成
23
Copyright © 2012, SAS Institute Inc. All rights reserved.
� “順応性のあるプレゼンテーション” –作成した
コンテンツは様々なチャネルやデバイスに展
開可能
� iPad用の専用アプリケーション(Androidは次期版で対応予定)
� SAS セキュリティの活用
� デバイス暗号化、リモートワイプ、ブラックリス
ト、SSL接続などに焦点をあてたセキュリティ
� 高い可視化性能とダイナミックな操作性
� オフライン機能
� コメントを通したコラボレーション
Mobile BI
SAS® Visual Analytics
デザイナーで作成されたレポートやダッシュ
ボードをモバイルインタフェースを通して閲覧
24
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® Mobile BI::::レポート - ダイナミックな操作
チャート間自動
連動可能
25
Copyright © 2012, SAS Institute Inc. All rights reserved.
� LASR Analytic Serverセッションの開始/終了
� データ準備
� 複数テーブル間のジョイン
� 計算項目作成(式エディター)
� 行/列フィルター
� テーブルをメモリーへロード
� データをHDFSへロード
� HDFS内データをメモリーへロード
� セキュリティの適用
� SASコード出力
� SAS LASR Analytic Server のモニタリング
� リソース(CPU, I/O, メモリー)
� プロセス(ユーザーセッション)
� モバイルデバイスログ履歴とブラックリスト管理
Data Preparation
SAS® Visual Analytics
分析のための事前データ準備、
モニタリング、モバイルデバイス管理
26
Copyright © 2012, SAS Institute Inc. All rights reserved.
Server Tier / Mid TierBlade 1
Blade 5Blade 4Blade 3Blade 2
・・・
Memory Memory Memory Memory
HDFS HDFS HDFS HDFS
SAS® LASR™ Analytic Server
Data SourceERP CRM SCM SFA Web
・・・
Oracle(Exadata) DB2 SQL Server Teradata Netezza Flat_file
廉価なブレードサーバーで、コスト
パフォーマンス向上
ブレードサーバーを活用し、データ量増
加に柔軟な拡張で対応
データをHDFSに分散配置後、並列分
散で高速にメモリーへロード
HDFSにデータを分散配置し、冗長性/
耐障害性確保
各ノードで、大量データに対する分析処
理を超高速並列実行
正確な意思決定、的を得たアクションの
迅速化で成果を出す!
~ インメモリー分析エンジン ~
同時解析項目数など、制限の無いイ
ンメモリー分析エンジン
27
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® Visual Analytics::::ハードウエア構成例
12 cores / blade
96GB RAM / blade
Blades Cores Memory Disk
96 1152 9.2 TB 57.6 TB
64 768 6 TB 38.4 TB
32 384 3 TB 19.2 TB
16 192 1.5 TB 9.6 TB
8 96 768 GB 4.8 TB
SAS® LASR™ ANALYTIC SERVER
柔軟で制限
のない拡張
28
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® Visual Analytics::::差別化ポイント差別化ポイント差別化ポイント差別化ポイント
� ブレードサーバーに基づくスケールアウトによる
柔軟な拡張(増大するデータへの追随)
? スケールアップによる制限付きの拡張
(搭載メモリーサイズ制限)
SAS® Visual Analytics 他社の取り組み
� インメモリー分析エンジンによる制限の無い、
同時分析項目数
? RDBやカラム型DBでは、同時分析項
目数に限界がある
� 廉価なブレードサーバー構成によるコストパフォー
マンスの向上。 (1TB=256GB/1blade×4)だと、
メモリー価格もかなりお得!
? 1サーバーに1TB搭載ではメモリー価格
も高額になる
早い!安い!簡単!使える!変化対応可!
� コモディティH/W ? 専用H/W
� 容易で直感的な操作性で、思考を止めない
スピードで、“分析”を全てのユーザーに解放
? “分析”にはアナリストが必要
早い
簡単
変化
対応
安い
使え
る
29
Copyright © 2012, SAS Institute Inc. All rights reserved.
業種業種業種業種 課題課題課題課題 効果効果効果効果
全業種 対象データ量が膨大なため、従来データを期間や地域な
どで絞り込んだ状態でないと分析が実施できなかった
・全てのデータに対する迅速な分析と傾向の
把握による、より正確な意思決定支援
サービス(e-
Commerce)
ネット上で日々発生する大量のWebログデータを大量の
購買履歴データと掛け合わせ、解析し、顧客行動や嗜
好の傾向を捉え、素早くサイトコンテンツを調整する
・対競合競争力強化
・コンバージョン率の向上
・収益の増加
小売 日々発生する大量のPOSデータを高速に解析し、売れ
筋や新商品の売れ行きなど、傾向を把握し、その分析
結果を現場の担当者にモバイル端末経由で即座に提
供し、その日の内に陳列の調整や、翌日以降の発注の
調整を実施
・欠品による機会損出の防止
・過剰在庫の防止
・売上増
通信 日々大量に発生するネットワークトラフィックデータの高速
な解析と傾向の把握
・ネットワーク障害回避
通信 日々大量に発生するコンテンツへのアクセスログ、ダウン
ロードデータを高速に解析し、素早いコンテンツの調整や
最適なメッセージ送信を実施
・データARPUの増加
・顧客満足度向上/囲い込み
・スマホ市場で競合優位性強化
製造 品質管理における膨大なデータ(センサーデータ含む)の
相関を分析し、不具合発生に関連深い要因を特定し、
品質向上に役立てる
・品質向上
・顧客満足度向上
・生産コスト、品質保証コスト削減
SAS® Visual Analytics::::活用分野例活用分野例活用分野例活用分野例
30
Copyright © 2012, SAS Institute Inc. All rights reserved.
業種業種業種業種 課題課題課題課題 効果効果効果効果
製造 日々発生する膨大なテレマティクスデータを高速に解析
し、ドライバーへの最適なレコメンドや新車両開発に役立
てる
・ドライバー満足度向上
・優良顧客囲い込み
・売れる新車開発
金融(保険) 日々発生する膨大なテレマティクスデータを高速に解析
し、事故発生の防止や、最適な保険料設定を行う
・潜在リスクの低減
・事故削減、保険料削減
・最適な保険商品開発
金融(カード) 全てのカード会員顧客に対する膨大なカード利用履歴
データ&顧客属性データの高速な解析と傾向の把握によ
る最適なサービスの提供
・顧客の囲い込み
・メインカード化への貢献
・収益増
医薬・製薬 テーラーメード医薬品開発における膨大な遺伝子データ
の解析
・患者一人ひとりに対する遺伝子レベルで最
適な医薬品を提供し、医薬品販売増、シェ
ア拡大に貢献
医薬・製薬 セールス&マーケティング部門での、ビジネスユーザー自身
によるスピーディな新たな洞察の獲得
・医師の囲い込み
・医薬品売上増
公共/エネル
ギー
日々発生する膨大なスマートメーターデータの解析 ・配電する電力量の調整
・電力価格の最適化
SAS® Visual Analytics::::活用分野例活用分野例活用分野例活用分野例
31
Copyright © 2012, SAS Institute Inc. All rights reserved.
SAS® High-Performance AnalyticsGame-Changing:ビジネスを変える、そして勝ち抜いていく
IT Value
� 卓越したパフォーマンス、拡張性、
信頼性
� 廉価なサーバー構成によるコスト
効率向上
� データ管理・統制の向上
� ROI創出 & TCO削減
Business Value
� 全てのデータに対する分析による、
より効果的な洞察
� より精度の高い分析による、精度
の高い意思決定とアクション
� 新たな機会創出の迅速化
� 変化への素早い対応、戦略と戦
術の調整
� 競合優位性の確立
� 現場(最前線)での素早い情報
活用
Copyright © 2012 SAS Institute Inc. All rights reserved.
ご清聴ありがとうご清聴ありがとうご清聴ありがとうご清聴ありがとうございましたございましたございましたございました