Upload
others
View
5
Download
0
Embed Size (px)
Citation preview
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Delivering Results with Amazon
Redshift, One Petabyte at a Time
アマゾン データ サービス ジャパン株式会社
事業開発部 マネージャー
大久保 順
ユースケース 目標 ベンチマーク結果
2.25兆行スキャン(15ヶ月分)
60分 14分
50億行ロード(1日分)
60分 10分
1500億行ロード(30日分)
24時間 9.75時間
– VACUUMは遅い、物理パーティショニング機能は存在しない
• 同一テーブルに対して同時(並列)にロード処理を行うことができない
• クラスターの最適なパフォーマンス上、15同時実行クエリーが上限であった
– また「お行儀の悪い」クエリーがクラスター全体にインパクトを与える
2倍改善
– COMPUPDATE ( ) –
高速化
FASTER 86.35%
GREATER THAN 15X 14.91%
10X TO 15X 18.42%
5X TO 10X 25.73%
3X TO 5X 19.88%
2X TO 3X 7.02%
1X TO 2X 3.80%
SAME 8.47%
SLOWER 5.65%
1X TO 2X 5.65%
FASTER 14.85%
3X TO 5X .56%
2X TO 3X 3.64%
1X TO 2X 10.64%
SAME 19.05%
SLOWER 66.11%
1X TO 2X 18.49%
2X TO 3X 8.96%
3X TO 5X 9.8%
5X TO 10X 10.08%
10X TO 15X 5.04%
SLOWER THAN 15X 13.73%
Daily (6B) 40 8XL nodes 100 8XL nodes
Vacuum 80 min 30 min
Stats Collection 90 sec 50 sec
Monthly (150B) 40 8XL nodes 100 8XL nodes
Vacuum (Deep
Copy) 380 min 201 min
Stats Collection 22 min 4 min
2日から1時間
3日から2時間
90時間から8時間
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Amazon Partner Networkのパートナーさまによるコンサルティングおよびテクニカルサポート
収集 処理 分析
蓄積
データ収集と蓄積
データプロセッシング
イベントプロセッシング
データ分析
コンサルティング
(SI)
テクニカル
(IS
V)
Data Integration AnalyticsOperational Intelligence
Total System Integrator Analytical Consulting
エンドユーザの業務課題解決のために必要となるデータ分析シナリオ構築および同シナリオのPDCAをトータルにサポート
上記コンサルティングパートナーさまが対応可能なコマーシャルソフトウェア(ISV)
Business Intelligence
AWS上でのインフラ構築支援(プラットフォーム+OSS and/or コマーシャルソフトウェア )、運用支援をトータルに提供
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
午後のセッションの紹介 (1) (13:15-14:00)
• 分析手法別にみた分析事例と分析のフロー
• 澪標アナリティクス 井原様
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
午後のセッションの紹介 (2) (14:15-15:00)
• ビッグデータ分析のカギを握るノン・プログラミングデータ連携
• 株式会社リクルート住まいカンパニー 馬場様
• インフォテリア株式会社 森様
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
午後のセッションの紹介 (3) (15:15-16:00)
• ビジネス部門が主導するクラウドビッグデータ分析の事例
• Treasure Data, Inc. 太田様
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
午後のセッションの紹介 (4) (16:15-16:45)
• IoT時代のアナリティクス ~センサーデータからの価値発見~
• MathWorks Japan 大谷様
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
午後のセッションの紹介 (4) (17:00-17:45)
• Amazon Machine Learning : デベロッパーがつくれるスマートアプリケーション
• Danny Lange
General Manager of Amazon Machine Learning, Amazon.com
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
機械学習ハッカソン&ミートアップのご案内
1. Amazon Machine Learning ハッカソン with ハンズラボハンズラボのデータとAmazon Machine Learningを使ってスマートアプリケーションを作ってみよう!
~アプリケーション・デベロッパー向けの機械学習ハッカソン~・日時: 2015年9月12日(土) 10:00〜18:00・場所:アマゾン データ サービス ジャパン 目黒オフィス
2. Amazon Machine Learning ミートアップ with ハンズラボハッカソンでハンズラボのデータとAmazon MLを使って作ったスマートアプリケーションを発表頂きます!
~アプリケーション・デベロッパー向けの機械学習ハッカソンで作成いただいたスマートアプリケーションを、ハッカソンご参加者から発表いただきます~・日時: 2015年9月29日(火) 18:00〜20:15・場所:アマゾン データ サービス ジャパン 目黒オフィス
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
クニエ&クラウドパックによるAWSクラウドプラットフォームを活用したビッグデータ・IoT活用ライフサイクルのワンストップサービスをご紹介します!
・日時: 2015年9月28日(月) 13:00〜17:30・場所: アマゾンデータサービスジャパン大阪オフィス
ビッグデータ & IoT“まるごと” お任せセミナー
のご案内(大阪開催)
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.
ご清聴ありがとうございました。