36
©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved. Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾン データ サービス ジャパン株式会社 事業開発部 マネージャー 大久保 順

Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

  • Upload
    others

  • View
    5

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Delivering Results with Amazon

Redshift, One Petabyte at a Time

アマゾン データ サービス ジャパン株式会社

事業開発部 マネージャー

大久保 順

Page 2: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

September 3, 2015 | Tokyo, Japan

Samar Sodhi ([email protected])

Manager, Amazon Data Warehouse

Page 3: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 4: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 5: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 6: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 7: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 8: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 9: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 10: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 11: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 12: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 13: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

ユースケース 目標 ベンチマーク結果

2.25兆行スキャン(15ヶ月分)

60分 14分

50億行ロード(1日分)

60分 10分

1500億行ロード(30日分)

24時間 9.75時間

Page 14: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 15: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

– VACUUMは遅い、物理パーティショニング機能は存在しない

• 同一テーブルに対して同時(並列)にロード処理を行うことができない

• クラスターの最適なパフォーマンス上、15同時実行クエリーが上限であった

– また「お行儀の悪い」クエリーがクラスター全体にインパクトを与える

Page 16: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 17: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 18: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

2倍改善

Page 19: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

– COMPUPDATE ( ) –

Page 20: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 21: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 22: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 23: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

高速化

FASTER 86.35%

GREATER THAN 15X 14.91%

10X TO 15X 18.42%

5X TO 10X 25.73%

3X TO 5X 19.88%

2X TO 3X 7.02%

1X TO 2X 3.80%

SAME 8.47%

SLOWER 5.65%

1X TO 2X 5.65%

Page 24: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

FASTER 14.85%

3X TO 5X .56%

2X TO 3X 3.64%

1X TO 2X 10.64%

SAME 19.05%

SLOWER 66.11%

1X TO 2X 18.49%

2X TO 3X 8.96%

3X TO 5X 9.8%

5X TO 10X 10.08%

10X TO 15X 5.04%

SLOWER THAN 15X 13.73%

Page 25: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

Daily (6B) 40 8XL nodes 100 8XL nodes

Vacuum 80 min 30 min

Stats Collection 90 sec 50 sec

Monthly (150B) 40 8XL nodes 100 8XL nodes

Vacuum (Deep

Copy) 380 min 201 min

Stats Collection 22 min 4 min

Page 26: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

2日から1時間

3日から2時間

90時間から8時間

Page 27: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社
Page 28: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Amazon Partner Networkのパートナーさまによるコンサルティングおよびテクニカルサポート

収集 処理 分析

蓄積

データ収集と蓄積

データプロセッシング

イベントプロセッシング

データ分析

コンサルティング

(SI)

テクニカル

(IS

V)

Data Integration AnalyticsOperational Intelligence

Total System Integrator Analytical Consulting

エンドユーザの業務課題解決のために必要となるデータ分析シナリオ構築および同シナリオのPDCAをトータルにサポート

上記コンサルティングパートナーさまが対応可能なコマーシャルソフトウェア(ISV)

Business Intelligence

AWS上でのインフラ構築支援(プラットフォーム+OSS and/or コマーシャルソフトウェア )、運用支援をトータルに提供

Page 29: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (1) (13:15-14:00)

• 分析手法別にみた分析事例と分析のフロー

• 澪標アナリティクス 井原様

Page 30: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (2) (14:15-15:00)

• ビッグデータ分析のカギを握るノン・プログラミングデータ連携

• 株式会社リクルート住まいカンパニー 馬場様

• インフォテリア株式会社 森様

Page 31: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (3) (15:15-16:00)

• ビジネス部門が主導するクラウドビッグデータ分析の事例

• Treasure Data, Inc. 太田様

Page 32: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (4) (16:15-16:45)

• IoT時代のアナリティクス ~センサーデータからの価値発見~

• MathWorks Japan 大谷様

Page 33: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

午後のセッションの紹介 (4) (17:00-17:45)

• Amazon Machine Learning : デベロッパーがつくれるスマートアプリケーション

• Danny Lange

General Manager of Amazon Machine Learning, Amazon.com

Page 34: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

機械学習ハッカソン&ミートアップのご案内

1. Amazon Machine Learning ハッカソン with ハンズラボハンズラボのデータとAmazon Machine Learningを使ってスマートアプリケーションを作ってみよう!

~アプリケーション・デベロッパー向けの機械学習ハッカソン~・日時: 2015年9月12日(土) 10:00〜18:00・場所:アマゾン データ サービス ジャパン 目黒オフィス

2. Amazon Machine Learning ミートアップ with ハンズラボハッカソンでハンズラボのデータとAmazon MLを使って作ったスマートアプリケーションを発表頂きます!

~アプリケーション・デベロッパー向けの機械学習ハッカソンで作成いただいたスマートアプリケーションを、ハッカソンご参加者から発表いただきます~・日時: 2015年9月29日(火) 18:00〜20:15・場所:アマゾン データ サービス ジャパン 目黒オフィス

Page 35: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

クニエ&クラウドパックによるAWSクラウドプラットフォームを活用したビッグデータ・IoT活用ライフサイクルのワンストップサービスをご紹介します!

・日時: 2015年9月28日(月) 13:00〜17:30・場所: アマゾンデータサービスジャパン大阪オフィス

ビッグデータ & IoT“まるごと” お任せセミナー

のご案内(大阪開催)

Page 36: Delivering Results with Amazon Redshift, One Petabyte at a ... · Delivering Results with Amazon Redshift, One Petabyte at a Time アマゾンデータサービスジャパン株式会社

©2015, Amazon Web Services, Inc. or its affiliates. All rights reserved.

ご清聴ありがとうございました。