Machine Learning on AWS

Machine Learning on AWS

2017.04.29Makoto Shimura, Data Science SA

1

Amazon における機械学習の取り組み

2

AWS が提供する機械学習サービス

5

4 レイヤーから構成される AWS の機械学習サービス

6

AI ServicesAmazon Rekognition

Amazon Polly

Amazon Lex

More to come in 2017

AI PlatformAmazon Machine Learning

Amazon Elastic MapReduce

Spark &SparkML


Apache MXNet AI EnginesTensorFlow Caffe Torch Theano CNTK Keras

EMR/Spark ECS Lambda GreenGrass FPGAMore toCome

In 2017HardwareP2


7


Amazon Polly

Amazon Lex




Spark &SparkML




In 2017HardwareP2

AI Services

8

文章をリアルな音声に変換するサービス

Polly Lex声やテキストを使用した会話型インターフェイスを様々なアプリケーションに構築する

ためのサービス

Rekognition画像分析機能をアプリケーションに簡単に追加できるようにするサ

ービス

※※これらは，これらは，fine-tuning fine-tuning されたされた AWS AWS が提が提供する深層学習モデルを供する深層学習モデルを API API で簡で簡単に利用できるマネージドサービスとなります単に利用できるマネージドサービスとなります

Polly• テキストを，リアルな音声に変換するサービス• 24 の言語で 47 のリアルな声優の音声を提供• 音声の保存と配信，SSML* と Lexicon** によるカスタマイズが可能• リップシンクのためのスピーチマーク機能や，ささやき声の発話機能が追加

9 * Speech Synthesis Markup Language ** 語彙目録

<lexeme><grapheme>Kaja</grapheme><grapheme>kaja</grapheme><grapheme>KAJA</grapheme><phoneme>"kaI.@</phoneme>

</lexeme>

My daughter’s name is Kaja.ねぇちょっとちょっと，ここだけの話だけどさ<speak> <prosody rate="x-fast"> ねえ，ちょっとちょっと， <amazon:effect name="whispered"> ここだけの話だけどさ </amazon:effect> </prosody></speak>

SSML Lexicon

4/19 機能追加

Polly - ユースケース

4. 音声データが S3 バケットに保存される

1. 新しい記事がRSSチャネルに出稿される 2.Lamda が記事のテキストを取得

し、音声変換するために Polly にデータを送信する

3.Polly はテキストを受信し、ラムダに

音声データを流し戻す

記事を音声に変換して MP3 でダウンロードする

13

Rekognition• 深層学習に基づく画像認識サービス• 以下の各種機能を API で提供し，アプリケーションに簡単に追加できる• イメージモデレーション機能が新たに追加，性的・暴力的な画像を検出

11

物体とシーンの検出顔分析顔照合顔認識

4/19 機能追加

Rekognition - ユースケース

2.モバイルアプリが新しい画像をS3 にアップロードする

3.Lambda 関数がトリガされ、Rekognition を呼び出す

4.Rekognition は S3 から画像を取り出し、

識別された資産や設備に対してラベルを返却する

5.Lambda 関数はラベルとコンフィデンス値を Elasticsearch にも投入します

6. ユーザが資産を検索したり観たりすることができる

1. 業者が不動産物件の画像を撮る

Detectlabels API を使った不動産物件の検索

15

BookHotel

Lex• 音声やテキストを使用して，任意のアプリケーションに対話型

インターフェイス(ボット)を構築するサービス• AWS Lambda，Amazon Cognito や Amazon DynamoDB などと統合可能• GA に合わせて Slack, Twilio 統合や SDK サポートなどの機能追加

16

Intentsintent はユーザが入力した自然言語に応答してfulfillmentを実行する

Utterances

Slots

Fulfillment

intent を発動するフレーズ

intent を満たすために要求される入力データ

intent を実現するビジネスロジック

PromptSlot を引き出すためのフレーズ

4/19 GA

Lex - ユースケース

1.患者がケア施設に午後３時の予約を要求する

2.Lex は予約のスケジューリングが

リクエストされたことを認識する

3.Lex が予約について都合の良い

曜日を尋ねる

4.予約時間が確保される

5.患者は木曜日の午後３時に予約完了の通知を受ける

ユーザ入力情報

Lex のテキストレスポンス

患者向け診察予約ボットを構築する

17


15


Amazon Polly

Amazon Lex




Spark &SparkML




In 2017HardwareP2

Amazon machine Learning

• スケーラビリティ: システムの拡張や運用を考える必要がない

• パッケージ化:テストデータ分割や評価手法，予測 API の提供などが組み込まれている

16

Amazon Redshiftアプリケーション

Redshift上の取引データを使ってAmazon MLで不正取引の抽出を行い、S3に出力される結果をRedshiftに戻して利用。

2クラス分類ロジスティック回帰

多クラス分類多項ロジスティック回帰回帰分析線形回帰

Amazon EMR (Elastic MapReduce)

• フルマネージドな Hadoop を提供しており，クラスタの構築，構成変更，破棄まで管理可能

• HDFS ではなく S3 上のデータを直接読み書きすることで，コンピュートとストレージを分離可能

• ワークロードに応じたクラスタを複数立ち上げて，同一データを処理可能

• ETL 処理から機械学習まで幅広く利用可能

17

機械学習・分析処理のためのソフトウェアスタック

18 http://docs.aws.amazon.com//emr/latest/ReleaseGuide/emr-release-components.html

http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html


機械学習・分析処理のためのソフトウェアスタック

19 http://docs.aws.amazon.com//emr/latest/ReleaseGuide/emr-release-components.html




20


Amazon Polly

Amazon Lex




Spark &SparkML




In 2017HardwareP2

AWS は MXNet を全面的にサポート

• マルチ GPU でのスケーラビリティに優れている• AWS 社員もコミッターとして活躍• CloudFormation で MXNet クラスタを構築するテンプ

レートを提供

21 http://aws.typepad.com/sajp/2016/11/mxnet-default-framework-deep-learning-aws.html

http://aws.typepad.com/sajp/2016/11/mxnet-default-framework-deep-learning-aws.html

Deep Learning AMI で各種パッケージを手軽に利用

22

OS はAmazon Linux と Ubuntu の2種類各種フレームワークがプリインストール*

• MXNet v0.9.3 tag• Tensorflow v1.0.1 tag• Theano rel-0.8.2 tag• Caffe rc5 tag• Caffe2 v0.6.0 tag• CNTK v2.0 beta 12.0 tag• Torch master branch• Keras 2.0.2 tag

https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title　

https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title

https://aws.amazon.com/marketplace/pp/B01M0AXXQB?qid=1475211685369&sr=0-1&ref_=srh_res_product_title


23


Amazon Polly

Amazon Lex




Spark &SparkML




In 2017HardwareP2

Deep Learningに最適なP2インスタンス

• 最新のGPUアクセラレータNVIDIA Tesla K80を最大16個搭載可能• 大量のGPUを使うことで，ディープラーニングのモデル構築にかかる時間を大

幅に短縮可能• AMI(Amazon Machine Image)を使うことで，ディープラーニングの学習環

境を容易に構築可能

24

InstanceName

GPUCount

Memory GPUMemory

NetworkPerformance

P2.xlarge 1 61GiB 12 GiB High

P2.8xlarge 8 488GiB 96 GiB 10 Gigabit

P2.16xlarge 16 732GiB 192 GiB 20 Gigabit

FPGA による高性能演算を実施可能なF1 インスタンス

4/19 GA

構成– Intel Xeon E5-2686v4 (2.3GHz, Turbo mode対応) – 1-8個のFPGA（Xilinx UltraScale+ VU9P)– 最大976GBのメモリ– 4TBのNVMe接続のSSDを利用可能

Xeon “Skylake” 搭載の C5 インスタンス

• Deep Learning に適した命令セット AVX512 を搭載– AVX-512 Vector Neural Network Instructions Word

variable precision (4VNNIW)– AVX-512 Fused Multiply Accumulation Packed Single

precision (4FMAPS)• Caffe2 は AVX512 の計算最適化に対応

26

2016/12 発表

https://software.intel.com/en-us/blogs/2017/04/18/intel-and-facebook-collaborate-to-boost-caffe2-performance-on-intel-cpu-s



EC2 クラスタ上の複数のコンテナを ECS で管理

• Dockerコンテナを複数のEC2インスタンスに分散配置できる• 一時的な計算処理にも、ロングランニングな処理にも対応• ELB連携など各種AWSサービスとの親和性• AWS Batch で並列実行も可能

27

事例

28

RoomClip における Rekognition + Amazon Machine Learning の事例

• 部屋のインテリア実例共有サイト• 「部屋全体を映している画像かどうか」を判定• マネージドサービスを組み合わせることで，低コストで機械

学習サービスを構築

29Amazon RekognitionとMachine Learningで画像判定機を気軽に作るhttp://engineer.roomclip.jp/entry/20

部屋画像のラベルを抽出

特定ラベルの確信度を独立変数として

部屋写真か否か判定するモデルを構築

構築したモデルでその他画像を判定

Rekognition AmazonMachine Learning

http://engineer.roomclip.jp/entry/20



Motorola Solutions における画像認識の活用事例

• 警察官が利用できるデバイス, サービスを提供• 不明者の発見にAmazonの画像認識、音声認識を活用

AWS re:Invent 2016: Machine Learning State of the Union Mini Con (MAC206) – YouTubehttps://youtu.be/HqsUfyu0XJc?t=183329

• カメラでリアルタイムに顔を抽出して AWS に送信

• DBにデータを保存して Rekognition に顔認識顔リクエストを送信

• マッチしたら、イベントでPollyを呼び出して，音声でアラートを通知

https://www.youtube.com/watch?v=HqsUfyu0XJc



Capital One における音声認識の活用事例

• 全米最大のネットバンク，4位のクレジットカード発行会社• Amazon Alexa を活用した音声ベースのバンキングアプリ• ユーザのアクセシビリティを改善する取り組み

31AWS re:Invent 2016: How Capital One Built a Voice-Based Banking Skill for Amazon Echo (ALX201) – YouTubehttps://www.youtube.com/watch?v=-MtwpZFmexg

https://www.youtube.com/watch?v=-MtwpZFmexg

Zillow における Spark MLlib のユースケース

• Zillow は住宅のマーケットプレイスに関するWebサービスを展開

• さまざまなレコメンデーションを活用– セール物件 / 貸出可能物件をメールで利用者にプッシュ– 「この物件に似た物件」– パーソナライズド検索– 住宅購入確率，物件売却

確率の予測– 類似画像 / 動画

32AWS re:Invent 2016: Zillow Group: Developing Classification and Recommendation Engines with Amazon EMR and Apache Spark (MAC303 )https://www.slideshare.net/AmazonWebServices/aws-reinvent-2016-zillow-group-developing-classification-and-recommendation-engines-with-amazon-emr-and-apache-spark-mac303

https://www.slideshare.net/AmazonWebServices/aws-reinvent-2016-zillow-group-developing-classification-and-recommendation-engines-with-amazon-emr-and-apache-spark-mac303




まとめ

33

まとめ

• Amazon では機械学習技術を活用した取り組みを実施• 4 つの形で機械学習技術を提供しており，ビジネスの状

況に合わせて活用可能– サービス– プラットフォーム– エンジン– ハードウェア

34


Amazon Polly

Amazon Lex




Spark &SparkML


Apache MXNet AI EnginesTensorFl

ow Caffe Torch Theano CNTK Keras

EMR/Spark ECS Lambda GreenGr

ass FPGAMore toCome

In 2017HardwareP2

35

Internet

Machine Learning on AWS