ML Ops on AWS© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. Key Take...

Makoto Shimura

Analytics Specialist SA, Amazon Web Services Japan

2-H1-3-16

ML Ops on AWS

About Me

(Makoto Shimura)

• データ分析・機械学習系サービスを担当

• 前職はログ解析基盤構築・データ分析等

• 好きなサービス• Amazon Athena

• AWS Glue

• Amazon SageMaker

Key Take Away

Agenda

• ML

ビジネス課題

データ収集

データの加工整形

データの分析・可視化

アプリケーションシステム

まずは自分たちのビジネスを振り返って，ニーズがあるが実現できていない部分に注目

ML から出発するのではなく，あくまで課題を解決するためのツールと考える

もっと簡単にできないかを考えて，他にないときにはじめて ML を選択する

ビジネス課題

データ収集

ビジネス課題

Kinesis S3

EMR Glue

Redshift Athena QuickSight

ビジネス課題

Kinesis S3

EMR Glue

Redshift Athena QuickSight

いかに早く安定してループを回せるかデータレイクと環境整備が必須

でないと予測結果が正しいかすら不明

ビジネス課題

データ収集

開発

学習推論

• ML

開発

学習推論

• 開発環境は最新版の Tensorflow だが，本番環境は 1.4 のまま

• 本番環境の依存ライブラリを把握できていない

• データサイエンティストが R で書いたコードを，エンジニアが本番環境用に Java で再実装

• 本番環境はエンジニアの管轄で，毎度お願いしないといけない

• ML モデルがアプリケーションのコード内に組み込まれており，統合テストを経ないとデプロイできない

ML cont.

• 複数サービスのモデルを同一 API サーバ上にホストしている

• 自分の新しいモデルを動かすために CUDA バージョンを上げたことで，他サービスのモデルがエラーを吐くように

• 同じデータで同じモデルを学習させたはずなのに違う結果が…

• 学習時に前処理を間違えて，全然ダメなモデルを学習していた

• 収益に直接影響する場合，ビジネス側と連携してデプロイ/ 切り戻しをおこなわないといけない

DevOps

• Infrastructure as Code:

immutable

• Microservices:

• Continuous Delivery:

DevOps ML

• Infrastructure as Code: ML

• Microservices: ML

• Continuous Delivery:

DevOps ML Ops

• AB

ML Ops

• Infrastructure as Code: ML

• micsoservices: ML ML

• Continuous Delivery: AB

ML Ops

• Infrastructure as Code: • 開発環境と本番環境でライブラリが違う問題

• 一度学習したモデルを再現できない問題

• micsoservices: • 開発環境と本番環境で実行環境自体がまるで違う問題

• 新しいモデルを作ってもすぐにデプロイできない問題

• あるサービスのモデルのデプロイが他サービスに影響する問題

• Continuous Delivery: • 新しいモデルをデプロイしたら悲惨な予測を返すことがある問題

ML Ops AWS

Infrastructure as Code microservices Continuous Deploy

Amazon

CodeBuild

AWS Step

Functions

Amazon

SageMaker

GreengrassAWS

CodeCommit

Amazon

SageMaker

開発

学習推論

Amazon SageMaker

開発学習推論

SageMaker API を

叩いてジョブを実行

複数ジョブを同時実行

分散学習も簡単に実行

コンソールから起動

主要ライブラリは

プリインストール済

SageMaker API から

エンドポイント作成

オートスケーリング

A/Bテスト

Jupyter Notebook Docker コンテナ Docker コンテナ

Kinesis

Firehose

SageMaker

Athena QuickSight

Servers

Kinesis

FirehoseS3

Athena QuickSight

ServersDynamoDB

Camera Device

Detection App

Greengrass Core

Camera

AWS IoT

Athena QuickSight

S3 SageMaker

Greengrass

StepFunctions ML

CodeBuildStartBuild

学習コンテナ

SageMakerCreateTrainingJob

CodeBuildStartBuild

推論コンテナ

SageMakerCreateModel

SageMakerCreateEndpointConfig

SageMakerCreateEndpointUndateEndpoint

wait wait

SNSエラー通知

SNS成功通知

GreengrassCreateDeployment

StepFunctions

RedShift

Glue学習用入力データの作成

Glueデータの

スキーマ管理

RDSメタデータを

バージョン含めて管理

SageMaker学習ジョブの実行とモデルのデプロイ

メタデータ管理複数の機械学習タスクで特徴量を使いまわす仕組み

その他のワークフローエンジンを利用することも可能

CloudWatchLogs学習ジョブのログを取得

Lambdaモデル精度を取得して

DB に書き込み

QuickSightリーダーボード複数モデルの比較

SageMakerCreateTrainingJob...

CreateTrainingJob CreateModel

Dockerfile

CodeCommit

SageMaker

DVCGit LFS

モデル名と予測値を返却

特徴量をリクエスト

モデル名・予測値・結果を収集

Elasticsearch Serviceテスト結果の

リアルタイム可視化

Lambdaテスト結果の集計

SNSエラー通知

域値以下の結果

S3テスト結果の履歴を保存

Athena & QuickSight長期的なトレンドを集計して可視化

SageMaker複数モデルをホストし

常時 AB テスト

AppServers

Kinesis

オンプレ本番環境

ML モデルに関するリソースは，すべて AWS 側で管理S3 を介して AWS とオンプレで連携

オンプレ本番環境

作成済みの ML モデルの，バイナリデータ以降を SageMaker で管理S3 を介してオンプレと AWS で連携

SageMaker S3CodeBuild

SageMakerS3

Direct Connect

お手元のサミットガイドブックの表紙に記載している『QRコード』からご回答くださいもれなく素敵なAWSオリジナルグッズをプレゼントします

本セッションのFeedbackをお願いします

プレゼントの引き換えは，パミール3F展示会場内アンケート確認エリア・受付エリアのいずれかにお越しください

ML Ops on AWS© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. Key Take...

Documents

Amazon Web Services (AWS)における対応状況© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Web Services (AWS)における IPv6対応状況

AWS DataLake© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. 2-H1-1-10 / 2-H1-1-19 AWS DataLake

Home - VOX - 本日のアジェンダ...AWS Transfer for SFTP AWS Snowball AWS Snowball Edge AWS DataSync AWS Snowmobile AWS Direct Connect AWS Marketplace 3rd Party Application Amazon

AWS Black Belt Online Seminar Amazon GuardDuty · 【AWS Black Belt Online Seminar ... Windows Linux EC2 EC2 © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved

L’OpenSource enEntrepriseavec AWS...SUMMIT © 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved. L’OpenSource enEntrepriseavec AWS Philippe Desmaison Senior

Analytics on AWS - six2018.abejainc.com · © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. • 機械学習の活用シーン • アマゾンの機械学習

[AWS Black Belt Online Seminar] AWS Media Services...2019/11/12 · © 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Black Belt Online Seminar とは

AWS · © 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS

[AWS Black Belt Online Seminar] AWS Transit Gateway...© 2019, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 内容についての注意点 • 本資料では2019年11月13日時点のサービス

Aws ml with api

NTEGROVANDÝ OPRASVYN SÍTÉMO LOMOUCKÉHOK RAJE … · ml ml ml ml ml ml ml ml ml ml ml ml ml ml ml ml ml ml m ml ml ml ml lm ml ml ml ml lm ml ml ml ml ml ml lm ml ml ml lm ml lm

© 2018, Amazon Web Services, Inc. or its affiliates. All ... · 3．AWSに関する当社の取組 And More… Amazon EC2 VPC* AWS Lambda AWS Direct Connect To-be TCO分析 Security

AWS 常见安全参考架构... · © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 常见安全参考架构韩旭明，AWS 资深合作伙伴解决方案架构师

AWSマイスターシリーズ AWSSDKforPHP& AWSSDKforRuby& … · © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in

AWS ParallelCluster - AWS ParallelCluster User Guide · 2020-06-12 · AWS ParallelCluster AWS ParallelCluster User Guide What Is AWS ParallelCluster AWS ParallelCluster is an AWS-supported

© 2020, Amazon Web Services, Inc. or its affiliates. All ...... · Agenda Fully managed machine learning with Amazon SageMaker ML Workload management with Kubernetes-Amazon SageMaker

AWS Webinar ......© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. • • • • 3

Bolcom partnersessies - social en affiliates

[AWS Black Belt Online Seminar] Next Generation Redshift...2020/02/18 · © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved. AWS Black Belt Online Seminar

AWS 環境におけるセキュリティインシデントの調査・対応⽅法 · © 2020, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS 環境におけるセキュリティ