深入浅出AWS 机器学习服务

2 0 1 8 . 0 1 . 1 0

肖 凌 ， A W S 解 决 方 案 架 构 师

突破性进展优化和自动化新产品和新功能

“After decades of false starts, artificial intelligence is on the verge of a

breakthrough, with the latest progress propelled by machine learning.”McKinsey Global Institute, Artificial Intelligence The Next Digital Frontier? June 2017

人工智能引领新一轮创新浪潮

媒体与娱乐 个性化推荐健康与医疗 金融服务交易 客户体验

• 内容生成• 促销与市场活动• 版权保护• 内容分类与标签• 字幕自动生成• …

• 语音服务• 聊天机器人• 呼叫中心优化• 个人服务中心管理• …

• 在线电商• 产品推荐• 信用评级• 广告与搜索相关• 个性化• …

• 药物发现与探索• 医学影像自动识别• 辅助医疗• 自动诊疗• …

• 服务管理与推荐• 交易算法• 舆情与新闻分析• 潜在用户发现与推荐• …

人工智能与机器学习正在影响各行各业

构建人工智能应用的要素

云计算 深度学习框架大数据平台

数据 计算能力 算法

制约人工智能进一步广泛应用的因素

掌握人工智能专业知识的人才不多

构建和扩展人工智能的技术产品

有难度

在生产经营中部署人工智能应用

费时且昂贵

缺乏成本低， 易使用，可扩展的人工智

能产品和服务

亚马逊在人工智能领域的大量深度创新

商品智能推荐 机器人与物流仓储 新产品

亚马逊自从成立以来一直在人工智能和机器学习领域进行大量投入，并且把我们的

知识与能力与客户分享20171995

智慧呼叫中心供应链管理 无人值守商店

利用构建于深度学习计算视觉对仓库的货架商品摆放位置进行自动检测

亚马逊的智能语音交互创新深入生活

亚马逊的计算机视觉创新引领生活

AWS 对机器学习的愿景

让每位开发者可以方便的使用机器学习。

大量的客户利用AWS构建人工智能应用

BuildFax使用Amazon ML帮助承保人避免损失

“Amazon Machine Learning democratizes the process of building predictive models. It’s easy and fast

to use and has machine-learning best practices encapsulated in the product, which lets us deliver

results significantly faster than in the past.

”BuildFax aggregates dispersed

building permit data from across

the United States and provides it

to other businesses, especially

insurance companies, and

economic analysts. The

company also tracks trends like

housing remodels and new

commercial construction.

- Joe Emison, Founder & Chief Technology Officer, BuildFax

• BuildFax’s 的核心客户是保险公司，他们在房屋产险方面花费大量的资金

• BuildFax最初使用邮政编码等基本信息进行建模，建模过程很复杂，准确度不高

• BuildFax 现在使用 Amazon Machine Learning服务提供房屋年龄，修缮费用的评估，使用房屋的综合信息

• 以前需要半年以上时间才能完成的建模工作现在在一个月内可以完成

BuildFax 应用架构

云上训练模型

云上推理预测

端上推理预测

构建从云到端的定制化人工智能系统

AWS的产品推动人工智能的广泛应用

PollyLex Rekognition

深度学习框架机器学习平台Amazon AI/ML托管服务

更简单，更易用 更丰富的控制，更定制化的模型

这些解决方案由久经考验的、高度扩展的AWS的产品和服务所支撑

AWS

GreengrassAWS

IoTAWS

Lambda

Amazon EC2

(P2 and G2 GPUs)

Amazon

S3

Amazon

DynamoDBAmazon

Redshift

Amazon EC2

(CPUs)

Amazon EC2

(ENA)

Amazon ML

Spark & EMR

Kinesis

Batch

ECS

视觉Rekognition Image

Rekognition Video

语音Polly

Transcribe

语言Lex Translate

Comprehend

GPU

(P3)CPU FPGA 无服务器化容器化 边缘设备

更多服务敬请期待

Amazon

Machine

Learning

Amazon

SageMaker

AWS专注于把AI的知识和功能提供给所有用户

AWS Deep Learning AMIs

定制化

易用性

Mechanical

TurkAWS

DeepLens

Amazon ML Lab

很多企业在尝试机器学习无法释放商业潜力

头脑风暴 建模 传授

缺少ML 专家

充分利用亚马逊机器学习专家在几十年间积累的经验、形成的技术，如Amazon Echo, Amazon

Alexa, Prime Air 和 Amazon GoAmazon ML Lab

提供急需的机器学习经验

Amazon Rekognition基于深度学习的计算机视觉服务

名人识别面部识别

面部比较面部分析

图像审核

对象和场景检测

持续功能发布实时人脸识别

人群模式面部识别支持文字识别

增强的面部识别图像审查名人识别

Rekognition Video 分析服务

语言服务

发布了一些新服务用于加快开发应用中的语言分析处理和翻译能力

AI & ML

Amazon Transcribe

全托管和不断训练的自动语音识别 (ASR) 服务，可接收音频并自动生成准确的文字记录。

示例用例：• 呼叫中心• VOD字幕生成• 广播字幕生成• 录制会议

预览

Amazon Transcribe : 自动语音识别(Prev iew)

时间戳支持普通语音和电话语言记录

标点符号 格式化

§S3 集成 话者识别 词汇定制

AI & ML

Amazon Translate

全托管翻译服务，使用深度学习提供高质量、快速且价格合理的语言翻译服务。

预览

示例用例：• 多语言应用程序(支持中文)• 文本分析工作• 与其他AWS服务协作 (如Amazon Polly或

Amazon Transcribe)

实时翻译 深度学习引擎 12 种语言对 语言检测

Amazon Translate : NMT神经机器翻译

AI & ML

Amazon Comprehend

全托管的自然语言处理 (NLP) 服务，使用深度学习智能发掘任何文本的内容。

它可以提取：• 命名实体 – 人群，地点，公司，产品，日期，人名• 关键短语 – 关键的描述性短语，例如美丽的、总是晴朗的• 语言 – 发布时支持英语和西班牙语• 情感 – 积极、消极或中立• 主题检测 – 从大量的文本文件中获取

Amazon Comprehend: NLP自然语言处理

情感分析 命名实体 多语言支持关键词 主题建模

深度学习引擎

AI & ML

Amazon Comprehend

全托管的自然语言处理 (NLP) 服务，使用深度学习智能发掘任何文本的内容。

示例用例：• 社交媒体分析• 个性化内容推荐• 电子邮件分析• 语义搜索• 知识管理／发现

让我们一起回顾一下机器学习的过程

-端到端构建算法定制化的系统

Data Visualization &

Analysis

Business Problem –

ML problem framing Data Collection

Data Integration

Data Preparation &

Cleaning

Feature Engineering

Model Training &

Parameter Tuning

Model Evaluation

Are Business

Goals met?

Model Deployment

Monitoring &

Debugging

– Predictions

YesNo

Data

Augm

enta

tio

n

Fe

atu

re

Augm

enta

tio

n

Retraining

• 配置管理Notebook 环境

• 配置管理训练集群

• 编写数据接口

• 扩展机器学习算法导大数据集

• 多主机分布式机器学习训练算法

• 安全的模型制品

为什么我们打造Amazon SageMaker: 模型训练是没有差异化的繁重工作

一个全托管的服务，可以方便数据科学家和研发人员在智能应用的生产环境中快速和轻松得构建基于机器学习的模型。

Amazon SageMaker

端到端机器学习平台 零配置 多样的模型训练 按秒付费

Amazon SageMaker从创新想法到实际模型实现的最快速，最简单的方法

$

一键训练机器学习，深度学习和自定义

算法

更加方便超参数优化训练

高度优化的机器学习 算法

部署不需要花费太多工程

大规模全托管

Build预先搭建

notebook实例

DeployTrain

Amazon SageMaker

Amazon ECR

Model Training (on EC2)

Model Hosting (on EC2)

Tra

inin

g d

ata

Model art

ifacts

Training code Helper code

Helper codeInference code

Gro

und T

ruth

Client application

Inference code

Training code

Inference requestInference

response

Inference Endpoint

Amazon SageMaker

AWS DeepLens: 开发人员的深度学习摄像头( L i m i t e d P r e v i e w )

• 完全可编程的视频摄像头

• 设备端优化的深度学习框架 Apache MXNet, Caffe, TensorFlow

• 教程，样例代码，示例，预制模型

• 和Amazon Sagemaker集成

AWS深度学习框架之选

可编程性

简化网络定义并使用您已经知道的语言

可移植性

有效利用内存，允许模型在各种设备和平台上运行

可扩展性

能够跨多个 GPU 和主机进行扩展，以快速开发复杂的大型模型

Apache MXNet

Gluon：MXNet的动态图接口

开放神经网络交换 (ONNX)

• 开发人员可以选择最适合他们需求的框架• 更多的客户可以利用 MXNet 的性能和可扩展性• MXNet 用户在各种移动和边缘设备上运行他们的模型（高通，华为，

英特尔和 ARM 宣布支持 ONNX）

最主流和前沿的GPU/FPGA深度学习加速器

通用GPU计算实例

图形GPU计算实例

P2NVIDIA

K80

G3NVIDIA

M60

G2NVIDIA

K520

FPGA计算实例F1Xilinx

UltraScale

+ VU9P

P3NVIDIA

VOLTA

云端的GPU致力于优化人工智能

更低的成本

• 只需按您的使用量付费• 获得更低的可变成本• 将资本投入变成可变投入

更多的灵活性

• 将开发人员调配资源耗费的时间从数周缩短到几分钟• 访问任意规模的资源, 并根据需要扩展或缩减• 在全世界的多个区域轻松部署您的应用程序

更高的性能

• 多达 8 个 Tesla V100 GPU，各配有 5120 个 CUDA 核心和640 个 Tensor 核心

• 最多1 petaflop混合精度, 125 teraflops单精度,和62 teraflops

双精度浮点运算性能• 支持通过 NVLink 进行对等 GPU 通信• 使用 Elastic Network Adapter 提供增强型联网，在一个置放

群组内实现高达 25Gbps 的聚合网络带宽

更好的扩展性

• 利用 Amazon EC2 基于 ENA 的增强联网进行扩展• 对于于分布式深度学习框架能够以近乎完美的效率实现

扩展

深度学习框架在P3实例上的优异性能表现

云端的FPGA致力于定制化人工智能

最多40,000个CUDA核心

Apache

MXNet

Python 3 Notebooks

& Examples

(以及其他)

最快捷的一键式深度学习部署工具

• 借助 AWS Deep Learning AMI (适用于 Amazon Linux 和 Ubuntu) 和 AWS Deep Learning CloudFormation 模板，您可以快速部署和运行各种规模的主要深度学习框架。

• AWS Deep Learning AMI 是 Amazon Web Services 提供的且由其提供技术支持，以便在 Amazon EC2 中使用。

• AWS Deep Learning AMI 不额外收费 – 您只需为存储和运行应用程序时所用的 AWS 资源支付相关费用即可。

分析存储

Glacier

S3

DynamoDB

RDS, Aurora

AWS 大数据服务概览

Data Pipeline & AWS Glue

CloudSearch

EMR EC2

Redshift

Machine

Learning

ElasticSearch

Database

Migration

QuickSight

Kinesis

Analytics

Kinesis

FirehoseSnowBall

Direct Connect

采集

Kinesis

Athena

Amazon S3

Data Lake

Amazon Kinesis

Streams & Firehose

AWS LambdaApache Storm on

EMR

Apache Flink

on EMR

Spark Streaming

on EMR

Hadoop / Spark

Streaming Analytics Tools

Amazon Redshift

Data WarehouseAmazon DynamoDB

NoSQL Database

Amazon

Elasticsearch Service

Relational Database

Amazon EMR

Amazon Aurora

Amazon Machine Learning

Predictive Analytics

Any Open Source Tool

of Choice on EC2Da

ta S

ou

rce

sData Science Sandbox

Visualization /

Reporting

Amazon Kinesis

Analytics

Serving Tier

Clusterless SQL Query

Amazon Athena

Tra

nsa

ctio

na

l D

ata

Amazon Glue

Clusterless ETL

Amazon ElastiCache

Redis

Deep Learning

GPU Instances

基础云服务

安全服务

混合部署、迁移和应用服务

平台/垂直行业应用

服务支持

人工智能与AWS生态系统

谢谢！