亚马逊人工智能与深度学习 - Amazon Simple …An...analysis, network/tribe analysis •Netflix –Recommendation engine •Pinterest –Image recognition search •Fraud.net

亚马逊人工智能与深度学习

张侠

AWS首席云计算企业顾问

日程

人工智能与机器学习

亚马逊人工智能 AI

• MXNet

• Polly

• Rekonization

• Lex

奇点来临

“奇点”本是物理学术语，原指时空中的一个普通物理规则不适用的临界点。美国未来学家雷蒙德·库兹韦尔用奇点来指电脑智能超越人脑智的那个神妙时刻。

“我认为任何一种对心灵的冲击都比不过一个发明家亲眼见证人造大脑变为现实。”

--尼古拉特斯拉 1896

机器智能

机器智能（人工智能）是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

机器学习

专家系统

智能搜索

智能控制

定理证明

游戏博弈

机器人学

机器视觉

自动程序设计

图像识别理解

语音识别理解

遗传编程

人工智能：机器学习

• 80、90年代的理论和算法

• 数量级增加的海量数据

• 更强大更便宜的计算能力

• 基于深度神经网的算法发明

• 分布式的随机梯度下降法

SGD等训练方法

更多的大数据更强的硬件更好的算法

机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能。

神经网络：多层感知

输入, x

输出, y

“输入层”

“隐层”

“隐层”

“输出层”

h1 = sigmoid(A1x+b1)

h2 = sigmoid(A2h1+b2)

y = sigmoid(Aoh2+bo)

x

• 机器学习的一个分支

• 数据通过多层的非线性的转换

• 目标：获取最有效的传递函数的转变参数

• 方法: 有监督学习与无监督学习之分等

深度学习

深度学习是基于于人工神经网络，含多隐层多层感知器的学习结构。

许多领域的诸多应用都通过深度学习而得到重要改善

深度学习过去十年快速成长

图像理解语音识别自然语音处理

…

自动化

深度学习

亚马逊的人工智能应用

亚马逊人工智能

全公司上千员工致力于人工智能

发现与搜索物流配送提高现有产品定义新的产品类型将机器学习引入诸多领域

用户在AWS上部署AI示例

• Zillow

–Zestimate (using Apache Spark)

• Howard Hughes Corp

–Lead scoring for luxury real estate purchase

predictions

• FINRA

–Anomaly detection, sequence matching, regression

analysis, network/tribe analysis

• Netflix

–Recommendation engine

• Pinterest

–Image recognition search

• Fraud.net

–Detect online payment fraud

• DataXu

–Leverage automated & unattended ML

at large scale (Amazon EMR + Spark)

• Mapillary

–Computer vision for crowd sourced

maps

• Hudl

–Predictive analytics on sports plays

• Upserve

–Restaurant table mgmt & POS for

forecasting customer traffic

• TuSimple

–Computer Vision for Autonomous

Driving

• Clarifai

– Computer Vision APIs

深度学习的到来数据

GPUs加速器

编程模型

算法

AWS

对数据科学家的要求

数理方法计算编程

行业知识

Amazon AI基于深度学习的人工智能服务

Amazon AI 介绍

Apache MXNet深度学习引擎

Amazon AI 介绍

PollyApache MXNet深度学习引擎文字转语音服务

Amazon AI 介绍

PollyApache MXNet深度学习引擎

Rekognition图像分析语音服务

Amazon AI 介绍


Rekognition Lex图像分析语音服务语音识别和

自然语义理解

对话引擎

Amazon AI 介绍


Rekognition Lex图像分析语音服务对话引擎

Apache MXNet

可编程轻便高性能

在成百上千个 GPUs 之间近乎线性缩放

为移动端及 IoT 提供高性能模型

语法简单，支持多种语言

为什么使用 Apache MXNet?

基本开源在 AWS 上表现最佳

在 AWS 上对深度学习进行了优化纳入 Apache 孵化项目

(与 AWS 集成整合)

Apache MXNet 是亚马逊选择的深度学习框架

P2实例 , 深度系统映像 , 及深度模板

P2 实例接近4万个 CUDA 核

深度模板深度学习集群

深度系统镜像AMI为深度学习预设置

一键使用深度学习

AWS 深度学习系统镜像(Amazon Linux, Ubuntu)

接近4万个 CUDA 核

Apache MXNet

TensorFlow

Theano

Caffe

Torch

预设置 CUDA 驱动

Anaconda, Python3

+ CloudFormation 模板

+ 容器镜像

Amazon AI 介绍

Polly语音服务


Rekognition Lex图像分析对话引擎

Amazon Polly: 栩栩如生的语音服务

将文本转换成生动的语音

47 种声音 24 种语言低延迟，实时完全托管

我们先来听一听…

“Today in Seattle, WA, it’s 11°F”

‘"We live for the music" live from the Madison Square Garden.’

1. 自动且准确的文本处理过程

Polly: 聚焦音质和发音

2. 智能且易于理解



”Peter Piper picked a peck of pickled peppers.”


3. 为文本赋予语义

“Richard’s number is 2122341237“

“Richard’s number is 2122341237“电话号码




3. 为文本赋予语义

4. 定制式发音

“My daughter's name is Kaja.”

“My daughter's name is Kaja.”



Amazon Polly: 栩栩如生的语音服务

具备一流深度学习框架的高质量

深层功能易于使用且完全集成为产品而定制价格低廉

Amazon AI 介绍

Polly文本转语音



Rekognition: 搜索并理解视觉内容

实时图像批处理分析

对象及场景检测人脸检测人脸搜索面部分析

Amazon Rekognition

基于深度学习的图像识别

物品场景识别面部分析面部比较面部确认

Rekognition: 对象及场景检测

Couch

Furniture

Bowl

Entertainment Center

Flower Arrangement

Plant

Vase

Floral Design

Flower

Coffee Table

Table

Indoors

Interior Design

Room

Dining Table

Apartment

Housing

Living Room

Cabinet

Fruit

97.7%

97.7%

94%

93.2%

86.4%

86.4%

86.4%

70.6%

70.6%

69.3%

69.3%

66.4%

66.4%

66.4%

58.9%

58.7%

58.7%

52%

51.9%

50.7%

Rekognition: 人脸检测

looks like a face

appears to be male

age range

smiling

appears to be happy

not wearing eyeglasses

not wearing sunglasses

eyes are open

mouth is open

does not have a mustache

does not have a beard

99.9%

99.9%

38 - 59 years old

98.3%

95.9%

99.2%

99.8%

73.2%

72.1%

87.4%

97.4%

Rekognition: 人脸辨认

{ "FaceMatches": [ { "Face": { "BoundingBox": { "Height": 0.2579185664653778, "Left":

0.3328912556171417, "Top": 0.23076923191547394, "Width": 0.15119363367557526 },

"Confidence": 99.64903259277344 }, "Similarity": 78 }, { "Face": { "BoundingBox":

{ "Height": 0.2398190051317215, "Left": 0.19363395869731903, "Top":

0.1538461595773697, "Width": 0.1405835598707199 }, "Confidence":

99.99935913085937 }, "Similarity": 0 } ], "SourceImageFace": { "BoundingBox":

{ "Height": 0.14034464955329895, "Left": 0.376{

"FaceMatches": [

{

"Face": {

"BoundingBox": {

"Height": 0.2579185664653778,

"Left": 0.3328912556171417,

"Top": 0.23076923191547394,

"Width": 0.15119363367557526

},

"Confidence": 99.64903259277344

},

"Similarity": 78

},

{

"Face": {

"BoundingBox": {

"Height": 0.2398190051317215,

"Left": 0.19363395869731903,

"Top": 0.1538461595773697,

"Width": 0.1405835598707199

},

"Confidence": 99.99935913085937

},

"Similarity": 0

}

],

"SourceImageFace": {

"BoundingBox": {

"Height": 0.14034464955329895,

"Left": 0.3763313591480255,

"Top": 0.1154734417796135,

"Width": 0.09349112212657928

},

"Confidence": 99.9992446899414

}

}3313591480255, "Top": 0.1154734417796135, "Width": 0.09349112212657928 },

"Confidence": 99.9992446899414 } }

"contentString": {

"Attributes": [

"ALL"

],

"TargetImage": {

"Bytes": "..."

},

"SourceImage": {

"Bytes": "..."

},

"SimilarityThreshold": 0

}

}

Rekognition: 搜索并理解视觉内容



Amazon AI 介绍

Polly文本转语音



会话式交互的出现

第三代: 面向意愿对话界面

第二代: 面向控制及翻译指针滑杆

第一代: 面向机器的交互打孔机记存器

语音及文本“聊天机器人”

高效Alexa

在移动设备、网页及其他设备上的语音交互

使用 Slack 与 Messenger

进行文本交互企业连接器

(其他功能即将推出)Salesforce

Microsoft Dynamics

Marketo

Zendesk

Quickbooks

Hubspot

Lex: 在语音与文本之间建立自然会话式交互

Origin

Destination

Departure Date

Flight Booking

Origin

Destination

Departure Date

Flight Booking

“Book a flight to

Shanghai”

Origin

Destination

Departure Date

Flight Booking

“Book a flight to

Shanghai”

Automatic

Speech Recognition

Book Flight

Shanghai

Origin

Destination

Departure Date

Flight Booking

“Book a flight to

Shanghai”

Automatic

Speech Recognition

Natural Language

Understanding

Book Flight

Shanghai

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

Shanghai Hongqiao

Origin

Destination Shanghai Hongqiao

Departure Date

Flight Booking

“Book a flight to

Shanghai”

Automatic

Speech Recognition

Natural Language

Understanding

Book Flight

Shanghai

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

Shanghai Hongqiao

Origin Beijing


Departure Date

Flight Booking

“Book a flight to

Shanghai”

Automatic

Speech Recognition

Natural Language

Understanding

Book Flight

Shanghai

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

Shanghai Hongqiao

LocationLocation

Origin Beijing


Departure Date

Flight Booking

“Book a flight to

Shanghai”

Automatic

Speech Recognition

Natural Language

Understanding

Book Flight

Shanghai

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

Shanghai Hongqiao

Prompt

LocationLocation

“When would you like to fly?”

Origin Beijing


Departure Date

Flight Booking

“Book a flight to

Shanghai”

Automatic

Speech Recognition

Natural Language

Understanding

Book Flight

Shanghai

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

Shanghai Hongqiao

Prompt

LocationLocation

“When would you like to fly?”

“When would you like to

fly?”

Polly

Origin Beijing


Departure Date

Flight Booking

“Next Friday”

“When would you like to

fly?”

Origin Beijing


Departure Date

Flight Booking

“Next Friday”Automatic

Speech Recognition

Next Friday

Origin Beijing


Departure Date 5/16/2017

Flight Booking


Speech Recognition

Natural Language

Understanding

Next Friday

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

5/16/2017


Speech Recognition

Natural Language

Understanding

Next Friday

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

5/16/2017

Origin Beijing



Flight Booking


Speech Recognition

Natural Language

Understanding

Next Friday

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

5/16/2017

Confirmation

“Your flight is booked for next Friday”

Origin Beijing



Flight Booking


Speech Recognition

Natural Language

Understanding

Next Friday

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

11/18/2016

“Your flight is booked for

next Friday”

Confirmation

“Your flight is booked for next Friday”Polly

Origin Beijing



Flight Booking


Speech Recognition

Natural Language

Understanding

Next Friday

Grammar

Graph

Utterances

Knowledge

Graph

Flight booking

5/16/2017

Hotel Booking

Origin Beijing



Flight Booking

开发者面临的挑战

传统语音对话界面需要结合大量复杂的算法和技术

语音识别语义理解

业务逻辑独立数据处理

身份确认

通信平台

缩放测试

安全

可用移动应用



Lex: 在语音与文本之间建立自然会话式交互

Echo 利用 Alexa Skills Kit 开发

Alexa!

用户 Alexa 开发者

Demo: Echo Dot

• Ask Questions

• Connect Bluetooth devices

• Control music

• Control smart home devices

• Enable skills

• Weather updates

• Get sport scores

• Find a place

• Listen to audible books

• Shopping

• Tell me a joke

Amazon AI: 接下来的发展方向?


Rekognition Lex图像分析

新的 APIs和工具语音服务对话引擎

应用开发员Amazon Rekognition

Amazon Machine Learning

Amazon Polly

Amazon Lex自然语言理解 (NLU)

& 自动语音识别 (ASR)

图像识别&分析

文本-语音转换

托管的机器学习服务

AWS Deep Learning AMI快速、轻松的使用可扩展的多种深度学习框架

数据科学家

亚马逊人工智能：AWS AI

P2AWS P2 Instance通用GPU实例

深度学习应用场景

• 个人助理

• 自动语音识别

• 自然语音处理

• 图像视频标签

• 定向广告

• 人脸识别

• 服务器监控

• 金融预测分析

• 智能投顾

• 推荐系统

• 网络侵入检测

• 欺诈侦测

云服务

金融服务

医疗卫生

汽车交通

https://aws.amazon.com/amazon-ai/

Amazon AI: 开始使用吧

谢谢

Documents

亚马逊人工智能与深度学习 - Amazon Simple …An...analysis, network/tribe analysis •Netflix –Recommendation engine •Pinterest –Image recognition search •Fraud.net