Embed Size (px)
Citation preview
计算机视觉算法在O2O中的应用
沈文竹美团技术经理
2012.9－2015.3
百度技术管理
2010.7－2012.9
百度自然语言处理部
机器翻译研发工程师
2007.9－2010.7
清华大学－电子工程系－人工智能实验室
2015.4至今
美团技术工程部
NLP与图像处理技术管理
关于美团
美团的背后：海量大数据，亿级别的图片数据！
面临的问题：如何有效地运用、展现、清洗？
• 敏感图识别
• 图片分类
销售 上单
团单 排序
配送 消费 评价
• 图像质量排序
• UGC图像过滤
• 敏感图识别
• 场景无关图识别
• 银行卡识别
• 人脸识别
下单 支付
• 配送小票识别
计算机视觉算法在美团
计算机视觉相关业务逻辑
数据
算法
应用
银行卡
卡片识别
配送小票 人脸图库 UGC图库
场景文字识别
图像过滤
图像分类
图像质量排序
人脸识别
传统模型
深度学习模型
支付 酒店 配送 外卖 大团购
POI图库
• 敏感图过滤
• 图片分类
销售 上单
团单 排序
配送 消费 评价
• 银行卡识别
• 人脸识别
下单 支付
• 配送小票识别
计算机视觉算法在美团
• UGC图像过滤
• 敏感图识别
• 场景无关图识别
• 图像质量排序
销售上单中的图像过滤
水印logo类 敏感文字类
明星脸类 涉黄类
2%
29%
29%
40%
明星脸类
敏感文字类
涉黄类
水印logo类
图像过滤技术
顶级、第⼀、首家、首个、奢华、豪华、唯⼀、...
文字类 图片
多尺度 滑动窗扫描
关键词整词 特征匹配
分类器 过滤
Logo类 图片
二维码
首图有美团Logo
微信、微博、昵图网...
大众点评、糯米网、窝窝团
开源二维码检测库
位置固定有限
Logo识别
滑动窗扫描
图像过滤技术
细分类别 召回率 准确率
文字类 81.46% 54.2%
涉黄类 94.1% 85.5%
Logo类 65.7% 100%
明星脸类 61% 98.26%
整体效果 70.9% 79%
l 涉黄类： 主要采用CNN图片分类技术
l 明星脸类：主要采用HOG+SVM的人脸检测方法
l 整体效果
• 11
销售上单中的图像分类
POI图像分类技术
GoogLeNet
训练图片类别
修改网络 输出层
训练网络 输出层参数
微调全网络参数 (低学习率)
GoogLeNet 类别映射
(top1, top5)
GoogLeNet 提取特征 训练
MLP 或 SVM
POI图像分类技术
美食类
98.02%
酒店类
91.88%
销售上单图像处理流程
大量节省人力成本！
保证实时性！
人工审核
原始图集
人工分类
上线
机器检测
原始图集
机器分类
分类结果人工评估
疑似敏感图
人工审核
正常图 正常图
敏感图 丢弃
上线
敏感图 丢弃
• 敏感图识别
• 图片分类
销售 上单
团单排序
配送 消费 评价
• 图像质量排序 • 银行卡识别
• 人脸识别
下单 支付
• 配送小票识别
计算机视觉算法在美团
• UGC图像过滤
• 敏感图识别
• 场景无关图识别
图像质量控制
挖掘或标注
图像pairs
POI图像质量排序
商家详情的相册(如上百张图像)
CNN Deep Ranking
图像质量打分
按质量分数排序
9.8 9.5
8.1 7.2
使用方式
训练阶段
......
有序的图像排列
训练网络参数 (triplet or siamese network)
采样
• 敏感图识别
• 图片分类
销售 上单
团单 排序
配送 消费 评价
• 图像质量排序
• 银行卡识别
• 人脸识别
下单支付
• 配送小票识别
计算机视觉算法在美团
• UGC图像过滤
• 敏感图识别
• 场景无关图识别
银行卡识别产品效果
支付页 对焦 拍照点选 识别结果
卡号检测与定位
分割卡号数字
识别卡号数字
6217900100013757284
银行卡识别技术框架
提取字符特征
字符分类器
0 vs 1，0 vs 2, ..., 1 vs 2..., 8 vs 9
识别置信度——类别原型
银行卡识别效果竞品对比
人脸识别
完成人脸检测、关键点检测、特征提取、人脸验证等技术点储备
• 人脸检测 采用HOG+ SVM的方法取得最好效果，简单 背景图片集F1值 = 99.78% • 关键点检测 人脸对齐，采用ERT的人脸对齐算法是目前 业界最好的算法 • 人脸验证 5层的CNN网络模型，提取人脸特征 人脸验证，国际公开库lfw，我们单模型验证 准确率96.65%
HOG+SVM ERT
人脸识别技术
95#
96#
97#
98#
99#
100#
LFW
96.65#
99.65# 99.77#99.5#
meituan#
tencent#
baidu#
face++#
人脸识别效果竞品对比
• 敏感图识别
• 图片分类
销售 上单
团单排序
配送
消费评价
• 图像质量排序
• 银行卡识别
• 人脸识别
下单支付
• 配送小票识别
计算机视觉算法在美团
• UGC图像过滤
• 敏感图识别
• 场景无关图识别
角马商户管理系统
动态切分与识别
文本行生成 （single link
clustering）
关键字检测 （滑窗+SVM检测器）
Beam Search
Over-Segment
最优路径选择
单字识别引擎
语言模型
CRF
识别后处理 曹春燕 18034266903 中国北京—二炮总医院妇科院部六楼23床34.00
小票识别技术框架
开始 特定帧 识别结果
小票识别产品效果
数字部分：字符识别率>98%，条目准确率>95% 文字部分：字符识别率>90%，条目准确率>50% 平均处理时间<1s
• 敏感图识别
• 图片分类
销售 上单
团单 排序
配送
消费评价
• 图像质量排序
• UGC图像过滤
• 敏感图识别
• 场景无关图识别
• 银行卡识别
• 人脸识别
下单 支付
• 配送小票识别
计算机视觉算法在美团
UGC图像示例
正例 负例
历史重复图过滤 敏感、广告、搞笑...
二维码、Logo类、App截 图、单色图等负例图
机器禁止
命中 YES
PASS PASS
重复图、高质量图 场景相关图
人工禁止
人工通过 机器通过
人工审核
YES
PASS PASS
UGC图像过滤
正例
负例
• 重复图过滤
l 图像匹配技术 准确率 = 95%
• 低质图
l 图像质量排序技术 准确率＝95.7%
• 场景无关图
√ X
UGC图像过滤
X
l 图像分类/人脸检测技术 准确率＝94.5%/99.6%
100% 70w/天
人工=82.2%
机器=17.8%
人工=56.1%
机器=43.9%
100%
美食=67.9%
室内=19.7%
需禁止=3.97%
其它=8.43%
应用效果进展
带图片评论总体概况
机禁图比率进一步大幅提升
• 敏感图识别
• 图片分类
销售 上单
团单 排序
配送 消费 评价
• 图像质量排序
• UGC图像过滤
• 敏感图识别
• 场景无关图识别
• 银行卡识别
• 人脸识别
下单 支付
• 配送小票识别
未来展望
l 技术往纵深方向积累 l 覆盖更多更大的业务面，更大程度地节省人力成本
以图搜图
