Embed Size (px)
Citation preview
路香菊 博士 盛大创新院 多媒体主题院研究员2011. 9. 10
• 互动电视
• 自然交互娱乐
互动电视
• 用户接入端 (IPTV 机顶盒 )
• 节目发送 / 共享端 ( 电视台 / 视频网站 )
• 用户移动端 ( 智能手机 )
用户接入端——人声遥控器
用户接入端——智能播放
机顶盒–智能终端• 语音控制• 人脸识别• 行为分析 / 机器学习 / 个性节目推荐
– 视频检索技术• 交互 - 用户移动端 OR 智能终端
– 图像检索 - 电子商务– 人脸搜索 - 社交– AR
互动电视 -Google TV & Yahoo TV
Google TV –PC
Google TV –PC
智能手机 – Best apps
• Snappy TV– Win ‘best social
TV idea’:see it, Snap it, and share it
智能手机 – Best apps
• Shazam– Discover, buy and share the song that
is playing
– TV shows, movies, music
智能手机 – Best apps
• IntoNow– let iphone
listening 30 seconds, then automatically check in what you’re watching
Google TV –smart phone
智能手机 – Best apps
• Snappy TV– Win ‘best social
TV idea’:see it, Snap it, and share it
智能手机 – Best apps
• Shazam– Discover, buy and share the song that
is playing
– TV shows, movies, music
智能手机 – Best apps
• IntoNow– let iphone
listening 30 seconds, then automatically check in what you’re watching
机顶盒–智能终端• 语音控制• 人脸识别• 行为分析 / 机器学习 / 个性节目推荐
– 视频检索技术• 交互 - 用户移动端 OR 智能终端
– 图像检索 - 电子商务– 人脸搜索 - 社交– AR
广告监测、广告替换
3G Mobiles
Detection and Replacement of Ad Video Clips(Near-duplicate video clip processing)
Satellite Broadcasting
Menwomen Students… … … …
… … … … … … … … …
3G MobilesAds: Cosmetics,
Fashions, etc
3G MobilesAds: Books,
Learning machines, etc.
3G MobilesAds: Sports goods,
etc.
广告监测、广告替换
不同权限用户：进入
广告监测
广告替换
广告去除
广告管理
广告去除子系统
广告监测子系统
广告替换子系统
广告管理子系统
视频检索
机顶盒–智能终端• 语音控制• 人脸识别• 行为分析 / 机器学习 / 个性节目推荐
– 视频检索技术• 交互 - 用户移动端 OR 智能终端
– 图像检索 - 电子商务– 人脸搜索 - 社交– AR
图像检索
图像检索
图像检索 - 现有 PC 端应用• www.like.com
图像检索 -Face search
• PicTriev
图像检索 -Face search
• Google 图片搜索 – 脸部特写
AR - Ads
• Augmented Reality at Wellington Zoo
AR –Ads, 电子商务• 虚拟试衣间
AR – 秀• cinemagraphs
AR –Game• Star Walk
AR – Social network• TAT (The Astonishing Tribe)
• Tweet360
• 互动电视
• 自然交互娱乐
自然交互娱乐
• Kinect 简介
• Kinect 应用
• 相关技术
KINECT 简介
• Kinect 是微软研制的一种体感输入设备，属于 Natural User Interfaces （ NUI ，自然用户界面）。
• 是微软游戏机 XBOX360 的外设，以增强XBOX360 的人机互动能力。
• 相比 Sony 的 PS Move 和 PS Eye 体感输入设备， Kinect 更加先进。
KINECT 简介
KINECT 简介
KINECT 应用——体感游戏
KINECT 应用—— Avatar KinectAVATAR KINECT 社交服务
利用自己的动画人物，在虚
拟的场景里与好友进行面对
面的聊天交流
Kinect 应用—— Fun Lab
相关技术——深度图像（前景分离）
Time of Flight
DepthSense
Light Coding
PrimeSensor
3D Image
SoftKinetic PrimeSense
iSec Kinect
相关技术——骨架提取
相关技术——人脸检测（ avatar kinect）
相关技术——手势识别、语音识别
Kinect 应用——其他• 体感游戏（ PK 类，竞技类，有氧类……）
• 现场试衣（试衣魔镜）
• 语音输入，语音控制
KINECT SDK
• 操作系统 Windows 7 （ x86 或 x64 均可）• 硬件需求 CPU 双核 2.66-GHz
支持 DirectX 9.0c 的显卡 2GB 内存• 开发系统 VS2010 ， .NET Framework 4.0 ， DirectX
SDK 2010.6
其他• Sixth Sense - MIT
– a wearable gestural interface that augments the physical world around us with digital information and lets us use natural hand gestures to interact with that information, MIT media lab
– http://www.pranavmistry.com/projects/sixthsense/
未来趋势——自然用户界面
FREE
未来趋势——自然用户界面
NaturalInteraction
Touch Screen
Mouse
Keyboard
FREE
谢 谢
