Embed Size (px)
Citation preview
2山世光， [email protected]
引子• 人世间找不两张完全一样的脸！
– 人脸是人类赖以区分不同人的基本途径• 世间一切尽在脸上！
– 基因 + 成长环境尽管双胞胎在基因层面也许区别不大尽管双胞胎在基因层面也许区别不大，但后天的成长历程都镌刻在了他们，但后天的成长历程都镌刻在了他们的脸孔上！所以随着年龄的增长，他的脸孔上！所以随着年龄的增长，他们的脸孔会更加不同。另外一个例子们的脸孔会更加不同。另外一个例子就是所谓的“夫妻相”，尽管基因不就是所谓的“夫妻相”，尽管基因不同，但共同的生活经历导致了其面孔同，但共同的生活经历导致了其面孔的趋同。的趋同。
4山世光， [email protected]
从模式识别到人脸识别• 对于即将从事模式识别相关研究的同学，模式识别课程非常重要
– 比喻：就像要去打仗，手中没有精良的武器是不行的，有了武器不会用等于没有，对它们性能和使用的熟练程度不同也会在很大程度上影响成败• 实践上需要具体情况具体对待
– 比喻：用手枪去射击 500 米外的目标，或者用洲际导弹去轰炸 500 米外的敌人都是非常愚蠢的。
5山世光， [email protected]
从模式识别到人脸识别• 一般到特殊，归纳与演绎，理论与实践
– 应用模式识别的基本原则到人脸识别中去• 从人脸模式的先验知识、具体情况和特定约束条件（“脸情”）出发，依据模式识别各模块的基本设计原则，选择、应用、尝试、比较 PR 领域的基本方法，最终解决人脸识别这个具体问题
– 在实践中验证 PR ，在理论上回报 PR • 验证 PR 中的基本原理和技术方法，发现其可能的问题并修改之• 总结归纳人脸识别中出现的共性 PR 问题及其可能的解决方案，以充实、弥补作为一门分支学科的模式识别
人脸识别是模式识别的一个典型案例，它为模式识别问人脸识别是模式识别的一个典型案例，它为模式识别问题研究提供了一个良好的实验平台，所以，众多模式识题研究提供了一个良好的实验平台，所以，众多模式识别的知名专家、学者都在从事人脸识别的研究！别的知名专家、学者都在从事人脸识别的研究！
6山世光， [email protected]
从模式识别到人脸识别传感器传感器 分割器分割器 特征提特征提取器取器 分类器分类器 后处理器后处理器 决策决策客观世客观世界模式界模式
光学摄光学摄像机像机 人脸检人脸检测器测器 特征提特征提取器取器 分类器分类器 后处理器后处理器 人物人物身份身份人脸人脸表面表面
分类器分类器特征提特征提取器取器
测量空间测量空间 特征空间特征空间 类别空间类别空间
7山世光， [email protected]
关于传感器与预处理• 传感器：客观世界模式的测量问题
– 人脸：数字化为 2D 图像？ 3D 形状？红外温谱？– 分辨率、精度、灵敏度、失真度等等– 真实性？稳定性？
• 预处理：保证数据的纯洁度• 模式识别理论基本不关心这两项内容，而在应用上，是必须作为重要内容来考虑的，否则可能根本就是不可解的问题！
8山世光， [email protected]
关于特征表示问题• 关于特征提取与分类器
– 理想的特征提取过程可使得后续的分类器设计成为小菜一碟，万能的分类器似乎也应该使得设计者不必刻意设计特征提取过程！– 没有万能的分类器！
• 甚至没有所谓最好的分类器，不同的分类器有不同的适用范围！• 但对具体问题，可能会有最适合的特征表示方法，而不同的特征表示也需要采用不同的分类器
9山世光， [email protected]
关于数据问题• Math is king, data is queen! • 在基于统计学习的模式识别问题中，采用什么样的数据、多少数据往往决定了问题的成败，而不是采用了什么样的学习算法
– 目标不同：模式识别研究的是有了特定属性数据之后如何设计“对所有可能的情况”最优的分类器，而应用上却要考虑“为了解决某个特定识别问题”如何去选择数据？• 只为了识别中国人，需要把外国人的数据拿来训练吗？• 为了识别正楷文字，需要把行书也拿来训练吗？
• 但是，在理论上却有另一个问题…
10山世光， [email protected]
关于泛化能力• 泛化能力
– 对于没有训练学习过的模式样本的识别能力• 只用中国人训练的模型能否识别老外？异族人脸识别困难现象。• 婴儿：“独眼龙” 不是人？
• 在实践中，也许想办法加入更多的有代表性的训练样本更能解决问题，而不是去设计更复杂的分类器或者学习机– 充分利用手头样本： AdaBoost ， Bagging 等等
11山世光， [email protected]
小结• 对一般方法的掌握程度• 对特定问题的理解程度• 应用中需要更多的关注：
– 传感器的选择，比如什么样的摄像机？– 预处理：如何去除各种干扰因素？– 特征表示问题：什么是本质的类别特征？– 为了解决某一应用问题，选择什么样的数据训练分类器？
共同决定了最终的成败！共同决定了最终的成败！
13山世光， [email protected]
为什么要做人脸识别？• 多学科领域的挑战性难题
– 模式识别：最典型、最困难的模式识别问题– 人工智能：人类智能的基本体现– 计算机视觉：实现人眼的功能– 下一代人机交互
• 让计算机不再“熟视无睹”• 让计算机具有人类的情感
• 广泛的应用前景… • 人脸识别相比其他生物特征识别的优势…
14山世光， [email protected]
应用模式 典型具体应用 特点说明 应用领域
身份识别
出入境管理 过滤敏感人物（间谍、恐怖分子等）
国家安全公共安全嫌疑人照片比对 公安系统用于确定犯罪嫌疑人身份敏感人物智能监控 监控敏感人物（间谍、恐怖分子等）网上追逃 在 PDA 等移动终端上进行现场比对会议代表身份识别 防止非法人员进入会场带来危险因素关键场所视频监控 如银行大厅，预警可能的不安全因素家政服务机器人 能够识别家庭成员的智能机器人
人机交互自动系统登陆 自动识别用户身份，提供个性化界面智能 Agent 自动识别用户身份，提供个性化界面真实感虚拟游戏 提供真实感的人物面像，增加交互性
身份验证
护照、身份证、驾照等各类证件查验 海关、港口、机要部门等查验持证人的身份是否合法 公共安全准考证查验 防止替考问题 教育机要部门物理门禁 避免钥匙和密码被窃取造成失窃 公共安全机要信息系统门禁 避免单纯的密码被窃取造成信息被窃 信息安全面像考勤系统 方便，快捷，杜绝代考勤问题 企业应用金融用户身份验证 避免单纯的密码被窃取造成财产损失 金融安全电子商务身份验证 安全可靠的身份验证手段 金融安全智能卡 安全可靠的授权 信息安全会议代表身份验证 防止非法人员进入会场带来危险因素 公共安全屏幕保护程序 方便快捷的允许合法用户打开屏保 人机交互
15山世光， [email protected]
人脸识别相关研究内容• 生物特征识别
– 人脸、指纹、虹膜、视网膜、掌纹、• 人机交互 (HCI)• 人脸图像编码 /压缩• 表情分析，情感计算 • 人脸动画 face animation• 人脸属性分类
– 种族、性别、年龄• Attractiveness判别
17山世光， [email protected]
与其他生物特征识别的比较• 生物特征识别：未来的身份验证方法！
– 生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱– 行为：笔迹、步态、声纹
• 人脸识别的优点– 可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用– 非接触式采集，没有侵犯性，容易接受– 方便、快捷、强大的事后追踪能力– 符合我们人类的识别习惯，可交互性强，无需专家评判
• 人脸识别的不足– 不同人脸的相似性大– 安全性低，识别性能受外界条件的影响非常大
18山世光， [email protected]
技术挑战
光照环境条件 饰物（眼镜帽子等）
面部毛发(头发，胡须)
精神状态
健康状况
化妆、整容
影响人脸图像表观的因素
摄像设备
人与摄像设备的位置关系（距离角度等）
图像存储质量
年龄变化
意外损伤
23山世光， [email protected]
我们的眼睛靠什么识别？• 脸形，面部器官结构
–国田由用，目甲风申• 皮肤和肤色
– 光滑 /粗糙，黝黑 /白皙• 动态特征
–酒窝，皱纹• 局部特性
–黑痣，刀疤，鹰勾鼻子，独眼龙人的优势：强大的背景知识！
24山世光， [email protected]
人类视觉识别系统特性简介及其借鉴意义 • 人脸识别是否是一个特定的过程？
– 证据：“人脸识别能力缺失症（ Prosopagnosia ）”患者的存在，患有此症的人可以正常的识别其他物体，甚至可以正确的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。• 全局特征与局部特征孰轻孰重？
– 全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的分布特征（比如，在绘画界就有“国田由用，目甲风申” 8种脸形之说），中医也将人脸按照总体结构特征划分为“金木水火土”五行（侧重人脸 3D 结构和肌肉凸凹情况）– 而局部特征则主要指面部五官的特点，比如浓眉毛、丹凤眼、鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异特征，比如黑痣、伤痕、酒窝等等 – 二者对识别都是必要的，但全局特征一般用来进行粗略的匹配，局部特征则提供更为精细的确认。
25山世光， [email protected]
局部特征 vs 全局特征• 明星漫画：夸大了独特之处
– 问题： How to find these salient features automatically?
26山世光， [email protected]
28山世光， [email protected]
人类视觉识别系统特性简介及其借鉴意义• 面部特征对识别的重要性分析
– 不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域对识别的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高于其他特征• 异族人脸识别困难现象
– 这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力 • 性别和年龄阶段对于识别性能的影响
– 女性要比男性更难识别；年轻人比老年人更难识别 • 频域特性与人脸识别的关系
– 低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高频分量则对应局部的细节变化 – 要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必须保留足够的高频分量才可以
29山世光， [email protected]
人类视觉识别系统特性简介及其借鉴意义• 特异度对人脸识别的影响
– 最“漂亮的”、最“丑陋的”、最“奇异的”的人脸都是最容易被记住的，而大众化的人脸则不太容易被记住 – “ 大众脸”并不等于“平均脸”，大众脸是指经常可以见到的“脸”，而“平均脸”并不多见
• 光照变化与人脸识别– 反相照片（负片）的识别时很困难的；– 下方光源人脸图像难以识别
• 姿态不变性– 不变性？
• 运动人脸图像序列– 提供了更多的
30山世光， [email protected]
基于光学人脸图像的身份识别与验证• 通常我们所说的人脸识别是基于光学人脸图像的身份识别与验证的简称• 光学人脸图像（以下简称人脸图像）是外界光源（包括太阳光、室内人造光源和其他物体表面反射而来的光线）发出的光线照射在人脸上，经人脸表面反射后传输到摄像机传感器的光线强度的度量。
);;( CLFfI
31山世光， [email protected]
简化的人脸成像模型• Lambert反射模型（漫反射模型）
– K 为物体表面点漫反射系数– L 为入射光强度
• 对人脸而言：
的夹角为光源方向与表面法向 )cos( LKI
32山世光， [email protected]
人脸图像的生成要素• 人脸图像实际上是三大类关键要素共同作用的结果
– 人脸内部属性 F• 人脸 3D 形状（表面法向量方向）• 包括人脸表面的反射属性（包括反射系数等，通常简称为纹理）• 人脸表情、胡须等属性的变化；
– 外部成像条件 L• 包括光源（位置和强度等）• 其他物体或者人体其他部件对人脸的遮挡（比如眼镜、帽子、头发）等。
– 摄像机成像参数 C• 包括摄像机位置（视点）、摄像机的焦距、光圈、快门速度等内外部参数
);;( CLFfI
对识别人脸无益的干扰因素！对识别人脸无益的干扰因素！
33山世光， [email protected]
理想的识别模型• 从人脸图像中剥离出
– 人脸稳定不变的本质属性（ 3D 形状与表面反射率）– 外界条件及其摄像参数变化导致的图像变化
• 然后，从 3D 形状与表面反射率属性中提取不同人脸的差异信息，馈入到后端的判别分类器中进行识别
一个病态问题！遗憾
34山世光， [email protected]
退而求其次…• 目前的多数系统采用的人脸建模方法仍然停留在图像层面上，并没有显式地分离出 3D 形状和纹理的步骤• 而是直接通过从“图像”中提取人脸特征并进行分类来完成识别
– 2D 结构信息——基于几何结构的人脸特征– 出现了少量利用 3D信息进行识别的方法： Morphable models– 2D 图像灰度数据统计特征—如模板匹配 , Eigenface, Fisherface– 2D 图像变换特征——如 Gabor, DCT, FFT…– 2D 图像的低维子空间分布
• 线性：子空间，光照锥• 非线性： Kernel 学习，流形等主流： Appearance-based methods
39山世光， [email protected]
基于几何特征的例子• 建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸• 人脸图像 f 特征向量 v v = (x1, x2,…, xn)• 对所有已知人脸提取同样描述的几何特征 D={v1, v2,.., vp}• 待识别的人脸 f 提取的几何特征为 vf
• 计算 vf 与 D 中所有 vi 的相似度 s(vf,vi)( 比如欧式距离、 cosine(.) 等 ) ，进行排序• 根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息
41山世光， [email protected]
国内外研究现状——研究机构• 国外研究机构情况
– 以美欧为主，各知名大学、研究所、企业研究院均设立了与人脸识别相关的研究组• 大学： CMU, MIT, Michigan State University, UCLA, University of
Manchester ， UMD, USC, University of Surrey…– 评测： FERET(94-97), FRVT(2000/2002), (X)M2VTS, FV
C…• 国内研究机构简况
– 大学：清华大学 3家，哈尔滨工业大学，中山大学，南京理工大学，南京大学，上海交大，浙大，北交大…– 研究所：计算所，自动化所等
42山世光， [email protected]
人脸识别的最高学术水平• 1997FERET 测试结果
测试类 (训练 / 测试数 ) 最高识别率 ( 大学，方法 ) 所有参评方法的平均识别率FB (1196/1195) 96%(UMD, PCA+LDA) 83%FC (1196/194) 82%(USC, EBGM) 30%D I (1196/722) 59%(USC, EBGM) 40%D II (864/234) 51%(USC, EBGM) 21%# 数据来源： 2000年 P.J.Phillips 的 PAMI文章
*说明（四种测试类均为正面人脸照片，略有表情变化，无眼镜等饰物）：FB ：训练、测试集同一采集过程中在严格控制的光照条件下采集，略有表情变化，视觉效果上与训练集数据相差不大；FC ：训练、测试集同一采集过程中不同摄像头，有光照变化；D I ：训练、测试集同一年内，不同时间采集，有光照变化D II ：一年后，不同摄像头，不同光照条件
43山世光， [email protected]
人脸识别的最高学术水平• FERET 测试 ( 大于等于 1196 人的人脸库上测试 )*
– 在同一摄像条件下采集的正面图像识别中，典型的识别率为 95% 以上– 而对用不同的摄像机和不同的光照条件采集的正面测试图像，典型的识别率骤降为 80% 以下– 而对一年后采集的正面测试图像，最大的准确率也仅仅接近 50%*来源于 2000年发表在 PAMI 上的文章，实际测试在 1997年进行
性能下降很快！
44山世光， [email protected]
从评测看当前人脸识别技术的研究水平• FERET’1997
– 理想条件下 1000 人左右的正面人脸识别系统识别率 95%左右– 非理想条件下， 200 人左右正面人脸识别率骤降至 50%左右
• FRVT 2002– 较理想条件下（ 37437人 (121,589 幅图像 )的正面人脸签证照）
• 人脸识别 (Identification) 最高首选识别率 73%• 人脸验证 (Verification) 的等错误率大约为 5%-7%
– 错误接收率为 0.01%时，最低错误拒绝率 30%左右– 错误接受率为 0.1%时，最低错误拒绝率 18%左右– 错误接受率为 1%时，最低错误拒绝率 10%左右
45山世光， [email protected]
从评测看当前人脸识别技术的研究水平• FERET’1997
– 理想条件下 1000 人左右的正面人脸识别系统识别率 95%左右– 非理想条件下， 200 人左右正面人脸识别率骤降至 50%左右
• FRVT 2002– 较理想条件下（ 37437人 (121,589 幅图像 )的正面人脸签证照）– 非理想条件测试 (Verification ，错误接受率为 1%)
• Gallery: 787 人正面中性表情，室内为白炽灯光源• 室外同一天 Probe库包括 435 人 (444幅图像 ) ，首选识别率 54%• 室外 152-505天之间的 Probe库包括 103 人 (145幅图像 ) ，首选识别率
46%
46山世光， [email protected]
从评测看当前人脸识别技术的研究水平• FERET’1997
– 理想条件下 1000 人左右的正面人脸识别系统识别率 95%左右– 非理想条件下， 200 人左右正面人脸识别率骤降至 50%左右
• FRVT 2002– 较理想条件下（ 37437人 (121,589 幅图像 )的正面人脸签证照）– 非理想条件测试 (Verification ，错误接受率为 1%)– 不同的姿态测试 (Verification ，错误接受率为 1% 测试图像为同样光照 )
• 87 人正面图像作为 Gallery• 左转 45 度： 40%• 右转 45 度： 55%• 抬头 30 度： 47%• 低头 30 度： 55%
47山世光， [email protected]
从评测看当前人脸识别技术的研究水平• FERET’1997
– 理想条件下 1000 人左右的正面人脸识别系统识别率 95%左右– 非理想条件下， 200 人左右正面人脸识别率骤降至 50%左右
• FRVT 2002– 较理想条件下（ 37437人 (121,589 幅图像 )的正面人脸签证照）– 非理想条件测试 (Verification ，错误接受率为 1%)– 不同的姿态测试 (Verification ，错误接受率为 1% 测试图像为同样光照– 时间跨度问题
• 对大约 3年后的照片，在错误接受率为 1%时– 最高首选识别率 60%左右– 而错误拒绝率为 15%
48山世光， [email protected]
从评测看当前人脸识别技术的研究水平• FERET’1997
– 理想条件下 1000 人左右的正面人脸识别系统识别率 95%左右– 非理想条件下， 200 人左右正面人脸识别率骤降至 50%左右
• FRVT 2002– 较理想条件下（ 37437人 (121,589 幅图像 )的正面人脸签证照）– 非理想条件测试 (Verification ，错误接受率为 1%)– 不同的姿态测试 (Verification ，错误接受率为 1% 测试图像为同样光照– 时间跨度问题– 其它结论
• 对视频序列图像的识别效果并不比对静态图像的识别效果好 ?• 数据库的规模每增加一倍，总体性能下降大约 2 到 3 个百分点• 男性比女性更易于识别• 年轻人比老年人难识别
49山世光， [email protected]
国际研究现状• 在比较良好的环境条件情况下，对 1000 人左右基本正面人脸进行识别的性能：
–首选识别率： 95% 以上– 等错误率： 2% 以下
• 在环境比较糟糕的情况下，对基本正面人脸进行识别的性能：–首选识别率： 80% 以下– 等错误率： 10% 以上
50山世光， [email protected]
Who is who in FR community
• Simon Baker, & Kanade • Thomas Vetter• Rama Chellappa• Baback Moghaddam• Alex Pentland• Michael Black• Peter Belhumeur• David Kriegman• David Yacobs• Ronen Basri• Amnon Shashua
• Wenyi Zhao• Chengjun Liu• Zhengyou Zhang• M.H.Yang• Harry Wechler• Tim Cootes• Josef Kittler• Jonathan Phillips• Alice O'Toole• Matthew Turk • … Too many to list all here.
51山世光， [email protected]
人脸图像数据库• 人脸库
– FERET 人脸库， 1196 人– CMU-PIE姿态光照表情人脸库， 68 人– CAS-PEAL 人脸库 ,1040 人 ,姿态表情饰物光照– Yale Face Database B 光照人脸库， 10 人– XM2VTS多模态人脸库， 200多人– AR 人脸库– ORL– Yale 15 人
• 以上人脸库已经基本没有价值，建议放弃使用
52山世光， [email protected]
文献来源• Proceeding of the following conferences
– CVPR, ICCV, ECCV, FG, ICPR• Journals
– TPAMI, Trans. on NN, Trans.on IP, SMC-Part A– Pattern Recognition– IJCV– IEEE Proceedings– Image and Vision Computing – CVIU
53山世光， [email protected]
国际商业系统• 国际上比较著名的商业系统
– Cognitec AG——FaceVACS– Identix (LFA) —— FaceIt– Neven Vision– Vissage– FaceFINDER™来自 Viisage Technology Inc. (PCA)– Hunter™来自 LAU Technologies (PCA)– FaceSnap® RECORDER来自 C-VIS (EBGM)– TrueFace来自 eTrue Inc. (Neural Network)– SpotIt!来自 ITC– BioID …
55山世光， [email protected]
发展阶段 1964~1990 1991~1997 1998-Current
主要特征作为一 般识别问题被研究；基于特征的方法是主流
重点解决的是较理想条件下、用户配合、中小规模人脸数据库上的人脸识别问题；基于 Appearance 的 2D 人脸图像线性子空间分析和统计模式识别方法是主流；重点研究非理想条件下、用户不配合、大规模人脸数据库上的人脸识别问题；基于 3D 模型和非线性建模的方法等可能是发展趋势
代表性的人脸识别技术与方法及其关键性事件和作品
已知 的 最早的自动人 脸 识 别 研 究论文 Bledsoe[1964]
Eigenface[Turk&Pentland,1991] 光照锥技术 Georghiades,Kriegman ，Belhumeur， 1998]
基于特征的方法与基于模板的方法的对比 [Brunelli & Poggio ， 1992] 支持向量机 SVM 用于人脸识别中[Phillips, 1999]
第一 个半自动人脸识别系统 美国 DARPA启动 FERET 测试项目 [Philips&Moon1994, 1995] 3D 可变形模型 [Vetter, 1999]
第一篇自动人脸识别方面的博士论文[Kanade, 1973]
局部特征分析（ LFA ）人脸识别方法发展成为 Visionics公司 FaceIt商业系统 [Atick, 1995]基于 AdaBoost 的人脸检测技术 [Viola, 1999]
基于剪影分析的 （ Profile ）人脸识别基于双子空间的贝叶斯概率学习 [Moghaddam ， 1995] Face Recognition Vendor Tes
t 2000 [FRVT 测试 2000]
人脸识别研究综述 [Chellappa, 1995] 朗博反射与线性子空间分析[Basri& Jacobs, 2001]
人脸 的低维表示 [Sirovich & Kirby, 1987 ， 1990]
Fisherface[Belhumeur,1997] 基于商图像的人脸识别方法 [Shashua, 2001]
弹性图匹配技术 [Wiskott ， 1997] 人脸检测综述 [Yang&Kriegman,2002]
柔性模型， ASM, AAM [Cootes & Taylor, 1997] FRVT 2002 测试
FERET’1996 测试 [Philips&Moon, 1996]
技 术 特点
基于特征的方法 基于模板的方法
--- 基于神经网络的人脸识别方法 ---
--- 统计学习理论
--- 基于 Appearance 的 2D 人脸子空间分析与建模
--- 非线性流形分析技术
基于 2D 图像模型的人脸识别 基于 3D 模型的人脸识别
56山世光， [email protected]
典型方法• 基于几何特征的识别方法• 基于模板匹配的识别方法• 基于 AdaBoost 的人脸检测• 特征脸 (Eigenface)• 可变形模板方法• 主动模型 ASM/AAM• Fisherface, subspace LDA• 双子空间贝叶斯判别方法 • 3D Morphable Model • Elastic Graph Matching• 局部特征分析 (LFA)
• 一些值得关注的技术趋势– SVM related– LFA related– Gabor feature based methods – Illumination cones– Quotient images– Spherical harmonics and Line
ar subspaces– AdaBoost-based face recognit
ion– Manifold analysis for non-linea
r modeling• ICA, kernel learning, ISOMAP,
LLE
57山世光， [email protected]
重点介绍的几个方法• 人脸检测
– 基于 AdaBoost 的人脸检测方法• 特征定位
– 可变形模板方法– ASM/AAM
• 基础知识：主成分分析
• 识别方法– 基于几何特征的识别方法– 基于模板匹配的识别方法– 特征脸 (Eigenface)– Fisherface, subspace LD
A– 双子空间贝叶斯判别方法 – 3D Morphable Model
59山世光， [email protected]
人脸检测方法• 基于规则 / 知识方法
– 人脸模式的变化满足一定的规律，所以可以归纳描述人脸特征的规 则，如灰度分布、比例关系、纹理信息等• 基于模板的方法
– 固定模板法，可变形模板法• 基于不变特征的方法，如彩色信息
– 人脸的肤色在彩色空间中的分布相对比较集中，所以可用来检测和 跟踪人脸。• 基于外观学习的方法 --- 目前的主流方法
– 将人脸检测视为从非人脸样本中识别人脸样本的模式识别问题，通 过对人脸样本集和非人脸样本集的学习产生分类器
60山世光， [email protected]
基于 Appearance 的方法• ANN• Naïve Bayes Classifier• SVM• AdaBoost
遍历所有可能的“矩形窗口”，判断每个小窗口是否人脸遍历所有可能的“矩形窗口”，判断每个小窗口是否人脸？？
61山世光， [email protected]
AdaBoost 算法简介• 在 2001年的 ICCV 上， Compaq 的研究员 Paul Viol
a 和 Michael J.Jones 发表了一个实时人脸检测系统，其速度是平均每秒 15帧，图像大小是 384x288 。– 参见： Paul Viola,Michael J. Jones. Robust Real-time Obj
ect Detection. CRL 2001/01 February 2001. • 系统在技术上的三个贡献：
– 1. 用简单的矩形特征来作为人脸图像特征 ;– 2. 基于 AdaBoost 的分类器 ; – 3.采用了 Cascade( 分级分类器 ) 技术提高检测速度。
• 这种技术具有实时性的特点，而且有可能扩展到多个姿态的人脸检测。
62山世光， [email protected]
人脸的特征表示方法• 矩形特征（ Harr-like 特征）
–矩形特征的值是所有白色矩形中点的亮度值的和减去所有灰色矩形中点的亮度值的和，所得到的差– 有 4种类型的矩形特征
63山世光， [email protected]
Harr-like 特征的表示• 具体特征可以用一个五元组表示 r(x,y,w,h,styl
e)– 比如： r(2,2,4,2,A) 表示下面的特征– 特征值即为白色四个像素与黑色四个像素的差值
64山世光， [email protected]
• 需要一幅辅助图像（积分图）如下图所示：特征的快速计算
I( x , y ) = 上面区域所有像素值的和
yyxx
yxiyxii','
)','(),(
65山世光， [email protected]
• 从左到右、从上到下扫描一遍图像，对图像进行如下操作 s(x,y)=s(x-1,y)+i(x,y) (1) ii(x,y)=ii(x,y-1)+s(x,y) (2)
积分图的计算
i(x,y)i(x,y)
棕红色区域面积棕红色区域面积 ii(x,y-1)ii(x,y-1)
黄色区域面积黄色区域面积 s(x,s(x,y)y)
66山世光， [email protected]
Harr-Like 特征的快速计算• 矩形特征的计算
–点 1 的值是矩形 A 中所有点的亮度值的和，–点 2 的值是 A+B–点 3 的值是 A+C ，–点 4 的值是 A+B+C+D.–那么矩形 D 的值就是
• S(4)－ [S(2)＋ S(3)]＋ S(1)
69山世光， [email protected]
70山世光， [email protected]
Harr-Like 特征的快速计算• 矩形特征的计算
–点 1 的值是矩形 A 中所有点的亮度值的和，–点 2 的值是 A+B–点 3 的值是 A+C ，–点 4 的值是 A+B+C+D.–那么矩形 D 的值就是
• A(4)－ [A(2)＋ A(3)]＋ A(1)
71山世光， [email protected]
AdaBoost 分类器• AdaBoost 分类器
– Adaboost 学习算法是用来提高某种简单分类算法的性能的。它通过对一些弱分类器的组合来形成一个强分类器• 功能
– 将分类性能不好的弱分类器提升为分类性能好的强分类器的学习算法。• 思想
– 学习一系列分类器，在这个序列中每一个分类器对它前一个分类器导致的错误分类样例给予更大的重视。
72山世光， [email protected]
Adaboost 学习算法• 输入：
– 1.训练用人脸和非脸样本– 2.指定要挑选出来的弱分类器的数目 T ， 这也是程序循环的次数 – 3.利用先验知识初始化权值向量
• 弱分类器其中， 表示弱分类器的值， 表示弱学习算法寻找出的阈值， 表示不等号的方向， 表示特征值， 表示一个 Harr-like 特征。
73山世光， [email protected]
Adaboost 学习算法流程挑选出的分类器数目 <T ？
应用当前样本的权值，计算每个弱分类器挑选错误率最小的弱分类器加入强分类器，根据其错误率计算其在强分类器中的系数。根据挑选出的分类器的错误率更改每个样本的权值，正确的权值增加，错误的权值不变
78山世光， [email protected]
基于 AdaBoost 的快速人脸检测• 基于分级分类器的加速策略
– 大量候选窗口可以利用非常少量的特征（简单快速的分类器）就可以排除是人脸的可能性！– 只有极少数需要大量的特征（更复杂的更慢的分类器来判别是否人脸）
79山世光， [email protected]
分级分类器的构建• 采用由粗到细的思想（ coarse to fine ）
– 将数量少的重要的特征构成的分类器置于前面若干层，检测大部分人脸的同时，排除大量非脸– 后面层包含大量次重要的特征对非脸进行进一步排除–每层训练用非脸样本使用前面层分类器误判为人脸的那些样本
85山世光， [email protected]
用可变形模板进行面部特征定位• 可变形模板概念要点
– 模板 T ：器官形状的参数描述形式 ( 先验 )• 直线、圆、抛物线、四次曲线等
– 能量函数 f =S(Tp, I)• 定义参数 p 定义的模板 Tp 与输入图像 I 的匹配程度
– 参数优化问题多参数非线性函数极小化 minp(f)• 梯度下降法• 坐标轮换法• 其它优化算法
87山世光， [email protected]
可变形模板——以下巴检测为例参数 :(xc, yc), a, b, c,
左侧抛物线 :
右侧抛物线 :
能量函数 :
其中 :
上：模板；下：边缘图上：模板；下：边缘图
2004-07-05 山世光， [email protected]
PCA主成分分析• 问题描述为
–给定输入： n维图像空间中的 m 个点（图像）–寻求 维的变换矩阵– 使得 ，而且满足新坐标系下各维之间数据的相关性最小，亦即一个去相关的过程
W
X
Y
X
Yxi
yi
],,,[ 21 mmn xxxX
XWyyyY Tm ],,,[ 21
nn W
2004-07-05 山世光， [email protected]
PCA:协方差矩阵• 输入训练样本集合的协方差矩阵定义为：
其中 是样本均值。• 记：• 则上述公式变为：
m
k
Tkk xxC
1
))((
],,,[ 21 mxxxA
TAAC
2004-07-05 山世光， [email protected]
PCA ：计算方法• 计算过程为：计算样本均值
中心平移每个训练样本 xi
计算训练集合的样本协方差矩阵 对协方差矩阵进行特征值分解
取协方差矩阵的特征向量形成变换矩阵 W )( xxWy T
Wyxx
变换变换重构重构
2004-07-05 山世光， [email protected]
PCA ：用于降维PCA: Reduce space dimensionality with minimum loss of description information.
原始高维数据压缩后低维数据
2004-07-05 山世光， [email protected]
PCA降维 : Theory
• 在变换后的特征空间中，每个特征向量对应的特征值的大小代表该特征向量所描述的方向上的总体方差的大小 所以…• 从 W 中去掉那些对应较小特征值的特征向量，意味着在信息丢失最小的意义上降维 !
2004-07-05 山世光， [email protected]
PCA降维 : Practice
• 按照其所相应的特征值的大小对特征向量排序• 选择头 d 个对应最大特征值的特征向量构成变换矩阵Wnxd
原始数据 (n 维 )压缩（ d 维 )
从 n维空间到 d维空间的投影
(d < n) !)( xxWy T Wyxx
2004-07-05 山世光， [email protected]
数据约减：理想情况图示
原始数据空间中，其中一维数据的方差为 0 ，没有信息，可以完全去掉，而没有任何损失！
x1
x2
2D data
y1
1D data
)( xxWy T
Wyxx
98山世光， [email protected]
数据约减：非理想情况图示
x1
x2
2D data 1D data
x1WoptT(xi - )
x1
x2
2D data
Wyi +
原始数据空间中，其中一维数据的方差比较小，包含少量信息，去掉后有少量损失！
2004-07-05 山世光， [email protected]
PCA降维 : 数据损失分析• 投影后数据部分丢失，但是可以证明：在只使用前 d 个特征向量的情况下， xi 与其逆 PCA 重构 x’i 之间的均方误差为：
• 最小均方误差意义下的最佳变换
x1
x2
2D data 1D data
x1WoptT(xi - )
x1
x2
2D data
Wyi +
n
djj
d
jj
n
jj
111
2004-07-05 山世光， [email protected]
PCA : 小结• 一种多元统计分析方法• 变换后各维数据之间的相关性最小• 最小均方误差意义下的最佳变换• 限定有效的参数空间范围（在训练集合对象变化论域下）
)( xxWy T Wyxx
101山世光， [email protected]
主动形状模型 ASM
• 统计形状模型– 从训练图像集合中可以派生出一个形状模型集合
– 对其进行 PCA 分析，可以得到统计形状模型– 其中 为统计形状参数
},,,{ 21 msssS
)( ssWb ss
sb
102山世光， [email protected]
主动形状模型 ASM
• ASM 模型–局部纹理模型– 全局形状约束
• PCA 表达的统计模型• ASM 基本思路
– 首先进行不可靠但效率很高的局部匹配，然后通过全局形状的统计约束来对其进行规范化
s
ssbWss
)3,3( iiisb
i=1 i=2 i=3
头 3 个形状模式的变化情况
104山世光， [email protected]
特征点局部纹理模型匹配• 对每个特征点，在其法线邻域内搜索，寻找局部纹理模型的最佳匹配点
– 局部纹理模型：法线方向纹理梯度，称为 Profile• 每个特征点的 Profile 模型都在训练时建立统计模型
– 匹配方法• 在法线上逐点运算，选择马氏距离最小的候选点
每个特征点都是一个在法线上移动的小机器人，以发现与自己Profile 特征最佳匹配的候选点！
105山世光， [email protected]
统计形状模型约束 (PCA)
• 局部搜索的结果–每个特征点局部“最优”，全局形状可能异常
• 所有特征点全局结构统计约束修改 得• 直接效果
–少数服从多数的折衷–平滑效果，去除了锯齿等异常 形状特征
)))((minarg(),,,,(,,,,00
00ssbyxs bWsTsbyx
s
s
s s
106山世光， [email protected]
ASM评价• 优点
–局部纹理匹配简单，匹配速度快– 全局统计形状约束可以有效防止无效形状
• 缺点– 算法收敛约束条件不够强，没有显式的最优值附近局部凸的匹配度目标函数– 因此，经常会出现非常遗憾的情况
• 某次迭代搜索到一个正确结果，继续迭代则逐渐远离该正确结果
109山世光， [email protected]
主动表观模型 AAM
• Appearance = Shape + Texture– Shape如前所述– Texture ：形状无关的灰度图像面片
Warp 到 变为输入图像 标准形状 纹理
)( ssWb ss
113山世光， [email protected]
主动表观模型 AAM
• 表观模型 = 形状模型 +纹理模型– 纹理
– 纹理模型• 统计表观模型
– 形状和纹理串联得到 b 后，再次应用 PCA ，建立统计表观模型– 用于合成模型图像
Warp到 变为输入图像 标准形状 纹理
ggbWgg 3种变化模式
g
ss
bb
b
)( bbWc c
cg
csc W
WW
cQggcQss
g
s
cggg
cssss
WWQWWQ
114山世光， [email protected]
AAM : 示例• AAM 作者的自画像
• 彩色模型 (by Gareth Edwards)
3种变化模式
His shape A mode of the modelTim Cootes
115山世光， [email protected]
AAM: 用于图像分析Given: 1) an appearance model, 2) a novel image, 3) a starting approximation c0
Find: the best matching synthetic image to get the parameters c
问题描述：
116山世光， [email protected]
AAM 及其搜索策略• AAM搜索策略
– 基于合成的分析技术 (Analysis by synthesis)– 目标：求取模型参数，使得模型能够最佳逼近输入– 故问题可以转化为最小化下述目标函数的参数优化问题：
• 为输入图像纹理• 为当前模型参数 产生的模型纹理
• 基于纹理差预测参数变化的启发式参数优化过程– 假设：模型纹理和当前输入纹理之差（纹理差） 与 模型参数变化之间存在近似的线性关系– 从而利用可以采用线性回归的方法来预测参数的变化，从而实现启发式的参数优化
mi ggg gccminarg*
cigmg
gAc
117山世光， [email protected]
AAM: 搜索算法 对当前模型参数 c• 计算模型图像和当前图像之差： ggs - gm
• 预测模型参数变化 : c = Ag• 尝试新的模型参数： c’ = c – kc, k=1
– 计算新的误差函数： g’– 如果 |g’|<|g| ，则接受 c’ 作为新的估计参数
• 如果 c’ 不被接受，尝试 k=1.5; 0.5; 0.25 等
迭代上述过程直到 |g| 不再发生变化为止
118山世光， [email protected]
AAM ：基于合成的图像分析
3D 人脸 2D 人脸图像Analysis
Synthesis统计外观模型 SAM
图像表示
模型参数 c*
cQggcQss
g
s
mi ggg
gccminarg*
gAc
120山世光， [email protected]
AAM 总结与评价• 优点
– 不仅利用了全局形状约束，还考虑了纹理约束，因为定位可以更精确；– 基于合成的分析技术，有明确的优化目标函数，最优值附近满足局部凸性质，从而可以基本保证收敛到局部最优解；– 采用了基于纹理差预测模型参数变化的启发式参数优化过程，提高了搜索速度
• 缺点– 尽管采用了启发式参数优化方法，但优化过程仍然速度较慢；– 由于利用了纹理差与模型参数变化的线性假设，这种线性假设在纹理差别很大时并不存在，因而可能出现陷入局部极小；– 没有利用特征点的局部纹理，因而局部匹配能力较低，个别点的定位难以足够精确
122山世光， [email protected]
基于几何特征的例子• 建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸• 人脸图像 f 特征向量 v v = (x1, x2,…, xn)• 对所有已知人脸提取同样描述的几何特征 D={v1, v2,.., vp}• 待识别的人脸 f 提取的几何特征为 vf
• 计算 vf 与 D 中所有 vi 的相似度 s(vf,vi)( 比如欧式距离、 cosine(.) 等 ) ，进行排序• 根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息
123山世光， [email protected]
基于模板匹配的例子• 建模
– 2D 灰度矩阵，按行向量化为 1D向量– 所有图像均表示为这样的向量
• 识别– 计算输入图像的向量与已知人脸库中所有向量的相似度，排序即可给出识别结果
2004-07-05 山世光， [email protected]
Eigenface
• PCA– Principal Component Analysis
• 也称为 Hotteling变换或者 Karhunen-Loeve变换（ KLT ） .• 寻求一个正交的坐标系统，使得不同坐标轴之间的相关性最小！
125山世光， [email protected]
Eigenface 人脸识别方法• x 为输入图像• y 作为提取的特征• S(x1,x2)=S(y1,y2 )
– 可以采用欧式距离– 也可以采用 Cosine
+ y1* + … +ym ≈ + δ(I)
126山世光， [email protected]
Eigenfaces—Eigenvectors of the Covariance matrix
• 可视化的“特征脸”– Leading 8D: valid signal – Last 8D: Difference and Noise
图 3-3前 8维和后 8维主特征向量的图像
127山世光， [email protected]
EigenFace-based face recognition method
*
*
* ·ÇÈËÁ³u2
AµÄÈËÁ³
d
u1
x
yz
ÈËÁ³¿Õ¼äA B
C
·ÇÈËÁ³
*²»ÈÏʶµÄÈËÁ³
DFFSDFFS
128山世光， [email protected]
Fisherface ：子空间线性判别分析• Eigenface and Fisherface
– Eigenface: PCA or KLT• Turk & Pentland, (MIT) 1991• 最佳的描述特征 Most Expressive Features (MEFs)
– Fisherface• Belhumeur, Hespanha & Kriegman, 1997, TPAMI• Fisher Linear Discriminant Analysis• 最佳的判别特征 Most Discriminating Features (MDFs)
130山世光， [email protected]
基本思想• FLD 选择一种最优的投影变换，满足 :
WSW
WSWW
WT
BT
Wopt maxarg
c
i
TiiibS
1
Pr
c
i x
Tikik
iiw
ik
xxN
S1
1Pr
类间散度矩阵类间散度矩阵
类内散度矩阵类内散度矩阵
131山世光， [email protected]
FDA 的计算• 优化分析表明，满足上述最大化的 W 是下述方程的解： • 进一步 假设是非奇异的。则可以通过求解下面的广义特征值问题来得到 W
• 如果 Sw 是奇异的，怎么办？
WSWS wb
wS
WWSS bw1
132山世光， [email protected]
Bayesian 方法• 类内差别（ ）
– 相同个体的多幅图象之间的差别，即包含了表情、不同光照条件、不同姿态等差别 ；• 类间差别（ ）
– 不同人的人脸图象之间的差别，包含了身份变化的信息；
I
E
133山世光， [email protected]
基于双子空间分析的 Bayesian 方法• 贝叶斯方法
– 两张图象的相似度可以表示为它们之间的差属于类内差别的概率
– 其中
EEII
II
I
I
PPPPPP
PPIIS
21,
21 II
134山世光， [email protected]
类内差别与类间差别 (3)
• 传统的方法假设类内差别与类间差别的分布为正态分布，则类条件概率密度为
1
2/12/ 21exp
21| I
T
IdIP
1
2/12/ 21exp
21| E
T
EdEP
135山世光， [email protected]
类条件概率密度的计算2/12/
121
)2()]()(exp[)|(
kN
kkT
kk
k
xxxxxP
xxxd T ~~)( 1
TWW 1
N
i i
iTTTT yyyxWWxxxxd1
21 ~][~~~)(
对协方差矩阵做特征分解对协方差矩阵做特征分解 ::
136山世光， [email protected]
类条件概率密度的计算
)(1
)(ˆ
2
1
2
1
2
1
2
1
2
1
2
xy
yy
yyxd
M
i i
i
N
Mi
iM
i i
i
N
Mi i
iM
i i
i
其中 的取值为：
N
MiiMN 1
1
DIFS DFFS x1
x2 u2
u1
137山世光， [email protected]
类条件概率密度的计算
2/)(
2
1
2/
1
2
21
)2(
)2
)(exp(
)2(
]exp[)|(ˆ
MNM
ii
M
M
i i
i xy
xP
138山世光， [email protected]
Bayesian 方法的实现• 形成两类模式空间 和 的训练集合• 分别进行 PCA 分析分别得到变换矩阵和对角阵（特征值）• 通过下式计算两幅人脸图像的相似度
EEII
II
II
PPPPPP
PPIIS
21,
I E
TEEEE
TIII WWWW I 11 ,
IPIIS 21,或者或者
MAPMAP
MLML
139山世光， [email protected]
若干值得关注的技术趋势• 3D 可变性模型方法• 光照锥方法• 商图像法• 基于 Gabor 特征的人脸识别技术• Spherical harmonics for illumination modeling base
d on linear subspaces• 基于流形学习的非线性建模方法
– ICA, Principal curves and surface, kernel learning, ISOMAP, LLE,
140山世光， [email protected]
基于 3D变形模型的人脸建模：Analysis-by-Synthesis 技术的一个应用
3DWorld 图像
Analysis
Synthesis
图像模型
图像表示
模型参数
141山世光， [email protected]
基于 3D变形模型的人脸建模
输入图像
Modeler
结果
Database
FaceAnalyzer
3D 人脸
MorphableFace Model
3D shape 参数 (PCA)
Texture参数 (PCA)
光照模型、 Camera 内外参数等， 共 22 个
143山世光， [email protected]
3D Morphable ModelExtrinsic parameters modeled using Physical Relations: - Pose : 3x3 Rotation matrix
- Illumination : Phong shading accounts for cast shadows and specular highlights No Lambertian Assumption.
, ,
1 0 00 1 0
xkk
k y
txy
ft
αR S
( )k
ambient dir speculark k k k
k
rgb
A TA aβ
144山世光， [email protected]
Photo-realistic images rendered using Computer Graphics
, ,ambient dir specularaA A
α
S
, , R
1 0 0,
0 1 0f
,xt yt
, ,x y z
, ,x y z
,x y
β
T
, ,r g b
, ,r g b
( , , , , )w x y r g b ( , )mI x y
, ,x y zn n n
149山世光， [email protected]
ISOMAP 测地距离映射算法• 一种全局最优的非线性降维方法• 确保渐进的收敛• 很灵活，可以学习一大类非线性流形分布• 适宜解决 Swiss Roll 问题
150山世光， [email protected]
ISOMAP 算法的基本思路• 测地距离是良好的“不相似性”度量，但需要解决非邻域远点的测地距离计算问题• 这个问题可以通过邻域点扩展计算得到（最短路径问题）• 计算距离矩阵，可以构造出最佳的保持原非线性流形本质几何分布特征的内嵌子空间，从而达到降维的目的
152山世光， [email protected]
局部线性内嵌子空间分析 (LLE)
• 基本思想– 非线性流形中的任意一点及其邻域点所在的流形面片可以近似为线性；–高维到低维空间的映射应该具有下述性质
• 每个数据点与其邻域点的相对关系具有一定的不变性• 这种不变性通过局部线性子空间投影系数（权值）体现出来
155山世光， [email protected]
少量个体高度合作成像条件一致
Quo Vadis?
易
难
数据库中个体的数量
成像条件变化（光照，成像设备差异，成像的距离、角度等）
主体合作程度（饰物变化，表情变化等）
当前水平开放问题
高度不合作
成像条件任意
海量个体
156山世光， [email protected]
Quo Vadis?• 3D信息的获取与利用
– 单目视觉 SFS 方法融合先验知识 ?• 3D Morphable models
– 多目视觉？• 流形学习，非线性建模
– 非线性数据集合的有效建模与分析技术，考虑姿态问题– 从海量数据中进行判别特征的学习与分类
• 序列图像分析– 基于序列的识别– 超分辨率恢复
• 姿态问题– 3D model based– Learning
• 光照模型– Spherical harmonics based
Low dimensional subspace– Variants of the Photometric
Stereo, illumination cones– Relighting based on REM
• 室外环境– 光照建模– 传感器改进
157山世光， [email protected]
总结• 人脸识别
–革命尚未成功，吾辈尚需努力！– 可能在未来 10年内有所突破！
• 知识储备– Math is king, data is queen!– 计算机视觉、图形学知识非常重要！
• 欢迎有兴趣的同学与我联系探讨有关问题！– [email protected]
