山世光-人脸识别技术概述

人脸识别技术概述山世光中科院计算所1引子人世间找不两张完全一样的脸！人脸是人类赖以区分不同人的基本途径谁决定了你的长相？基因+成长环境双胞胎夫妻相世间一切尽在脸上！2提纲相关背景人脸识别的基本原理人脸检测典型方法人脸识别的典型方法开放问题及讨论3无处不在的身份验证如何证明你的身份？设想你被警察拦下...传统方法Whatyouhave身份证，暂住证，结婚证，工作证，银行卡，钥匙...WhatyouknowPassword，information(去清华)...Whatyouare/howyoudo一种新的技术手段——Biometrics4传统方法有什么问题？卡、钥匙丢失青年公寓的钥匙牌...密码危机密码遗忘纽约每天1000人以上忘记密码密码被猜中生日、电话号码、车号、宿舍...Heavywebusershaveanaverageof21passwords;81%ofusersselectacommonpasswordand30%writetheirpasswordsdownorstoretheminafile.(2002NTAMonitorPasswordSurvey)损失2002年，仅美国330万人次的身份盗用；670万信用卡诈骗案5一种新的技术手段生物特征识别技术Biometrics什么是Biometrics?Bio——生物Metrics——测量事实含义通过人体自身的生理特征(whatyouare)或行为特征(howyoudo)进行身份验证的技术6Biometrics生理特征(whatyouare)Finger,face,palm,hand,foot,iris,vein...行为特征(howyoudo)步态，声音，敲击键盘，签名...人人拥有，人各不同！7生物特征识别技术(Biometrics)8Biometrics孰优孰劣？Universality(alluserspossessthisbiometric)Uniqueness(variesacrossusers)Permanence(doesnotchangeovertime)Collectability

(canbemeasuredquantitatively)Performance(Lowerrorratesandprocessingtime)Acceptability(isitacceptabletotheusers?)Circumvention(canitbeeasilyspoofed?)9Biometrics比较BiometricsUniversalityUniquenessPermanenceCollectabilityPerformanceAcceptabilityCircumventionFaceHLMHLHLFingerprintMHHMHMLHandGeometryMMMHMMMIrisHHHMHLHRetinalScanHHMLHLHSignatureLLLHLHLVoiceMLLMLHLFacialThermogramHHLHMHH10为什么要做人脸识别？多学科领域的挑战性难题模式识别：最典型、最困难的模式识别问题人工智能：人类智能的基本体现计算机视觉：实现人眼的功能下一代人机交互让计算机不再“熟视无睹”让计算机具有人类的情感广泛的应用前景…人脸识别相比其他生物特征识别的优势…

11应用模式典型具体应用特点说明应用领域身份识别出入境管理过滤敏感人物（间谍、恐怖分子等）国家安全公共安全嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份敏感人物智能监控监控敏感人物（间谍、恐怖分子等）网上追逃在PDA等移动终端上进行现场比对会议代表身份识别防止非法人员进入会场带来危险因素关键场所视频监控如银行大厅，预警可能的不安全因素家政服务机器人能够识别家庭成员的智能机器人人机交互自动系统登陆自动识别用户身份，提供个性化界面智能Agent自动识别用户身份，提供个性化界面真实感虚拟游戏提供真实感的人物面像，增加交互性身份验证护照、身份证、驾照等各类证件查验海关、港口、机要部门等查验持证人的身份是否合法公共安全准考证查验防止替考问题教育机要部门物理门禁避免钥匙和密码被窃取造成失窃公共安全机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全面像考勤系统方便，快捷，杜绝代考勤问题企业应用金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全电子商务身份验证安全可靠的身份验证手段金融安全智能卡安全可靠的授权信息安全会议代表身份验证防止非法人员进入会场带来危险因素公共安全屏幕保护程序方便快捷的允许合法用户打开屏保人机交互12人脸识别相关研究内容生物特征识别人脸、指纹、虹膜、视网膜、掌纹、人机交互(HCI)人脸图像编码/压缩表情分析，情感计算人脸动画faceanimation人脸属性分类种族、性别、年龄Attractiveness判别13与其他生物特征识别的比较生物特征识别：未来的身份验证方法！生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱行为：笔迹、步态、声纹人脸识别的优点可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用非接触式采集，没有侵犯性，容易接受方便、快捷、强大的事后追踪能力符合我们人类的识别习惯，可交互性强，无需专家评判人脸识别的不足不同人脸的相似性大安全性低，识别性能受外界条件的影响非常大14技术挑战15Fromthesameperson?Yes?No?…16没有想象的那么简单！Howmanyindividualsinthispicture?17没有想象的那么简单！Howmanyindividualsinthispicture?18人脸识别的基本原理

及其计算模型探讨19我们人类靠什么识别？天赋的能力还是后天获得的？脸形，面部器官结构国田由用，目甲风申皮肤和肤色光滑/粗糙，黝黑/白皙局部特性黑痣，刀疤，鹰勾鼻子，独眼龙动态特征酒窝，皱纹20人类视觉识别系统特性简介及其借鉴意义

人脸识别是否是一个特定的过程？证据：“人脸识别能力缺失症（Prosopagnosia）”患者的存在，患有此症的人可以正常的识别其他物体，甚至可以正确的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。全局特征与局部特征孰轻孰重？全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的分布特征（比如，在绘画界就有“国田由用，目甲风申”8种脸形之说），中医也将人脸按照总体结构特征划分为“金木水火土”五行（侧重人脸3D结构和肌肉凸凹情况）而局部特征则主要指面部五官的特点，比如浓眉毛、丹凤眼、鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异特征，比如黑痣、伤痕、酒窝等等二者对识别都是必要的，但全局特征一般用来进行粗略的匹配，局部特征则提供更为精细的确认。

21局部特征vs

全局特征明星漫画：夸大了独特之处问题：Howtofindthesesalientfeaturesautomatically?22平均脸23局部特征vs

全局特征ThatcherIllusion24人类视觉识别系统特性简介及其借鉴意义面部特征对识别的重要性分析不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域对识别的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高于其他特征异族人脸识别困难现象这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力性别和年龄阶段对于识别性能的影响女性要比男性更难识别；年轻人比老年人更难识别频域特性与人脸识别的关系低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高频分量则对应局部的细节变化要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必须保留足够的高频分量才可以

25Mark26人类视觉识别系统特性简介及其借鉴意义特异度对人脸识别的影响最“漂亮的”、最“丑陋的”、最“奇异的”的人脸都是最容易被记住的，而大众化的人脸则不太容易被记住“大众脸”并不等于“平均脸”，大众脸是指经常可以见到的“脸”，而“平均脸”并不多见光照变化与人脸识别反相照片（负片）的识别时很困难的；下方光源人脸图像难以识别姿态不变性不变性？运动人脸图像序列提供了更多的信息27人脸识别的分类传感器可见光——模拟眼睛红外主动被动3D人脸识别输入模式静态照片动态视频序列28基于可见光的人脸识别通常我们所说的人脸识别是基于可见光人脸图像的身份识别与验证的简称光学人脸图像（以下简称人脸图像）是外界光源（包括太阳光、室内人造光源和其他物体表面反射而来的光线）发出的光线照射在人脸上，经人脸表面反射后传输到摄像机传感器的光线强度的度量。

入射光反射光29简化的人脸成像模型Lambert反射模型（漫反射模型）分别为物体表面点漫反射系数，法向量方向，光源的方向，二者夹角；k为入射光强度与视点无关（区别镜面反射）30人脸图像的生成要素人脸图像实际上是三大类关键要素共同作用的结果人脸内部属性F人脸3D形状（表面法向量方向）包括人脸表面的反射属性（包括反射系数等，通常简称为纹理）人脸表情、胡须等属性的变化；外部成像条件L包括光源（位置和强度等）其他物体或者人体其他部件对人脸的遮挡（比如眼镜、帽子、头发）等。摄像机成像参数C包括摄像机位置（视点）、摄像机的焦距、光圈、快门速度等内外部参数

对识别人脸无益的干扰因素！31理想的识别模型从人脸图像中剥离出人脸稳定不变的本质属性（3D形状与表面反射率）外界条件及其摄像参数变化导致的图像变化然后，从3D形状与表面反射率属性中提取不同人脸的差异信息，馈入到后端的判别分类器中进行识别遗憾一个病态问题！32退而求其次…目前的多数系统采用的人脸建模方法仍然停留在图像层面上，并没有显式地分离出3D形状和纹理的步骤而是直接通过从“图像”中提取人脸表示特征并进行分类来完成识别2D结构信息——基于几何结构的人脸特征出现了少量利用3D信息进行识别的方法：Morphablemodels2D图像灰度数据统计特征—如模板匹配,Eigenface,Fisherface2D图像变换特征——如Gabor,DCT,FFT…2D图像的低维子空间分布线性：子空间，光照锥非线性：Kernel学习，流形等主流：Appearance-basedmethods33从“图像”中识别的道理何在？“图像”中包含什么？亮度变化(影调，shading)、阴影等反应了3D形状Albedo()：表面反射率表面反射率表面皮肤材质特别是五官区域34问题分解人脸识别/确认面部特征定位人脸检测X=(x1,x2,…

,xn)35FaceDetection36自动人脸识别系统37FaceRecognition38基于几何特征的例子建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸人脸图像f特征向量v

v

=(x1,x2,…,xn)对所有已知人脸提取同样描述的几何特征

D={v1,v2,..,vp}待识别的人脸f提取的几何特征为vf计算vf与D中所有vi的相似度s(vf,vi)(比如欧式距离、cosine(.)等)，进行排序根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息39国内外研究现状及其分析40国内外研究现状——研究机构国外研究机构情况以美欧为主，各知名大学、研究所、企业研究院均设立了与人脸识别相关的研究组大学：CMU,MIT,UMD,USC,MichiganStateUniversity,UCLA,UniversityofManchester,UniversityofSurrey…评测：FERET(94-97),FRVT(2000/2002/2006),(X)M2VTS,FVC…国内研究机构简况大学：清华大学3家，哈尔滨工业大学，中山大学，南京理工大学，南京大学，上海交大，浙大，北交大…研究所：计算所，自动化所等41人脸识别的最高学术水平1997FERET测试结果测试类(训练/测试数)最高识别率(大学，方法)

所有参评方法的平均识别率FB(1196/1195)96%(UMD,PCA+LDA) 83%FC(1196/194) 82%(USC,EBGM) 30%DI(1196/722) 59%(USC,EBGM) 40%DII(864/234) 51%(USC,EBGM) 21%#数据来源：2000年P.J.Phillips的PAMI文章

*说明（四种测试类均为正面人脸照片，略有表情变化，无眼镜等饰物）：FB：训练、测试集同一采集过程中在严格控制的光照条件下采集，略有表情变化，视觉效果上与训练集数据相差不大；FC：训练、测试集同一采集过程中不同摄像头，有光照变化；DI：训练、测试集同一年内，不同时间采集，有光照变化DII：一年后，不同摄像头，不同光照条件42人脸识别的最高学术水平FERET测试(大于等于1196人的人脸库上测试)*在同一摄像条件下采集的正面图像识别中，典型的识别率为95%以上而对用不同的摄像机和不同的光照条件采集的正面测试图像，典型的识别率骤降为80%以下而对一年后采集的正面测试图像，最大的准确率也仅仅接近50%*来源于2000年发表在PAMI上的文章，实际测试在1997年进行性能下降很快！43从评测看当前人脸识别技术的研究水平FERET’1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）人脸识别(Identification)最高首选识别率73%人脸验证(Verification)的等错误率大约为5%-7%错误接收率为0.01%时，最低错误拒绝率30%左右错误接受率为0.1%时，最低错误拒绝率18%左右错误接受率为1%时，最低错误拒绝率10%左右44从评测看当前人脸识别技术的研究水平FERET’1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)Gallery:787人正面中性表情，室内为白炽灯光源室外同一天Probe库包括435人(444幅图像)，首选识别率54%室外152-505天之间的Probe库包括103人(145幅图像)，首选识别率46%45从评测看当前人脸识别技术的研究水平FERET’1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照)87人正面图像作为Gallery左转45度：40%右转45度：55%抬头30度：47%低头30度：55%46从评测看当前人脸识别技术的研究水平FERET’1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照时间跨度问题对大约3年后的照片，在错误接受率为1%时最高首选识别率60%左右而错误拒绝率为15%47从评测看当前人脸识别技术的研究水平FERET’1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右FRVT2002较理想条件下（37437人(121,589幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照时间跨度问题其它结论对视频序列图像的识别效果并不比对静态图像的识别效果好?数据库的规模每增加一倍，总体性能下降大约2到3个百分点男性比女性更易于识别年轻人比老年人难识别48国际研究现状在比较良好的环境条件情况下，对1000人左右基本正面人脸进行识别的性能：首选识别率：95%以上等错误率：2%以下在环境比较糟糕的情况下，对基本正面人脸进行识别的性能：首选识别率：80%以下等错误率：10%以上49WhoiswhoinFRcommunitySimonBaker,&T.Kanade,CMUThomasVetterRamaChellappaBaback

MoghaddamAlexPentlandMichaelBlackPeterBelhumeurDavidKriegmanDavidYacobsRonenBasriAmnon

ShashuaSeong-WhanLeeC.vonMalsburgMatti

PietikäinenT.PoggioA.ShashuaPaulViolaHarryWechlerTimCootesJosefKittlerJonathanPhillipsAliceO'TooleMatthewTurkTomHuangXiaoouTangWenyiZhaoChengjunLiuZhengyouZhangM.H.YangJieYangHaizhouAi…Toomanytolistallhere.50人脸图像数据库人脸库FERET人脸库，1196人CMU-PIE姿态光照表情人脸库，68人CAS-PEAL人脸库,1040人,姿态表情饰物光照AR人脸库，126人XM2VTS多模态人脸库，200多人YaleFaceDatabaseB光照人脸库，10人ORL,40人，Yale15人51文献来源ProceedingofthefolLingconferencesCVPR,ICCV,ECCV,FG,ICPRJournalsIJCVIEEETrans.onPAMI,IP,NN,KDE,SMC(A/B)PatternRecognition,PatternRecognitionLettersImageandVisionComputingCVIUNeurocomputationNeurocomputing52国际商业系统国际上比较著名的商业系统CognitecAG——FaceVACSIdentix

(LFA)——FaceItNevenVisionVissageFaceFINDER™来自ViisageTechnologyInc.(PCA)Hunter™来自LAUTechnologies

(PCA)FaceSnap®RECORDER来自C-VIS(EBGM)TrueFace来自eTrueInc.(NeuralNetwork)SpotIt!来自ITCBioID

…53人脸检测典型方法介绍54人脸检测方法基于规则/知识方法人脸模式的变化满足一定的规律，所以可以归纳描述人脸特征的规则，如灰度分布、比例关系、纹理信息等基于模板的方法固定模板法，可变形模板法基于不变特征的方法，如彩色信息人脸的肤色在彩色空间中的分布相对比较集中，所以可用来检测和跟踪人脸。基于外观学习的方法---目前的主流方法将人脸检测视为区分“非人脸样本”与“人脸样本”的模式识别问题，通过对人脸样本集和非人脸样本集的学习产生分类器55基于肤色特征的检测在很多人脸检测和手的跟踪应用中，人的肤色信息已被证明是一种非常有效的特征有很多颜色空间可用来表征肤色，包括RGB,normalizedRGB,HSV(orHSI),YIQ,YES,CIEXYZ,和CIELUV等有许多建立肤色模型的方法最简单的方法是用Cr,Cb值定义肤色区域，选定阈值[Cr1,Cr2]和[Cb1,Cb2]一个像素点被归为肤色点，如果它的(Cr,Cb)值落入下面的范围：Cr1≤Cr≤Cr2andCb1≤Cb≤Cb256多种肤色模型J.L.CrowleyandF.Berard,“Multi-modeltrackingoffacesforvideocommunications将肤色区域的RGB颜色归一化，用其中的(r,g)值的颜色直方图h(r,g)获取肤色变量的阈值M.H.Yang,N.Ahuja,“Detectinghumanfacesincolorimages”认为人脸肤色区域的颜色值呈高斯分布，用高斯分布的均值和方差确定肤色变量的阈值T.S.JebaraandA.Pentland,“Parameterizedstructurefrommotionfro3Dadaptivefeedbacktrackingoffaces”认为不同的种族和国家的人的肤色分布不同，在颜色直方图上形成多个聚类，可用高斯混合模型来表示57颜色空间RGB到“rg”空间RGB到YUV(YCrCb)空间，再转化到“FI”空间58高斯肤色模型一元正态分布肤色模型（以F颜色特征为例）59高斯肤色模型二元正态分布肤色模型（以rg颜色特征为例）60

多人脸训练肤色模型训练肤色模型手工标注部分人脸(肤色区域)人脸图像统计方法得到设置合适的阈值截断测试阶段逐像素判断其是否在设定的肤色

特征范围内rg61提取肤色区域

对检测到的肤色区域进行分析接近椭圆形有部分非肤色区域(五官、头发)62肤色模型的缺点肤色模型难以适应各种环境光照变化对于背景和前景的光照变化，肤色通常不稳定单纯的肤色信息对于人脸检测通常是不充分的如何适应在不同光照下的人脸跟踪如果环境光照有变化，原有的肤色模型可能不再适用，如何建立一个自适应的肤色模型需要进一步的研究63基于Appearance的方法ANNSVMNaïveBayesClassifierAdaBoost遍历所有可能的“矩形窗口”，判断每个小窗口是否人脸？64基于AdaBoost

的快速人脸检测65AdaBoost算法简介在2001年的ICCV上，当时在Compaq的研究员PaulViola和MichaelJ.Jones发表的文章介绍一个实时人脸检测系统图像大小为384x288时，其速度是平均每秒15帧第一个准实时的(准正面)人脸检测系统可以较容易的扩展到多姿态人脸检测系统在技术上的三个贡献：1.用简单的Haar-like矩形特征作特征，可快速计算2.基于AdaBoost的分类器设计3.采用了Cascade(分级分类器)技术提高检测速度66人脸的特征表示方法矩形特征（Haar-like特征）矩形特征的值是所有白色矩形中点的亮度值的和减去所有灰色矩形中点的亮度值的和，所得到的差有4种类型的矩形特征67Haar-like特征的表示具体特征可以用一个五元组表示r(x,y,w,h,style)比如：r(2,2,4,2,A)表示下面的特征特征值即为白色四个像素与黑色四个像素的差值

68问题如何快速计算任意矩形内

所有像素的亮度之和？请大家设计一个算法要求计算量尽可能的小69需要一幅辅助图像（积分图）如下图所示：特征的快速计算ii(x,y)=该点左上面(红色)区域内所有像素值的和！

壣=yyxxyxiyxii',')','(),(70从左到右、从上到下扫描一遍图像，对图像进行如下操作，得到每个像素位置的积分图像ii(x,y)ii(x,y)=ii(x,y-1)+s(x,y)s(x,y)=s(x-1,y)+I(x,y) 积分图的计算I(x,y)棕红色区域面积

ii(x,y-1)黄色区域面积s(x,y)

71Haar-Like特征的快速计算矩形特征的计算像素点1的积分值是矩形A中所有点的亮度值的和像素点2的积分值是A+B像素点3的积分值是A+C，像素点4的积分值是A+B+C+D.矩形D内像素积分值：ii(4)－[ii(2)＋ii(3)]＋ii(1)72输入图像积分图像基于积分图像的Haar-like特征计算73何以快速？全部为定点加/减法操作！矩形区域和：2次加法1次减法矩形特征计算：1次减法，或2次减法，或者2次加法1次减法没有乘法！74AdaBoost分类器AdaBoost分类器Adaboost学习算法是用来提高简单分类算法的性能的通过对一些弱分类器的组合来形成一个强分类器功能将分类性能不好的弱分类器提升为分类性能好的强分类器的学习算法思想学习一系列分类器，在这个序列中每一个分类器对它前一个分类器导致的错误分类样例给予更大的重视75AdaBoost用于人脸模式分类弱分类器其中，h表示弱分类器的值，表示弱学习算法寻找出的阈值，表示特征值，表示一个Harr-like特征。fi正例

(人脸)反例

(非人脸)76AdaBoost用于人脸模式分类输入1.训练用人脸和非脸样本2.指定要挑选出来的弱分类器的数目T这也是程序循环的次数

3.利用先验知识初始化权值向量一般可以平均设置77Adaboost学习算法流程挑选出的分类器数目<T？挑选错误率最小的弱分类器加入强分类器，根据其错误率计算其在强分类器中的系数。根据挑选出的分类器的错误率更改每个样本的权值，正确的权值减小，错误的权值不变应用当前样本的权值，计算每个弱分类器的错误率否结束是78AdaBoost学习算法输入训练样本集合(x1,y1),

(x2,y2),...,(xn,yn)

其中：每个样本固定大小如20x20像素计算全部可能的Haar-like特征（数十万个）训练样本可能多达100,000个初始化T，初始化每个样本的权重79AdaBoost学习算法学习流程Fort=1,...,T1.归一化权重，使得wt为一个概率分布：2.对每个特征j，训练一个弱分类器hj

并计算其带权重的错误率3.选择误差最小的弱分类器ht4.更新每个样本的权重

其中：xi被正确分类，ei=0，否则ei=1正确分类则权重下降，否则不变；错误率越小，Beta也越小80AdaBoost学习算法最终得到的强分类器弱分类器错误率越小，β就越小，α就越大H(x)为+，则为正例（人脸）H(x)为-，则为反例（非人脸）81人脸检测器怎么应用？82检测系统的构建——遍历所有位置83检测系统的构建——遍历不同大小84如何进一步加速？遍历所有可能的位置、大小，需要做多少次分类？320x240图像，20x20模板，每次走1个像素，尺度缩小因子0.9，则大约有：300x220+278x196+240x174+213x155+190x137+169x122+150x108+133x95+118x83+103x73+91x64+80x55+...=30多万如果再考虑3个角度的旋转，

则会超过100万次分类！问题如何进一步加速？85类比一下分析非人脸模式里面大量与人脸极其不同！只有少量的模式很难与人脸分开！类比筛沙子输入：巨石，大石头，小石头，沙砾，粗沙，细沙目标：只留下细沙（人脸）假设：大孔筛子容易做便宜，小细孔筛子难做昂贵方法1只用一个筛子，网眼非常小，所有的都要过这个筛子方法2用一系列筛子，网眼从大到小非常容易被截住的巨石首先被排除，然后是大石头，再是小石头，沙砾，粗沙，最后是细沙86基于AdaBoost的快速人脸检测基于分级分类器的加速策略大量候选窗口可以利用非常少量的特征（简单快速的分类器）就可以排除是人脸的可能性！只有极少数需要大量的特征（更复杂的更慢的分类器来判别是否人脸）87分级分类器的构建采用由粗到细的思想（coarsetofine）将少量区分性好的特征构成的简单分类器置于前面若干层效果：放过检测绝大多数人脸的同时，排除大量非脸后面层包含更多次重要的特征对非脸进行进一步排除训练方法关键思路每层训练用非脸样本使用前面层分类器误判为人脸的那些样本88检测过程流程图AdaBoostLearnerFeaturesetFeatureSelect&ClassifierStage1False(Reject)AdaBoostLearnerStage2PassFalse(Reject)AdaBoostLearnerStage3PassFalse(Reject)Rejectasmanynegativesaspossible(minimizethefalsenegative)100%DetectionRate50%FalsePositive89分级分类器的训练算法90一些检测结果91Project2人脸检测系统两种可选的方法基于肤色模型的方法最多2人1组基于AdaBoost的方法不要求大家实现Cascade，只需要实现AdaBoost即可最多3人1组92人脸识别的主要方法93发展阶段1964~19901991~19971998-Current

主要特征作为一般识别问题被研究；基于特征的方法是主流重点解决的是较理想条件下、用户配合、中小规模人脸数据库上的人脸识别问题；基于Appearance的2D人脸图像线性子空间分析和统计模式识别方法是主流；重点研究非理想条件下、用户不配合、大规模人脸数据库上的人脸识别问题；基于3D模型和非线性建模的方法等可能是发展趋势代表性的人脸识别技术与方法及其关键性事件和作品已知的最早的自动人脸识别研究论文Bledsoe[1964]Eigenface[Turk&Pentland,1991]光照锥技术Georghiades,Kriegman，Belhumeur，1998]

基于特征的方法与基于模板的方法的对比

[Brunelli&Poggio，1992]支持向量机SVM用于人脸识别中[Phillips,1999]第一个半自动人脸识别系统美国DARPA启动FERET测试项目

[Philips&Moon1994,1995]3D可变形模型[Vetter,1999]第一篇自动人脸识别方面的博士论文[Kanade,1973]局部特征分析（LFA）人脸识别方法发展成为Visionics公司FaceIt商业系统[Atick,1995]基于AdaBoost的人脸检测技术[Viola,1999]

基于剪影分析的（Profile）人脸识别基于双子空间的贝叶斯概率学习[Moghaddam，1995]FaceRecognitionVendorTest2000[FRVT测试2000]

人脸识别研究综述[Chellappa,1995]朗博反射与线性子空间分析[Basri&Jacobs,2001]

人脸的低维表示[Sirovich&Kirby,1987，1990]Fisherface[Belhumeur,1997]基于商图像的人脸识别方法[Shashua,2001]

弹性图匹配技术[Wiskott，1997]人脸检测综述[Yang&Kriegman,2002]

柔性模型，ASM,AAM[Cootes&Taylor,1997]FRVT2002测试

FERET’1996测试

[Philips&Moon,1996]

技术特点基于特征的方法基于模板的方法

---基于神经网络的人脸识别方法---

---统计学习理论

---基于Appearance的2D人脸子空间分析与建模

---非线性流形分析技术

基于2D图像模型的人脸识别基于3D模型的人脸识别

94典型方法基于几何特征的识别方法基于模板匹配的识别方法基于AdaBoost的人脸检测特征脸(Eigenface)可变形模板方法主动模型ASM/AAMFisherface,subspaceLDA双子空间贝叶斯判别方法3DMorphableModelElasticGraphMatching局部特征分析(LFA)其他SVMrelatedLFArelatedGaborfeaturebasedmethodsIlluminationconesQuotientimagesSphericalharmonicsandLinearsubspacesAdaBoost-basedfacerecognitionManifoldanalysisfornon-linearmodelingICA,kernellearning,ISOMAP,LLE95重点介绍的几个方法特征定位可变形模板方法ASM/AAM基础知识：主成分分析识别方法基于几何特征的识别方法基于模板匹配的识别方法特征脸(Eigenface)Fisherface双子空间贝叶斯判别方法3DMorphableModel局部特征与全局特征的融合96基于可变形模板

的面部特征自动定位97面部特征提取可变形模板匹配DeformableTemplate98用可变形模板进行面部特征定位可变形模板概念要点模板T：器官形状的参数描述形式(先验)直线、圆、抛物线、四次曲线等能量函数F=S(Tp,I)参数p定义的模板Tp与输入图像I的匹配程度参数优化问题

多参数非线性函数极小化p*=arg

minp(F)梯度下降法坐标轮换法其它优化算法99特征形状模板100可变形模板——以下巴检测为例参数:(xc,yc),a,b,c,左侧抛物线:右侧抛物线:能量函数:其中:上：模板；下：边缘图101搜索流程102检测结果103基于主动模型的特征定位方法PCAASMAAM104主成分分析PCA方法105主成分分析PCA概况问题描述为给定输入：n维图像空间中的m个点（图像）寻求一个维的变换矩阵使得，各维之间数据的相关性最小——亦即一个去相关的过程Wy’xyxix’yi如何去相关？相关性的度量：协方差两个随机变量ξη各自离差的乘积的数学期望称为这两个随机变量的协方差（也叫相关矩），记作：协方差矩阵随机向量X=(x1,x2,...,xn)的各个元素之间协方差组成协方差矩阵C，即：Cij=cov(xi,xj)107PCA：协方差矩阵的特征值分解协方差矩阵的性质实对称矩阵半正定矩阵所有的特征值大于或等于0特征值分解存在一个变换W，满足对角线元素为特征值，W列向量为特征向量即：去相关Y=WTX，则Y的协方差矩阵为“对角阵”，对角线元素非0(特征值，方差)，非对角线元素为0，即：Y的不同元素之间的协方差为0对角阵108PCA：协方差矩阵计算输入训练样本集合的协方差矩阵定义为：其中是样本均值。记：

则上述公式变为：PCA：计算方法计算过程为：计算样本均值

m中心平移每个训练样本

xi计算训练集合的样本协方差矩阵对协方差矩阵进行特征值分解

取协方差矩阵的特征向量形成变换矩阵

W

变换重构PCA：用于降维PCA:Reducespacedimensionalitywithminimumlossofdescriptioninformation.原始高维数据压缩后低维数据PCA降维:Theory在变换后的特征空间中，每个特征向量wi对应的特征值λi的大小代表该特征向量所描述的方向上的方差的大小

所以…从W中去掉那些对应较小特征值的特征向量，意味着在信息丢失最小的意义上降维!PCA降维:Practice按照其所相应的特征值的大小对特征向量排序选择头d个对应最大特征值的特征向量构成变换矩阵Wnxd

原始数据(n维)压缩（d维)

从n维空间到d维空间的投影(d<n)!数据约减：理想情况图示原始数据空间中，其中一维数据的方差为0，没有信息，可以完全去掉，而没有任何损失！x1x22Ddatay11Ddata数据约减：非理想情况图示x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+m原始数据空间中，其中一维数据的方差比较小，包含少量信息，去掉后有少量损失！115PCA降维:数据损失分析投影后数据部分丢失，但是可以证明：在只使用前d个特征向量的情况下，xi与其逆PCA重构x’i之间的均方误差为：最小均方误差意义下的最佳变换x1x22Ddata1Ddatax1WoptT(xi-m)x1x22DdataWyi+mPCA:小结一种多元统计分析方法变换后各维数据之间的相关性最小最小均方误差意义下的最佳变换限定有效的参数空间范围（在训练集合对象变化论域下）主动统计模型118主动形状模型ASM统计形状模型从训练图像集合中可以派生出一个形状模型集合对其进行PCA分析，可以得到统计形状模型其中为统计形状参数119主动形状模型ASMASM模型局部纹理模型全局形状约束PCA表达的统计模型ASM基本思路首先进行不可靠但效率

很高的局部匹配，然后

通过全局形状的统计约

束来对其进行规范化i=1i=2i=3头3个形状模式的变化情况120ASM:搜索过程图示初始化(平均)特征点局部纹理模型匹配统计形状模型约束(PCA)最终结果迭代121特征点局部纹理模型匹配对每个特征点，在其法线邻域内搜索，寻找局部纹理模型的最佳匹配点局部纹理模型：法线方向纹理梯度，称为Profile每个特征点的Profile模型都在训练时建立统计模型匹配方法在法线上逐点运算，选择马氏距离最小的候选点每个特征点都是一个在法线上移动的小机器人，以发现与自己Profile特征最佳匹配的候选点！122统计形状模型约束(PCA)局部搜索的结果每个特征点局部“最优”，全局形状可能异常所有特征点全局结构统计约束修改得直接效果少数服从多数的折衷平滑效果，去除了锯齿等异常形状特征123ASM评价优点局部纹理匹配简单，匹配速度快全局统计形状约束可以有效防止无效形状缺点算法收敛约束条件不够强，没有显式的最优值附近局部凸的匹配度目标函数因此，经常会出现非常遗憾的情况某次迭代搜索到一个正确结果，继续迭代则逐渐远离该正确结果124ASM结果示例左侧为根据眼睛位置给出的初始形状，右侧为ASM结果125FaceAlignment126主动表观模型AAMAppearance=Shape+TextureShape如前所述Texture：形状无关的灰度图像面片Warp到变为输入图像标准形状纹理127AAM:训练数据准备(续)形状平均形状纹理128

AAM:形状模型示例：训练得到的3种不同的形状模式如前所述129AAM:纹理模型纹理训练集合纹理模型训练得到的第一纹理模式变化130主动表观模型AAM表观模型=形状模型+纹理模型纹理纹理模型统计表观模型形状和纹理串联得到b后，再次应用PCA，建立统计表观模型用于合成模型图像Warp到变为输入图像标准形状纹理3种变化模式131AAM:示例AAM作者的自画像彩色模型(byGarethEdwards)3种变化模式HisshapeAmodeofthemodelTimCootes132AAM:用于图像分析Given:anappearancemodel,anovelimage,astartingapproximationc0Find:thebestmatchingsyntheticimagetogettheparametersc问题描述：133AAM及其搜索策略AAM搜索策略基于合成的分析技术(Analysisbysynthesis)目标：求取模型参数，使得模型能够最佳逼近输入故问题可以转化为最小化下述目标函数的参数优化问题：为输入图像纹理为当前模型参数产生的模型纹理基于纹理差预测参数变化的启发式参数优化过程假设：模型纹理和当前输入纹理之差（纹理差）与模型参数变化之间存在近似的线性关系从而利用可以采用线性回归的方法来预测参数的变化，从而实现启发式的参数优化134AAM:搜索算法对当前模型参数c计算模型图像和当前图像之差：dg=gs-gm预测模型参数变化:dc=Adg尝试新的模型参数：c’=c–kdc,k=1计算新的误差函数：dg’如果|dg’|<|dg|，则接受c’作为新的估计参数如果c’

不被接受，尝试

k=1.5;0.5;0.25等迭代上述过程直到

|dg|不再发生变化为止135AAM：基于合成的图像分析3D人脸2D人脸

图像AnalysisSynthesis统计外观模型SAM图像表示模型参数c*136AAM优化搜索过程实例137AAM总结与评价优点不仅利用了全局形状约束，还考虑了纹理约束，因为定位可以更精确；基于合成的分析技术，有明确的优化目标函数，最优值附近满足局部凸性质，从而可以基本保证收敛到局部最优解；采用了基于纹理差预测模型参数变化的启发式参数优化过程，提高了搜索速度缺点尽管采用了启发式参数优化方法，但优化过程仍然速度较慢；由于利用了纹理差与模型参数变化的线性假设，这种线性假设在纹理差别很大时并不存在，因而可能出现陷入局部极小；没有利用特征点的局部纹理，因而局部匹配能力较低，个别点的定位难以足够精确138基于面部几何结构的人脸识别基于模板匹配的人脸识别方法139基于几何特征的例子建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸人脸图像f特征向量v

v

=(x1,x2,…,xn)对所有已知人脸提取同样描述的几何特征

D={v1,v2,..,vp}待识别的人脸f提取的几何特征为vf计算vf与D中所有vi的相似度s(vf,vi)(比如欧式距离、cosine(.)等)，进行排序根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息140基于模板匹配的例子建模2D灰度矩阵，按行向量化为1D向量所有图像均表示为这样的向量识别计算输入图像的向量与已知人脸库中所有向量的相似度，排序即可给出识别结果141EigenfacePCAPrincipalComponentAnalysis也称为Hotteling变换或者Karhunen-Loeve变换（KLT）.寻求一个正交的坐标系统，使得不同坐标轴之间的相关性最小！Eigenface人脸识别方法x为输入图像y作为提取的特征S(x1,x2)=S(y1,y2)可以采用欧式距离也可以采用Cosine+y1*

+…+ym

≈+δ(I)143Eigenfaces—EigenvectorsoftheCovariancematrix可视化的“特征脸”Leading8D:validsignalLast8D:DifferenceandNoise144EigenFace-basedfacerecognitionmethodDFFS145Fisherface：子空间线性判别分析EigenfaceandFisherfaceEigenface:PCAorKLTTurk&Pentland,(MIT)1991最佳的描述特征MostExpressiveFeatures(MEFs)FisherfaceBelhumeur,Hespanha&Kriegman,1997,TPAMIFisherLinearDiscriminantAnalysis最佳的判别特征MostDiscriminatingFeatures(MDFs)146Fisher判别分析——FisherfacePCA’sproblem!!147基本思想FLD选择一种最优的投影变换，满足:类间散度矩阵类内散度矩阵148FDA的计算优化分析表明，满足上述最大化的W是下述方程的解：

进一步假设是非奇异的。则可以通过求解下面的广义特征值问题来得到W如果Sw是奇异的，怎么办？149Bayesian方法类内差别（）相同个体的多幅图象之间的差别，即包含了表情、不同光照条件、不同姿态等差别；类间差别（）不同人的人脸图象之间的差别，包含了身份变化的信息；150基于双子空间分析的Bayesian方法贝叶斯方法两张图象的相似度可以表示为它们之间的差属于类内差别的概率其中151类内差别与类间差别(3)传统的方法假设类内差别与类间差别的分布为正态分布，则类条件概率密度为152类条件概率密度的计算对协方差矩阵做特征分解:153类条件概率密度的计算其中的取值为：DIFSDFFSx1x2u2u1154类条件概率密度的计算155Bayesian方法的实现形成两类模式空间和的训练集合分别进行PCA分析分别得到变换矩阵和对角阵（特征值）通过下式计算两幅人脸图像的相似度或者MAPML156若干值得关注的技术趋势3D可变性模型方法光照锥方法商图像法基于Gabor特征的人脸识别技术Sphericalharmonicsforilluminationmodelingbasedonlinearsubspaces基于流形学习的非线性建模方法ICA,Principalcurvesandsurface,kernellearning,ISOMAP,LLE,157局部特征与全局特征的融合单独的slides158基于3D变形模型的人脸建模：

Analysis-by-Synthesis技术的一个应用3DWorld图像AnalysisSynthesis图像模型图像表示模型参数159基于3D变形模型的人脸建模输入图像Modeler结果DatabaseFaceAnalyzer3D人脸MorphableFaceModel3Dshape参数(PCA)Texture参数(PCA)光照模型、Camera内外参数等，共22个160基于3D变形模型的人脸建模......3D形状纹理1613DMorphableModelExtrinsicparametersmodeledusingPhysicalRelations:

-Pose:3x3Rotationmatrix

-Illumination: Phongshadingaccountsforcast shadowsandspecular

Hlights

NoLambertianAssumption.

162Photo-realisticimagesrenderedusingComputerGraphics163ModelFittingIterative

ModelFitting