人脸检测与识别技术综述

1、第29卷第2期2006年2月合肥工业大学学报(自然科学版J OU RNAL OF H EFEI UN IV ERSIT Y OF TECHNOLO GYVol.29No.2Feb.2006收稿日期:2005203210;修改日期:2005205209作者简介:王伟(1979-,男,安徽合肥人,合肥工业大学博士生;张佑生(1941-,男,湖南浏阳人,合肥工业大学教授,博士生导师.人脸检测与识别技术综述王伟,张佑生,方芳(合肥工业大学计算机与信息学院,安徽合肥230009摘要:人脸的检测与识别技术因其巨大的应用价值及市场潜力,引起各方面的关注,已经成为图像工程和模式识别领域的研究热点。文章在回顾人

2、脸检测与识别技术发展历程的基础上,对人脸检测与识别的多种相关技术作了介绍与评论,并讨论了该技术的最新发展方向及其国内的发展情况。关键词:人脸检测;特征提取;人脸识别中图分类号:TP317.4文献标识码:A 文章编号:100325060(2006022*Survey of human face detection and recognition technologyWAN G Wei ,ZHAN G Y ou 2sheng ,FAN Fang(School of Computer and Information ,Hefei University of Technology ,Hefei 230

3、009,China Abstract :The technology of face detection and recognition has att racted t he attention of many re 2searchers in t he field of image engineering because of it s great application value and market 2potential.The develop ment of face detection and recognition are briefly reviewed.Some of t

4、he technologies and latest p rogress are discussed and analyzed.Especially ,it s develop ment in China is simply int roduced.The f ut ure develop ment of t he technology is also discussed.K ey w ords :face detection ;feat ure ext raction ;face recognition0引言随着社会的发展,诸如视觉监控、远程教育、人机交互技术及安全等各方面都迫切希望能够进行

5、快速、有效的身份验证。生物特征因为自身的稳定性和差异性,已经成为身份验证的主要手段。人脸是一种极为复杂的、多维的模式,也是一种典型的非刚性模式。人的面部特征十分丰富,除了形状、表情之外,还有五官的特征及分布。通过对这些特征的研究,可以理解人的情绪等状况。与其他利用视网膜识别(无法确保对人体的安全性及指纹识别(涉及个人隐私等人体生物特征进行身份验证相比,人脸识别的应用具有直观、友好及方便等特点,正越来越受到国际学术界、企业界、政府及国防军事部门的高度关注,具有广泛的应用前景。人脸检测与识别是模式识别领域中的经典问题之一。此外,还涉及图像处理、解剖学及生理学等多方面多领域的知识。该技术研究最早可追

6、溯到19世纪法国人Galto n1的工作。现代研究始于20世纪60年代末70年代初,并随着科学技术而发展。自90年代以来一直是研究热点,各种算法层出不穷,相关杂志上发表的有关论文数以千计。国内在这方面的研究起步于20世纪80年代,受到了国家863计划的大力扶持,发展很快。2000年以来,每年一届的“中国生物识别学术会议”极大地推动了包括人脸识别在内的生物识别技术水平的发展。现在,国内也已建成世界上较全面、规模最大的东方人脸图像数据库2。人脸检测与识别可分为人脸检测、人脸特征提取和人脸识别3个阶段,整个流程如图1所示。即对像集中的图像逐幅进行检测,判断其中是否存在人脸,如果人脸存在,则对其进行精

7、确定位,并进行人脸识别,通过特征提取,获得人脸信息,进行身份验证 。图1人脸检测与识别流程1人脸检测与定位人脸检测就是从各种不同图像中确定人脸的存在,并且确定人脸的数量、尺寸、位置和位姿,实质是使人脸与背景(非人脸分离,它是完成自动人脸识别的第一步,是人脸识别的基础3。人脸检测是一个相当复杂的问题,由于面部表情的不同及光照条件的变化,眼、口、鼻、耳和胡须等影响,面部伤痕的出现等,均可不同程度地影响人脸检测的准确度,导致误检(将非人脸区误认为人脸或漏检。因此,多年来,人脸检测方法的研究一直引起人们的关注。人脸检测方法可分为基于知识的和基于统计的两大类4。1.1基于知识的方法利用人的先验知识建立若

8、干规则,将人脸检测问题转化为基于面部特征不变量的假设/验证问题。利用人脸的椭圆形轮廓特性,文献5提取边缘特征,并根据广义Hough 变换提取椭圆形状信息,进行人脸检测。文献6提出了一种基于知识的快速人脸检测方法,采用符合人脸生理结构特征的人脸镶嵌图模型,建立较为完备的知识库,并采用多级检测的步骤加快检测速度。另外,文献7在传统的镶嵌图法基础上,提出了一种新的广义三分图的人脸模型分块方案,取得较好效果。眼睛是人脸上最独特的一种器官,已成为许多检测方法所利用的关键特征。此外,由于人的肤色在图像中的聚类特性及对方向的不敏感性,已在人脸检测中得到了应用8。基于知识的方法需要利用人脸的几何和灰度等方面的

9、特征整理出各种检测规则,建立规则库,这种规则库还需要在实用中不断修改和完善。1.2基于统计的方法将人脸图像看作一个高维矢量,在高维空间中对分布信号进行检测。基于特征空间的方法将图像变换至某一个特征空间,再根据图像在此空间中规律区分人脸和非人脸。主分量分析先进行K 2L 变换,得到特征值从大到小排序的特征脸9。这样既有效降低了维数,又保留了所需要的识别信息。基于模板匹配的方法通过与已建立的若干模板,进行匹配比较检测人脸的存在问题。文献10的基于多模板匹配的单人脸检测效果较好。此外还有基于神经网络和基于支持向量机等方法。基于统计的方法较适合对正面人脸图像进行检测,但图像中人脸尺度及位姿发生变化,特

10、别是旋转变化,会使检测难度加大,准确率相应降低。2人脸的特征提取与识别人脸特征的提取与识别可看成是一个对3D 物体的2D 投影进行匹配的问题。人脸是个非刚性模型,在不同情况下可能存在形变(如表情、位姿等,从而造成模式的改变。此外,环境因素对人脸特征的提取与识别的效率影响很大。图像中存在影响人脸检测效果的多种干扰,所以在进行人脸特征提取和识别之前,一般要对图像进行某种“标准化处理”,即预处理,以去除背景和人体其他部位(如头发、上衣等可能造成的不良影响,进行几何归一化和灰度归一化处理,提高人脸检测与识别的准确率11。几何归一化根据检测定位结果,将人脸变换至图像同一位置及同样大小;灰度归一化对图像进

11、行光照补偿等处理。光照变化对人脸的正确识别有着重要的影响,FERET 12测试和FRV T 13测试都表明光照变化仍是人脸识别系统的瓶颈之一。减少光照变化影响的方法主要有14不变特征法、光照变化建951第2期王伟,等:人脸检测与识别技术综述模方法以及光照条件标准化。不变特征法对光照校正的作用有限,光照变化建模算法的复杂性较高,而光照条件标准化方法受主观因素影响较大。因此,解决光照变化问题的理想方法是这3类方法的融合。人脸特征提取与识别的方法可分为基于局部特征的识别和基于整体特征的识别。2.1基于局部特征的方法基于局部特征的方法是从脸部器官的形状及其相互位置关系为出发点,提取与识别人脸特征。尽管

12、各个人的脸部器官在形状、大小上存在一定的差异,但其相互位置关系及特征点形状等特性方面均有一定的规律,这为人脸特征提取与识别提供了可能。局部模板匹配是一种较为常用的方法。文献15采用可变形模板技术,建立眼睛模型,根据能量函数调整模板参数达到最佳匹配,以实现人脸识别目标。文献16受人脸侧面轮廓的启发,使用一种简单而有效的灰度投影方法进行人脸特征提取与识别,并运用于三维人脸识别。由于灰度投影法的特性,可将其与模板匹配方法结合,提高识别的效果。2.2基于整体特征的方法基于整体特征的方法从整体上对人脸进行特征提取,进而识别人脸。单个器官的某些变化不会对整个人脸识别造成多大影响。此类方法较多,它是目前人脸

13、识别领域的一种主流方法。2.2.1基于特征脸方法特征脸方法是从主分量分析法导出的一种人脸识别方法。K2L变换是种常用的正交变换,将其用于人脸识别取得了较好的效果17。它根据一组人脸图像构造主分量子空间,由于主元具有人脸的形状,也称特征脸。将测试图像投影到主分量子空间上,得到了一组投影系数,与各个已知的人脸图像进行比较识别,取得了较好的识别效果。特征脸方法原理简单,易于实现,实质上是一种统计性的模板匹配方法。特征脸方法把人脸作为一个整体来处理,大大降低了识别复杂度。但是,由于忽视了人脸的个性差异,该方法有一定的理论缺陷。研究表明,随着光照条件、人脸角度及人脸相对尺寸的变化,识别率将急剧下降18。

14、实验证明,特征脸方法的识别率随训练图像数目的增大而增大,当然,计算复杂程度也相应增加了。2.2.2基于弹性匹配的方法该方法采用网格作为模板,将图像间的比较变为网格间的比较。文献19使用一种基于动态链接结构的弹性匹配法来定位人脸,并根据人脸数据库进行匹配识别。将物体用稀疏图形描述,其顶点用局部能量谱的多尺度描述来标记,边则表示拓扑连接关系,并用几何距离标记,再应用弹性图形匹配技术来寻找最近的已知图形。弹性匹配方法整体识别性能优于特征脸方法,但计算量大,识别速度慢。2.2.3基于神经网络的方法人工神经网络目前正越来越被频繁地应用于人脸识别,大部分的人脸识别神经网络都采用多层感知器和BP(Back

15、propagation学习算法20。实验表明该法具有较强的适应能力和鲁棒性,可以有效地运用与多人脸、不同尺寸、不同姿态、不同肤色、不同光照条件和复杂背景的情况,是一种有效的人脸识别方法。而且通过适当增加训练样本的数量和类型,可以进一步提高识别性能。由于神经网络方法具有良好的学习特性,且不受模式形变的影响,所以使用神经网络的方法识别效果较好,其发展趋势是使用混合神经网络或神经网络群来达到更好的识别效果。2.2.4基于不变性的方法利用人脸的某种稳定的不变性特征也可进行人脸识别。奇异值具有稳定性、不变性(旋转、平移、转置不变性,可用于描述人脸。因此将人脸图像看作一个数值矩阵,用奇异值分解提取奇异值,

16、构成奇异值向量用于人脸识别21。用于图像识别的不变矩理论也常用于人脸的识别22,同类人脸图像产生的不变矩特征相差不大,不同类人脸图像产生的不变矩特征相差较大。实际表明,不变矩适用于人脸识别,效果较好。2.2.5基于Fisherface的方法基于线性判别分析的Fisherface方法23是解决小样本问题的一种方法,其实质是将人脸图像表示成一个列向量,通过LDA变换提取其特征向量。一般先对人脸图像运用PCA方法进行变换降维,再使用LDA方法,以避免LDA方法对高维人脸图像空间计算的不稳定性。061合肥工业大学学报(自然科学版第29卷3人脸检测与识别技术近期发展3.1基于隐马尔可夫模型的人脸检测隐马

17、尔可夫模型采用概率统计的方法描述时变信号。文献24提出了基于离散马尔可夫模型和奇异值特征的人脸检测方法,其实质是将奇异值特征转化为向量序列,再利用HMM对其进行识别,取得较好的效果。3.2贝叶斯人脸识别方法贝叶斯决策方法是统计模式识别中的一个基本方法25,26。将两幅图像灰度差=Ij-I k作为模式矢量,当其中的人脸属于同一个人时,为类内模式I,属于不同人时为类间模式E。采用最大后验概率准则能够较好的解决此类模式分类问题。不过,人脸识别不同于一般的模式分类,不仅要判断待检测图像X与数据库中的图像Y是属于类内模式还是属于类间模式,还要判断图像X 与图像Y是否属于同一个人。如果判断出X与数据库中的

18、多个Y都属于同一个人,则还需要进一步判断哪一对匹配最好。因此,该问题具有较高的复杂性。3.3基于支持向量机的人脸检测方法支持向量机方法是统计学理论中最年轻的部分之一,其主要理论在19921995年间才基本完成,目前仍在不断发展之中,十分适合用于研究人脸识别两类模式的小样本问题27。支持向量机的基本思想9认为,通过非线性变换将输入空间变换到一个高维空间,在高维空间求取最优线性分类面,以解决那些线性不可分的分类问题。而这种非线性变换是通过定义适当的内积函数(即核函数来实现的。支持向量机的判别函数为f(x=sgn(6N i=1a i y i k(x,x i+bk(xi,x j称为核函数,核函数的选取

19、应使其为特征空间的一个点积,即存在函数,使(xi(x j=k(x i,x j。SVM技术中核心函数及其参数的选取难度较大。3.4基于核学习方法的人脸检测与识别在支持向量机不断发展并得到广泛应用的同时,人们对核函数本身不断进行研究,逐渐形成了一类较完整的核学习方法。此类方法的基本思想28是:对于原空间中线性不可分的数据,首先经过一个非线性映射:R dH,x(x,映射到一个高维的特征空间H(也称核空间,维数可以无穷大中,只要选择满足Mercer条件的核函数k,就可以在这个特征空间中隐含地进行运算,实现数据在高维空间中的线性分类(或近似线性分类,其中核函数的设计至关重要。常用的核函数有多项式核函数,

20、即k(xi,x j=(x i x j+1d,径向基核函数k(xi,x j=exp(-x i-x j2和Sigmoid核函数k(x i,x j=tan hb(x i x j+c。主分量分析(PCA方法是一种线性技术,它不能提取图像像素的高阶非线性关系。而核主分量分析方法可弥补PCA的不足,其实质是在高维特征空间H中应用PCA,效果明显优于PCA。核Fisher判决分析是将核学习方法与FDA 算法结合的产物,即在高维特征空间H中进行线性Fisher判决分析,识别结果28好于FDA算法。3.5三维人脸识别当前,国内外很多研究者都致力于研究具有不变性的人脸识别系统,其中重要的方法是利用人脸的三维特征进

21、行识别29,30。这种方法能较好地解决二维人脸识别存在的问题(如受表情、光照和人脸位姿等影响较大,发展空间较大。三维人脸识别中器官区域的标定大都采用基于高斯曲率的方法进行,一般利用三维深度图像,根据人脸不同器官区域的曲率不同,通过高斯曲率分析人脸的凹凸区域,对面貌曲面进行分割,得到眼、鼻等器官,再进行识别31。此类方法比较容易实现器官的粗定位,但精确特征的提取仍是个难题。另外,也可从已有的二维照片中提取三维信息,利用直观的人脸三维几何特征,确定特征点后直接进行分割识别32。但此方法对人脸照片的拍摄角度要求较高,对于正、侧面照片实现较为容易,而其他姿态的人脸照片确定人脸绕x、y、z轴旋转角度较为

22、复杂,识别准确性不够稳定。目前还有一种重要方法是首先建立三维人脸模型,再利用模板匹配的方法进行识别。文献33首先建立三维人脸网格模型,再利用PCA方法降维,形成三维特征脸,再进行分类识别。文献34通过建立三维可变形模板提取眼睛的精确特征,此方法建模效果直接影响到识别准确性,建模越复杂,识别正确性越高,但计算复杂性就越大。161第2期王伟,等:人脸检测与识别技术综述三维人脸建模非常复杂,特别是人脸三维数据的获取存在困难,但只要将三维信息加入到现有人脸识别算法中,识别效果就会大大提高。4国内研究概况国内人脸检测与识别的研究自20世纪80年代起步后,大都集中在基于几何特征、代数特征、神经网络和模板匹

23、配的检测和识别这几个方面,特别是有关神经网络的研究比重较大。在此基础上,基于多分类器的人脸检测与识别受到的关注较大,这方面的研究成果较多。特别是近几年引入三维特征后,利用三维与二维信息的融合进行人脸检测与识别成为另一个亮点。中国科学院计算所的“面像检测与识别核心技术”这一国家863项目取得重大突破,达到了国际先进水平,标志着我国在人脸识别这一当今热点科研领域掌握了一定的核心技术,并已应用到会议代表入场的身份认证上。虽然人脸检测与识别受到了国内学术界的较大关注,并在20世纪末、21世纪初取得了较大的发展,但总体上,目前仍处于起步阶段,研究大都基于几何特征或代数特征,与国际水平仍存在较大差距。但随

24、着J DL大规模人脸图像数据库2的建立以及各种生物识别会议的召开,我国生物识别研究队伍正不断扩大,水平在不断提高,与国外差距也在不断缩小。5结束语人脸检测中基于统计的方法有一定优势,目前发展也较快。但由于人脸图像的复杂度,基于统计的方法需要大量的人脸样本和非人脸样本进行训练,而非人脸样本的收集非常困难。基于知识的方法简单、直观,检测效果依赖于特征提取和预先定义的规则,对质量较好的图像有较好的检测效果,对复杂的图像检测效果一般不够好。对于这两类方法的不足,解决途径是结合知识与统计的方法,同时利用交叉学科的相关技术。基于非刚性模型的人脸特征提取与识别的方法(如弹性匹配更符合实际,能取得较好效果。未

25、来的发展方向是多种识别方法的综合运用及多分类器的融合,人脸整体与局部(包括人脸细节匹配方法相结合,低层特征与高层知识的融合。三维人脸识别处于发展期,由于三维人脸模型的复杂性和趣味性,引起了很多学者的关注,并投入了大量的精力,但仍有很多问题需要探索和研究。随着三维信息获取装置的改进,三维人脸识别将成为研究的热点。参考文献1Galton S F.Personal identification and description-IJ.Nature,1888,21:173-177.2周德龙,张晓华,刘博,等.J DL大规模人脸图像数据库介绍A.生物识别研究新进展(2C.北京:清华大学出版社,2003.1

26、18-120.3章毓晋.中国图像工程及当前的几个研究热点J.计算机辅助设计与图形学学报,2002,14(6:489-500.4周杰,卢春雨,张长水,等.人脸自动识别方法综述J.电子学报,2000,28(4:102-106.5Wang J G,Tam T N.A new face detection met hod basedon shape informationJ.Pattern Recognition Letters, 2000,21(6/7:463-471.6姜军,张桂林.一种基于知识的快速人脸检测方法J.中国图像图形学报(A版,2002,7(1:6-10.7卢春水,张长水,闻芳,等.基

27、于区域特征的快速人脸检测法J.清华大学学报(自然科学版,1999,39(1: 101-105.8Hsu R L,Mottaleb M A,J ain A K.Face detection in colorimagesJ.IEEE Trans Pattern Analysis and Machine In2 telligence,2002,24(5:696-706.9边肇祺,张学工.模式识别(第2版M.北京:清华大学出版社,2000.1-50.10梁路宏,艾海舟,何克忠.基于多模板匹配的单人脸检测J.中国图像图形学报,1999,4(10:825-830.11赵慧琳,王林泉,葛元.人脸图像定位与标

28、准化算法J.计算机工程,2003,29(22:158-160.12Phillips P J,Moon H,Syed A,et al.The FERET evalua2tion met hodology for face2recognition algorit hmsJ.IEEETPAMI,2000,22(10:1090-1104.13Phillips P J,Grot her P,Micheals R J,et al.FRV T2002:evaluation reportR/OL./DL s/FRV T_2002_Evaluation_Report.pdf,

29、2003-03.14Sim T,Kanade T.Combing models and exemplar for facerecognition:an illuminating exampleA.Proc of CVPR2001Workshop on Models versus Exemplars in ComputerVisionC.December,2001.15Yuwen W,Hong L,Hongbin Z.A new met hod of detec2ting human eyelids based on deformable templatesA.2004IEEE Internat

30、ional Conference on Systems,Man and261合肥工业大学学报(自然科学版第29卷 2期 第 Cybernetics C . 2004. 604 - 609. 王 ,等 : 人脸检测与识别技术综述 伟 163 sis wit h application to adaptive Bayesian face recognition J . Pattern Recognition ,2005 ,38 (4 : 617 - 621. 26 Shuicheng Y , Xiaofei H , Yuxiao H , et al . Bayesian shape localiz

31、ation for face recognition using global and local tex2 t uresJ . IEEE Trans on Circuit s and Systems for Video Technology , 2004 ,14 (1 :102 - 113. tection using SVM A . Proc of t he 2004 Intelligent Sen2 2005 ,38 (6 :787 - 798. 16 Li T , Asari V. A novel technique for t he ext raction of dept h inf

32、ormation by gradient analysis on grayscale images A . Proc of 33rd Applied Imagery Pattern Recognition Workshop C . 2004. 223 - 228. 17 2Bo Z , Chang2Shui Z. Lower bounds estimation to KL Bai Cybernetics C . 2002. 1 314 - 1 318. 426 - 430. and Gest ure Recognition C . 2004. 183 - 188. al Conference

33、on Machine Learning and Cybernetics C . 2004. 3 666 - 3 669. Recognition ,2003 ,36 (3 :649 - 655. ke Mo ment Invariant A . Proc of F GR 2002 C . 2002. 330 - 335. 23 张燕昆 ,刘重庆 . 基于 DC T 与 LDA 的人脸识别方法 A . 2002. 55 - 59. 681 - 688. t ransform in face rep resentation and recognition A . Proc of 2002 Inte

34、rnational Conference on Machine Learning and 18 苏宏涛 ,张艳宁 , 王 , 等 . 光照变化条件下的人脸识别 晶 研究 J . 西北工业大学学报 ( 自然科学版 ,2004 ,22 ( 4 : 19 Takat sugu H , Yo shio I , Masahiko Y. Parallelization be2 t ween face localization and person identification A . Proc of Sixt h IEEE International Conference on Automatic Fac

35、e 20 Ping W , Wei2Qing X , Xiao2Quan W. A design and com2 21 Yuan T , Tieniu T , Yunhong W. Do singular values con2 tains adequate information for face recognitionJ . Pattern 22 avad H , Majid A , Karim F. An efficient met hod for rec2 J 24 李士进 ,杨静宇 ,陆建峰 . 基于奇异值特征和隐马尔可夫模 25 Liwei W , Xiao W , J uf u F. Int rapersonal subspace analy2 ognition of human faces using higher orders Pseudo Zerni2 plement for face recognition A . Proc of 2004 Internation2 生物识别研究新进展 ( 1 C . 北京 : 清华 大学 出 版社 , 型的人 脸 检 测 J . 中 国 图 像 图 形 学 报 , 2001 , 6 ( 7 : 2004 年安徽省高校学报总被引频次和