人脸识别文献综述解读

文献综述1引言在计算机视觉和模式识别领域，人脸识别技术（FaceRecognitionTechnology，简称FRT）是极具挑战性课题之一。近年来，伴随相关技术飞速发展和实际需求日益增加，它已逐步引发越来越多研究人员关注。人脸识别在许多领域有实际和潜在应用，在诸如证件检验、银行系统、军队安全、安全检验等方面都有相当宽广应用前景。人脸识别技术用于司法领域，作为辅助伎俩，进行身份验证，罪犯识别等;用于商业领域，如银行信用卡身份识别、安全识别系统等等。正是因为人脸识别有着宽广应用前景，它才越来越成为当前模式识别和人工智能领域一个研究热点。即使人类能够毫不费劲识别出人脸及其表情，不过人脸机器自动识别依然是一个高难度课题。它牵涉到模式识别、图像处理及生理、心理等方面很多知识。与指纹、视网膜、虹膜、基因、声音等其余人体生物特征识别系统相比，人脸识别系统愈加友好、直接，使用者也没有心理障碍。而且经过人脸表情/姿态分析，还能取得其余识别系统难以取得一些信息。自感人脸识别能够表述为：对给定场景静态或视频序列图像，利用人脸数据库验证、比对或指认校验场景中存在人像，同时能够利用其余间接信息，比如人种、年纪、性别、面部表情、语音等，以减小搜索范围提升识别效率。自上世纪90年代以来，人脸识别研究得到了长足发展，国内外许多著名理工大学及TT企业都成立了专门人脸识别研究组，相关研究综述见文件[1-3]。本文对近年来自感人脸识别研究进行了综述，分别从人脸识别包括理论，人脸检测与定位相关算法及人脸识别关键算法等方面进行了分类整理，并对具备经典意义方法进行了较为详尽分析对比。另外，本文还分析介绍了当前人脸识别优势与困难。2人脸识别相关理论图像是人们出生以来体验最丰富最主要部分，图像能够以各种各样形式出现，我们只有意识到不一样种类图像区分，才能愈加好了解图像。要建立一套完整人脸识别系统(FaceRecognetionSystem，简称FRS)，必定要综合利用以下几大学科领域知识：2.1数字图像处理技术数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理过程，数字图像处理最早出现于20世纪50年代，当初电子计算机己经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代早期。与人类对视觉机理研究历史相比，数字图像处理是一门相对年轻学科，但在其短短历史中，它却以不一样程度成功使用于几乎全部与成像关于领域。现在，数字图像处理技术己被广泛应用于办公自动化、工业机器人、地理数据处理、医学数据处理、地球资源遥感、交互式计算机辅助设计等领域，尤其在机器视觉应用系统中成为关键技术之一。通常图像都是模拟图像，对于模拟图像只能采取模拟处理方式进行处理，计算机不能接收和处理模拟信号，只有将连续模拟信号变换为离散数字信号，或者说将模拟图像变换为数字图像才能接收。数字图像处理就是对给定数字图像进行一些变换过程。对含有噪声图像，要除去噪声、滤去干扰，提升信噪比；对信息微弱图像要进行灰度变换等增强处理；对已经退化含糊图像要进行各种复原处理；对失真图像要进行几何校正等变换。除此之外，图像合成，图像边缘提取与分割，图像编码、压缩与传输，图像分析等技术也属于图像处理内容。由此可见，图像处理就是为了达成改进图像质量，将图像变换成便于人们观察和适于机器识别目标[4]。2.2神经网络人工神经网络是一门以对大脑生理研究结果为基础，以用机器模拟大脑一些生理与机制，实现某方面功效为目标学科[6]。研究神经网络，尤其是神经学习机理，对认识和促进人本身发展有特殊意义。神经网络有许多具备非线性映射能力神经元组成，神经元之间经过权系数连接。网络信息分布式就存在连接系数中，使网络具备很高容错性和鲁棒性。神经网络技术已经被有效地用到组合优化、图像处理、模式识别、自动控制等方面。基于神经网络技术人脸识别方法是人脸识别研究领域中一大主要分支。2.3模式识别模式识别[7]，就是经过计算机用数学技术方法来研究模式自动处理和判读。这门学科使用计算机方法实现人模式识别能力，即对各种事物或现象进行分析、描述、判别和识别。在人脸识别中，假如是个人识别，则每一个人就是一个模式，预先存在数据库里图像就是样本；假如是性别识别、种族识别或年纪识别，则不一样性别、种族或年纪就组成一个模式；假如是表情识别，则不一样表情就是一个模式。人脸识别重在讨论个人识别，人脸识别最终目标就是利用人脸图像确定待识别人到底与数据库里哪个人是同一个人，这是一个“是谁”问题；或要判断这个人与库里某个人是不是同一个人，这是一个“认识或不认识”问题。图像识别是指对视觉图像目标按其物理特征进行分类，属于模式识别范围。图像识别系统基本结构如图1所表示。图像预处理图像预处理分类决议结果图像特征提取输入图像图1图像识别系统基本结构2.4计算机视觉在客观世界中，人类经过视觉识别文字和周围环境，感知外界信息。人们75%信息量都来自视觉，所以让计算机或机器人具备视觉，是人工智能主要步骤，也是人类多年以来梦想。在信号处理理论与高性能计算机出现后，这种希望正在逐步实现。用计算机实现对视觉信息处理形成了一门新兴学科——计算机视觉。计算机视觉是一门用计算机来实现人视觉功效，实现客观三维世界识别学科。计算机视觉最终目标是模拟人类视觉能力，了解并解释周围世界，其研究一个关键内容是图像识别。3人脸检测与定位人脸检测与定位是自感人脸识别系统首先需要处理关键问题，也即检测图像中是否有些人脸存在，若有，则将其从背景中分割出来并确定其在图像中位置。在一些能够控制拍摄条件场所，如警察拍摄罪犯照片时将人脸限定在标尺内，此时人脸定位因为己经具备了人脸位置先验知识而相对比较简单；证件照（身份证、护照等）因为背景相对简单，定位也比较轻易。但在通常情况实际应用中，人脸在图像中位置预先未能得知，人脸检测与定位将受到以下原因制约：(1)人脸在图像中位置、角度和尺度不一样以及光照改变；(2)发型、眼镜、胡须以及人脸表情改变等；(3)图像中噪声影响。所以从某种程度上说，人脸检测与定位甚至比人脸模式识别更为关键。按照人脸检测技术发展历程，本文依据采取主要技术方法将人脸检测分为以下四种类型:基于特征检测方法、基于肤色检测方法、基于模板匹配方法、基于外观统计学习方法。3.1基于特征检测方法基于特征人脸检测方法依据人脸面部几何特征、纹理特征、肤色特征进行人脸和非人脸判别，见下表：表1基于特征人脸检测与关键特征定位算法人脸特征主要算法主要参考文件边缘、轮廓边缘检测算子；椭圆拟合等[8,9]器官特征形态学运算；自适应域值；局部特征检测；模板匹配；概率决议等[10,11]纹理特征（肤色、头发、胡须等）灰度共生矩阵（二阶纹理统计特征）；神经网络分类器；自组织映射网络等[12,13]3.2基于肤色检测方法利用人脸肤色信息进行人脸检测曾经一度成为人脸检测领域研究热点，涌现了大量学术文件，Lee等[14]最早利用人脸肤色信息进行人脸定位；Saber[15]利用肤色、人脸形状及几何对称信息实现人脸检测和面部特征抽取；Jones[16]利用大量样本图像对肤色检测问题进行了分析，并建立了人脸肤色统计模型用于人脸检测，收到了很好检测效果；Terrillon[17]使用高斯模型和混合高斯模型在不一样色度空间建立肤色模型进行人脸检测，并进行了对比分析，结果发觉混合高斯模型比通常高斯模型具备愈加好泛化能力；Hadid[18]基于Skin-Locus建立肤色模型，提取彩色人脸区域实现人脸检测，但需要在固定成像参数下才确保有良好性能，鲁棒性有待提升；Martinkauppi[19]对Skin-Locus理论进行了细致分析，发觉人脸肤色在各种光照条件下能够用两个二次或者数次多项式进行拟合；Comanieiu[20]采取Mean-Shift算法进行局部搜索实现人脸检测与跟踪，该算法提升了人脸检测速度，对遮挡和光照鲁棒性很好，但对于复杂背景和多个人脸目标检测不够鲁棒；Hsu[21]采取光照赔偿方法克服光照问题，从一定程度上处理了偏色、复杂背景和多人脸目标检测问题，对人脸位置、尺度、旋转、姿态和表情等改变具备很好鲁棒性；Sobottka和Pitas[22]结合肤色(HSV)和人脸形状信息来定位人脸和进行面部特征提取；Terrillon[23]等利用高斯模型对肤色象素进行聚类，并采取神经网络对二值图像几何距进行学习实现人脸检测；Garcia和Tziritas[24]采取量化肤色区域合并结合小波分析实现人脸检测。总说来，基于肤色检测方法鲁棒性提升依赖于肤色模型质量，在背景相对简单情况下能够取得良好检测效果;但在复杂背景中，尤其是背景中存在较多类肤色区域时，检测质量将急剧下降。而且，肤色模型在不一样人种之间会存在较大差异，因而极难建立一个通用性很强人脸肤色统计模型。所以，基于肤色检测人脸检测方法应用受到一定限制。3.3基于模板匹配方法基于模板匹配方法首先需要人工定义一组标准或参数化人脸模式（通常为正面），称之为模板。对于给定输入图像，经过计算其与标准模板相关系数并依摄影关系数判断是否为人脸，详见表2。这种人脸检测方法实现简单，不过因为人脸尺度、姿态和形状不确定性，基于模板人脸检测方法通常达不到很高准确率。表2基于模板匹配人脸检测方法模板种类主要算法主要参考文件固定模板人脸子模板（眼睛、鼻子）梯度图像；相关匹配等[25,26]人脸形状模板边缘检测；相关匹配等[27,28]分块百分比模板[29]重心模板Laplancian边缘检测；相关匹配等[30]变形模板弹性模型能量函数度量[31]Snakes能量函数度量[32]PDM模型ASM搜索[33]3.4基于统计学习方法与上述方法不一样，基于统计学习方法主要采取大量人脸与非人脸样本对检测分类器进行训练，将人脸检测转化为二类模式分类问题。Propp等人是最早采取神经网络[34]进行人脸检测学者之一，他们经过结构一个4层（两个隐藏层）神经网络实现人脸检测，但没有相关检测性能报道；后人在他们基础上经过优化神经网络结构提出了时延神经网络（TDNN），自组织映射神经网络（SOM）、卷积神经网络（CNN）、概率决议神经网络（PDBNN）。Feraud等人经过结构自协商神经网络（SNNN）[35]进行非线性主元分析，能够检测正面到左右60度旋转人脸，他们方法日后被Listen和Multrak采取。Sung、Rowley、Lin&Kung等[36]采取K-mean聚类算法在特征空间建立“人脸”和“非人脸”族，采取自举（bootstrap）方法首先建立一个仅使用人脸样本和少许非人脸样本训练初始神经网络分类器对一组图像进行训练，将误检非人脸样本加入非人脸样本库；然后训练新分类器，如此不停迭代，直到搜集到足够多非人脸样本，这种方法日后被许多学者所采取。Carleson、Yang等[37]人提出SNoW（SparseNetworkofWinnows）学习方法，对检测不一样特征、表情、姿态和光照条件下人脸收到了很好效果。其实质就是采取Winnow算法进行权值更新稀疏神经网络；H.Schneiderman[38]提出基于后验概率估量方法，先对样本进行小波变换，然后对这些特征进行统计，经过统计计算训练样本直方图求得人脸与非人脸概率分布实现人脸检测。不一样于传统基于经验风险最小化分类器，如贝叶斯分类器、神经网络分类器等，支持向量机分类器（SVM）以基于结构风险最小化原理最小化泛化误差，经过结构最优分类超平面实现模式分类。在这一领域，Osuna等人最早提出采取SVM分类器进行人脸检测，并提出了针对大规模数据集SVM训练算法。试验结果显示基于SVM人脸检测速度比早先Sung等人提出神经网络人脸检测快足足30倍。Nefian[39]等人采取隐马尔可夫模型（HiddenMarkovModels简称HMM）检测人脸。HMM是一个双重随机过程，采取节点表示状态，有向边表示状态之间转移。所以适合描述信号统计特征。Nefian等经过检测区域中每个子区域，采取K-L变换系数作为观察矢量，经过B-W和维特比算法取得HMM模型参数，依据区域观察序列输出概率判决是否为人脸。3.5AdaBoost算法训练器康柏研究院Viola[40]在国际计算机学术年会上发表论文标志着人脸检测技术开始走向实用。他们经过综合AdaBoost[41,42,43]和Cascade算法实现了实时人脸检测，使得人脸检测开始迈向实用化道路。而且首次引入了“积分图像”(IntegalImage)概念，大大加紧了检测过程中特征计算速度。利用Adaboost学习算法提升一个简单分类器(弱分类器)性能，理论上最终形成强分类器训练错误率靠近零，而且推广性好。Viola在他试验中定义了180000种矩形特征，经过试验选择一小部分特征形成一个有效分类器。继Viola等提出用于人脸检测AdaBoost算法之后，许多学者对他们算法进行了继承和发展。首先，Lienlxart等人提出了新旋转Haar-Like特征，能够用于旋转人脸快速检测，同时提出了一些其余Boosting法：如DiscreteAdaBoost,RealAdaBoost,GentleAdaBoost等。Froba在AdaBoost算法基础上提出了基于灰度图像正面和平面内旋转人脸实时检测系统，在EOM(EdgeOrientationMatching)基础上进行扩展，引入SNoW算法进行校验，得到一个更为鲁棒系统。国内李子清在AdaBoost算法基础上提出了FloatBoost算法，实现多视角人脸检测，经过从粗到精、从简单到复杂金字塔型人脸检测；与传统Adaboost算法相比，能在提升人脸检测速度同时提升检测精度。Liu提出了基于Kullback-LeiblerBoosting(KLB)算法分类器，处理了传统AdaBoost算法存在弱分类器最优组合以及最优分类器和特征选择问题。Viola本人也对AdaBoost算法进行了改进，提出了不对称AdaBoost算法，用于快速图像检索和人脸检测。总说来，基于Boosting和Cascade算法系统在速度方面具备很大优越性，经过Haar-Like特征训练一些弱分类器，再组合成一个强分类器。怎样在提升检测精度同时不降低检测速度，能够从以下方面综合考虑：采取更优特征描述方法，综合AdaBoost和强分类器。3.6多个方法结合人脸检测与精准定位是一个颇具挑战性研究课题，一些效果很好人脸检测系统并不只是采取上述某种方法，而是将多个方法有机地融合。主流方法大多是基于统计学习，所以受学习样本影响较大，不一样本集合对算法性能也有一定影响。复杂背景中正面人脸检测已经有了比很好结果，多姿态人脸检测依然是现在研究重点，即使取得了一些进展，但怎样利用人脸深度信息处理姿态和光照问题还有待深入研究。4人脸识别方法识他人脸主要依据那些在不一样个体之间存在较大差异而对于同一个人则比较稳定特征。详细特征形式随识别方法不一样而不一样。早期研究较多静态人脸识别方法有基于几何特征人脸识别方法和基于相关匹配人脸识别方法。现在，静止图像人脸识别方法主要有三个研究方向：一是基于统计识别方法，包含特征脸（Eigenface）方法[44]和隐马尔科夫模型（HiddenMarkovModel）[45]方法；二是基于连接机制识别方法，包含通常神经网络方法[46]和弹性图匹配[47]（ElasticGraphMatching）方法；三是其余一些综合方法或处理非二维灰度图像方法。4.1基于几何特征人脸识别方法常采取几何特征[48]有些人脸五官如眼睛、鼻子、嘴巴等局部形状特征，脸型特征以及五官在脸上分布几何特征。提取特征时往往要用到人脸结构一些先验知识。在这种基于几何特征识别中，识别总归为特征矢量之间匹配，基于欧氏距离判决是最惯用识别方法。识别所采取几何特征是以人脸器官形状和几何关系为基础特征矢量，其分量通常包含人脸指定两点间欧式距离、曲率、角度等。基于几何特征识别方法具备以下优点：符合人类识他人脸机理，易于了解；对每幅图像只需存放一个特征矢量，存放量小；对光照改变不太敏感。这种方法一样存在以下问题：从图像中抽取稳定特征比较困难，尤其是特征受到遮挡时这种情况更为显著；对强烈表情改变和姿态改变鲁棒性较差；通常几何特征只描述了部件基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失，更适合于粗分类。4.2基于模板匹配人脸识别方法模板匹配法[49][50]是一个经典模式识别方法，这种方法大多是用归一化相互关直接计算两幅图像之间匹配程度。因为这种方法要求两幅图像上目标要有相同尺度取向和光照条件，所以预处理要做尺度归一化和灰度归一化工作。最简单人脸模板是将人脸看成一个椭圆，检测人脸也就是检测图像中椭圆。另一个方法是将人脸用一组独立小模板表示，如眼睛模板、嘴巴模板、鼻子模板、眉毛模板和下巴模板等。但这些模板取得必须利用各个特征轮廓，而传统基于边缘提取方法极难取得较高连续边缘。即使取得了可靠度高边缘，也极难从中自动提取所需特征量。为此，用弹性模板方法提取特征显示出其独到优越性。弹性模板由一组依照特征形状先验知识设计可调参数所定义。为了求出这组参数，需要利用图像边缘、峰值、谷值和强度信息及特征形状先验知识设计适宜能量函数。参数向能量减小方向调整，当能量达成最小时，这组参数对应模板形状最符合特征形状。4.3特征脸方法特征脸（Eigenface）[51]方法是从主成份分析（PrincipalComponentAnalysis,PCA）[53]导出一个人脸识别和描述技术。PCA实质上是K-L展开网络递推实现，K-L变换是图像压缩中一个最优正交变换，其生成矩阵通常为训练样本总体散布矩阵。特征脸方法就是将包含人脸图像区域看作是一个随机向量，所以能够采取K-L变换取得其正交K-L基底，对应其中较大特征值基底具备与人脸相同形状，所以又称之为特征脸。利用这些基底线性组合能够描述、表示和迫近人脸图像，所以能够进行人脸识别和合成。识别过程就是将人脸图像映射到由特征脸张成子空间上，比较其与已知人脸在特征脸空间中位置。近年来，据此发展了多个对特征脸改进方法，如双子空间法、相形歧义分析方法、Fisher脸方法等。另首先，Albert等将PCA与人脸拓扑关系结合起来提出TPCA（topologicalprincipalcomponentanalysis）方法，识别率较单一PCA类方法有所提升。另外，与K-L变换思想比较靠近，但不是从统计角度出发。另一个变换是奇异值分解（SVD）方法,即将图像矩阵奇异值作为模式特征矢量。4.4隐马尔科夫模型隐马尔科夫模型（HiddenMarkovModel，HMM）[52]是用于描述信号统计特征一组统计模型。HMM使用马尔科夫链来模拟信号统计特征改变，而这种改变又是间接地经过观察序列来描述，所以，隐马尔科夫过程是一个双重随机过程。在HMM中，节点表示状态，有向边表示状态之间转移，一个状态能够具备特征空间中任意特征，对同一特征,不一样状态表现出这一特征概率不一样。因为HMM是一个统计模型，对于同一特征序列，可能会对应于许多状态序列，特征序列与状态序列之间对应关系是非确定。这种模型对于状态序列来说是隐,故称为隐马尔科夫模型。HMM有三个主要问题：评定、估量及解码。我们关心是前两个问题，评定用于处理识别问题，通常采取比较有效“向前-向后”法；估量用来产生用于识别各个单元HMM，采取Baum-Welch方法。4.5基于神经网络方法利用神经网络，人们就不需要为人脸识别清楚地定义特征。Kohonen将自组织映射（self-organizingmap，缩写SOM）网络应用于人脸回顾。即使当输入图像带有强烈噪声或有部分丢失，准确回顾能力依然能够取得。Lawrenceetal.[53]使用了一个混合神经网络系统，主要包含了一个改进五层SOM网络和CNN网络（Convolutionalneuralnetworks），其中CNN具备局部权值共享拓扑结构。这种结构与基于接收区域（receptivefields）生物网络有更多相同点，而且提升了对局部变形忍耐性。多层感知机神经网络（Multi-layerperceptronneuralnetworks）和径向基函数网络（radialbasisfunctionnetworks）也已经被用于人脸识别。4.6弹性匹配方法弹性图匹配方法[54][55]是一个基于动态链接结构（DynamicLinkArchitecture,DLA）方法。它将人脸用格状稀疏图表示，图中节点用图像位置Gabor小波分解得到特征向量标识，图边用连接节点距离向量标识。匹配时，首先寻找与输入图像最相同模型图,再对图中每个节点位置进行最好匹配，这么产生一个变形图，其节点迫近模型图对应点位置。Wiskott等人使用弹性图匹配方法，以FERET图像库做试验，准确率达成97.3%。弹性图匹配方法对光照、位移、旋转及尺度改变都不敏感，是一个优于特征脸方法人脸识别方法。此方法主要缺点是对每个存放人脸需计算其模型图，计算量大，存放量大。为此，Wiskott在原有方法基础上提出聚束图匹配，部分克服了这些缺点。在聚束图中,全部节点都已经定位在对应目标上。对于大量数据库,这么能够大大降低识别时间，另外,利用聚束图还能够匹配不一样人最相同特征。所以能够取得关于未知人性别、胡须和眼镜等相关信息。Lee等提出了一个基于弹性图动态链接模型方法，既取得较高识别速度，也取得了较理想识别率，在一定程度上克服了以往方法总是在速度与识别率之间进行折中缺点。4.7其它人脸识别方法以上几个经典人脸识别方法，每种方法各有其优缺点，所以能够把多个方法综合起来，或同时利用不一样种类特征。要从大量人脸数据库中进行识别，单靠扩展单一个类特征数目是不够，而要扩展与原特征集正交其它种类特征。Jia等在正面人脸几何特征基础上，将侧面轮廓特征、眼睛形状特征以及人脸轮廓特征也加入特征矢量，取得了较采取单一正面人脸几何特征为特征矢量方法更高识别率。Lai等结合小波变换与傅立叶变换提出与平移、缩放、平面内旋转无关光谱脸人脸表征方法。现在人脸识别研究对象基本上都是针对二维灰度图像，除此之外，还有深度人脸图像识别和红外人脸图像识别方法。深度图像包含了人脸深度信息，Gordon针对深度图像提出了一个基于模板用图像数据曲率作描述子识别方法。他使用一个旋转激光扫描系统取得人脸深度图像，取得曲面数据以柱坐标形式存放，然后依照曲面上各点法向最大和最小曲率振幅和相位值定位眼睛、鼻子和两侧脸部区域红外人脸图像（也叫温谱图）对每个人来说都是唯一。所以能够利用温谱图识他人脸。另外在黑暗中也能捕捉红外光，所以用红外人脸图像在黑暗中也能进行识别。对于多CCD摄像机系统，能够得到多视点人脸图像，从而能够取得人脸立体模型，含有三维信息特征能有效处理人脸在光照伪装或年纪改变等情况下识别问题。5人脸识别系统优势与关键技术难题人脸是三维非刚性体，利用人脸生物特征自感人脸识别系统与基于其余人体生物特征识别系统相比，既具备其独特优势，也存在一些困难。5.1人脸识别优势自感人脸识别技术优势主要表现在：(1)非接触式数据采集人脸图像能够经过标准视频或热成像技术非接触式采集，因而不会对用户造成生理上伤害，具备非直接侵犯性。(2)可隐蔽性强用于捕捉人脸图像成像设备能够隐蔽安装，尤其适合处理重大安全问题、罪犯监控、过滤敏感人物(间谍、恐怖分子)及实施抓捕，是其它基于指纹、虹膜、视网膜、掌纹等生物特征识别技术所无法比拟。(3)方便、快捷及便于事后追踪自感人脸识别系统经过非接触方式捕捉人脸图像，因而无需用户过多干预。且能够在事件发生同时统计当事人面像，从而确保系统具备良好事后追踪能力。(4)可交互性强人类能够轻而易举地识别不一样个体在不一样时期不一样状态下人脸，而指纹、虹膜、视网膜等其余生物特征常人极难识别。所以与授权用户交互和主动配合能够从很大程度上提升人脸识别系统可靠性和可用性。5.2人脸识别系统若干关键技术问题现所研究一些人脸识别系统大多在约束环境下工作，假如注册原型图像和系统工作条件基本一致而且用户主动配合，尚能够达成令人满意效果。但真正实用人脸识别系统需要在大规模人脸库、工作环境非可控和用户不配合（罪犯监控与搜捕）等非约束环境下工作，即使经过采取图像预处理技术（亮度均衡和姿态学习等）能从一定程度上得以赔偿，但大光照和姿态改变依然使得系统稳定性急剧下降，即使是现在性能最好人脸识别商业系统识别率也不到80%而误识率却高达10%以上，基本无法满足实际应用需求。FERET和FRVTS对人脸识别关键算法评测最少揭示了面临两个主要挑战：光照和姿态改变。另外，人脸局部遮挡、人脸老化、成像设备差异、化装、饰物等原因影响在非约束、非合作（如视频监控）环境下是不可防止。现有许多算法因为种种原因未能应用于人脸识别，最少没有在大型人脸库上进行实际测试。而且，上述问题往往在实际应用中共同出现，这深入增加了人脸识别难度。下面就人脸识别系统所面临五个主要技术挑战分别加以分析：(1)光照改变光照改变，尤其在室外环境下，是基于2D人脸图像人脸识别关键算法碰到最为棘手问题。因为光照造成人脸图像改变甚至超出不一样个体之间差异，进而改变人脸图像在特征子空间分布，致使基于图像比正确识别算法性能急剧下降。即使人们提出了一些应对光照改变处理方案，如启发式抛弃主元方法、基于朗伯光照模型3D光照子空间、光照锥、人脸3D模型合成虚拟图像等等。但大多都是基于理想条件和经验数据获取人脸模型，因而极难走向实用。面向实际应用环境光照改变问题依然有待于深入研究。(2)姿态改变人脸姿态改变和光照改变一样，是实用人脸识别系统真正走向应用所面临巨大障碍。即使能获取人脸全部不一样视角、不一样光照和表情下样本图像，但这将造成人脸特征数据库急剧膨胀和人脸识别关键算法时间复杂度和空间复杂度急剧上升。现在多数人脸识别关键算法在正面人脸情况下识别性能尚能接收，不过实际应用中输入人脸图像难以确保总是准正面人脸图像。所以，怎样提升人脸关键特征定位算法性能，据此估量待识他人脸图像姿态并进行人脸姿态校正是现在人脸识别系统急需处理且极具挑战性研究课题。(3)人脸图像获取质量现在大多数人脸识别关键算法都是基于图像质量较高人脸库测试结果，因而取得了较高识别率。但实用人脸识别系统往往会要求对低质量人脸图像进行识别，如视频监控、信息安全和门禁系统尤其是罪犯搜捕等应用场所获取人脸图像质量低下，因而对人脸关键特征定位、特征抽取及人脸识别关键算法性能产生严重影响。主要存在以下三个特点：（1）视频流质量不高。视频流通常都是室外（或室内但光照条件差）而且用户非合作状态下获取，因而人脸图像光照和姿态存在很大随机性；（2）全自动安全监控系统。被监控对象往往会存在局部遮挡和伪装(墨镜、帽子)情况，从而造成面部特征甚至是关键特征（眼睛）丢失，怎样很好地处理这类问题也很值得我们关注；（3）人脸图像小。因为受到捕捉条件限制（如成像距离等），人脸图像通常都