（计算机应用技术专业论文）基于统计分析的三维人脸识别研究.pdf

摘要 在所有生物特征里面，入脸特征是最普遍和是容易获取的。所以，人脸识别 一直都是模式识别和图像处理领域最热门的课题之一。本文主要研究了基于主元 分析及f i s h e r 准则的三维人脸深度图像与二维纹理图像相结合的识别方法。首先 利用网格控制顶点模拟三维点云数据，使不规则的三维点云投影到一个规则的二 维网格上，然后对得到的网格控制点模型进行规一化，消除模型在尺度及坐标系 上的差异。最后对配准后的模型通过有效的识别算法完成识别。本文的主要研究 内容和工作总结如下： 1 基于b 样条曲面拟合生成的网格控制顶点模拟三维点云数据，将所有的不规 则的三维点云投影到一个规则的二维网格上，使这些三维模型具有相同数目 的控制顶点，这对于后面的统计方法是一个必要的步骤。 2 在进行三维人脸模型识别之前，需对受试者的姿态不同造成的差异进行调整， 在配准中尽量减小因受试者姿态不同带来的影响。对此，本文采用了基于 p a r t i a l i c p 的精配准方法进行三维人脸的调整。 3 对传统p c a 方法与基于f i s h e r 准则的方法在三维深度数据与二维纹理数据上 进行研究与应用实现。重点分析了p c a 中主分量( 特征向量的维数) 的选择问 题。 4 考虑到三维数据与二维数据一定程度的互补性，将两者通过三种方式融合比 较。在对二维纹理图做识别前，提出了一系列的图像增强措施，并对这些图 像增强措旋对最终识别结果的影响做了比较。在所采用的数据库中，r a n k l 识别率达到9 8 3 。验证了本文采用的算法具有较好的识别效果和精度。 关键词：三维人脸识别，三维人脸配准，主成分分析，层次b 样条，f i s h e r 识别 a b s t r a c t f a c er e c o g n i t i o nh a sb e e no n eo f t h em o s tp o p u l a rt o p i c si nt h ef i e l do f p a t t e r n r e c o g n i t i o na n di m a g ep r o c e s s i n g t h i st h e s i sm a i n l yf o c u s e so n3 df a c er e c o g n i t i o n p r o b l e m b e g i n n i n gw i t l las u r v e yo fe x i s t i n gm e t h o d sa p p l i e d t ot w o d i m e n s i o n a l ( 2 d ) a n dt h r e e - d i m e n s i o n a l ( 3 d ) f a c ed a t a , w ef o c u so ns u b s p a c et e c h n i q u e s ， r e g i s t r a t i o ni sd o n et ot r a n s f o r mf a c em o d e l si n t ot h es k n l ep o s ea n dp o s i t i o n f i n a l l y p r e c i s ea n de f f e c t i v er e c o g n i t i o na l g o r i t h m sa r eu s e dt oa c h i e v eh i g ha c c u r a c y t h e m a i nc o n t r i b u t i o n so f t h ew o r ka r ea sf o l l o w s 1 、t h eg r i dc o n t r o lp o i n t si su s e dt os i m u l a t et h ep o i n t - c l o u dd a t aw h i c hi s c r e a t e db yb s p l i n es u r f a c ef i t t i n g w es t a n d a r d i z et h ep o i n t - c l o u dd a t at or e d u c et h e q u a n t i t yo f p o i n t - c l o u dd a t at or a i s ee f f i c i e n c yo fo u ra l g o r i t h m 2 、t h ep a r t i a l i c pm e t h o di su s e dt oa l i g na l lt h e3 df a c em o d e l ，w h i c hc o u l d i m p l i c i t l ya n dd y n a m i c a l l ye x t r a c tt h er i g i dp a r t so ff a c i a ls u r f a c eb ys e l e c t i n gap a r t o fn e a r e s tp o i n t sp a i r st oc a l c u l a t ed i s s i m i l a r i t ym e a s u r ed u r i n gr e g i s t r a t i o no ff a c i a l s u r f a c e s t h em e t h o di se x p e c t e dt ob ea b l et og e tm u c hb e t t e rp e r f o r m a n c et h a no t h e r m e t h o d si n3 df a c er e c o g n i t i o nu n d e re x p r e s s i o na n dp o s ev a r i a t i o n 3 、t h et h e s i si n v e s t i g a t e sp r i n c i p l ec o m p o n e n ta n a l y s i s ( p c a ) a p p r o a c ha n dt h e m e t h o d sb a s e do nf i s h e rd i s c r i m i n a n ta n a l y s i sd e e p l y , a n dt h e nt h ec h o i c eo ff e a t u r e v e c t o ra n dd i s t a n c em e a s u r ec r i t e r i o ni sd i s c u s s e d 4 、i n v e s t i g a t i n gt h eu s eo fi m a g ep r e p r o c e s s i n ga p p l i e da sap r e l i m i n a r ys t e pi n o r d e rt or e d u c ee r r o rr a t e s ，w ei m p l e m e n tt h ee i g e n f a c ea n df i s h e r f a c em e t h o d so f f a c er e c o g n i t i o nw i t l lb o t h2 da n d3 df a c e , f i n a l l yw ec o m b i n et h e m ，t h i sr e s e a r c h l e a d st oa i li n n o v a t i v em u l t i - s u b s p a c ef a c er e c o g n i t i o nm e t h o dc a p a b l eo fc o m b i n i n g 2 da n d3 d d a t a , y e tm u l t i s u b s p a c ec o m b i n a t i o ni n c r e a s et h ea c b - l r yr a t et o9 8 3 k e y w o r d s ： 3 df a c er e c o g n i t i o n ；3 df a c ea l i g n m e n t ；p c a ；f i s h e rf a c e ；m u l t i l e v e l b - s p l i n e s ；f i s h e r 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下，独立完成的研究成 果。本人在论文写作中参考其他个人或集体已经发表的研究成果， 均在文中以适当方式明确标明，并符合法律规范和厦门大学研究 生学术活动规范( 试行) 。 另外，该学位论文为() 课题 ( 组) 的研究成果，获得() 课题( 组) 经费或实 验室的资助，在() 实验室完成。( 请在以上括号 内填写课题或课题组负责人或实验室名称，未有此项声明内容的， 可以不作特别声明。) 尸- - j = 明人( 签名) 孝荔以 1 年6 月- 7 日 厦门大学学位论文著作权使用声明 本人同意厦门大学根据中华人民共和国学位条例暂行实施办 法等规定保留和使用此学位论文，并向主管部门或其指定机构送 交学位论文( 包括纸质版和电子版) ，允许学位论文进入厦门大学图 书馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入 全国博士、硕士学位论文共建单位数据库进行检索，将学位论文的 标题和摘要汇编出版，采用影印、缩印或者其它方式合理复制学位 论文。 本学位论文属于： () i 经厦门大学保密委员会审查核定的保密学位论文， 于年 月日解密，解密后适用上述授权。 () 2 不保密，适用上述授权。 ( 请在以上相应括号内打“ 或填上相应内容。保密学位论 文应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学 保密委员会审定的学位论文均为公开学位论文。此声明栏不填写的， 默认为公开学位论文，均适用上述授权。) 声明人( 签名) ：移钙 一r 月、7 日 第一章绪论 1 1 研究目的与意义 第一章绪论 从2 0 世纪7 0 年代起，对人类语言方式的机器理解研究，就成为国际上重要 的研究课题，即所谓智能人机接口技术研究。生物特征识别是人机接口领域的一 个重要研究方向，使计算机通过生物特征( 如面像、声音、指纹等) 判断出人的身 份，是进行人机自然交互的基础。自美国发生9 1 1 恐怖袭击事件以后，世界各国 对如何防范恐怖分子、保障民众安全异常关注，不断积极寻找有效的身份鉴定方 法。另一方面，全球范围内电子商务已迅速兴起，网络信息安全问题也伴随而来， 安全可靠的网上购物和交易是电子商务进一步发展的核心问题。传统的安全方式 如密码、磁卡和钥匙经常被非法盗用或者滥用，因此只能提供有限的保障。而人 类个体的生物特征具有唯一性而且极难复制，基于生物特征识别的身份鉴别策略 具有较高的稳定性和准确度，因此可以广泛应用到需要身份鉴定的各种场合。 它结合了认知科学、神经心理学、图像处理、计算机图形学、机器视觉和模 式识别等多个研究领域，研究成果有着广阔的应用前景。计算机人脸识别技术是 其中最为活跃最具有挑战性的领域之一。尤其是近十年来，由于各方面对人脸自 动识别系统的迫切需要，对人脸自动识别方法的研究越来越成为当前模式识别和 人工智能领域的一个研究热点。人脸能够用于身份识别，主要因为人的面貌属于 人本身固有的生物特征，这种特征具有不可复制，难以伪造的特点，弥补了密码、 签字、口令、证件等传统手段容易泄密、遗忘的缺点。理论上，人的生物特征只 要具有唯一性和相对稳定性，都可以作为身份识别的依据。而人的面貌特征是众 多生物特征中比较方便获取的，可以在非接触、不侵犯隐私条件下得到待识别人 的特征，更易为人们接受，也更为实用。在日常生活中，人们识别周围的人用的 最多的就是人脸，与指纹、视网膜、虹膜基因等其他人体生物特征识别相比，人 脸识别具有直接、友好、方便的特点，易于被使用者接受，使得人脸识别成为一 种最容易被接受的身份鉴定方法。虽然人类能毫不费力的识别出人脸及其表情， 但人脸的自动识别却是一个难度极大的课题。人脸识别技术具有广泛的应用前 景，在国家安全、军事安全和公共安全领域以及在民事和经济领域有着重要的应 基于统计分析的三维人脸识别研究 用价值。同时，随着近几年整个计算与信息技术的飞速发展，人脸识别技术己经 不再局限于上述传统的应用领域，“第四代计算机技术 一一普适计算( p e v r a s i v e c o m p u t i n g ) 及相关的设备将会遍布生活中的每个角落。而新一代计算技术的一个 关键特征就是具有身份的自动感知能力。只有获得关于动作和行为发起者及其周 围人的身份的上下文数据，才能正确理解这些行为、动作，包括他们的话语、手 势及无意识的身体语言及其意图等。作为最自然最友好的身份识别方式，自动人 脸识别已经成为下一代计算技术的重要组成部分。 现有的人脸识别方法主要集中于基于二维图像的人脸识别，虽然在限定环境 下，该类方法己经达到了较高的识别率，但是光照、表情、人脸姿态等的变化会 对其产生不利影响，影响了其推广性能。随着三维数据采集设备( 如激光二维扫 描仪) 的发明和不断成熟，人们开始将三维模型引入到人脸识别的研究中来。三 维数据具有光照和姿态不变性，对提高人脸识别在实际环境下的识别精度具有重 要意义。 1 2 人脸识别基本问题 计算机人脸识别技术也就是利用计算机分析人脸图象，进而从中提取出有效 的识别信息，用来“辨认身份的一门技术。其应用背景广泛，可用于公安系统 的罪犯身份识别、银行及海关的监控系统及自动门卫系统、驾驶执照及护照等与 实际持证人的核对等。虽然人类的人脸识别能力很强，能够记住并辨别上千个不 同人脸，可是计算机则困难多了。其主要困难在于：人脸表情丰富；人脸随年龄 增长而变化：人脸所成图象受光照、成象角度及成象距离等影响；而且从二维图 象重建三维人脸是病态过程，目前尚没有很好的描述人脸的三维模型。另外，人 脸识别还涉及到图象处理、计算机视觉、模式识别以及神经网络等学科，也和人 脑的认识程度紧密相关。这些诸多因素使得人脸识别成为一项极富挑战性的课 题。 计算机人脸识别技术是近2 0 年才逐渐发展起来的，9 0 年代更成为科研热点。 由于人脸识别实验所采用的人脸库通常不大，最常见的人脸库仅包括1 0 0 幅左右 的人脸图象，如m i t 库、y a l e 库、c m u 库等人脸库均为小型库，且由于不同人 2 第一章绪论 脸库之间的输入条件各异，因此不同的识别程序之间很难进行比较。为促进人脸 识别算法的深入研究和实用化，美国国防部发起了人脸识别技术( f a c e r e c o g n i t i o nt e c h n o l o g y 简称f e r e t ) i 程 1 1 ，它包括一个通用人脸库和一套通用 测试标准。该f e r e t 库可用于各种人脸识别算法的测试比较。1 9 9 7 年，f e r e t 人脸库存储了取自1 1 9 9 个人的1 4 1 2 6 幅图象，其中同一人的图象差异，包括不 同表情、不同光照、不同头部姿态以及不同时期( 相隔1 8 个月以上) 拍摄差异等。 如今f e r e t 人脸库仍在扩充，并定期对各种人脸识别程序进行性能测试，其分 析测试结果对未来的工作起到了一定的指导作用。由于f e r e t 库中包括军人的 图片，不能在美国以外获得，因此其他国家的研究只能采用本地的人脸库，如英 国的m a n c h e s t e r 人脸库。 通常，人类进行人脸识别依靠的感觉器官包括视觉，听觉，嗅觉，触觉等， 一般人脸的识别可以用单个感官完成，也可以是多感官相配合来存储和检索人 脸，而计算机的人脸识别所利用的则主要是视觉数据。另外，计算机人脸识别的 进展还受限于对人类本身识别系统的认识程度。研究表明，人类视觉数据的处理 是一个分等级的过程，其中最底层的视觉过程起信息转储的作用，即将人眼接收 的大量图象数据变换为一个比较规则的紧凑表达形式【2 】。生理学的研究表明，人 眼视网膜上存在着低层次和高层次的细胞。其中，低层次的细胞对空间的响应和 小波变换的结果相似；而高层次的细胞则依据一群低层次细胞的响应，而作出具 体的线、面乃至物体模式的响应。以此为依据，在计算机人脸识别中，可以将那 些通过大量图象数据简单处理后获得的特征定义为低层次特征，而将线、面、模 式等描述特征定义为高层次特征。由此，图象k l 变换后的系数特征、小波变换 特征及一些统计特征均属低层次特征的范畴，而人脸部件形状分析的结果则为高 层次特征。由于视觉数据经传输后的重建，需依赖于人脑中早期形成的先验知识， 因此在人的识别系统中，人脸的检测是一个整体识别和特征识别共同作用的结 果；具体说来，远处辨认人，主要是整体识别，而在近距离的人脸识别中，特征 部件的识别则更重要。另外，人脸的各部件对识别的贡献也不相同，如眼睛和嘴 巴的重要程度大于人的鼻子，人脸上半部分重要性大于人脸下半部分，其中特别 的人脸更容易被识别记住，比如说歪嘴，或是独眼龙等人脸就更容易为人记起， 没有个性的人脸相对就需要更长的时间来辨认。根据对人脑的研究表明，人脸的 3 基于统计分析的三维人脸识别研究 表情识别和人脸识别虽然存在联系，但总体说是分开的、并行的处理过程【3 1 。这 些结论对我们设计有效的识别方法起到了一些启发作用。 人脸识别根据不同的应用场景可以分为两类，一种称之为“r e c o g n i t i o n 或 “i d e n t i f i c a t i o n ”，即识别。人脸识别是回答“我是谁? 的问题。将多个已知的 人脸数据放一个集合中，称为“g a l l e r y ，给定一张测试人脸，称为“p r o b e ，要 求从g a l l e r y 中找出与p r o b e 最接近的人脸，如果两者之间达到一定的相似度( 大 于某一阈值) ，则认为该p r o b e 与找到的g a l l e r y 中的脸是同一人。所以，人脸识 别要完成p r o b e 与g a n e r y 中每一个人脸的比对，是“一对多 的匹配过程。 另一种称为“a u t h e n t i c a t i o n ，即人脸认证。人脸认证是回答“我是我所声 明的人吗? 的问题，p r o b e 首先声明一下自己的身份，然后系统用与p r o b e 声明 相同身份的g a l l e r y 中的人脸与p r o b e 进行比对，若两者达到一定的相似程度( 大 于某一阈值) ，则认为他们是同一个人，即接受，否则，认为声明者不是其人， 拒绝之。人脸认证不需要与g a l l e r y 中的每一个人进行比对，是“一对一一的匹 配。 因此，识别比认证的要求更高，计算量更大。 针对如上的两种类型，即人脸识别与人脸认证，提出了如下的两种识别性能 评估指标。人脸识别用c m c 曲线评估性能，人脸认证用r o c 曲线评估性能。 c m c 曲线c u m u l a t i v em a t c hc h a r a c t e r i s t i cc u r v e 的简称。c m c 曲线信赖于 f a r ，f r r 与e e r 。f a l s ea c c e p t a n c er a t e ( f a r ) h i 错误接受率，是指给定某个阈 值的前提下，识别系统错误地接受非法用户的比率；f a l s er e j e c tr a t e ( f r r ) ，即 错误拒绝率，是指给定某个阈值的前提下，识别系统错误地拒绝合法用户的比率； e q u a le r r o rr a t e ( e e r ) 即等错误率，是指在某个阈值下，当错误接受率与错误拒 绝率相等时的比率量。f a r 和f r r 都是随阈值变化的量，且变化方向相反。增 大阈值可以减少f a r ，同时增加了f r r ，减少阈值则减小f r r ，增大f a r 。由 此可见，用f a r 和f r r 中任意一个评估系统的认证性能都是不合理的，e e r 则 较好地反映了系统性能，因而常常作为一个系统的评价度量。 在人脸认证的场景中，每取一个阈值，可以得到一对f a r 和f r r 的组合， 将这些组合作为横坐标和纵坐标，可以绘制出一条曲线，这条曲线即为r o c 曲 线，再在坐标系中画一条y = x 的直线，该直线与r o c 曲线的交点即为等错误率 4 第一章绪论 e e r 。r o c 曲线不但可以表达e e r 的位置，还可以表达r a r 和f r r 在不同阐 值条件下的变化趋势，可以反映认证系统的性能。 r o c 曲线是r e c e i v e ro p e r a t i n gc h a r a c t e r i s t i cc u r v e 的简称。对人脸识别而言， p r o b e 与g a l l e r y 中每一个人脸模型进行匹配，而g a l l e r y 中通常会有成千上万个模 型，要求找出最接近的人脸模型作为p r o b e 的身份，如果只统计完全正确的一个 模型的比率，显得要求太高，通常会有较高的错误率。通常的做法是返回前几位 匹配得最好的模型，统计排在这几位之前的模型中正确包含p r o b e 身份的比率， 其中排位的位数称为r a n k ，将r a n k 与正确识别的比率分别作为横、纵坐标轴， 可以得到c m c 曲线，它反映了系统返回最相似对象的个数与正确率之间的关系。 1 3 二维人脸识别综述 人脸识别可按其利用的信息不同分为两类最基本的类型，二维人脸识别和三 维人脸识别。2 d 人脸识别是采用人脸亮度图像进行身份认证。2 0 0 3 年以前，大 部分关于人脸识别的研究集中在2 d 人脸识别上，2 d 人脸识别技术已渐渐走向 成熟，在一定约束条件下，其最新的技术可以达到很好的识别性能，并已在多个 商业产品中使用。3 d 人脸识别是指采用3 d 人脸数据进行身份识别的技术，具 体的3 d 数据有多种表现形式。3 d 数据与2 d 数据最主要的一个区别是，3 d 数 据带有人脸的原始几何信息，而2 d 人脸图像仅仅是人脸在某个平面上光线反射 的亮度投影。近几年来，3 d 人脸识别得到了深入广泛的研究，并取得了非常重 要的进展。另一类研究人脸识别技术的思路是，从2 d 图像中重建或合成3 d 人 脸的几何信息，然后用合成的3 d 几何信息进行识别。 人脸识别的研究始予6 0 年代末，最早的研究见于文献 4 】，b l e d s o e 以人脸特 征点的间距、比率等参数为特征，建成了一个半自动的人脸识别系统。由于数字 图像采集设备的快速普及，人脸的亮度图像获取非常方便且成本很低，因此，过 去十年关于2 d 人脸识别算法的研究非常多，具有代表性的工作主要包括四类： 一、提取人脸几何特征的方法。 包括人脸部件规一化的点间距离和比率以及人脸的一些特征点，如眼角、嘴 角、鼻尖等部位所构成的二维拓扑结构；人脸由眼、口、耳、鼻等主要器官组成， 5 基于统计分析的三维人脸识别研究 这些器官的形状决定了人脸的特点。通过计算人脸主要特征点，再用特征点的几 何关系，如距离、角度等组成一个特征向量进行识别。这类算法最困难的地方在 于如何准确提取人脸特征点，现有的特征点定位算法难以做到实用，同时也成为 基于几何特征的人脸识别技术的瓶颈。 二、模板匹配的方法 主要是利用计算模板和图象灰度的自相关性来实现识别功能。b e r t o 在1 9 9 3 年对这两类方法作了较全面的介绍和比较后认为，模板匹配的方法优于几何特征 的方法【5 1 。 三、基于统计分析的方法 该类方法包括特征脸技术【6 、f i s h e r f a c e 技术【8 】和独立元( i c a ) 技术【9 】及其变 种。基于子空间的人脸识别技术性能显著，2 0 0 0 年的f e r e t 评测报告认为特征 脸结合l d a 的技术是当时最好的人脸认证技术1 0 。特征脸技术将人脸识别视为 2 d 图像表观, ( a p p e a r a n c e ) 的比对问题，建立人脸的高斯特征空间后，将待比对人 脸投影到这个空间中，再计算人脸在该空间中的相似度。f i s h e r f a c e 考虑了人脸 的类内相似度与类间离散度。独立元( i c a ) 方法则关注各特征之间统计意义上的 独立性。 四、基于弹性聚束图的方法 从神经生物学得到启发，该方法用g a b o r 小波作局部的特征提取，为人脸构 建弹性聚束刚1 1 , 1 2 】，该图顶点包含多尺度的局部能量谱，边表示拓扑关系并带有 几何距离标记。通过匹配弹性聚束图来寻找最接近的人脸。最近的f e r e t 评测 报告表明，w i s t k o t t 等提出的动态弹性图匹配技术总体识别性能最佳。 根据所利用的不同信息，也可将目前的二维人脸识别方法分为两类：一是基 于整体的研究方法，它考虑了模式的整体属性，包括特征脸( e i g e i l f a c e ) 方法【硎、 s v d 分解的方法【1 3 】、人脸等密度线分析匹配方法【14 1 、弹性图匹配( e l a l s t i cg r a p h m a t c h i n g ) 方法、隐马尔可夫模型( h i d d e nm a r k o vm o d d ) 方法以及神经网络的方法 等；二是基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸 脸部特征的形状参数或类别参数等一起构成识别特征向量。这种基于整体脸的识 别不仅保留了人脸部件之间的拓扑关系，而且也保留了各部件本身的信息，而基 于部件的识别则是通过提取出局部轮廓信息及灰度信息来设计具体识别算法。文 6 第一章绪论 献 7 】认为基于整个人脸的分析要优于基于部件的分析，理由是前者保留了更多 信息，但是这种说法值得商榷，因为基于人脸部件的识别要比基于整体的方法来 得直观，它提取并利用了最有用的特征，如关键点的位置以及部件的形状分析等， 而对基于整个人脸的识别而言，由于把整个人脸图象作为模式，那么光照、视角 以及人脸尺寸会对人脸识别有很大的影响，因此如何能够有效地去掉这些干扰很 关键。虽然如此，但对基于部件分析的人脸识别方法而言也有困难，其难点在于 如何建立好的模型来表达识别部件。近年来的一个趋势是将人脸的整体识别和特 征分析的方法结合起来，如k i n - m a nl a i n 提出的基于分析和整体的方、法【1 5 】， a n d r e a sl a n i t i s 提出的利用可变形模型( f l e x i b l em o d e l s ) 来对人脸进行解释和编 码的方法【1 6 】。 经过研究人员的不懈努力，基于图像的2 d 人脸识别技术日趋成熟，它在一 定约束条件下可取得较好的识别结果。然而，迸一步的研究实验表明，光照、姿 态、化妆、表情、年龄等变化会显著降低了2 d 人脸识别算法的性能。2 0 0 2 年国 际著名的人脸识别评测计划f r v t 对那些可能影响算法性能的因素做了较为全 面的评测后，得出结论，以下几个因素对当前的2 d 人脸识别技术性能影响较大 0 7 1 ： ( 1 ) 光照变化影响：尤其对室外获取的人脸图像，算法性能急需提高。 ( 2 ) 时间间隔影响：随着时间间隔的增加，算法性能近似线性下降。 ( 3 ) 脸部姿态影响：非正面人脸图像的识别性能很低。 ( 4 ) 人数增多引起的综合因素：当增大数据库的人数时，算法性能近似以人数 的对数线性下降。 此外，表情变化也是影响性能的重要因素，因表情引起的脸颊肌肉变化、嘴 巴张合、眼眉区域变化等将给人脸图像的表观带来巨大变化，并将显著降低2 d 人脸识别算法的识别率。卡内基梅隆大学( c m u ) 的研究人员为方便研究人脸识别 中的姿态、光照、表情变化三个影响因素，甚至专门采集了主要包括这三种变化 的大规模人脸数据库c m u p i e 1 引。 正因为基于图像的2 d 人脸识别所面临的巨大困难与挑战，近几年学术界开 始探索如何利用图像之外的信息提高系统的识别性能，而利用人脸的三维信息进 行身份识别是其中一个最主要的探索方向。例如美国f b i 、n i s t 等多个部门联 7 基于统计分析的三维人脸识别研究 合资助发起的“人脸识别大挑战计划( f r g c ) 就要求把人脸三维信息的使用作 为一项重要的研究内容。 1 4 三维人脸识别现状 三维数据真实反映了对象在三维空间中的形状，与二维图像相比较，三维人 脸数据具有以下的优点： 1 ) 用三维数据做人脸姿态检测远易于图像，且姿态变化不会对信息造成丢失。 2 ) 若不考虑三维数据获取过程，则三维数据由于无亮度信息，完全不受光照影 响。 3 ) 因为有三维形状的直接表示，表情的影响将较图像易于处理。 三维人脸识别最初是从几何方法发展来的，出发点是希望利用三维处理技 术，解决传统二维照片识别中因为人脸的姿态、光照等对识别造成的干扰问题， 在三维的基础上进行特征的提取和识别将有更为丰富灵活详尽的信息可以利用。 通过研究基于三维数据的人脸识别，有望克服目前基于图像的人脸识别方法所遇 到的困难。 3 d 人脸识别始于上世纪8 0 年代末9 0 年代初，但因当时处理器计算性能和 3 d 数据获取设备的限制，相关研究处于非常初级的阶段，研究所用的数据集很 小，离实际应用较远。随着计算、存储设备的飞速发展和3 d 数据采集技术的日 益成熟，同时也由于2 d 人脸识别在性能提升方面遇到巨大挑战，上世纪9 0 年 代末以来，学术界己越来越多地将目光投向3 d 人脸识别研究。尤其是2 0 0 4 年 之后，人脸识别挑战计划f r g c 的实施大大推动了国际上三维人脸识别的研究， 并正促使其逐渐走向实用。当前，3 d 人脸识别已成为学术界的研究热点。 特征提取是三维人脸识别中的关键步骤，有效简洁的特征是准确快速识别的 前提。三维特征提取是把三维数据模型转化为特征表示，利用特征的可分性来体 现数据模型的特点【1 9 1 。 现有方法所提取的特征可分为几何特征、统计特征、频域特征等三类。对模 型进行曲面分析而提取的特征称为几何特征，比如三维变形模板、各种曲率特征 等；利用统计方法获得的描述特征称为统计特征，比如e g i 特征；利用解析方 第一章绪论 法如小波分析得到的特征、特征脸、f i s h e r 脸等称为频域特征。由于理论基础和 计算方法的不同，这些特征具有不同的有效性和计算复杂度。这些特征提取方法 都存在这样一些问题：它们或者是没有充分利用人脸的主要信息来源一一五官区 域，或者是在对五官区域提取特征时采用的计算方法比较复杂。 一基于几何特征的人脸识别 在三维场景的目标识别领域，常用曲面上某点邻域内曲面的几何信息或几何 统计信息描述该点的局部特征，这种方法通常称为局部描述符。在3 d 人脸识别 中，常用的策略是选择一些关键点，如鼻尖、眼框外角等，然后计算关键点的局 部描述符。最后通过匹配两个人脸模型对应的关键点的局部描述符实现人脸匹 配。 c s c h u a 等提出了一个基于p o i n ts i g n a t u r e 的人脸识别方法【2 0 1 。p s 用人脸 曲面上某点邻域内一条曲线的形状信息来表征该点的形状。为脸部各点建立p s 后，通过匹配p s 找到两个模型的多组对应点对，然后粗略对齐两个模型，再用 i c p 精确对齐模型。基于对应点欧氏距离建立一个高斯分布模型，这个模型可以 提取出脸部的刚性变化的部分来匹配，以降低表情的影响。在两两匹配时，对齐 模型后基于点与点之间的p s 匹配用投票的方法求最高投票率。 c x u 等【2 l 】采用一个本质特征向量来描述一张3 d 人脸，本质特征向量包含 深度信息、余弦信号特征和余弦信号特征的2 阶矩。采用a d a b o o s t 算法从本质 属性向量中选择有效的特征并训练级联的强分类器完成3 d 人脸的分类。 基于特征的方法目的是利用几何或者统计方法定位人脸上一些比较显著的 特征，通过曲率来定位人脸面部特征，这主要是利用已知的面部形态，将人脸面 部曲面分为一些凹、凸区域【2 2 ，2 3 1 。在定位出这些显著的面部特征之后，基于这些 特征的空间关系，可以产生一些特征向量。这些空间关系包括两个点或多个点之 间的距离，特定区域的面积，三个或多个特征点之间的夹角。g o r d o n l 2 4 ，2 5 刀利用 1 0 个不同的距离值来生成一个表示人脸的向量，g o r d o n 在包含2 5 个三维人脸模 型库上报告的识别率为9 1 7 。而m o r e n oe t a l 生成了一个具有8 6 个值的向量。 m o r e n oe t a l 将人脸分割为8 个不同的区域和两条特征线，他们的特征向量包含 每个区域的面积值，各个不同区域的质心之间的距离值以及他们之间的夹角。每 个特征值都有一个权重，这是通过f i s h e r 准则根据他们的可区分性得到的。测试 9 基于统计分析的三维人脸识别研究 人脸模型与库中模型之间相似性是通过计算相对应的加权特征向量之间的相似 性得到的。m o r e n oe t a l 的三维人脸模型库包含6 0 个人的4 2 0 个模型，他们报告 的识别率为7 8 。他们提出的基于特征的方法缺乏一定的鲁棒性。 t n a g a m i n e 等提出基于脸部曲线匹配的3 d 人脸识别方法。首先用启发式方 法提取脸部的5 个特征点( 内眼角，鼻尖，鼻根等) ，将人脸初步对齐，然后在对 齐后统一的坐标系中提取三条曲线，分别是对称面的侧影线( p r o f i l e ) 或称为中心 侧影线、眼睛下方的水平曲线、鼻尖区域曲线。分别将这三条曲线离散成特征向 量，通过比较最相近向量完成人脸匹配。实验结果表明对称面的侧影线识别能力 最强。 基于空域直接匹配的方法对三维人脸数据在三维空间中不做显式的特征提 取而直接进行匹配，通常以点云数据作为输入即可。常用的方法有迭代最近点法 ( i c p ，i t e r a t i v ec l o s e s tp o i n t ) 和h a u s d o f f 距离法等。i c p 方法本身最早由c h e n 等 【2 6 1 、b e s l 等【2 7 1 几乎同时独立地提出，后经多位学者发展，已成为三维数据重构 过程中一个非常有效的工具，被广泛用于同一刚性物体在相近视图下的三维数据 几何对齐。基于i c p 的3 d 人脸匹配算法的典型思路是首先迭代地对齐两个人脸 点云，然后用收敛之后的对应点距离构建两个点云的相似度量作为识别依据。 二基于统计特征的人脸识别 利用统计方法获得的描述特征称为统计特征，比如e g i 特征。 通过曲面上任何一点的法向可将该点映射到一个单位球面上，利用这种映射 可将曲面转换为单位球面上的质量分布映射图，这个分布图就称为扩展高斯图 ( e g i ) 。这个质量分布图依赖于曲面的形状，e g i 可看作在统计意义上描述了该 曲面的总体形状。 j c l e e 首次提出将e g i 应用于人脸深度图像的匹配【2 8 1 。该方法首先利用平 均曲率和高斯曲率对人脸曲面的凹凸形状进行分类，将凸区域法向量映射到单位 球上，并将平均曲率作为单位球上对应点的支撑函数值，从而形成人脸模型对应 的e g i 图。由于凸区域不包含脸部的所有区域，还需对e g i 图进行插值。然后 结合块与块之间的约束关系和相关系数，用图匹配算法比对两个人脸模型对应的 e g i 图，得到两者之间的相似度量。 三基于频域特征的人脸识别 1 0 第一章绪论 1 w a s a s l 二维人脸识别中的特征脸理论引入到三维识别中，提出了3 d 特征脸 的方法，利用统计方法来获得对特定脸模型的描述。以及利用小波的多尺度特性 来分解三维模型，以低尺度模型代替原有数据模型来实现数据压缩。根据图像处 理中应用小波分解来提取图像特征的思路，类似地，可采用小波变换域下的模型 表示作为模型的特征。 四基于特征脸的三维人脸识别现状 t u r k 和p 饥t l a n d 【7 】认为如果大量的人脸图像可以由一组特征图像的加权来 重建，那么有效的人脸识别方法就是通过长期的经验建立特征图像，通过比较重 建图像所需要的特征权值识别人脸。任何人脸图像集合都可以用两个集合近似的 重建，其一是每个人脸的权值集合，其二是一组标准的图像集合。人脸的权值通 过将人脸投影到对应的特征图像得到。 特征脸方法在2 d 人脸识别中得到了较高的识别率，最先被t u r k 与p e n t l a n d 用于二维人脸识别，在o c r 库中的识别率甚至可达1 0 0 。h e s h e r 与s r i v a s t a v a 将其用于三维人脸识别2 9 1 ，他们的数据库中包含3 7 个不同人的2 2 2 个三维人脸 模型，库中的每个人都保存六个不同表情的模型。他们通过首先检测鼻梁，然后 将其与v 轴校准来规范化三维人脸姿态的变化。特征空间是从“规范化的三 维人脸模型上产生的，它被用来将三维人脸模型投影到一个低维空间。在每个人 库中仅保存一个三维人脸模型的情形下，他们的识别算法的识别率为8 3 。 c h a n g t 3 0 】等在f r g cv 1 0 数据库中的实验表明，特征脸的方法对于2 d ，3 d ， 2 d + 3 d 的识别率分别为8 9 ，9 4 5 ，9 8 5 。 图像本质是三维物体在某个二维平面的投影，是一个降维的过程，期间势必 会丢失某些信息。而人脸3 d 数据则能直接给出人脸曲面的真实三维形状，不仅 包括几何信息、甚至还可包括色彩信息。利用三维数据进行人脸识别，可以避免 姿态、光照、表情等的影响，有望突破二维人脸识别的瓶颈。用3 d 数据进行人 脸特征检测比较容易，可以利用曲率信息，且不受姿态的影响；三维数据无亮度 信息，不受光照的影响；3 d 几何信息不易受脸部化妆等非几何外观变化的影响； 通过三维几何信息，表情变化比较容易处理。因此，基于三维模型的人脸识别是 当前人脸识别中最能有效解决姿态、光照、表情变化、化妆等问题的方法。 三维人脸识别研究的核心思想认为：人脸的三维数据能够作为身份鉴定的一 基于统计分析的三维人脸识别研究 种依据。根据深度图像提取的形状特征是与光照变化无关的，因此，三维空间中 的识别能够克服因视点和光照变化带来的问题；另外，深度信息和曲率信息与传 统基于灰度信息的特征相比具有以下众多优势：在描述表面形状方面具有更高的 准确度，能更好地描述面颊、前额和下巴等区域的特点，以及这些特征是视点无 关的。 2 0 0 4 年1 2 月，国际人脸识别界权威r c h e l l a p p a 与a k j a i l l 在毛渠的一次生 物认证专题研讨会上一致认为：人脸识别的出路在于三维。学术界最著名的人脸 识别测试评估计划f e r e t 的首席科学家p j p h i l i p s 在国际生物认证聪明大会上 也重点指出：三维人脸识别是未来人脸识别的重要方向【3 l 】。 1 5 本文主要研究内容及章节安排 本文主要结合计算机图形学、图像处理、模式识别、计算机视觉等学科知识， 针对三维激光扫描获得的深度图象进行三维人脸识别关键技术的研究。全文共分 为五章。 第一章绪论。主要介绍了人脸识别的研究意义，并对人脸识别涉及的各个方 面进行了较为全面的总结。对现有的2 d 人脸识别与3 d 人脸识别方法现状做了 概述，并对现有的方法所遇到的瓶颈问题进行了分析。 第二章三维人脸数据的预处理。比较了基于光流的对应计算，基于网格的重 采样算法以及本文采用的基于b 样条的多层次采样算法。通过b 样条拟合曲面， 得到规格化的三维深度数据。再对三维人脸进行配准，分析了各种配准算法，采 用p a r t i a l i c p 的配准技术，实验证明有利于大大减小人脸的表情变化引起的非刚 性问题对配准的影响，在一定程度上校正了在获取数据时出现的人脸俯、仰以及 偏转等现象。 第三章基于主元分析的人脸识别。对p c a 方法在三维数据与二维数据上进 行了深入地研究与应用实现，并做了大量有益的比较。针对p c a 中主分量( 特征 向量的维数) 的选择问题做了大量的实验。在对二维纹理图做识别前，提出了一 系列的图像增加措施，并对这些方法处理后的图像对最终识别结果的影响做了比 较。实验表明，对灰度进行归一化的方法在不同的库中均能达到较高的识别率。 1 2 第一章绪论 第四章基于f i s h e r 准则的人脸识别。对基于f i s h e r 准则的方法在三维数据与 二维数据上进行了深入地研究与应用。将三维深度数据与相应的二维纹理图信息 通过几种方式相结合。取得了满意的结果，验证了本文算法的有效性。 第五章，总结与展望。对本文工作进行了回顾，针对在研究中存在的不足和 今后的研究方向给出了下一阶段工作的展望。 1 3 第二章三维人脸数据的预处理 第二章三维人脸数据的预处理 创建三维人脸数据库时，要对原始三维人脸数据进行预处理，并通过规格化 将三维人脸表示为统一的标准形式。规格化的关键是要建立三维人脸数据基于特 征的稠密对应，这是图形学和计算机视觉中的难点问题，目前可以使用光流方法， 基于网格重采样的方法等。 2 1 三维人脸数据的获取及预处理 三维人脸数据的获取是自动三维人脸识别系统中的首要步骤，其获取数据的 质量直接影响到整个系统的性能。其获取技术可分为两大类：主动测距和被动测 距。主动测距即系统主动向被测对象投射能量，然后根据所反射的能量来计算被 测对象表面各点的位置信息，典型例子是结构光测距技术。目前较成熟的商业产 品如c y b e r w a r e 、m i n o l t a 公司的三维扫描仪【3 2 ，3 3 】；被动测距就是系统被动接收来 自于场景反射的光能量，形成光能量分布图( 如灰度图像) ，然后在分布图的基础 上恢复场景的深度信息。以上两类技术均可用于3 d 人脸数据的获取。尤其是主 动测距技术，其对应的商业产品在3 d 人脸采集方面可达到很好的性能，如 c y b e r w a g e 公司的人脸三维扫描仪可达到小于l m