【精品】人脸识别毕业论文

1、摘要生物识别是最能体现计算机智能的特征之一，它在科研工作和日常生活应用方面都引 起了巨大的轰动。在所冇生物特征里而，人脸特征是最普遍和最容易获取的，所以，人脸 识别一直都是模式识别和图像处理领域最热门的课题z-o为了减弱光照、表情、姿态、 摄像视角、外貌（例如头发、眼睛）等变化对识别的影响，提高三维人脸识别准确性，本文 针对光照、姿态、表情等影响三维人脸识别的因素进行了研究。使用基于球面谐波基图像 的光照补偿算法减弱光照对人脸识别的影响，利用三维形变模型和部件技术相结合的人脸 识别方法进行多姿态人脸的识别，针对表情变化带来的塑性变形采用基于泊松方程完成非 中性人脸网格模型向中性模型的变形，提高

2、带表情模型与同类中性模型z间的相似度。这 三种算法在提高三维人脸识别的性能上都冇一定的帮助，对于三维人脸识别系统的研究冇 了-定的理论基础。关键词：人脸识别；三维人脸识别；光照；姿态；表情abstractbiometrics is one of the best embodies the characteristics of computer intelligence, its research work and daily life applications have caused a great sensation. in all the biological characteristic

3、s of which, facial feature is the most common and most easily accessible, so, foce recognition, pattern recognition and image processing has been the hottest topic in the field. in order to weaken illumination, facial expressions, gestures, camera angle, appearance (eg hair, eyes) and so the impact

4、of change on the recognition and improve the accuracy of tliree-dimensional face recognition, this paper light, gesture, facial expression and other factors affecting the 3d face recognition study. spherical harmonics basic image-based illumination compensation algorithm reduced the influence of lig

5、ht on face recognition using 3d deformable model and parts is combined with multi-pose face recognition face recognition, for the expression of changes in the plastic deformation poisson equation based on the completion of non-neutral facial mesh model deformation to the neutral model, increased wit

6、h the same neutral expression model and the similarity between models. the three dimensional face recognition algorithm to improve the performance of all have some help, for 3d face recognition system for a certain theoretical basis.key words： face recognition; 3d face recognition; illumination; att

7、itude ; expression目 录摘 要iabstractii第1章绪论31.1本文工作的来源31.2目的和意义31.3国内外进展41.3.1国外进展41.3.2国内进展41.4本文工作的主要内容5第2章 光照对三维人脸识别影响算法的研究62.1基于球面谐波基图像的人脸图像光照估计62.1.1球面谐波基图像模型62.1.2人脸的球面谐波基图像近似82. 1.3光照估计92. 2人脸图像光照补偿102. 2. 1纹理图像102.2.2差图像11第3章姿态对三维人脸识别影响的算法研究133. 1三维形变模型133. 2基于asm的三维人脸分片153. 3基于三维部件技术的人脸识别16第4章

8、 表情对三维人脸识别的影响的研究204. 1算法思想214. 2(guidance-based constraint defonnation) (gcd)模型23结 论27参考文献28致 谢29外文科技资料翻译30英文原文30屮文译文38第1章绪论人脸识别是当前生物特征识别研究的热点之一，目前的人脸识别方法主要集中在二 维图像方而，由于受到光照、姿势、表情变化的影响，识别的准确度受到很大限制。针 对人脸识别的难点，一个较好的办法是利用三维信息进行人脸的识别。本文主要研究基 于三维数据模型的人脸识别问题，旨在通过提取冇效并11鲁棒的三维特征完成识别；同 时针对三维数据模型木身的大数据量、高复杂度

9、的特性，探讨如何在保证识别正确率的 基础上，提高识別过程的效率。1.1本文工作的来源导师指定题0。1.2目的和意义自美国发生911恐怖袭击事件以后，世界各国对如何防范恐怖分子、保障民众安全 异常关注，不断积极寻找有效的身份鉴定方法。另一方面，全球范围内电了商务已迅速 兴起，网络信息安全问题也伴随而來，安全可靠的网上购物和交易是电字商务进一步发 展的核心问题。传统的安全方式如密码、个人识别码（pin）、磁卡和钥匙经常被非法盗 用或者滥用，因此只能提供有限的保障。为了保障身份鉴定方法更加冇效和安全，因此捉出了身份鉴别的研究。目前用于身 份鉴别的生物特征有脸像、声纹、指纹、虹膜、笔迹、步态、耳型、视

10、网膜、手形、掌 纹、足迹、红外温谱图等。其中人脸识别是生物特征鉴别技术的一个重要方向，多年來 直受到许多研究者的关注。和其他主物特征识别相比，人脸识别具有主动性、非侵犯 性和用户友好等许多优点。同时鉴于二维识别的局限性，三维信息能更精确地描述人的 脸部，捉取的某些特征具冇刚体变换不变性，并冃不易受化妆和光照的影响。鉴于人脸识别具有主动性、非侵犯性等优势，如杲成功地实现三维人脸识别的话， 那么安全、金融、法律、人机交互等领域具冇广阔的应用前景，将对身份的鉴别作出重 大的贡献，同吋对世界的安全也有积极地影响。13国内外进展三维人脸识别越來越受到研究人员的重视。国内外都兴起了对三维人脸识別技术研 究

11、的浪潮。1.3.1国外进展在世界，国际生物特征识别领域权威机构ibg的统计数据显示，近年来全球人脸识 别的增长趋势非常强劲，年均增长率超过80%,大大超过了全球整体生物特征识别市场 30%的年均增长率。人脸识别，作为全球生物特征识别的一个市场热点，越來越受到人 们的普遍关注，并展示了其美好的应用前景。国外研究机构和公司从事自动人脸识别的研究与实践较早，在美国、德国、日木等 发达国家已经有相关产品问世。1996年美国的feret研究机构对现有的各种人脸识别 算法进行了测试，结果表明，比较成熟的识别算法对于数t人的图像进行识别检索， 识别率可达到90%以上。现在feret研究机构已经成为国际权威的

12、人像检测和识别理 论和算法的评估机构。“9. 11事件”以后，美国更加大了人脸识别技术的研究力度， 正在着手建立国家级的重点犯罪人口和恐怖破坏分子的人脸数据库。1.3.2国内进展作为国内企业奋起直追，突破国外技术垄断，推出性能稳定、价格适中产品的代 表，汉王科技对于“汉王人脸通”的成功研发，无疑给国内人脸识别大规模商用的产业 化注入了一针兴奋剂。从2007年便开始经历迅速的发展，而且发展的脚步越来越快。由于科技界和社会 各个方面都认识到人脸识别技术的重要性，国家政策对人脸识别技术研究给予了很大支 持，使得我国人脸识别技术取得了很大进展。2008年，更是我国安防市场迅速扩张的 一年。随着政府推动

13、的“平安城市”建设、城市报警与监控系统（“3111”工程）的深 入展开，加之奥运会、世博会等犬型活动的带动，全国进入了安防设施建设的高潮期， 安防行业持续保持了快速的增长。而且，除了传统的考勤、门禁等应用外，各种新的应 用需求的不断涌现，也极大地推动了这一市场的发展。1. 4本文工作的主要内容木文针对二维人脸识别技术的局限性，提出了三维人脸识别技术。主要研究了三维 人脸模型的识别，以及识别前所需进行的一系列的其他处理。对于光照、姿态、表情这 些方而，针对以往的方法小存在的问题，提出了可能的解决方案。本文的主要研究内容可概括如下:（1）光照对三维人脸识别影响的算法研究提出了一种基于球面谐波基图像

14、的光照补偿算法，用以在任意光照条件下进行人脸 识别。算法分两步进行：光照估计和光照补偿。根据光照估计的结果，提出了两种光照 补偿方法：纹理图像和差图像。纹理图像为输入图像与其光照辐照图z商，与输入图像 的光照条件无关。差图像为输入图像与平均人脸在相同光照下的图像之差，通过减去平 均人脸在相同光照下的图像，减弱了光照的影响。（2）姿态对三维人脸识别影响的算法研究针对多姿态人脸识别问题，提出了一种三维形变模型和部件技术相结合的人脸识别 方法。该方法提取人脸三维部件作为识别特征，在一定程度上克服了人脸姿态变化对识 别的影响。在识别过程中结合人脸的局部特征和全局特征，根据单个部件的识别率确定 其在整体

15、分类中的权值。基于整脸信息进行识别，进一步改善了识别效果。（3）表情对三维人脸识别影响的算法研究针对表情变化带来的塑性变形，guidance-based constraints deformation （god） 模型基于泊松方程完成护i姓人脸网格模型向'i姓模型的变形，有助于提高带表情模型 与同类中性模型之间的相似度；同时，将一个刚性约束无缝地融合到变形线性系统中， 以保持类间的区别特征。因此，gcd模型有效地提高了表情变化的三维人脸识别的性 能。第2章 光照对三维人脸识别影响算法的研究人脸识别经过近40年的发展，对于均匀光照下的屮性表情的证明人脸图像起识别 率己经很高，然而在一些更

16、加复杂的情况下，现有的多数系统的识别性能还是受到光照 变化的影响特别大，这是因为当人脸的光照发生变化时候，人脸图像的外观也会随z发 生很大的变化。本章针对这个问题，提出了基于球面谐波基图像的光照补偿算法，用以在任意光照 条件下进行人脸识别。算法份两步进行：光照估计和光照补偿。2.1基于球面谐波基图像的人脸图像光照估计球面谐波了空间理论表明，在各向同性远光源假设条件下，册伯凸表面的任意图像 均可表示为该凸表面9个球面谐波基图像的线性组合，这9个线性组合的系数反映了该 图像拍摄吋的光照情况。而对于任意给定的2d图像，如果能够估计出对象的3d形状和 表面反射系数，则可以解析地计算出9个球面谐波基图像

17、，然后就可以通过最小二乘法 解出9个光照系数。本节首先简单介绍球而谐波子空间理论，然后给出粗略估计人脸 3d形状和表面反射屈性进而计算给定人脸球面谐波基图像的策略，最后给出了基于最 小二乘的光照系数估计方法。2.1.1球面谐波基图像模型本章的工作是基于basri等和ramamoorthi提出的球面谐波理论而发展出来 的，因此本节首先简单介绍球而谐波基图像模型。假设物体为朗伯凸表面，光源为齐向同性远光源，则其辐照度e为e（a, 0） = l（q, 0） cos 0dg=0（g,0；）cosgq（2-1）其中(m0)为表面法线方向的球坐标表示，厶为入射光场，积分区间为物体农面 法线方向的上半球，r

18、"为一个旋转操作，将局部坐标(,0；)转换成全局坐标 (0,0)。式(2-1)实际上是一个旋传卷积，因此很适合在空间频域屮分析。球而上的信号处 理工具为球面谐波函数，类似2d平面上的傅立叶级数。阴伯表面的反射方程在空域中 积分区域很大(上半球)，根据heisenberg测不准原理，则其在频域中一定局限在低频 范围(/ = 0,1,2)。因此辐照度e在频域中用球面谐波函数展开为2 iea/3r x 工 a上:罗(0)(2-2)/=0 匸一 /其pa(a0=a1 =2%人=%)为朗伯反射函数的球面谐波系数，厶；为光照的 球而谐波系数，罗为球而谐波函数。式(22)的详细推导请参考文献2】。

19、假设人脸为圳伯凸表而，用2(%,刃表示人脸图像111某点(%, y)的反射率，(q(x,刃,0(兀,刃)表示该点的法线方向,则其亮度为/ (x, y) = a(x, y)e(a(x, y),0(兀,y)2 1q x 工骂2(兀)a|17"(a(x,y),0(x,y)/二02 1=££%：©)(2-3)/=0 m=-/其中b；(兀,y) = a(x, y)a, yy),0(兀 y)(2-4)为人脸的球面谐波基图像。球面谐波基图像可以看作是人脸在谐波光照下的图像， 谐波光照为只含有一个谐波成分的虚拟光照环境。这样，人脸图像可表示为其9个球面 谐波基图像盯”的

20、线性组合，这9个线性组合的系数为光照系数l：。2.1.2人脸的球面谐波基图像近似为了利用球面谐波基图像模型进行分析，我们需耍知道人脸的球面谐波基图像 b：,即需知道人脸的反射率a（x, y）和法线9（兀）,0（兀,刃，其中法线乂与3d形状相 关。9d线性子空间方法7利用已知的人脸3d结构计算球而谐波基图像，zhang习等假 设人脸谐波基图像每点的分布符合高斯分布，再融合输入人脸的信息，用map估计得到 输入人脸的谐波基图像.在本文中，输入人脸的反射率图和法线图也是通过“人脸类” 的先验知识得到。但我们所用的人脸类的先验知识的表示有所不同。人脸的形状大致相同，该假设己用于很多视觉算法中役由于表示

21、光照的参数只 冇9个，相对图像的像素数目很少，因此可以将图像的分辨率降低。而分辨率降低z后, 不同人脸的形状差异就更小了。且光照对图像的影响是全局的，因此微小的形状偏差不 会对光照估计造成严重影响。但为了尽可能地减小输入人脸形状与平均人脸形状的差 别，木文采用基于特征点的变形技术，将平均3d人脸形状变形到输入人脸，以得到尽 可能与输入人脸相似的3d形状。本文中我们用一种改进的aam模型来定位人脸图像上 的关键特征点。在输入人脸图像的特征点与平均3d人脸形状的特征点对齐z后，其它 的顶点我们采用kriging插值，将平均3d人脸形状变形到输入人脸，得到输入人脸的 3d形状。有了输入人脸的形状，其

22、姿态也可以根据特征点的相对位置确定，则我们可以很容 易地计算输入人脸的法线。图2.1给出了本文采用的平均人脸形状、输入人脸图像的特 征点及其经过对齐后的特定人脸形状和法线图。检人人脸图像及其待征点位变形m到的人人检的形状(d) 人人諭的法牧帼 rgb分比丧示巧t方向的法线方向图2.1平均人脸形状及输入人脸的形状光照变化对特征点的精确定位仍然是一个巨大的挑战。在光照条件很恶劣的情况 下，自动定位的特征点不太准确。在本文实验部分我们比较了只用两个眼睛位置对齐平 均人脸形状模型和输入人脸图像的结果，以观察系统对配准精度的敏感性。关于反射率，我们假设人脸表面各点的反射率近似相等。更准确地，我们假设人脸

23、 的反射率图中除了直流分量外不包含其它低频分量(1 < i < 4)。虽然人脸表面并不严格 满足上述假设，我们发现在实际应用屮还是取得了很好的效果。人眼观察到的人脸皮肤 颜色大致相同也证明了这一点。由于光照参数的维数很少，在实际应用中，为了使输入 更符合这一点，我们将图像的分辨率可以降得很低，这样各点的反射率更接近，且反射 率与皮肤差别较大的区域，如眉毛、眼晴、鼻了和嘴巴部分不参与光照估计运算。给定任意输入人脸图像，通过上述方法估计其反射率和法线方向后，即可根据式 (2-4)计算其球面谐波基图像。2.1.3光照估计给定一幅人脸图像/ 5维列向量，"为图像屮的像素个数),并

24、通过2.1. 2节屮的 方法计算该人脸的球面谐波基图像b,则式(2-3)中的未知数只有9个光照系数厶；，因 此，光照估计就是估计式(2-3)中的光照环境的9个低频球面谐波系数厶；"(0 </<2)o 这可以通过解下述最小二乘问题得到l = arg min | (bl-1) (2-5)l其中b为谐波基图像的矩阵形式，是一个9xn的矩阵，矩阵的每一列为一个谐波 基图像片(x, y)。需要指出的是，根据式(2-5)估计出的光照系数 必与真实的光照系数间相差 常数倍入)。，即l7=a)()l：，其屮2()()为反射率图的直流系数。2. 2人脸图像光照补偿在光照估计的基础上，本节我

25、们讨论人脸图像光照补偿。光照补偿是期望将输入人 脸图像经过处理后得到一个与光照无关或至少对光照变化不敏感的表示，从而使得人脸 识别变得更容易。这可以用一个统一的计算模型來表达：f = t(i)(2-6)具中/表示原始图像，t是削弱光照变化影响的变换，f是变换后的特征表示，可 以是图像或者其它特征。本节我们讨论两种光照补偿方式：纹理图像和差图像。2. 2.1纹理图像如式(23)所示，/(x,y) = 2(x, y)e(x, y)，其中2 1e(x，y) q工工疔人罗(qd,y),0d,y) o这种表示形式的一个好处是可以将人脸图像 1=0 /?!=-/对纹理2(x, y)的依赖与形状和光照的依赖

26、分开，其屮图像对形状和光照的依赖关系用辐 照度e(x, y)表示。估计出了光照条件并已知人脸的法线方向,我们口j以根据式(2-2)计算该人脸的辐 照度度e(x, y) o这样,给定输入图像/(兀,刃及其对应的辐照度e(x, y),根据式(2-3), 我们得到输入人脸的纹理图像几(兀y)为原图像与其辐照度之比，即2(兀,y)=/(无,y)e(y)(2-7)纹理图像只包含纹理信息，与形状无关，也与光照无关。但是由丁计算纹理图像时 涉及除法，当辐照度e中的像素亮度值较低时，会引入噪声。为了抑制纹理图像中的噪 声，在识别吋我们再对式(2-7)做对数变换，得到log 几(兀,v) = log /(兀,y

27、) - log eg y)(2-8)作为式(26)屮对光照变化不敏感的特征f o纹理图像中虽然没冇形状信息，但辐照度度e的计算还需要知道输入人脸的形状。 与光照佔计的全局过程不同，光照补偿是对图像屮每个像素单独进行是一个局部过程， 因此在计算输入人脸的形状时，对特征点定位精度有一定敏感性。2. 2. 2差图像光照变化对特征点的准确定位至今仍是一个很大的挑战，因此木小节我们考虑另外 种光照补偿方式，既能保留输入人脸的形状和纹理信息，同吋又对配准精度不敏感。根据i(x, y) = y)e(x,刃,辐照度e(x, y)依赖于光照和输入人脸的形状。辐照 度e中只包含低频信息，滤去图像中的低频信息就能将

28、光照的影响去掉。进行滤波操作 最合适的方法是将/(x, y) = q(x,y)e(x,y)中的乘法变成log域中的加法。对式(2-3)两 边进行log运算，也可以得到式(2-8)的纹理图像。由上面的讨论我们知道计算e还需 要知道输入人脸的形状，因此对配准冇一定要求。由于输入人脸的精确形状很难得到，所以在下面的差图像光照补偿算法屮我们不显 式地使用输入人脸的形状，只利用编码在输入图像中的形状信息。另外我们希望在处理 z后的图像屮不同输入人脸形状的信息还能得到保留。(2-9)用平均人脸模型来代替式(2-8)中的输入人脸的形状是一个很好的选择：log 久(兀,y) = log/(x, y) - lo

29、g eavg (x, y)其中eavg是平均人脸在输入光照下的辐照度。由于e呼的低频性质和e类似，上式 中的log/（x,y）受光照的影响也很小。不同的是，上式中&昭是用平均人脸形状计算 的，所以最后处理得到的图像log2（x,'）中，不仅包含了输入人脸的纹理信息，同时输 入人脸形状同平均人脸形状的差异也得到了保留。上式一个直观的解释是：将输入图像 （1 og域）减去一个只与光照有关的成分（平均人脸在输入光照下的辐照度），最后得到的 结果图像屮光照的影响得到了减弱，同吋输入人脸的形状和纹理信息没有丢失。需要指出的是，当粗略配准时（只有两个眼睛位置给定），式（2-8）与式（2-9

30、）是等价 的。当输入光照对应的辐照度eavg亮度过低时，式（2-8）的log eavg（兀,y）会随eavg变化 有较人变化，带来噪声。为了抑制噪声，我们退而求其次，用图像域中的减法来代替式 （2-9）中log域的减法，得到hiff =/（x, y） - 卩昭（兀,y）（2-10）如果将平均人脸的纹理看成为常数1,则e呼（兀,y）可以看成为iavs,为平均人脸在 输入光照下的图像。这样将i diff （九 y）="兀,y） - 1化（兀 y）（2-11）定义为差图像，作为式（2-6）中对光照变化不敏感的特征fo由于两幅图像在相同光照下，通过对两幅图像做差，减弱了光照变化对人脸图像的

31、影响，从而达到光照补偿的目的，同时又保留了用于识别的输入人脸与平均人脸的差 别。该差别既包括由纹理引起的差别，也包括出形状引起的差别。第3章姿态对三维人脸识别影响的算法研究一种三维形变模型和部件技术相结合的多姿态人脸识别方法。该方法有效地对姿态 问题进行了很好地处理。首先利用asm对三维形变模型建立过程屮的分片进行优化，使原型人脸的对齐是以 人脸的特征区域为基础；然后利用形变模型重建三维人脸，依拯分片原则将三维人脸划 分为各个部件，把部件的几何信息和纹理信息作为识别的特征。在分类屮，釆用两层分 类方法，第1层以每个部件作为弱分类器，统计其识别率；第2层根据每个部件的识别 率决定其在整体分类中的

32、权值，基于整脸信息进行识别。作者是在三维上实现人脸识 别，增加了深度信息，结合部件对姿态的鲁棒性，在一定程度上克服了姿态变化的影 响。在分类识别算法中，把人脸的局部特征和全局特征结合起来，取得了很好的识别效 果。3.1三维形变模型形变模型使用类对象屮若干典型样木张成该类对象的一个子空间，使用子空间基 底的组合近似表示该类对象的特定实例。使用形变模型进行三维人脸重建分为2个过 程：1）建立模型，获取人脸数据并建立人脸的对应和组合模型；2）针对特定人脸图像， 进行模型匹配，实现三维人脸重建。三维人脸库中的原型人脸口j用几何向量7；和纹理向量s,统一表示ti =（心，6如,rwj（3-1）式屮，i

33、= 1,2,"；w表示人脸的数量；表示三维人脸模型屮顶点的个数；（心,g"冋）是和顶点（x.,y.,z/7）对应的r、g、b颜色值。则形变模型可由线性组合 给岀华北科技学院毕业设计(论文)nnnns“=£djsj, tn = jbiti h中 £色=£勺=1(3-2)/iii式中，s“表示变形生成的儿何向量；7；表示变形生成的纹理向量。对于给定的人 脸图像，模型匹配是将三维人脸模型变形，使得变形后的模型人脸与给定人脸图像最为 匹配。由于三维人脸与二维图像的误差不能直接度量，因此口j将三维人脸投影到图像空 间进行比较。对于特定的人脸图像及模型人脸

34、的投影图像，用2副图像对应像素点颜色 纹理的参差来定义它们之间的误差(3-3)e 二工厶(兀,y)u.y)式屮，(x, y)表示输入图像上的像素点，irn (x, y)表示投影图像上的像素点。可采 用随机梯度下降法优化式(33)的目标函数，得到形变参数。.给定1副或儿副人脸照片， 进行匹配优化，即可得到三维特定人脸(见图31)。图3.1不同姿态的人脸重建结果3. 2基于asm的三维人脸分片形变模型的关键是原型人脸间稠密点集的对齐，对齐的准确度直接影响线性组合的 结果。针对三维原型人脸的数据特点，gu chun-liang等提出了一种基于分片重采样的 三维对应技术，得到的所有三维原型人脸具有统一

35、的拓扑结构。但该方法在分片过程 中，需要人工交互定义一些特征点和线，采样点密度有限，分片与特征区域并未达到很 好的对应，作者提出的人脸识别方法以三维部件为特征，而三维部件是以分片为基础， 分片的准确性将影响到部件提取的质量。原型人脸包含形状信息与纹理信息2部分数据，利用asm在纹理图上标定特征点， 以所有特征点的连线作为分片边界，将纹理图分割成不同的区域。然后根据纹理映射 图，将分片结果映射到三维人脸上，完成对三维人脸的分片（见图3-2） o图3.2特征点的标定结果与分片结果重采样要求分片吋尽量保证特征点与特征区域的一致，眼睛、眉毛、鼻子和嘴是人 脸的主要特征，作者增加了上述部位的特征点数，更

36、大限度地保证每个分片是以人脸的 特征区域为基准，同时由于asm自动定位特征点的特性，实现了自动化分片。分片完成 后，利用重采样方法实现三维原型人脸对齐，建立形变模型。3. 3基于三维部件技术的人脸识别在二维多姿态人脸识别中，和对于整脸，基于部件技术的人脸识别方法可以达到较 好的识别效果，但该方法需要采集大量样本，当目标人脸照片跟库屮样本的姿态差别较 大时，识别率较低；在分类小，把部件的整体组合作为识别特征，不能反映齐个部件的 局部特性。作者采用三维形变模型和部件技术相结合的方法解决多姿态人脸问题纹理数 据与几何数据是一一对应的，根据任意姿态照片建的三维人脸，都可以与正面照片重建 的三维人脸直接

37、比较，一定程度上能克服姿态对人脸识别的影响。在分类中，采用2层 分类方法，把人脸的局部特征和全局特征结合起来进行识别。331特征提取本文的三维形变模型采用了基于分片重采样的三维人脸对齐方法，所有的三维人脸 具有统一啲拓扑构。分片是以人脸的特征区域为准则，各个部件以分片的区域为基础划 分，整个三维人脸定义为所有部的组合，表示人脸的全局特征；每个部件代表着人脸不 同的区域特征，表示人脸的局部特征，对于姿态的化具有一定的鲁棒性。图3-3屮不同 姿态的人脸照片差异较大，提取三维部件后，对主要部件而言，差异对较小（图3d）, 识别中可以增加这些部件的权重，降低受姿态影响较人的部件的权重。（a）所有三维部

38、件（b）多姿态人脸照片（c）主要二维部件（d）多姿态:维人脸对应的主要部件图3.3不同姿态的人脸对应的主要三维部件每个三维部件q用几何向量和纹理向量表示,（心 1,2,加7（心（2儿心,.0”,乞）,戶，（心 1,2,.,加）（3-4）式屮，加为部件的数口； x、y. z为几何坐标值；r、g、b为纹理坐标值；斤为部件 的点数。训练过程屮，给定n张二维正而人脸照片，利用形变模型重建每张照片对应的三维 人脸，提取齐个勺，得到其几何向量»和纹理向量乙s,=（x川，丫川，z川，x”2,（j = i,2,，加，丿 = 1,2,.,n）tj = （rj“,gji,bjn，rji2,gjm，bji

39、jt e r'", （i = 1,2,.,m, j = 1,2,.,n）（3-5）为了简化计算，作者利用pca算法，分别对纹理向量心和几何向量s开进行降 维，得到儿何投影矩 血和纹理投影矩阵“ =（“/1，“/2，“丿，并 将片、心分别在/和儿作投影3sji = psi x s 戸%（3-6）每个部件勺表示为叭ji =（q$jl，力於2，,®阿）彻=（岛14（/2,，泗2）（卜7）式中，为相应部件的几何向量维数；加2为纹理向量维数。毎个人脸5 =（cmi，c$q,c）最终表示为sr = （q&q, ©虑2,q$ 畑）tk =（。如，©&#

40、171;2,©如）（3-8）3. 3. 2分类方法以部件的整体为分类器，容易忽略人脸的局部特征，仅以某个部件作为分类器，分 类效果会很差，作者考虑将2种方法有效地结合起来，采用两层分类方法：第1层分 类，将每个三维人脸部件作为一个弱分类器，统计英识别率；第2层把这些弱分类器组 合成一个强分类器，根据每个部件的识别率，确定各个部件在强分类器中的权值，改善 了识别效果。在识别过程中，用多姿态人脸照片重建三维人脸，提取每个部件q,得到 几何向量s,和纹理向量7；,根据式（333）分别向“打和乩作投影变换后，得到人脸c最 终表示s=（5i®2，）t = （%，如）（3-9）每个部件

41、的分类判别式为(3-10)和 c) = min( 5 + ii® - ©) 式中,z=l 2,，m ； k =1, 2,，n °综上所述，可以确定每个部件的识别率，根据该识别率确定每个部件在整体强分类器中的权值卩，后整体分类器的分类公式为(3-11)g/c)二 min(工d竝 x0)1式中血二 5 一 3加 11+ ii®, q 点 ii第4章表情对三维人脸识别的影响的研究3d人脸模型具有显式的形状，与2d图像相比较而言，对姿态、光线、化妆、皮 肤颜色等因素不敏感，因而3d人脸识别技术在这些方面相比2d人脸识别有天然的优 势，这大大拓展了人脸识别的应用空

42、间。然而，正如人脸表情将会影响2d图像的表 观，从而人大降低2d人脸识别算法的性能一样，人脸表情也将改变3d人脸模型的 形状，造成人脸局部区域产生須性变形，如图4.1,塑性变形造成了人脸形状的较大改 变。尽管这种改变是表情造成的，而不是个体差异造成的，但是，由于无法区分差异的 原因，因而没有理由认为两张表情造成的形状不同的3d人脸来自于同一个人，因而表 情也降低3d人脸匹配算法的性能。因此，如何克服或降低表情的影响是3d人脸识别中一个关键的问题和挑战，在本 章屮，我们将讨论如何建立一个3d人脸的弱表情模型，在匹配z前对人脸网格应用该 模型，从而降低表情对算法的性能损害。图41表情带来的人脸塑性

43、扭曲4.1算法思想本节我们首先定义3d人脸识别中的表情问题，以将求解的问题明确化，然后分析 可行的解决方案。3d人脸识别问题和确认问题都包含一个gallery库,每人至少在库小登记了一个模 型，正如我们上一节所述，一个人登记多个模型会造成运算规模变犬而缺乏实用，我们 规定gallery中每个人都只有一个模型，且是中性表情模型。问题定义为：gallery中登 记了多个身份人每人一个的中性表情模型，对输入的一个带表情的模型，如何实现正确 的分类。定义两个相似度，类间相似度伽)，是指不同人对应的模型z间的相似度，类内 相似度叫.)，是指同一个人不同模型之间的相似度。表情的引入自然降低了类内相 似度，

44、使得同类模型从匹配结果上看如同异类一样。如图4.2, a类的probe 于表情 改变了 3d形状，使得它距离a类较远，而距离非a类较近，造成匹配错误。考虑对 卩“加进行变换，图4.2中有9条变换方向，分别编号为19,图中1、2、9三条变换方 向冇助于probe与a类z间的距离，其它变换方向都不利于正确分类，因为它们使 得刃。加与a类更不相似。在1、2、9这条变换方向中，2号变换方向同时拉进"。加 与a类和非a类的距离，依然不利于分类。1号变换方向是最佳的，拉进与a类距离的 同时保持着与非a类的差别。这f是我们的解决表情问题的方向，即，对3d人脸识别 屮的表情问题，由于我们是面向识别性

45、能这个目标，我们并不需要建立一个统一的表情 生成和转变模型，只需建立一个变换，该变换能提高类内相似度，而保持类间的羌别 度,如式41。(siinw, simh, probe, gallery) simw > simb(4-1)图4.2表情引起的类内相似度变化示意图假设我们有一种自rfl变形技术，可以将给定的带农情的probe在其自身拓扑条件约 束卜尽可能地向另夕i、一个模型进行变形，利用血叭中模型的信息，假设gallery中存 在一个模型m与"。呢来自于同一个人，probe总能变形成与m非常相似。但"。血 会向每一个gallery屮的模型变形，这就造成了 probe与

46、英它非同类的模型也变得相 似，这是图4.2中2号变换线的变换方向。改进的想法是，我们不对probe的全部区域 进行变形，假设"。加可以分为两部分匕和耳，前者是表情相对不变的区域，后者是 表情影响人的区域，我们只对厶部分向galley '|的模型变形，此吋，由于匕部分与 m的对应部分依然很相似，经耳部分的变化,pro%仍有机会变成总体与m很相似。 这就拉近了类内模型的相似度，同时，当probe向英它非同类模型变形时，由于匕部分 保留使得probe不会拉近与其它模型的相似度，这就实现了保持类间模型仍然具足够羌 别的目的。现在去掉gallery中存在m的假设，由于缺少正确的变形向导

47、，probe无法 变形成它自身中性模型的模式，但它依然保持了与gallery中其它模型的区别度，即保 持了类间差别度。按以上的思路，我们提出了一个基于变形的弱表情模型，gcd模型 (guidance-based constraint deformation)。4. 2(guidance-based constraint deformation) (gcd)模型gcd模型基于网格变形技术，其目的是为了减小输入probe模型的曲面塑性扭 曲，gcd模型是3d人脸识别匹配前对输入模型的屮间处理步骤。木节我们首先描述 gcd模型的框架和相关的理论背景，然后对该模型的核心步骤，基于向导的变形和变 形刚性

48、约束进行详细描述。4.3 gcd模型的框架4. 2. 1模型框架正如前所述，gcd模型要完成两项关键操作，一是将probe在口身拓扑结构的约束 下向gallery小每-个模型进行变形操作，其次操作是给定两个人脸网格mp和mg,将 mp向mg变形，我们称之为基于向导的变形技术(guidancebascd deformation)；二是保证只变形mp中的刚性部分，这一步操作我们通过一个刚性约束完成，称之rigidconstrainto图4.3描述了 gcd模型的主要框架。4. 2. 2理论背景按网格流形的严格定义，3d人脸曲而可以表示为一个2d流形网格m = (v, k),图4. 4显示了一个1坏

49、的网格；在3d人脸网格上，我们定义以下概念：图4.4 一环网格离散标量场(discrete scalar fields)和离散矢量场(discrete vector fields)网格m上定义的离散标量场“,可以表示为：(4-2)i其中0是一个分段线性基函数，在m上点值为1，其它顶点位置值为0,因此， 标量场“在匕处的值为网格m上点的坐标的兀，y, z三个分量都满足标量场的定 义，可以看作是定义在网格上的三个标量场。m上离散矢量场§的定义类似于标量场，如下：做)=工必2喷(4-3)tkent(v)英屮 必是分段常基函数(piecewise-constant basis functio

50、n),在三介j形片人内部为 1,人外部为0； mtw)表示与顶点邻接的所有三角面片集。标量场的梯度场是网格上 的一个矢量场。离散梯度运算了(discrete gradient operator)网格上离散标量场“的梯度运算子定义如下：sw)二工 “wq)(4-4)其中7；是顶点卩依附的三角形，它的三个顶点为v0, vr v2,按逆时针排序。0 (v) =(%+2)%3 一 «+1)%3)丄(4-5)其中金表示三角形7；的面积，是求模运算符，()丄表示将向量沿久,的法向逆时 针旋转90度。标量场经梯度运算，可以得到一个梯度向量场，在久,内部，梯度是一个 常量。离散散度运算了(discr

51、ete divergence operator)给定网格m上的向量场散度运算子定义为卩气工vv0，歹比(4-6)*叭其中,表示向量点乘运算。离散拉普拉斯运算了( discrete lapace-beltrami operator)标量场“上的拉普拉斯算了在1环网格上可以表示为下式，参考图4.4中角度的符 号。“(*)= z (cot as + cot 几)(“/ 一 )(4-7)曲2其11' n(i)表示顶点v,.的邻接顶点。结 论木文通过分别对光照、姿态、表情对三维人脸识别的影响的算法进行了研究，实验 还是比较成功，但对还是冇些方面不足。基于球面谐波理论，木文提出了两种对任意光照下的

52、人脸图像进行光照补偿的算 法。我们首先估计输入人脸图像的光照条件，即光照环境的9个低维球面谐波系数。在 光照估计的基础上，我们提岀了两种光照补偿的方法：纹理图像和差图像。本文还讨论 了光照估计和光照补偿对对齐精度的敏感性，这对我们构造实用的人脸识别系统也很重 要。基于不精确的特征对齐进行3d形状估计进而对光照进行估计影响不是太大，但准 确的特征点定位有助于得到更准确的3d形状，进而提高人脸识别率。因此下一步工作 是提高特征点定位的准确性，尤英是在光照条件不佳时。另外降低光照补偿屮的噪声也 是下一步工作之一。针对多姿态人脸识别的问题，提出了一种三维形变模型与部件技术相结合的识别方 法，利用三维形

53、变模型重建三维人脸，将三维人脸划分为36个部件，把三维部件的几 何向量和纹理向量作为识别的特征，由于增加了深度信息，同时结合部件对姿态变化的 鲁棒性，在一定程度上克服姿态变化的影响；两层分类方法把人脸的局部特征和全局特 征有效地结合起來，在二维和三维条件下都可以达到较好的识别效果。提出了一个克服表情影响的gcd模型。该模型的出发点是通过变形提高类内三维 人脸的相似度，同吋保持类间模型的区别。借助网格变形技术，非屮性人脸向屮性向导 的变形有助于提高类内相似度，同时，刚性约束条件保证了类间相似度不会提高。gcd 模型是表情不变的三维人脸识别领域的重要工作，国外同行对该算法给予了较高的评 价。实验也

54、表明，gcd模型显著提高了表情变化卜的三维人脸识别的性能。对光照、姿态、表情对三维人脸识别的影响都进行了研究，有所欠缺的是没冇把这 些算法实践到具体的系统屮。参考文献1 卿来云，山世光，陈熙霖等皋于球面谐波基图像的任意光照下的人脸识别j.计算 机学报,2006,29(5): 760-7682 柴秀娟，山世光，卿来云等.基于3d人脸重建的光照、姿态不变人脸识别j.软件学 报，2006, 17(3): 525-5343 胡峰松，林亚平等.应用于人脸识别的基于candide-3特眾人脸三维車建j.湖南大 学学报,2008,35(11): 69-734 刘小军，王东峰，张丽飞等一种基于奇异值分解和隐马

55、尔可夫模型的人脸识别方法j. 计算机学报,2003,26(3): 340-344柴秀姐，山世光,高文等基于样例学习的面部特征口动标定算法j.软件学报,2005, 16(5):718-7266 宋枫溪，杨静宇，刘树海等.基于多类最人散底差的人脸表示方法j. f1动化学报,2006, 32(3): 378-3857 潘纲，三维人脸识别若干技术研究:d,杭州;浙江大学,20038 叶剑华，刘正光，基于3dlbp和核判别分析的三维人脸识别j,天津人学学报,2008,41(3) ：344-3489 张文超，山世光，张洪名等，基于局部gabor变化直方图序列的人脸描述与识别j,软件 学报,2006,17(

56、12):2508-251710 山世光，人脸识别中若干关键问题的研究:d,北京;中国科学院,200411 刘瑾，人脸识别屮的人样本集问题及多模式图像融合方法的研究:d,天津;天津人 学,200612 叶剑华，三维及多模态人脸识别研究:d,天津;天津人学,200813 王跃明，表情不变的三维人脸识别研究;d,浙江，浙江大学,2007致 谢本论文是在我的指导导师杜杏菁老师的精心指导卜完成的。在毕设期间，杜老 师言传身教，从技术路线直至许多具体细节，都给予了我至关重要的指导和帮助。 杜老师严谨的治学态度、渊博的理论知识、开阔的思维方式、永远高昂的工作激情 都给我留下了深刻的印彖，永远是我学习的榜样。

57、杜老师在理论和工程两个方面的 严格要求，使我不仅学到了扎实的理论知识，而且获得了丰富的实践经验。在工作 和为人两方面，从杜老师身上学到的一切东西都将使我的一生受益无穷。再次感谢杜老师，她的指导陪伴我度过了四年的人学生涯，杜老师踏实的作 风、深邃的思维、广博的知识，总让我羡慕不已，可以说，我的每一点成长与进 步，都与杜老师有关，杜老师对我的影响必将持续到我未来的生活、工作和家庭中 去。感谢我的室友文成志和郝佳奇，和他们一起共同努力渡过大学生活，非常快 乐。他们在学习和生活中给予了我犬量的帮助，曾与我一起分享许多快乐的时光。最感谢我最敬爱的父母，在我多年的求学过程中，他们一直在背后默默无闻地 支持我、帮助我，使我对生活永远充满信心，我要用我的全部来报答他们。感谢所 有给予我指导、帮助、关心和支持的人们。外文科技资料翻译英文原文research on a face recognition system by the genetic algorithmcomputer vision and recognition is playing an increasingly important role in modem intelligent control.object detection is the first and most import