（计算数学专业论文）基于一定旋转角度人脸照片的三维重建.pdf

摘要基于一定旋转角度人脸照片的三维蕈建 摘要 创建逼真的三维人脸模型是计算机图形学领域一个极富挑战性的课题。随着虚拟 现实、影视制作、游戏娱乐等应用的发展，这一研究课题越来越受到人们的关注。然 而详尽的脸部信息获取不仅成本昂贵，在很多特定的应用中常因为对象的原因无法采 集更多的脸部信息。鉴于此，本文将尝试对单张有一定旋转角度的非正面二维人脸照 片进行脸部三维重建。 本文首先介绍了三维入脸模型的应用前景及国内外的研究现状，分析和总结了现 有的三维人脸建模技术。依据人体测量学、人体解剖学等关于脸部关键特征的原则定 义了脸部测量点及测量项目。 其次讨论了如何对非正面入脸照片进行角度估算，将之应用于c m up i e 人脸图 像库进行了验证。动手建立正侧面人脸库，对正侧面数据进行神经网络的训练，通过 训练得到权值，以便用于正面数据点的脸部深度数据估算。以c a n d i d e 3 一般人脸 网格模型为基础结合特定的人脸照片中的特征点信息对一般模型进行修改。采用径向 基函数( r b f ) 插值的方法对其进行局部的修改得到非特征点的信息，通过b p 神经网 络得到侧深度数据，生成特定的人脸模型。对于粗糙的原始网格给出了一种改进的 l o o p 细分方法，使细分后的模型更符合原有形状，并纹理映射生成具有真实感的人 脸模型。 最后用v i s u a lc 抖和o p e n g l 实现了从脸部数据的交互式提取到三维人脸重建 系统。 关键词：三维人脸建模，神经网络，r b f ，角度估算，l o o p 细分，纹理映射 a b s t r a c t 基于一定旋转角度人脸照片的三维重建 a b s t r a e t r e a l i s t i cf a c em o d e l i n gi so n eo ft h em o s td i f f i c u l tp r o b l e m si nc o m p u t e rg r a p h i c s w i t l lt h ed e v e l o p m e n to fv i r t u a lr e a l i t y , c h a r a c t e ra n i m a t i o nf o rf i l m sa n da d v e r t i s i n g ， c o m p u t e rg a m e s ，r e a l i s t i cf a c em o d e l i n ga t t r a c t sm u c h a t t e n t i o no fr e s e a r c h e r s h o w e v e r , g e t t i n gs om u c hi n f o r m a t i o ni se x p e n s i v ei n m o s ts i t u a t i o n s m o r ei m p o r t a n t l y , i ti s d i f f i c u l tt oc o l l e c te n o u g hi n f o r m a t i o n s o ，t h i sa r t i c l ew i l la t t e m p tt od i s c u s s3 d r e c o n s t r u c t i o no fan o n - f r o n t2 df a c ei m a g e t h i sa r t i c l ef i r s ti n t r o d u c e dt h ea p p l i c a t i o no f3 df a c em o d e la n dt h ed o m e s t i ca n d f o r e i g nr e s e a r c hp r e s e n ts i t u a t i o n ，a n da n a l y z e da n ds u m m a r i z e dt h et e c h n o l o g yo f3 df a c e m o d e l i n ge x i s t e d a n dw ed e f i n et h ef a c ef e a t u r ep o i n t s ，m e a s u r i n gp o i n t sa n dt h es u r v e y i t e mb a s e do i lt h ea n t h r o p o m e t r y , t h ea n a t o m ye t c s e c o n d ，e s t i m a t e dt h ed e g r e e sr o t a t i o no ff a c ep i c t u r e ，a n da u t h e n t i c a t e db yt h ec m u p i ef a c ed a t a b a s e w ee s t a b l i s ht h ef a c ed a t a b a s eo ft h ef r o n t a la n dl a t e r a lf a c e ，t oe s t i m a t e t h ed e p t hv a l u e so ft h ef e a t u r ep o i n t sb yu s i n gn e u r a ln e t w o r k s c o m b i n i n gt h ef e a t u r e p o i n t so ns p e c i f i cf a c et om a k er e v i s i o nt ot h eg e n e r a lm o d e lb a s e do nc a n d i d e 一3 。u s i n g t h em e t h o do fr a d i a lb a s i sf u n c t i o n ( r b f ) i n t e r p o l a t i o nt om a k ep a r t i a lr e v i s i o nt og e tt h e n o n f e a t u r ep o i n t s ，e s t i m a t e dt h ed e p t hv a l u e sb yu s i n gb pn e u r a ln e t w o r k s ，g e n e r a t i n gt h e s p e c i f i cf a c em o d e l a n dg i v e no n ei m p r o v e m e n to fl o o ps e g m e n t a t i o nm e t h o d ，t oc a u s e t h es e g m e n t a t i o no fm o d e lc o n f o r m st ot h eo r i g i n a ls h a p e ，g e n e r a t i n gr e a l i s t i cf a c em o d e l b yt e x t u r em a p p i n g a tl a s t , t h ef a c ed a t a b a s ea n df a c em o d e l i n gs y s t e mb a s e do ni m a g ea r ed e s i g n e da n d i m p l e m e n t e db yv i s u a lc + + a n do p e n g l k e yw o r d s ：3 df a c em o d e l i n g ，n e u r a ln e t w o r k s ，r b f , a n g l ec o m p u t a t i o n ，s u b d i v i d e d ， t e x t u r em a p p i n g i i 声明尸明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：钯尹务 ) 每一毫年- 月日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 恕尹名 2 鲫吝年7 月e l 硕上学位论文 基于一定旋转角度人脸照片的三维覃建 1 绪论 人脸是人体最具表达力的部分。平时生活中，我们通过人脸来辨别身份，通过人 脸来表达喜怒哀乐，人脸在我们平时的生活中起着举足轻重的作用。它具有个性化和 多样化的特点，从古至今，对于入脸的描述和刻画一直得到人们的广泛关注。近年来， 随着计算机图形技术的发展，三维人脸建模和表情动画成为计算机图形学领域的一个 研究热点，许多学者开始尝试建立逼真的三维人脸模型，并取得了显著的成绩。 1 1 选题背景 人脸是人类表达情感和表现人体特性的重要部分，人脸它具有个性化和多样化的 特点。世界上没有完全相同的人脸，因而我们可以通过人脸鉴别出个人的身份特征。 同时，人脸也是人类情感表达的窗口，我们能够根据一个人的脸部表情推断出他的气 质、情绪等情感状态。 复制逼真的人脸，是人们长期以来的追求。早期常采用的方法包括手工绘画、泥 塑、雕刻等。随着科技的发展，出现了照相的方法来再现真实人脸，但其仅限于反映 人脸的某个角度的二维信息，所以特定三维人脸重建成为了一件十分有意义的工作。 二十世纪中期开始，计算机技术得到了迅猛发展，人们使用计算机在人脸复制方面的 研究也越来越多，并取得了丰厚的成果。现在，人脸建模与动画已经成为计算机图形 学领域的一个研究热点而受到普遍的关注，2 0 0 2 年的动画杂志最高荣誉奖即授予了 人脸表情动画系统：f a c es t a t i o n 。市场需求是人脸建模与动画研究不断发展的原动力。 现在，人脸建模与表情动画技术已经广泛地应用于影视制作、游戏娱乐、医学辅助诊 断治疗和教学科研等诸多领域。 1 2 研究意义和应用领域 近年来，随着计算机图形学技术的发展，真实感三维人脸合成和表情动画技术成 为了计算机图形学领域的一个研究热点，受到了国内外众多研究人员越来越多的关 注。人脸建模和人脸表情动画的应用领域很广，其中一个最显著的应用就是影视制作。 这些领域中都无不体现了人脸建模和表情动画技术的魅力，它也是长期以来人们十分 感兴趣并致力于研究的内容。 下面是人脸建模的一些典型应用： 人脸识别：人脸识别是生物特征鉴别技术的一个主要研究方向，经过众多学者的 悉心研究，已经取得了不少的成就。一些经典的识别方法已经形成，但是这些方法主 要集中在二维方面，由于受到光照、姿态和表情等因素的影响，识别的准确性受到了 l l 绪论 硕l 学位论文 很大的限制。一个较好的解决办法人们很自然的就会想到利用三维模型进行人脸的识 别，因为三维人脸模型可以消除上述不利因素的影响。近年来，基于三维模型的人脸 识别方法取得了很大进展，在提高识别的鲁棒性和精度性方面也显示了巨大的潜力， 它也必将成为今后人脸识别研究工作的热点。 影视制作：三维人脸造型在娱乐方面最显著的应用就是被广泛地用于电影、电视 中虚拟演员与虚拟主持入等制作。近几年上演的影视大片如指环王、终结者、 黑客帝国等电影中都无不体现了计算机生成的三维虚拟人物在影视、广告中的魅 力。人物面部动画是影视处理中最繁琐的工作，能否得到真实感的绘制效果是影响影 视制作的一个关键因素。 游戏领域：传统游戏中的二维场景和虚拟人物很难使游戏者达到身临其境的感 觉。随着图形硬件设备的快速发展，在游戏中使用三维场景和虚拟人物已成为一个趋 势。 视频会议和可视电话：随着网络带宽的提高和网络技术的发展，视频会议和可视 电话等应用越来越受到欢迎。虽然目前可视化技术已经成熟，但是其巨大的多媒体信 息占据着宝贵的频带资源，如何传输人脸图像和接收人脸图像是这些应用中的核心问 题。而人脸建模与动画技术只需要一次性的从发送端发送人脸定义特征参数，接收端 根据收到的参数利用人脸建模技术恢复人脸，以后的传送过程仅仅是传送预先定义的 人脸表情参数信息，这样必定会降低传送信息的冗余程度。 医学：在医疗中脸部造型的主要应用是脸部整形手术和心理研究等领域。在进行 面部的整形手术之前，可以模拟手术的过程和展示手术后的治疗效果。不断发展的入 脸造型与动画系统也为心理学家进行人脸运动和表情的研究提供了依据。心理学家可 以用人脸运动的计算机模型来实现他们的研究。这比以前他们必须使用照片或者随意 叫人刺激肌肉来做研究更方便。 新一代的人机交互：新一代的人机交互应该是类似自然人的交互方式，而人脸作 为信息和情感表达的最重要的载体，是这种智能交互方式的重要组成部分。人脸建模 研究为这种交互的情感分析和表达提供了可行性。 随着各方面技术的发展，三维人脸模型将会在更多方面得到更深更广的应用。 1 3 国内外研究现状 由于人脸形状复杂，面部能够自由形变且有无数细微的皱纹，因此建立精确的人 脸模型和真实感人脸非常困难。但是经过国内外从事此项研究的学者的长期不懈的努 力，目前用计算机合成人脸已经取得了显著成就： 目前国际上许多著名的研究单位( 如微软研究院、华盛顿大学、瑞士联邦技术研 究院、多伦多大学、i b m 研究院等) 都设立有专门进行人脸三维建模研究的课题组。 2 硕+ 学位论文 基于一定旋转角度人脸照片的三维重建 在此领域著名国际会议有a c ms i g g r a p h ，i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo n c o m p u t e rv i s i o n ) 等，著名国际期刊有p a m i ( i e e et r a n s a c t i o n so i lp a t t e r na n a l y s i s a n dm a c h i n ei n t e l l i g e n c e ) 、i j c v ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e r v i s i o na n di m a g eu n d e r s t a n d i n g ) 、i e e et r a n s a c t i o n so nv i s u a l i z a t i o na n d c o m p u t e rg r a p h i c s 、c o m p u t e rg r a p h i c s 等，每年都有相当数量的关于三维人脸建模 及其应用的论文出现。 国内在这方面的研究起步较晚，但是发展较为迅速。浙江大学、清华大学、中国 科学技术大学、中国科学院计算技术研究所和中国科学院自动化研究所等在三维人脸 的数据获取和建模方面取得了一些成果。浙江大学c a d & c g 国家重点实验室在曲线 曲面建模、真实感图形绘制、计算机动画等方面取得了较大进展 1 4 】；清华大学利 用三角样条曲面进行了面部建模和动画研究【5 】：中国科学院计算技术研究所进行的 表情分析与识别研究取得了一些进展【6 ，7 1 ； 中国科技大学从正面和侧面两幅图像出 发合成了三维人脸模型并制作了简单的面部表情动画【8 ，9 】；中国科学院自动化研究所 研制出了基于激光扫描的三维数据获取方法。但是目前国内还只限于理论方面的研究， 实际应用很少涉及。近年来已有相关组织如计算机学会、中国图像图形学学会等专门 负责包括此领域在内的相关学科的学术活动。在此领域国内相关的刊物和学术会议有 计算机学报、计算机辅助设计与图形学学报、中国图像图形学报和c h i n a g r a p h 等，有 力地促进了学术交流和发展。 现在比较多的三维人脸建模系统都是通过激光扫描仪得到特征点 2 1 1 1 2 2 或通过 人脸图像进行人脸三维建模。激光扫描设备( 如螺旋c t 机、三维数字化仪、立体摄 像机等) 可以直接获取人脸的几何数据，建模准确，模型逼真，能满足某些场合的特 殊需要，需要合成多个形态各异的人脸时必须扫描多个人脸。 在低成本的条件下，通过特定个体人脸的二维图像( 照片或视频等) 也可以生成三 维人脸模型 2 3 3 0 1 ，这种方法需要结合人脸的几何特征、人体测量学、计算机视觉 等知识，不需要特殊的设备，虽然不如扫描设备得到的模型精度高，但是成本低廉， 适应面广，有着广泛的应用前景。其中，以正交方向的两张照片进行建模的方法居多， 这样做可以得到较精确的三维信息。 激光扫描仪虽然建模精确，但是，成本较高，即使在忽略成本因素的前提下，还 要被建模对象的积极配合，换句话说，我们不可能对于每一个被建模的特定人脸进行 扫描，因而应用受到限制。在应用图像建模的方法时，我们也并不是经常能得到一个 人的两张以上的照片，尤其是在三维人脸识别的应用中。比如，公安机关搜索犯罪嫌 疑人时，一般情况下，除了一张二维照片外，没有关于这个人的更多信息，并且二维 人脸的识别容易受到光照、姿态等因素的干扰，影响其重建和识别的效果。而实际中 人脸的姿态是多种多样的，这也是导致目前人脸识别技术没有得到充分推广的主要原 1 绪论硕士学位论文 因之一。如何根据一张二维照片来计算其三维的姿态是非常关键的一个技术。有些学 者在该方向也提出了一些算法，但是实现起来需要知道人头的高、宽、长，在只有一 张二维照片的情况下就显的无能为力了。这也是人脸识别技术没有得到足够推广的重 要原因之一。目前人脸识别方法对人脸姿态变化都较为敏感，这也是把它们推广到多 姿态识别时正确率迅速下降的主要原因。尤其是基于灰度匹配的主分量分析法( 如特 征脸) 方法，在前视人脸识别中因正确率较高而倍受关注，但由于该方法的实质是进 行图像灰度之间的快速匹配，它随着姿态变化而迅速增大，多姿态图像之间相关性减 小而识别率也随之迅速下降。 因此，基于单视图的人脸识别和人脸建模是许多场合中急需应用的技术，是人脸 识别真正走向广泛应用之前必须彻底解决的问题并使之十分必要和迫切了。目前关于 这一方向的研究起步不久，只有少量的文献资料出现 1 0 ，1 1 】。它们大致可以分为两大 类：一类是基于三维重建方法，例如文献【1 0 】，这类方法虽然说是理论上最优的，但 是由于实际中许多信息的未知以及三维重建需要大量复杂的计算，其效果并不是理 想；另一类是基于二维图像的生成，例如文献【1 1 】，该类方法简单可行，也不需要复 杂的三维重建。但是文献 1 1 1 采用一种线性目标类方法，该方法由于采用了基于一组 基的加权和实现的。它的最大缺陷是：生成的人脸图像忽略了几乎所有的脸部纹理信 息，而这些脸部纹理细节对一个人脸来说是很重要的，而它们对人脸识别也很有帮助。 1 4 本文的研究路线及内容安排 本文在广泛阅读国内外现有的关于三维特定人脸建模技术的文献后，比较和借鉴 现在的能较好的基于人脸照片的重构三维特定人脸模型方法，我们期望在不使用昂贵 设备的前提下，以低成本的代价寻找一种通过单张有一定旋转角度的人脸照片尽可能 重建真实感三维人脸模型的方法。因此，本文尝试对单张有一定偏转角度的二维人脸 相片来实现其危度的估算和三维模型的重建。以较少的信息量来尽可能重建特定的三 维人脸模型，并通过对c m up i e 人脸库的实验来证明角度估算方法的有效性。从而 进行更广泛的应用，本文将围绕这一思想进行一些讨论和研究。 本文的主要内容安排如下： 第一章，绪论。介绍了三维人脸模型的应用前景和国内外发展的现状，并对现有 的三维人脸重建技术进行了介绍和分析，提出了自己的研究内容和目标。即是由二维 人脸并且是伴有一定旋转角度的入脸照片进行三维人脸建模。 第二章，三维人脸建模技术的回顾。回顾了三维人脸建模的发展过程，结合人体 测量学和艺用解剖学定义人脸的面部特征点定义以及在本文中特征点的选取。 第三章，特定三维人脸重建。选择合适的人脸模型，通过二维人脸照片对其对应 的三维人脸姿态进行估计，并应用于c m up i e 人脸库对本文提出的角度估算方法进 4 硕十学位论文 基于一定旋转角度人脸照片的三维重建 行了数值验证。应用本文讨论的角度计算方法来对特定的二维人脸照片进行角度的估 算和特征点及测量项目的确定，运用径向基函数( r b f ) 的插值方法来估计非特征点， 并用于b p 神经网络得到侧深度的数据信息。最后对标准模型c a n d i d e 3 进行调整 使一般人脸模型配适到特定人脸。 第四章，模型的细分及纹理映射。对原始的模型进行细分，并针对粗糙模型使用 现有的细分方法出现的问题提出改进，使细分后模型更接近初始形状。最后对模型进 行纹理映射以达到真实的效果。 第五章，系统的实现。 2 三维人脸重建技术回顾及特征点的选择 硕士学位论文 2 三维人脸重建技术回顾及特征点的选取 2 1 人脸建模技术概论 三维真实感人脸建模是一个极具挑战性的难题。从几何角度来看，人脸具有极 度复杂的几何形状和表面材质，必须通过足够的技术手段来描述这些特征。头发的 模拟、表情动作的仿真、逼真纹理信息的添加、光照的处理等都是极具挑战性的问 题，多年来一直困扰着图形学专家。 1 9 7 2 年，p a r k e 1 2 首次开展了人脸建模与动画的研究，自此以后，很多学者在 这个领域做了大量的研究工作。但是，直到现在用计算机实现具有真实感的人脸建 模还是一个难题。真实感的人脸模型就是指计算机合成的具有特定人的喜、怒、哀、 乐等表情以及脸部各种特征的人脸模型。从人的视觉要求出发，总是希望合成的人 脸能够尽可能地达到逼真，但是由于受模型和计算机能力的限制，合成的图像总是 与人们的要求有一定的差距。实现具有真实感的入脸建模与动画之所以如此困难， 主要有以下原因： 首先，人脸的几何形状非常复杂，其表面不但具有无数细小的皱纹，而且呈现 颜色和纹理的微妙变化，因此建立精确的人脸模型、生成真实感人脸非常困难。其 次，脸部运动是骨骼、肌肉、皮下组织和皮肤共同作用的结果。其运动机理非常复 杂，因此生成真实感人脸模型与动画非常困难。 另外，我们人类生来就具有识别和理解脸部表情的神奇本领，任何微妙的表情 变化都能够被立即觉察出来，这就使得人脸建模与动画变得更加困难。 本章以下内容按照人脸建模若干阶段的先后顺序，分别介绍了人脸建模过程和 所涉及的相关技术，然后结总目前典型的几种人脸建模，并介绍了人脸的生理结构 及特征点的选取。 三维人脸建模过程通常由人脸三维数据的获取、标准三维人脸建模和特定人脸 建模三部分组成。三维数据的获取属于计算机视觉领域，近年来随着计算机视觉技 术的发展，研究者们提出了一些适用于三维建模的数据获取方法【2 3 ，2 4 。标准人脸 模型的建立是图形学、人体测量学和统计学等相结合的产物，可以描述人脸共有的 结构特征和行为特征。特定人脸建模可以根据三维数据直接建立可视化模型，也可 以通过对标准模型的形变进行建模，后者是研究的主流。从标准模型到个性模型的 建模方法按照数据的来源主要分为两类：基于三维散乱点数据插值的建模方法和基 于图像( 单幅、多幅、序列) 的建模方法。在建模过程中，研究者们尽量使处理过程 自动化，但至今完全自动化的建模方法还少有报道。图2 1 1 显示了三维建模的总 体框架。 6 硕士学位论文 基于一定旋转角度人脸照片的三维霞建 图2 1 1 三维人脸建模过程 目前为止己有多种不同的建模方法，根据初始输入方式的不同可分为两大类： 第一类方法是直接采集真实人脸的数据进行三维重构。该方法着眼于恢复出准 确的人脸形状，生成的模型精确度高、逼真，能满足某些场合的特殊需要；但它们 最大的缺点是需要专门的三维扫描设备，如c t 、核磁共振仪、三维激光扫描仪等， 来直接获取人脸的几何数据进行建模，成本昂贵，而且重构模型相当耗时，因而应 用范围受到一定的限制，不利于推广。 第二类方法所建立的人脸模型有固定的拓扑结构，特定人脸的三维模型可由一 个一般模型变形得到。一般以几幅特定人脸的二维图像( 照片和视频等) 作为输入， 并结合人脸的几何特征、人体测量学、计算机视觉等知识完成。此方法不需要特殊 的设备，成本低廉，应用面广，尤其适合对人脸模型精度要求不是特别高的情况。 2 2 标准人脸模型介绍 人脸有基本相同的面部结构( 如眼睛、鼻子、嘴巴等) 和相似的面部动作( 如眼睛 的睁闭，嘴巴的开合等) ，这些特征为建立标准人脸模型( g e n e r i cf a c em o d e l ) 奠定了 生理基础。但是脸部除了公共特征外，还有个性特征，正因为有了这些个性特征， 才能正确地区分不同个体的人脸。标准入脸模型有丰富的先验知识( 如结构信息、肌 肉模型等) ，可以描绘人脸共有特征。根据前人已有的研究，一个优秀的标准模型应 7 暖儿备以f 儿个轴 ( 】参数化。和 r 化人腑谴型： ( 2j 肜绿化。能准确地椭进, , k 1 1 3 的基小j f ；状j 1 二能做o ! 凡腧的牡木发t 动作： ( 3 ) 简毕化，校州t ! j 1 ，。j 越多捕迷人脸的 皮就越而舭足蚧 尊弘帕拟合删后姗处 理增n i l 丁| ；j j 难。m 腼点太少叉不能精确地抽迷几脆的细u ，晖l 此，需匹在 ；艰的复 杂4 陆和精度之一j j 作个折巾。 当f 衍研究当他i j 过晰多种的人脸授 ，其r p 麒f 推型意义的仃：丝十参数的槿 艮肌肉帧“、5 ；i 午惮悱旧格模型，物驯学| i ! c ! 帆 ( 1 ) 基十参数的模型 用汁算机模拟人腧l l r 追溯到1 9 7 2 年，由f r e d e r i cp a r k e 于工测螭假人横型旧冉 法f 1 2 1 ，第次a 汁算机巾生成了3 d 人腧。他的方法主耍是对个假人的蛳郴进 = 划线分割，之后采集分削2 - 后的多边形项点的数据，由采集到的数掘得到了头音| ： 的分h 模型。p a r k e 憧 l | 了烈线性插值束创建不同的人脆形状，他假定人舱之n 蝻0 差异可以从咀一拓扑上变形衙柬，他通过改变胜人情的构造参数创建了1 0 个小 问的人腧。直u 图22 所不。 甏嘲 削2 21p a r k e 的营数化模7 ( 2 ) i 【肉模型 为了提高逼真度w a t e r s 提出了一种基十脚【肉物理特陆的模型 1 3 1 6 1 ，呵以 1 4 据脆部肌肉的动作术合成许多脆部纽纵的细微变形，模型采用弹簧模型束模拟皮肤 和| i f l 肉的运动。该模燃可以实现逼真的脸韶变形，扯实现人腧动画时用得较多。 ( 3 ) 简单弹性网格模型 山j ：易于创建、使用、变形和渲染，在人脸建模中网格模 l ! 【1 7 18 1 足应用比较 广的三维人脸模， 。根据面的形状模型f ；i 分为角形和叫边彤面片模型。其中，m 格节点的分布往往是不均匀的，关键部位节点密集些。节点越多，头部模型越逼真， 但h 时也增加了模型的复杂度，和后蝴处理的困难。在此方面研究辑努力的方向足利 8 i j 蜮少的竹点和三角面片术建立坦真的， 定| 勺欣陷尤旗是往物体的轮蛳部分。 辫 矧222 网格模 ( 4 物理学械掣 t e r z o p o u l o sf 【iw a i e r s 提 _ f l | j 新的人腑模型基j 物理学的人脆模型。物理学 模掣是近 r 束发j 醍最眦的一种人脸模刑，能达到相当垣真的面部变彤效粜。它1 要 使用多层的弹性瑚格和仃限几州椿袅币应肚的物理特性，j 丕采h j 了一种保持体积恒 定的变形规则。变形郁是由外部力晕( 如肌肉收缩) 引起的，堪过解人规模的动山一j 程组来模拟面部，变形。这种模驰共肇琏可以模拟逼真的头发运动j l i l ll 4 7 1 g 的流动， 当然它的计算量是惊人的。 ( 5 ) 统计模型 利川统计a 法从大量采样样本中学刊出人脸共性，建以靠计意义卜的枷潍人脸模 弘，比较著名的有形坐模型( m 。r p h a b l e3 d l h c e m o d e l ) 9 】和三维特征胎( 3 de i g e n - f a c e s ) 2 0 】。建立统计模型通常比较繁琐需要人最的学习数扎而且= 二维数据的项处 理过程非常复杂，建成后的模型具有统计意义上合理的调柑参数，使脸部表达合理 优化。 2 3 人脸部特征点及其选取 特定人腑的建模过程是从殷人脸模型到特定人脸模型的修改过程。模型的修 改的过 鼙足：肯先定义能够表祉人脆特征的若干特征点，并分剐提取出般人舱模 型和特定人脸的特征点信息；然后通过定的变形方法实州模型修改，最终得到特 定人腧横 l ! 口 虽然每个人的脸各何其特征，似人脸鄙具响定的共性。f ，我们将从艺川 解剖学，人体测量学进行分析并结合m p e g 一4 标准中定义的人脸面部儿何特征信息， 嫩给我们所ij f n 人胎特自l m 嗣i 测，的，t 义。 八的失r 钳十一l _ 7 f l t g 1 分复尔，从外到山他政山歧戕a 1 易! 、歧j 、自【织、叭肉圳织、 j 刑。j 腑组1 纵及f 富的铅、f l l 经等，其c ，l 1 和肌肉组曲：的彤卷礓木j ：班定丁人 舱的貌， ! | _ 所i w 的阡棚扶定肉1 i _ i 。 - 定义人舱特抓点叫，一心 【j ! 建市征人头部的颅 目0 小肉鲥g ! 结构特- 。i 之h 下血我们将从z j 解剂学，人体测量学3 卜3 4 1 进行分析斤结合m p e g 一4 枷、准 巾定义的人脸咖【_ | f 解剖学人体测鞋学进行分析 结台m p e g 4 标准r ”庄义的人脸 面部j l , q 特钲信息，柬给 | 我们进 r 数栅提取的删节点定义。 艺解剖学与般l 短川衅f f l 学站人的小j 叫存十它l 卜r 并部分 j 比例关系的 研究。经过z 术家尢数的脱察统汁后，产生丁套台乎实j hn 勺平均比例。下面介绍 f 人腧的“三庭f l h h ”规律。在人廿龟正面像h 人脸轮廓里近似椭网，双服扯椭 | 丑| 水平轴上：屑心、舜尖和下巴尖在一略直轴上。在- 旺亢方向上，发际到眉弓、眉弓 到鼻尖、鼻尖剑r 巴尖j _ 的离部相等称作“= 庭”：在水、r 片l h j 上，两限之问、 两眼外角分别到般耳的距离部棚等，均为- - l l t 宽，这样加上两个眼睛自身的慌度 称为“l 眼”。人脆的“三庭“眼”胤律参见蚓231 图23 1 人牖的“二f 丘圳k ”规” 此外，还有一些类似的比例2 - 系，如爵戚到下靳日这段，山舁戚算起，二分 之单位处为上下嘴唇连接线，二分之啊位处为f 孵f 缘。头商二分之一处约为 日h 睛，拜翼宽与阿内眼角宽t _ 堑及眉头宽度政等。当然事实r 这些会l 爿饵个人而有 _ b 许斧异，并非绝对。 特征点的定义： 头面部的几何结构非常复杂，耍想建模出逼真的人脸造型，则选取的特征点要凡 有代表性，能够代表一个人的面部特征，唯一标0 谚个体，且能够满足二维人脸建幔 与动画的需要。由上面水文对人腧小理结构特点的分析。知尽管每个人的而貌备不 相同，但都有其一般的规律。每个人的头面部都足 肌肤、毛发等软组织包裹着颅骨 而组成的。颅胃是貌的内核和构架，尼自和面排肌肉等软组织附着在颅骨的相应黜 l o 硕士学位论文基于一定旋转角度人脸照片的三维蕈建 位，形态受颅骨各部位形态和结构关系的制约。额骨、颧骨和上颌骨及下颌骨等颅面 骨的形态基本上决定了每个人的面部轮廓，其中颧骨和下颌骨起到决定作用。当然， 面部肌肉等软组织也会影响脸型，但是相对于骨架来说，是次要的。 在m p e g - 4 标准中，f d p ( f a c ed e f i n i t i o np a r a m e t e r s ) 定义了人脸面部几何特 征信息，其中定义了8 4 个特征点。f d p 是一种复杂的几何参数，提供了人脸特征、 网格、纹理、人脸动画定义表等一系列的数据，还可以用于对入脸进行测量或是在 网上传输时的编码与解码。 引：a ， r i g h te y e l e f te y e 。6 ， u ? 。1 3 。：斟引 皇5， 图2 3 2f d p 中的特征点定义 人脸面部特征点应该选择最能代表人脸特征的某些位置。根据人脸的骨骼和肌肉 组织的特点，并结合人体解剖学、人体测量学及上面提到的m p e g - 4 中对人脸面部 特征点的定义给出了本文所采用的特征点。其中采用人体测量学中的2 0 个特征点， 如下表所示： 表2 3 1 本文脸部图片所采用的人体测量学中部分测点 测量点简称具体位置 眉间点 g 鼻根与两眉之间的的眉间正中线上，侧面看最向前凸出的点 发际点t r眉间点正上方，额头上的发根处 头顶点 v 头部正中的最高点 眼内角点 e n 眼裂内角上，上下眼睑交合点 眼外角点 e x眼裂外角上，上下眼睑交合点 框下点 0 r 眼眶下缘的最低点 颞嵴点 f t 额部两侧颞嵴弧最向内的两个对称点 鼻梁点 s e 鼻梁的最凹点 鼻尖点 p r n 头部以眼耳平面定位时，鼻尖上向前最突出的点 鼻下点 s n 在正中矢状面上，鼻中膈与上唇皮肤所构成的角的最深点 颧点 z y 颧弓上向外侧最突出的点 鼻翼点 a l 鼻翼最外侧点 口角点e l l 口裂的外角上，上、下唇粘膜缘在外侧端相接的点 高 2 三维人脸震建技术州顾及特征点的选择硕十学位论文 耳屏点 t 耳屏软骨上缘，耳轮脚基部向颅侧部皮肤过渡的点 上唇中点 l s 上唇粘膜缘两弧的切线与正中矢状面的交点 口裂点 s t o 上、下唇闭合时，口裂的正中点 下唇中点 i i 下唇粘膜缘与正中矢状面的交点 下颌角点 g o 下颌角向外、后方最突出的点 颅侧点 e u 颅侧部最向外突出的点 对上面提到的m p e g - 4 中所定义的特征点我们选择了其中的1 4 个点如下表2 3 2 给出： 表2 3 2m p e g 4 中特征点位置 特征点 号文字描述 2 1 下巴底端点 2 2上嘴唇内侧中点 2 3 下嘴唇内侧中点 2 4 嘴唇内侧左角点 2 5嘴唇内侧右角点 2 6 上嘴唇内侧2 2 与2 4 的中点 2 7上嘴唇内侧2 2 与2 5 的中点 2 8 下嘴唇内侧2 3 与2 。4 的中点 2 9 下嘴唇内侧2 3 与2 5 的中点 2 1 0 下巴突出点 2 1 l 下巴左角点 2 1 2下巴右角点 2 1 3 颚骨左角点 2 1 4颚骨右角点 在只得到特征点的坐标后再做进一步的数据处理是比较困难的，通常用的方法就 是得到测量项目，即是主要特征点的直线距离数据。在我们的研究中，需要考虑并不 是尺寸的大小是否与真实的人脸相同，只要考虑像与不像就可以了。解决这个问题的 最简单的方法就是计算各个测量项目与某一个统一参照距离的比值，在本文中选定这 个参照为待建模图像中人头的高度。我们用v c + + 建立人脸图片数据读取系统，采用 的是交互式的数据提取方式，用鼠标取点，得到这些待测点的坐标。并自动计算各个 测量项目的值，这样我们得到的测量项目的值都是介于( o ，1i 区间内。也便于后面做进 一步的处理工作。所选取的测量项目如下表： 1 2 表2 3 3 本文所采用的正侧面图片中的测量项目 测量 项目 水平距离 垂直距离 n ns c l s c lx b x b g n 。s i ig n - s t o 正 e n e ne x - e xe b e b g n l ig n 。p 1 1 1 面 图 z y 。z y a i a i p t p tg n - s lg n 。g 片e u - e uo s - o s p s 。p sg n 。s eg n t r c h c h g o 。g og n v p r n g np r n - s lp r n c hv 。m g n 图面 p r n l ip r n - s t op r n 。s e 硕上学位论文基于一定旋转角度人脸照片的三维重建 p r n i s p r n - a l p r n 。p l p r n 。s np r n 。z yp r n e b p r n 。e xp r n p sp r n 。g p r n s c ip r n 。o sp r n x b v t p r n t rp r n - f tp r n 。m g n 1 3 3 特定三维人脸重建硕上学位论文 3 特定三维人脸重建 3 1 模型的选取 本文的建模方法是从固定拓扑的一般人脸模型变形到特定人脸模型的建模方 法。其思想是人类面部特征的位置、分布基本上是一样的，特定人脸的模型可以通 过对个原始模型中的特征进行调整而得到。基于模型的入脸合成技术，一个关键 的步骤是建立脸部的网格模型。目前实用中入脸建模多采用交互的或半交互的方 式。但是如何避免繁琐的众多模型点的调整，减少工作量，是交互方式需要克服的 问题。我们由单张照片恢复三维人脸，所得到的信息量相对比较少，为了减小不必 要的点对模型的影响，我们选取只有脸部数据的比较简单的c a n d i d e 3 人脸模型。 瑞典l i n k o p i n g 大学的i m a g ec o d i n gg r o u p 多年来一直从事三维入脸建模工作。 从r y d f a l k1 9 8 7 年公布最初的人脸模型以来，他们的模型版本已经改进了多次。2 0 0 1 年，a h l b e r g 发布了最新的版本c a n d i d e 3 ，如下图3 1 所示。这个模型版本达到了 与m p e g - 4 标准的统一。c a n d i d e 模型是一个简单的参数化的入脸标准模型，它同 时兼容m p e g 中的人脸动画参数( f a p s f a c i a la n i m a t i o np a r a m e t e r s ) 和人脸定义参 数( f d p s - f a c i a ld e f t n i t i o np a r a m e t e r s ) ，因此该模型被广泛应用于人脸识别和入脸动 画的科研中。c a n d i d e 3 包含1 1 3 个顶点和1 6 8 个面，可以通过一系列的全局和局部 的动作单元( a c t i o nu n i t s ) 来控制。 图3 ，1 ，1c a n d i d e 3 人脸模型 二维人脸照片上自动标定特征点思路涉及人脸检测和器官标定的研究，受光 照、头部的装饰和姿态表情等因素的影响，其算法的稳定性更是无法得到保证，自 动标点是一个比较难的课题。目前已有许多脸部特征定位的方法，近年来出现的基 于统计模型的a s m 和a a m 方法取得了较好的效果。但是这些方法对于面部的某 1 4 硕士学位论文 基于一定旋转角度人脸照片的三维重建 些即使用眼睛去判断也会存在误差的特征点( 如f t 、珂) 往往无法定位。加之本文 所选定的人脸照片又是带有一定的旋转角度这本身就大大增加了建模的难度，为了 力求建模的准确性，减少不必要的误差这里我们采用人机交互的方式来选取脸部正 面特征点，这也是目前在人脸建模过程中常用的一种特征点提取方法。 我们参照c a n d i d e 。3 模型和我们前面所定义的脸部测量点，在正面脸部照片 上选定5 6 个特征点，对于特征点的个数选取一般来说是越多越好，因为这样建模 的逼真度越高，但是同时势必会提高计算的复杂性，使计算量大大增加，而太少又 会使结果不精确。综合所有的因素我们选取正面5 6 个特征点。不但可以满足精度 计算复杂度也是在可以接受的范围内的。我们的三维脸部重建系统中，通过单击脸 部特征点和相应的模型上的点，使脸部特征点与模型相对应。 3 2 三维姿态的计算 这一节我们将要讨论人脸姿态的计算。人脸姿态在三维空间中的变化一共有6 个自由度：沿x ，】，z 三个轴的平移和绕x ，】，z 轴的旋转。沿x ，】，轴的平移表现为 人脸位置的移动，可通过统一坐标系来实现；而沿z 轴的变换表现为缩放，可通过 缩放二维照片或者三维入脸来实现。绕轴变换可以分为平面旋转、垂直深度旋转和 侧面深度旋转。其中，平面旋转是绕z 轴的旋转；垂直深度旋转也叫上下旋转或仰 俯偏转，是绕x 轴的旋转；侧深度旋转有是时被称为是左右旋转或水平偏转，是绕 y 轴的旋转。下面主要是针对绕轴的三种变换来计算三维姿态。 平面旋转的姿态计算 平面旋转的姿态计算相对比较简单。对于一个人正面的人脸，两只眼睛应该是 处于一个水平的位置的，如图3 2 1 ( a ) 所示。但在平面旋转的人脸照片中，两只眼睛 却不是处于水平位置，如图3 2 1 ( b ) 所示。因此可以根据两只眼睛的位置关系来对 人脸照片进行平面旋转。眼睛是否水平既可以通过内眼点，也可以通过外眼点来确 定。由于内眼点是比较容易得到的，而且比较准确，因此一般选用内眼点作为基准。 通过选取照片中左右两眼内角的两点( x ，y ，) 和( x ：，y ：) ，然后计算角度口： 口：a r c t a n ( 丛丛) x 2 一而 ( 3 2 1 ) 电i 绯 _ 址 惜l3 2 1 ( a 】h32 i ( h 】 r 旋转照片例牡曲l l b 3 点柚：川条水l 线l ：这样找们的照片一i 头部姿态肇奉 把j 下。调整模刑，我们选取两眦内舶的 1 i j 点为坫准点，逃取阿眼t 为窄川坐 标原点。将这州j 1 j 与模型叫1 两眦内伯点十开虹得到皿用模型0 人脸悔f 像的尺寸的比倒 闭了口。i f t i