（材料加工工程专业论文）三维人脸重构方法研究.pdf

华中科技大学硕士学位论文 i 摘要 随着三维人脸重构技术在影视制作、游戏娱乐、美容医疗等方面的广泛应用， 越来越多的学者对该领域展开了深入的研究。现有的人脸重构技术可分为两种，一 种是直接对人脸进行扫描测量实现人脸重构，另一种是以相片、视频等为输入的人 脸重构。 根据实际的情况，本文设计了两种人脸重构方案：在能够对人脸直接扫描的情 况下，采用基于结构光三维测量系统的人脸扫描重构方法；在只能提供人脸正面、 侧面相片的情况下，采用基于一般人脸模型修改变形的人脸相片重构方法。论文的 工作和研究内容主要有： 1、 基于结构光三维测量系统的人脸扫描重构方法通过结构光扫描设备获取人脸 特征和轮廓的数据，并对数据进行处理，建立人脸模型。本文研究了人脸扫描重构 流程及其在人像工艺品制作中的应用；提出了发型移植的方法，解决了结构光三维 测量系统难以实现的发型建模；提出了眼睛模版替换的方法，解决了人脸模型在人 眼闭合状态下扫描重构的失真问题。 2、 基于一般人脸模型修改的人脸相片重构方法以归一化后的人脸正面、 侧面相 片为输入，根据人脸生理特征定义人脸特征点，提取特征点信息，对一般人脸模型 进行变形修改，进行纹理映射，得到真实感的人脸模型。本文通过定义特征点模板 的方法简化特征点的提取操作，采用多分辨率技术生成纹理图像，通过柱面投影的 映射方式实现纹理映射，完成了人脸重构软件的系统设计及界面设计。 关键词：人脸重构，模板替换，特征点，纹理映射 华中科技大学硕士学位论文 ii abstract with wide application in films, computer games, plastic surgery and so on, more and more attention is paid to face reconstruction field. now, there are two kind methods to generate realistic face-model, one is to generate face model by facial measurement, and the other is reconstructing facial model according to photos or video. base on the factual conditions, this paper gives two face generation projects. we can generate face-model by structure light measure system if we can measure the special face. otherwise, we can generate realistic face model by modifying the general face-model base on the front and profile facial photos. the content and main work of this paper as follows. 1、the method of generating face-model is that modeling by processing scanning facial data which obtained from structure light measure system. in this paper, we study the process of face generation and the application in art and sculpture, bring forward the method of hair substitution to solve the hair modeling problem that is difficult to scanning method, and put forward the method of eyes substitution, that can make face model realistic in the condition of eyes closed scanning. 2、the method of generating realistic face-model base on photos makes the normalized front and profile face photos as input, and defines the facial feature points on the research of human facial feature, and obtains the feature points information, then modifies the general face-model according to the information, at last, does the texture mapping. this paper proposes a method of defining the feature point template to simplify the feature points obtained operation, constructs the texture map with multi-resolution technique, and completes the texture mapping through cylindrical projection. till now, the system design and the interface design of the face generation software have been finished. key words: face reconstruction, template substitution, feature point, texture mapping 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 学位论文作者签名：徐志强 日期： 2009 年 5 月 23 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密，在_年解密后适用本授权书。 本论文属于 不保密。 （请在以上方框内打 ） 学位论文作者签名：徐志强指导教师签名：王从军 日期： 2009 年 5 月 29 日日期：2009 年 5 月 29 日 华中科技大学硕士学位论文 1 1 绪 论 1.1 研究背景及意义 人脸是人体上最具有表达能力的一部分。通过人脸，我们可以识别出人物的身 份、观察其情绪、推断其个性以及领悟其情感。因此，人脸在人类交流中占据了举 足轻重的地位。人们历来就对人脸的复制和再现有很大的兴趣，无论是采用手工绘 画、泥塑、还是雕刻的方法，还是现代所采用的照相、摄影等方法，都成为了人们 保留和传递人物信息的方式。随着科学技术的发展，计算机视觉、可视化、虚拟现 实等研究的兴起，促进了人脸造型和表情动画方面的技术的发展。现在，人脸的三 维重构建模不再是难题，保留立体的人脸的愿望可以实现了。 目前，三维人脸重构技术具有广泛的应用前景，覆盖了休闲娱乐、通讯、医疗 美容、教育等领域，具体应用包括： 1、影视制作 三维人脸重构在娱乐方面最显著的应用就是制作电影和电视里的虚拟演员和虚 拟主持人。这些影视中的虚拟演员能给人一种真人的感觉，他们和真人一样， 具有喜怒哀乐的表情。如最终幻想中的美丽的女主角、 怪物史莱克中的史莱 克、 魔戒中的魔兽军团以及宝莲灯 、 花木兰中大量的人物形象，生动的人 物形象给观众留下了深刻的映像，充分体现了人脸重构和表情动画技术的魅力和重 要性。 2、游戏制作与娱乐 随着生活水平的提高，游戏作为一种新兴产业逐渐发展起来了，并且在人们生 活中占有越来越重要的地位。随着技术的发展，游戏也慢慢的由 2d 的游戏发展到 了现在的 3d 游戏，并且，3d 游戏将成为游戏产业的主流。人脸重构和表情动画技 术则在 3d 游戏中起着越来越重要的作用，通过人脸重构技术，人们可以在游戏中 构造一些生活中的人物，如游戏鬼武者中的明智左马介就是以香港明星金城武 为原形制作的游戏人物。 诛仙 、 魔兽世界等中栩栩如生的人物形象，也为这些 华中科技大学硕士学位论文 2 游戏增添了更多地乐趣。但是，在目前所有的游戏中，玩家只能操纵一个虚拟的角 色在游戏中快意恩仇，很难有身临其境的参与感和真实感。假如玩家能够以自己的 形象在游戏中恣意发挥，纵横驰骋，相信玩家会对这样的游戏爱不释手，游戏产业 的将会产生超前的飞跃发展。 3、面部整形与医疗 随着科学技术的发展，美容与医疗水平的提高，人们希望能去除脸上的瑕疵， 使自己的形象变得更好些。但由于对手术的畏惧和对结果未知的担忧，使得人们对 面部整形望而却步。人脸重构技术可以对美容医疗的过程和结果进行预演和模拟， 大大提高了成功率，还可以预先知道整形的效果，让患者有心理准备，并且还可以 根据美容的结果对整形方案进行调整，以期达到更好的效果。 4、辅助教学 辅助教学系统既可以为教师减少重复性教学的负担，还可以实现面对特殊群体 进行有效的知识传授，如聋哑人教学等。生动的教学系统使学生可以保持较高的兴 趣学习，而一般的计算机辅助教学缺乏生动感，学生很容易失去学习的兴趣。人脸 重构技术可以在虚拟教学系统中模拟生动的人物形象，可以进行学习互动，这样使 整个学习过程不再枯燥，极大的提高了学生的学习兴趣。 5、人像工艺品制作 将亲人或自己的人脸复制出来，制成形象逼真的人像，具有独特的纪念意义， 如婚车上新郎新娘的微型人像，亲人的遗像，名人像等。尽管雕刻、泥塑等方法也 能制作出栩栩如生的人像，但其需要较高的艺术素养和技术，制作时间要求较长， 成本也相对较高。而利用计算机实现三维人脸重构的方法则要简单些，并且能结合 先进制造技术，能较快的制作人像，成本也要比雕刻、泥塑等方法要低得多。 此外，三维人脸重构技术和表情动画技术在刑事鉴别、可视化通讯等方面的应 用也日趋增多。 1.2 国内外研究现状 人脸重构技术以数学、生物等理论为基础，其研究内容涉及解剖学、图形学、 华中科技大学硕士学位论文 3 图像处理等多各方面，是一个交叉性很强的研究领域。到目前为止，许多的研究者 们在这一领域做了很多的研究，也取得了许多重要的研究成果。 最早的是 parke 提出了计算机生成人脸及其动画，他用一个多边形网格表示人 脸人头模型，实现了第一个参数化人脸模型1。其后，waters 等人进行了深入研究， 提出了物理模型2。近年来，多伦多大学的 lee.等人利用激光扫描仪获取人脸结构 数据， 进行人脸建模34。 宾夕法尼亚大学的 decarlo 等人提出了基于人体测量学的 人脸重构方法， 通过测量一些表征人脸特征的特征点， 对这些特征点进行约束重构， 建立人脸的网格模型5。此外，大量学者也进行了基于双目立体视觉的人脸重构的 研究。pighin 等人采用多幅不同视角的人脸相片对人脸网格模型进行修改变形，得 到特定人脸模型6。takimoto 和 n.m.thalmann 提出了用人脸正面、侧面照片对 一般人脸修改的人脸建模方法78。 微软亚洲研究院的 zhenyou zhang 提出了以人脸 视频为输入的人脸重构方法，该方法在两帧正面图像上标示五个特征点就可以实现 人脸的建模重构9。volker blanz 提出了基于人脸统计归纳的人脸重构，建立一个包 含一定量的人脸样本的模型数据库，利用人脸检测技术对一张正面人脸相片进行分 析，用模型库中的人脸样本进行线性组合，使模型的正面投影逼近正面人脸相片， 当达到最优组合时，就可以得到比较相似的人脸模型10。 国内近几年在人脸建模重构研究也有很大的发展。哈尔滨工业大学的晏洁在人 脸建模方面有研究，提出了根据不同的人脸特征对中性人脸模型进行变形修改，开 发了一套聋哑人辅助教学系统1112。 北京工业大学的尹宝才等人研究基于形变模型 的人脸建模技术13。西安电子科技大学的郑飞与陈梅提出了使用人面照片合成人面 全景图像，再由全景图像进行人脸三维重建的方法14。浙江大学的梅丽等人提出了 基于人脸的正侧面正交图像的三维人脸建模方法和基于肌肉向量变形的表情合成技 术15。 1.3 本文的研究内容 本文主要研究了人脸重构建模及其应用。本文介绍的人脸重构建模技术有两条 实现途径：基于结构光三维测量系统的人脸扫描重构和基于正、侧面人脸照片的一 华中科技大学硕士学位论文 4 般人脸模型修改的人脸照片重构。人脸扫描重构能准确表现人脸特征，但要求必须 对重构对象进行扫描测量，人脸照片重构方法在表现人脸特征上不及前者，但是其 只需要提供人脸照片，可以满足一些无法提供人脸扫描的人脸重构。两种方案的关 键技术如下： （一）基于结构光三维测量系统的人脸重构方案。 1）通过结构光三维测量系统获取人脸特征及轮廓信息； 2）人物模型的发型建模； 3）在某些特殊的情况下，只能扫描人眼闭合状态下的人脸数据，需要通过某种 方法处理，将重构的人脸模型变为睁眼状态； （二）基于人脸正、侧面照片的一般人脸模型修改的人脸重构方案。 1）一般人脸模型的获取； 2）人脸正、侧面照片的归一化处理； 3）人脸特征点的定义及特征点信息的提取； 4）根据特征点信息，对一般人脸模型进行修改变形，得到特定人脸模型； 5）纹理的生成和纹理贴图技术。 1.4 本文的章节安排 第一章，绪论。主要介绍了三维人脸重构技术的研究背景和意义，国内外的研 究现状，并给出了本文的研究内容和关键技术问题。 第二章，对人脸重构方法进行了分类，主要介绍了常见的五种人脸三维重构方 法，分析了各自的优缺点。 第三章，主要介绍了基于结构光三维测量系统的人脸扫描重构。首先介绍了一 些具有代表性的人脸扫描设备，接着提出了本文所采用的人脸扫描重构方法及关键 技术问题，介绍了其在人像制作上的应用，并在此基础上提出了建立人脸模型数据 库的设想，结合人脸模型数据库来实现三维人脸重构。最后通过实验论证了方案的 可行性，给出了实验结果。 第四章， 分析介绍了从人脸正、 侧面照片对一般人脸模型进行修改重构的方法， 华中科技大学硕士学位论文 5 研究了其关键技术问题，对人脸重构软件进行了功能规划和技术研究，完成了软件 界面及部分软件功能的实现。 第五章，回顾全文，总结本文内容和重点，并对以后的研究进行展望。 1.5 本章小结 本文首先介绍了人脸重构技术的研究背景及意义，对国内外的人脸重构技术研 究现状进行了总结，最后提出了本文的研究内容及章节划分。 华中科技大学硕士学位论文 6 2 三维人脸重构方法介绍 近年来，随着计算机技术的发展，研究者们长期的努力，三维人脸重构技术已 取得了卓越的成果。人脸三维重构的方法根据人脸重构系统的输入不同，主要分为 两大类。 第一类方法是直接获取人脸数据进行三维重构。该方法可以准确的恢复人脸形 状，得到的人脸模型精确度、逼真程度很高，效果较好，比较容易实现，主要应用 于一些特殊的场合，如美容、医疗、工艺品制作等方面。其缺点在于需要专门的三 维扫描设备，如 ct 扫描仪、面结构光扫描仪、线激光测量仪等，并且必须要求人 物到达现场进行测量。 第二类方法则是一种间接进行三维人脸重构的方法。该类方法基于人脸结构有 固定的拓扑关系，通过对一般人脸模型进行变形来获得特定的人脸模型。此类三维 人脸重构系统的输入一般为相片、视频等，结合计算机视觉、人脸几何特征、人体 生理学等知识来实现。此方法不需要特殊的设备，成本低廉，适用于对人脸重构精 度要求不是特别高的情况下。现针对几种比较典型人脸重构方法进行简要介绍16。 2.1 基于光学扫描系统的人脸重构方法 随着光学测量技术的发展，结构光三维测量系统的价格不再那么昂贵，人们开 始关注借助结构光三维测量系统进行三维人脸建模的研究。 三维光学扫描测量系统对人脸进行扫描测量，可以得到人脸的三维数据、颜色 和纹理信息。扫描得到的人脸数据为点云数据，需要进行预处理，包括噪音点的去 除、数据采样。然后采用图形化的方法进行点云三角化，构造人脸模型曲面，再对 局部区域进行孔洞的修补和重叠面片的修改，最后根据所需精度进行网格优化，对 模型进行纹理映射，得到所需的人脸模型17。 在此基础上，一些学者做了进一步的研究。多伦多大学的 lee 等人采用美国 cyberware 公司的激光扫描仪获取人脸的几何数据和纹理信息，对人脸点云进行拉 普拉斯变换，检测特征点，获取特征点信息，再根据特征点信息对已有的标准人脸 华中科技大学硕士学位论文 7 模型进行修改和变形，进行纹理贴图，最后得到带有纹理信息的特定人脸模型34。 利用结构光三维测量系统进行人脸重构，可以得到比较准确的人脸模型，能够 清晰的表现人脸的个性特征，重构过程简单，容易实现。其缺点就是需要专门的结 构光三维测量系统和一定的场所，对操作人员有一定的要求，并且要求人脸重构对 象要到扫描现场。因此，其应用受到了一定的限制，特别是在无法对人脸重构对象 进行扫描测量的情况。 2.2 基于双目立体视觉的三维人脸建模方法 双目立体视觉是一种基于视差原理从多幅图像获取物体三维几何信息的方法。 这很像人的双眼视觉系统，两只眼睛可以进行物体的定位，而左眼和右眼分别交替 观察物体时，物体的位置会发生变化，这主要是双眼存在视差引起的。 视差原理示意图如图 2.1 所示，p 为物体上的一点，c1和 c2分别为具有相同参 数的 ccd 摄像机的光心，相机的焦距为 f，c1和 c2的连线定义为基线 c1c2，长度 为 b。p1、p2分别是点 p 在摄像机 c1、c2的像平面所成的像，其中，两像平面在该 模型中是重合的， 点 p 到基线 c1c2的距离为 d。 以 c1为系统坐标系原点， 基线 c1c2 为 x 轴。 图 2.1 视差原理示意图 根据 c1lp1与 pmp1相似，有 1 xf xd =（2-1） 华中科技大学硕士学位论文 8 同理，c2rp2 与 pmp2 相似，有 2 xf xbd = （2-2） 综合式（2.1） 、 （2.2） ，可得 12 fb d xx = （2-3） x1-x2即为点 p 分别在 ccd 摄像机 c1、c2中的成像视差，视差越大，说明物体 距离 ccd 摄像机越近18。 将双目立体视觉应用到人脸重构上， 搭建人脸重构系统。 在该系统中， 两个 ccd 摄像机的参数一致，光轴平行且垂直于基线，构成一共极性结构，以缩小对应的搜 索空间，只有水平方向的视差，简化了对应过程，如图 2.2 所示。 图 2.2 双目立体视觉示意图 两个 ccd 摄像机的光轴平行， 并位于 xz 平面上， z 轴与左摄像机的光轴重合， 两摄像机焦距均为 f，两光轴之间的距离是 d。假设点 000 (,)p x y z 被放置在摄像机 前方，并分别成像于两个摄像机平面上 ( ,) lll p x y 和(,) rrr p x y 。可以得到法向深度： 0 lr fd z xx = （2-4） 在实际的三维空间里面，深度方程为 222 lr dfxy r xx + = （2-5） 华中科技大学硕士学位论文 9 利用双目立体视觉实现三维人脸重构，主要存在以下两个关键问题： （1）对应 点的匹配关系的建立； （2）数据的立体匹配。 首先要对本系统的两相机进行标定，获取相机的内外部参数。由于两相机的光 轴是平行的，采集的两幅相对应的图片可以按行对行的方式来建立对应点的匹配关 系，然后进行数据的立体匹配，恢复三维数据，得到部分人脸点云数据19202122。 基于双目立体视觉的人脸重构方法采用的设备简单，可以自动完成人脸重构， 得到的人脸模型可以准确反映人脸特征。该系统的不足之处就是得到的点云有限， 重构的人脸模型不完整。并且，建立图像点的对应匹配关系有一定的困难，所以整 个系统实现起来还存在一些问题。 2.3 基于一般人脸模型修改的人脸重构方法 基于一般人脸模型修改的人脸重构方法是一种基于双目立体视觉原理的人脸重 构方法。该方法不需要对相机进行标定，对人脸照片没有太多的要求，其实现过程 比较简单：用同一个相机分别拍摄人脸的正面、侧面相片，对相片进行归一化处理， 利用人机交互的方式在两张相片上进行人脸特征和人脸轮廓的提取，然后根据这些 提取得到的信息对一般人脸模型进行修改变形和纹理映射，最后得到真实感的三维 人脸模型。 这一种人脸重构方法的研究成果有很多了，其中，以 n.m.thalmann 和 takimoto 的研究成果为代表。n.m.thalmann 等所提出的人脸重构方法是以人的 正面和侧面照片作为人脸重构系统的输入，利用人机交互的方式进行人脸特征和人 脸轮廓的提取，根据所提取的信息来修改一般人脸模型，接着使用自由曲面变形 （ffd）将一般模型变为特定人脸模型。takimoto 等人对人脸的正、侧面照片进 行区域划分，提取外围轮廓，利用模板匹配对人脸的眼、鼻、口等特征进行特征提 取，将这些特征信息和一般人脸模型进行比对匹配，分别从正、侧面对一般模型进 行修改， 从而建立特定人脸的三维模型。 与 n.m.thalmann 的方法相比， t akimoto 的人工操作要少一些，自动化程度要高些78。 基于正、侧面人脸照片和一般人脸模型修改的方法不需要非常昂贵的设备，实 华中科技大学硕士学位论文 10 现方法简单，可以得到完整的真实感较强的人脸模型，可以进行三维模型的输出。 本文也将采用这种方法实现人脸的三维重构，将在第四章具体介绍。 2.4 基于人脸视频序列的三维重构方法 基于视频序列的人脸三维重构方法是一种基于立体视觉原理的三维重构方法。 与第二种方法不同之处在于建立对应点的匹配关系的方式不同。该人脸重构系统采 用一个已标定过的摄像机，先拍摄姿态变化较小的静止人脸相片，人机交互的方式 对两副相片提取几个对应的特征角点，然后再利用模板匹配寻找更多的对应点，进 行三维点重构，将得到的三维点云构成曲面结构，进行纹理映射，得到真实感的人 脸模型923。亚洲微软研究院的zhengyou zhang等人对此作了深入的研究，他们实 现人脸重构的系统流程如图2.3所示。 图 2.3 基于视频的三维人脸重构 采用该系统进行三维人脸重构，人物以指定的姿势拍摄两张静止的相片，在两 张相片上分别标示内眼角点、鼻尖、嘴角点，共五个点，然后水平地转动头部，按 照先左后右或先右后左的方向转动，系统就可以实现真实感人脸模型的重构。基于 视频的人脸重构系统操作简单，设备成本低，得到的人脸模型逼真程度高。但得到 的模型不是完整的，局部细节数据容易缺失。 2.5 基于多幅人脸照片的人脸重构方法 基于多幅人脸照片进行人脸建模重构是对基于人脸正面、侧面照片对一般人脸 模型修改的人脸重构方法的改进。多幅人脸照片包含了人脸正面、侧面以及其它多 个角度的照片。首先，采用人脸的正面、侧面相片对一般人脸模型进行修改建模， 得到一个初步的特定人脸三维模型，然后再用其它角度的相片对人脸模型进行迭代 相片采集特征点标识三维人脸模型重构 视频频率探测纹理映射 真实感三维人脸模型 华中科技大学硕士学位论文 11 重构，恢复人脸的细节信息。 在基于人脸正面、侧面相片对一般人脸模型修改重构的方法中，人脸模型的深 度信息的主要是依靠侧面相片进行恢复的。但是，侧面相片中，人脸的某些低凹的 部分会被颧骨、脸颊等凸出的部位给遮挡住而拍摄不出来，如内眼角被凸出的眼珠 挡住，鼻翼内侧被高出的颧骨挡住，在进行三维重构的时候，这些深度信息就会丢 失。 多幅人脸照片从多个不同的角度对人脸进行拍摄，可以获得这些被遮挡住的区 域的深度信息。在这些不同角度的相片上标示特征点，通过这些特征点对一般人脸 模型进行修改，就可以得到比较准确的人脸模型2425。 与用正面、侧面两张人脸照片进行人脸重构的方法相比，用多幅人脸照片进行 人脸重构能获得更多的细节信息，重构的效果较好。但是，由于需要对多张人脸照 片进行特征点提取，操作上比较麻烦。 2.6 本章小结 本章节对现有的三维人脸重构方法进行了分类，介绍了五种常见的人脸重构方 法：基于光学扫描系统的人脸重构方法；基于双目立体视觉的人脸重构方法；基于 正面、侧面相片的人脸重构方法；基于人脸视频的人脸重构方法；基于多幅人脸照 片的人脸重构方法。分别对这五种人脸重构方法进行了分析，简要介绍了这五种人 脸重构方法各自的优缺点。 华中科技大学硕士学位论文 12 3 基于光学扫描仪的人脸重构 光学扫描仪在三维测量上的应用很广泛，目前主要有线激光测量和面结构光测 量。两种光学测量方法都是基于三角测量原理，将带有信息的结构光投射到物体表 面，通过 ccd 摄像机获取经物体表面调制后的光信息，从而获得物体表面的几何 信息。结构光三维测量系统也可以应用在人体测量上，实现人体的重构建模。本章 节将研究基于结构光三维测量系统的人脸三维重构。 3.1 人脸测量设备 随着人脸重构技术的发展，用来进行人脸扫描的设备也逐渐问世。有些扫描设 备是分别从不同角度对人脸进行扫描测量，然后对得到的数据进行拼合，得到完整 的模型数据，但获取比较好的彩色纹理效果则有些困难。美国的 cyberware 公司研 发的 head scanner 3030rgb/ps 是一款专门用来进行人脸扫描的比较先进的设备， 不用用户从多个角度进行扫描测量和数据拼合，可以获得非常好的彩色纹理效果。 该设备包含数据采集系统和旋转平台，数据采集系统系统安装在 l 型杆臂上端，杆 臂带着光学测量系统围绕工作台旋转 360， 完成人脸几何信息和纹理信息的采集， 整个采集过程大约需要 10s。扫描效果及设备如图 3.1 所示。 图 3.1 美国 cyberware 公司的线激光扫描设备 德国的breuckman gmbh公司的face scanner facescan-ii是一款用于人脸扫描 重构的面结构光扫描仪。该设备有两个 ccd 摄像机和一个投影仪，两个 ccd 摄像 机分布在投影仪两侧，并且每个 ccd 摄像机可以独立的获得三维数据，每一次扫 华中科技大学硕士学位论文 13 描得到的两组数据可以进行自动拼合。这样既减少了测量次数，也可以获得比较好 的模型数据和彩色纹理信息。该设备用来进行人脸测量，一般只需要两次就可以获 得完整的人脸模型数据和彩色纹理信息。扫描设备及测量效果如图 3.2 所示。 图 3.2 德国 breuckman gmbh 公司的面结构光扫描设备 除此之外， 还有一些其它公司的人脸重构扫描测量设备， 如加拿大的 inspeck inc 公司的 fullbody scanner mega 3p 扫描测量设备也能比较好的实现人脸扫描重构， 如 图 3.3 所示26。 图 3.3 加拿大 inspect inc 公司的人体扫描设备 3.2 人脸扫描测量重构 根据现有的设备和技术，本文所采用的人脸测量设备为单目结构光三维测量系 统。由于每次测量的数据有限，需要从多个角度进行测量。在整个人脸扫描重构过 程中，有以下几个问题待解决：1）采用尽可能少的测量次数完成扫描测量过程；2） 华中科技大学硕士学位论文 14 人物头型的获取；3）人物发型的获取；4）人脸彩色纹理信息的获取；5）人眼等人 脸部件的替换。其中，人脸彩色纹理信息的获取目前是一个难以解决的问题。 3.2.1 人物头型和脸部特征的获取 对于人体扫描，最大的问题就是扫描过程中人体不能晃动。人脸扫描要求扫描 对象在一段时间内保持一定的表情状态和姿势不变，这需要测量过程尽可能的短。 人脸正面具有最多的特征，侧面次之，头部背面具有最少的特征。因此，人脸正面 和侧面是我们扫描测量的重点。 在采用结构光三维测量系统对人物头型进行扫描测量时，由于光线投射到蓬松 的头发里，ccd 无法观察到，因此，头部背面的数据很难直接获取到，这将使头型 构造有一定的困难。为了尽可能多的获取人物头部背面的数据，可以借用一种类似 于图 3.4 所示的道具。 图 3.4 头罩道具 这种道具能紧贴头皮，只蒙住头部背面，不影响其他特征的采集。这样可以获 取大部分的人物头部的数据， 再根据头部的曲面连续性， 建立完整的人物头像模型。 人物头型的建立过程如图 3.5 所示。 图 3.5 人物头型建立流程图 3.2.2 人物发型的获取与构造 华中科技大学硕士学位论文 15 通过以上介绍的方法， 基本上可以建立人脸模型的。 通过对人脸模型映射纹理， 可以获得逼真的三维人脸模型。计算机上显示为惟妙惟肖的三维人脸模型，但若制 作成实体人像，则会出现一些的问题。最主要的问题之一就是发型问题。发型是人 脸的第二显著特征，能够体现人物的精神面貌。因此，一个合适的发型对于制作人 像是非常重要的。 正如前面所提到的，用光学扫描测量设备，只能获取较少的人物头发信息。主 要原因就是头发丝比较细，低于 ccd 的分辨率，通过结构光三维测量系统很难获 取到人物的头发信息。如果将头发整理成面状的发型，如大背头、侧分头、盘发、 束发等，则可以通过扫描测量得到人物发型的轮廓信息。头发比较浓密的，对头发 稍加整理，就可以通过扫描的到发型数据。如图 3.6 所示，通过扫描测量得到的带 发型的人脸模型。 图 3.6 扫描获得发型及人脸模型 除此之外，还可以通过发型移植的方式间接创建人物发型，本文采用的方法是 建立一个人物发型库，根据人物的头型，选择合适的发型进行匹配。这种发型建立 的方式类似于发型师的造型设计，只不过通过数据的形式来表现。 但该方案需要建立一个发型库，需要进行一定量的样例采样，这需要相当长的 一段时间来完成。除此之外，还可以通过其它的软件导入所需的发型，如 poser 软 件。本文除了扫描了一些模型来充实人物发型库，还通过第三方软件 poser 获得了 一些发型。目前，本发型库中的发型主要有大背头、侧分头、短发、披肩发、束发， 如图 3.7 所示。 数据 处理 华中科技大学硕士学位论文 16 图 3.7 几种发型模型 3.2.3 人眼替换方案 人眼在受到一定强度的光线照射时，瞳孔会产生收缩，眼睑会产生一定程度的 闭合。因此，测量得到的人眼会比现实的情况要小。此外，由于一些特殊的情况， 如眼睛本身就存在问题而导致无法睁开，需要进行眼睛的替换。 根据人体生理学研究，中国人的眼睛可分为杏仁眼、丹凤眼、深陷眼、厚凸眼、 下挂眼、上斜眼和小圆眼七种形状的眼睛。针对这些眼形，可以建立基本的人眼模 型库。 人的眼睛近似于一个椭圆，由于椭圆的长短轴比较难确定，故可以用矩形来描 述其大小，如图 3.8 所示。定义人眼长为矩形框的长，上眼睑和下眼睑的最大距离 为矩形框的宽。用矩形来定义人眼，就可以通过矩形的长宽比对人眼替换模型进行 放缩变换，得到与特定人物的眼睛同样的人眼尺寸，进行人眼替换。 图 3.8 人眼形状描述示意图 建立好人眼数据库，设计好人眼的形状参数和模型参数，进行人眼替换的具体 华中科技大学硕士学位论文 17 的操作方法如下： 1、根据特定人的眼睛形状，对应选择基本人眼模型。 2、在人脸正面相片上，对人眼进行测量。分别测得 ac 和 bd 的长度 a 和 b， 定义一个长和宽分别为 a、b 的矩形包围框，求得长宽之比 a/b。 3、尽管扫描得到的人脸数据中，人眼是闭合的，但内外眼角点的特征还是比 较明显的。先测量人眼的内眼角点和外眼角点的长度，定义为矩形包围框的长 a， 设其宽度为 b，则/bab a=。这样就可以可用一个长为 a，宽为 b 的矩形框来标示 人眼的位置和大小。 4、为了使替换人眼能与特定人脸的代替换人眼匹配，需要对替换人眼模型进 行放缩变换，使人眼模型的矩形包围框的长和宽分别为 a 和 b。 5、利用两个矩形框实现人眼模型的装配，删除特定人脸上的人眼数据，实现 人眼模型的替换。 3.2.4 人脸扫描重构在人像制作上的应用 人脸扫描重构技术凭借其能准确构建人脸特征的优势，在人像制作的艺术领域 也占有一定的地位。如图 3.9 所示的是人脸扫描重构技术在人像制作上的应用。 图 3.9 人脸重构在人像制作上应用 人像主要有蜡像、石膏像、铜像、陶像，其制作方法各不相同。其中，蜡像是 最为逼真的一种人像。蜡像是一门被称为“立体摄影”的超级写实主义雕塑艺术。蜡 像所塑造的人物栩栩如生，独具魅力。杜莎夫人蜡像馆则是蜡像制作的杰出代表， 其制作蜡像的水平堪称世界一流，其蜡像制作全过程均采用的人工制作。其制作蜡 华中科技大学硕士学位论文 18 像大致分为人体测量、服饰选择、头发的制作三个部分，其中，人体测量又分为头 部的测量和身体的测量。头部数据的获取，是通过在人脸贴上多个点，然后测量点 与点之间的距离，包括确定眉间距、嘴的长度等，得到人脸特征和形貌的数据。建 立眼睛特征则是在一系列的眼睛模型中进行选择，与实际的人眼特征作比较，选择 合适的眼睛模型。身体测量则是通过从不同角度拍照，再根据照片来雕刻模型。头 发的制作则是预先处理好毛发，将其移植到人物的头像的模型上。 人脸扫描重构的方法可以应用在人物蜡像的制作上， 可以提高人体测量的效率， 能准确的实现人体的重构。建立了人体的三维模型，就可以结合现代先进加工技术 （快速成形技术、数控加工技术等）进行人像的制作。 同样，人脸扫描重构的方法也可以用在人物石膏像、铜像等的制作上。由于这 类人像主要是需要表现人物的形貌和神态，对于人物细节并没有特别的要求，可以 简化人脸测量的方法。人脸的正面可以通过结构光三维测量进行精确地重构，发型 也可以通过扫描重构或者通过发型移植，这样就可以适当减少测量次数，缩短测量 时间，避免了人物晃动或者其它的动作而影响了测量数据。简化了的扫描流程图如 图 3.10 所示。 图 3.10 人脸扫描流程图 3.3 人脸模型数据库的建立 利用结构光三维测量系统进行人脸测量重构时，可以对得到的数据模型进行处 理， 进行人脸模型数据库的筹建。 人脸模型数据库中的人脸模型均是保持中性表情， 得到的细节特征完整。当人脸模型数据库建立达到了一定规模时，就可以利用人脸 的正面相片并结合人脸检测的知识对模型库中的人脸模型进行组合，使组合人脸模 型的正面投影最大程度地逼近输入的人脸正面相片，最终得到逼真的特定人脸的三 设备准备人物发型及着装准备人物左侧面扫描 人物正面扫描人物右侧面扫描数据处理 数据细节处理输出 stl 数据文件 华中科技大学硕士学位论文 19 维模型。 3.3.1 人脸模型的处理 建立人脸模型库是一个相当大的工程，将扫描测量得到的人脸模型存入模型库 中，需要对模型进行数据处理。扫描测量得到的人脸模型存在很多的冗余信息，需 要进行简化处理，重新建构数据结构。人脸模型采用三角网格面片的形式储存，主 要包括人脸模型的特征点信息、控制点信息、三角面片网格的拓扑关系。首先，通 过人机交互的方式，按照一定的顺序在人脸模型上标示特征点和控制点，将特征点 和控制点的信息储存起来。然后对人脸数据模型采用一定间距进行采样，以减少冗 余的数据，其中，眼睛、嘴巴、鼻子、耳朵部分用小间距采样，可以保留细节信息， 对于脸颊、下巴等比较平坦的区域则可用大间距采样2728。对采样后的人脸模型数 据进行三角网格重构，并定义其数据结构如下。 struct facemodel char cfilemark12; /文件标识，必须是3dfacemodel ，区分大小写 char cfilemark14; /文件标识，必须是featurepoints ，区分大小写 featurepoint(x1,y1,z1) featurepoint(x2,y2,z2) featurepoint(xn,yn,zn) char cfilemark14; /文件标识，必须是controlpoints ，区分大小写 controlpoint(x1,y1,z1) controlpoint(x2,y2,z2) controlpoint(xt,yt,zt) 华中科技大学硕士学位论文 20 char cfilemark6;/文件标识，必须是model ，区分大小写 char cfilemark6;/文件标识，必须是facet ，区分大小写 facepoint(x1,y1,z1) /第 1 个三角面片 facepoint(x2,y2,z2) facepoint(x3,y3,z3) char cfilemark6;/文件标识，必须是facet ，区分大小写 facepoint(x1,y1,z1) /第 2 个三角面片 facepoint(x2,y2,z2) facepoint(x3,y3,z3) char cfilemark6;/文件标识，必须是facet ，区分大小写 facepoint(x1,y1,z1) /第 n 个三角面片 facepoint(x2,y2,z2) facepoint(x3,y3,z3) char cfilemark4/文件标识，必须是end ，区分大小写 3.3.2 基于人脸模型数据库的人脸重构 根据人脸模型数据库中的人脸模型的特征点，我们可以给每个人脸模型定义一 个特征点模板。对于输入的人脸正面照片，利用人工交互的方式对应特征点模板标 示人脸特征点，得到了人脸的轮廓信息和眼睛、鼻子、嘴巴的相关信息。然后以人 脸正面相片上提取的特征信息为输入， 与人脸模型数据库中的特征点模板进行比对， 得到相似度较高的一个或者多个模型，根据不同的相似度赋予不同的权重，对这些 相似模型进行线性组合，得到人脸模型。最后，再根据需要，通过人工交互的方式 华中科技大学硕士学位论文 21 修改控制点，对人脸模型进行局部修改，得到逼真的特定人脸模型10。由于目前人 脸模型数据库的建立存在困难，因此本文只提出了该方案的实现流程，如图 3.11 所 示。 图 3.11 基于人脸模型数据库的人脸重构系统实现流程图 3.4 实验结果 3.4.1 实验平台 本方案采用的结构光三维测量系统是本课题组自主研发的 powerre- 单 ccd 结构光三维测量系统，测量精度可达 0.05mm，测量范围为 400mmx300mm，测量 距离 11.5m，投影仪分辨率为 1280x1024，摄像机分辨率为 1024x768，一次扫描 测量的时间 1.5s。扫描重构现场及扫描设备如图 3.12 所示。 图 3.12 人脸扫描重构 华中科技大学硕士学位论文 22 本方案采用的数据处理平台为 geomagic studio 软件， 该软件主要应用于逆向设 计，有着强大的点云处理功能，操作简单。本试验主要用到了点云处理模块和点云 三角化模块。 3.4.2 人脸扫描重构实验 对人脸进行扫描重构时，扫描对象在一段时间内需要保持一定表情，光线对人 眼无害，眼睛可以睁开。除去眼镜、耳环等饰物，端坐在位子上，扫描设备分别从 几个不同的角度进行扫描测量，然后对扫描得到的数据进行拼合，进行数据处理和 修补，得到人脸模型数据。 如图 3.13 所示，扫描仪分别对人脸从正面、左右两侧面及背面四个角度进行测 量，得到了四个部分人脸点云数据。用 geomagic studio 软件处理，去除多余的点， 将四片点云进行拼合，得到不完整的人脸点云，从发型模型库中选择一个发型点云 和人脸点云进行组合，进行点云三角化，然后对局部区域进行修补，得到人脸模型。 图 3.13 人脸扫描重构图 3.4.3 发型、人眼替换实验 本实验包括发型替换和眼睛替换两个实验，主要验证发型替换、人眼替换对人 脸真实感的影响。 (1)发型替换实验。发型替换就像发型设计一样，同样的一个人设计了不同 华中科技大学硕士学位论文 23 的发型，给人的感觉一般是不一样的。所以，选择的发型一定要比较适合人物的精 神面貌。如图 3.14 所示，四个人脸模型依次为光头模型、分头发型人脸模型、大背 头发型人脸模型、短发人脸模型。 图 3.14 发型替换人脸模型 很明显，光头模型是真实感最差的模型，大背头发型其次，短发和分头发型具 有比较好的真实感。因此，在给人脸模型选配发型的时候，尽量选择与人脸脸型相 适应的发型。 (2)眼睛替换实验。眼睛是心灵的窗口，一双有神的眼睛可以表现出良好的 精神状态。本实验主要是将闭眼状态的人脸模型变成睁眼状态且有神的人脸模型， 实验效果如图 3.15 所示。 图 3.15 人眼替换实验效果图 3.4.4 人脸扫描重构在人像制作上的应用实验 本文研究的人脸重构技术应用在人物头像或半身像的制作上。如图 3.16 所示， 利用结构光三维测量系统测得了人脸的正面、两侧面的数据，经过数据拼合，得到 了人脸的关键数据。对通用人像模板数据进行整体变形，使其大小和人脸数据相符 合。利用 geomagic studio 软件的拼合功能，将两部分数据拼合，然后对拼合后的数 据进行面片三角化， 对模型进行修补， 最后对模型进行比例放缩和增厚处理， 以 stl 华中科技大学硕士学位论文 24 的数据格式输出模型，经快速成形设备加工，得到人像模型。 图 3.16 人脸重构在人像制作上的应用 3.5 本章小结 本章主要介绍了采用结构光三维测量系统进行人脸的扫描重构的方法及其应 用，提出并解决了该方法中的几个关键问题：人脸特征与人物头型的获取，人物发 型的获取与建模，人眼等器官的模板替换。此外，本章还介绍了采用该方法进行人 脸重构在人像工艺品制作的应用和实现路线，提出了建立人脸模型库的设想，利用 该人脸模型库可以进行人脸重构、三维人脸识别。最后，通过实验证明了该方法的 可行性和实用性。 华中科技大学硕士学位论文 25 4 基于正面、侧面相片的人脸三维重构方法 4.1 人脸生理结构简介 人脸是一个人的最显著的特征，如同世上没有完全相同的树叶一样，世界上也 没有两张完全一样的脸孔。尽管人脸是各不相同的，却又是具有共性的，正是由于 两张人脸的相似，我们才会认错人。三维人脸重构也可以利用人脸的相似性建构人 脸模型。三维人脸的重构建模并不是建立一个与特定人脸对象完全一样的模型，而 是建立一个与特定人脸相似的人脸模型，使其具有真实感，看着更为逼真。 人脸面部的主要