（计算机应用技术专业论文）真实感人脸合成与表情模拟的研究.pdf

摘要 摘要 具衣真实感粒入脸鸯戏与迢真表绩模拟技术趣谬 究是计算机图形学领域中的 项热门课题，它可广泛应用于计算机勘画、辅助教学、可视电话、廉拟现实等 诸多领域。 本文在计算机图彤学、心理学、生理学等领域的理论研究蒸础上，对人脸合 成与表愤模拟这两方嚣的技术逆行了深入的砑巍。人脸合成方颈，修j 下了特定人 脸的照片，通过整体变形和局部变形两步匹配，将一般人脸网格模型修改为特定 入验羽掺模型；应用多秽方法对人脸网掺模型进行了渲染；合成人脸无缝拼接图， 并将其映射到网格模型上，生成真实感的3 d 人脸模型；表情模拟方面，在详细分 扳表情形成过程和人艟薅部肌肉分布的旗础上，应用肌肉驱动的表情合成方法， 模拟了三维人脸模型六种基本表情。 本文还对新代视频压缩编码标准m p e g 4 中的人脸动画部分进行了研究， 设计了个与m p e g 一4 兼容的入脸动画系统，并对此系统各模块的功能进行了播 述。 基于对人腧台成与表情模锨领域酶研究，程本文的最后，对遴一步研究工作 提出了一些想法。 关键字：一般久验特定太验绞理映瓣繇漆模鍪f d pf a p a b s t r a c t a b s t r a c t t h es y n t h e s i so fr e a l i s t i ch u m a n ef a c ea n dt l es i m u l a t i o no fe x p r e s s i o na r et h e h o t ”r e s e a r c hp r o j c o t si nt h ec o m p u t e rg r a p h i c sa r e a t h e s et e c h n o l o g i e sc a l lb e a p p l i e dt oal o to f f i e l d s ，s u c ha sc o m p u t e ra n i m a t i o n ，c o m p u t e r - a i d e de d u c a t i o n ， t e l e p h o n e ，v i r t u a lr e a l i t ya n d s oo n b a s e do nt h ek n o w l e d g eo f c o m p u t e rg r a p h i c s ，p h y s i o l o g ya n dp s y c h o l o g y ，t h e t e c h n o l o g i e so fs y n t h e s i so fr e a l i s t i ch u m a n ef a c ea n ds i m u l a t i o no fe x p r e s s i o na r e r e s e a r c h e df u r t h e r f i r s trt h ep h o t o st h a tt h es i m u l a t o rp r o v i d e sa l er e v i s e di no r d e rt o m a k et h e mh a v es a m e s i z e b yu s i n g t h e g l o b a l t r a n s f o r m a t i o na n dl o c a l t r a n s f o r m a t i o n ，as p e c i f i c3 dh u m a n ef a c i a lm o d e li sa t t a i n e df r o mag e n e r i ch u m a n e f a c e m a n yd i s p l a ym e t h o d sa r eu s e d t od i s p l a yt h es p e c i f i c3 dh u m a n ef a c eo nt h e c o m p u t e rs c r e e n b a s e do n t h e d e t a i l e da n a l y s i s o ft h e g e n e r a t i o np r o c e d u r e o f e x p r e s s i o n s a n dt h ed i s t r i b u t i o no fm u s c l e0 nt h eh u m a n ef a c e ，t h es i xb a s i c e x p r e s s i o n s ，i n c l u d i n gh a p p y ，s a d ，s u r p r i s e ，f e a r ，d i s g u s t ，a n g r y ，a r e e n d o w e d t ot h es p e c i f i c3 dh u m a n ef a c eb y u s i n g t h em u s c l e - d r i v e nm o d e l t h er e s e a r c ho nt h eh u m a n ef a c ea n i m a t i o no fm p e g - 4i sp r o c e s s e da n dah u m a n e f a c ea n i m a t i o n s y s t e mc o m p a t i b l e w i t hm p e g - 4i sd e s i g n e di nt h i sp a p e r b a s e do nt h er e s e a r c ho nt h es y n t h e s i so f h u m a n ef a c ea n d e x p r e s s i o n ，s o m e i d e a s o f o u ro w na b o u tt h e ma r e p r o p o s e d k e y w e r d s ：g e n e t i c h u m a n ef a c e m u s c l e 。d r i v e nm o d e l s p e c i f i ch u m a n e f a c et e x t u r em a p p i n g f d p融p 创新性声明 吣9 l | 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谤十意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：奎星整 日期：兰盐当，二 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校后，发表论文或使用论文成果时署名单位仍然为西安电子科技大学。学校有 权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部 分内容，可以允许采用影印、缩印或其他复制手段保存论文。 本人签名 导师签名 日期：2 璺q 古f ，毛 日期：皇! ! 主，! ! 第一章绪论 第一章绪论 近年来，计算机图形学领域已经取得了很多突破 生进展。人脸表面的复杂性和 人脸表情的丰富性，使得真实感地显示特定人的人脸，并赋予一定表情的研究仍 是这一领域的一个极具挑战性的课题。具有真实感的三维特定人脸合成与逼真的 表情模拟是计算机图形学工作者长期以来所追求的目标。它的应用范围十分广泛， 可以应用于视频会议、虚拟现实，远程医疗、计算机动画、游戏娱乐等诸多方面。 本文的目标是研究具有真实感的三维特定人脸合成、逼真表情模拟的实现方法， 并研究设计了一个与m p e g 4 兼容的人脸动画系统。 1 1课题背景 人类语言是由自然语言和人体语言组成的，在人与人面对面的通信、交流过程 中，自然语言和人体语言同时或联合传递信息，其中自然语言包括口语和书面语， 人体语言包括手势、表情、体势等方面。我们在使用自然语言的同时，常常使用 体势语言加以配合，从而来更加传神地表达人的情感以及表达一些无法用自然语 言表达的情感；在嘈杂的环境中，使用人体语言进行交流将会产生更好的效果； 更进一步地，对聋哑人来讲，人体语言就成为他们进行交流的唯一方法。研究人 体语言及其与自然语言的信息融合对提高计算机对自然语言的理解水平和先进的 人机交互技术都有重要意义。具有真实感的特定人脸合成与表情模拟作为人体语 言研究的一个重要部分，对其将发挥重要的作用。 近年来，为了适应极低比特率的视频传输，以图像分析和计算机图形生成技术 为基础的基于模型的图像编码方法受到了广泛地重视和关注。m p e g 一4 作为新一代 的图像压缩编码标准应运而生。此方法主要通过图像参数的提取、传输和图像合 成的方法来实现图像的压缩编码。它采用了面向对象的思想，将图像、视频中的 不同内容抽象为不同的对象，并提供了自然t 合成对象的编码方法。由于人脸作为 视频图像中的一个重要信息已经引起了各方面研究者的兴趣和重视，因此， m p e g 4 将人脸作为了其定义的一个独立对象并提供了两组参数( f d p 和f a p ) 来分别定义人脸对象和动画人脸对象。从视频中识别人脸对象，对识别出的人脸 对象进行分析，人脸对象合成等都已经成为了人们研究的热点。 总之，具有真实感的特定人脸合成与表情模拟的研究不仅具有理论价值，而且 极具使用价值。 2 真实感人脸合成与表情模拟的研究 1 2具有真实感的人脸合成的研究现状 真实感人脸合成与表情模拟问题一直是计算机图形界一个极具挑战性的问题， 人体表面的复杂性和不规则性使它很难应用传统技术进行建模。尽管对此许多学 者已经进行了有益的尝试，先后提出了参数模型，动态肌肉模型等建模方法。但 是，人脸生理特点的复杂性决定了这些模型或是过于简单而不能反映人脸的真实 结构，或是过于复杂难以在实际中进行应用。 1 9 7 4 年，p a r k e l i 】首先使用一个线框多边形来表示人的头部结构，实现了第 个参数化的人脸模型，生成了人脸图像。他指出有两种参数应该被考虑：特定人 表示参数和人脸表情控制参数。特定人脸表示参数用于定义人的眼睛的大小、鼻 子的高低、下巴的形状等特定人的独立特征。表情控制参数用于描述人的眼睛的 闭合、眉毛的运动和脸颊的运动等情况。参数模型是建立在网格模型上的，面部 表情的完成是通过挤压代表面部表情网格的相应区域实现的，使用这种纯几何模 型由于忽略了人脸的现实层次结构和人脸皮肤的柔韧性，认为它只是简单的表面 几何形变，这样就降低了合成真实感人脸的能力。1 9 7 8 年，e k m a n 和f r i e n s e n 提 出了著名的面部运动编码系统1 2 】，他们描述了4 4 个能够独立运动的面部动作单元， 这些单元与导致面部表情改变的肌肉结构紧密相连，并鉴明了六种基本表情：怒、 厌、怕、喜、哀、惊。 1 9 8 7 年w a t e r s i 副最早提出了种新的层状肌肉模型来模拟人脸面部表情，随 后又对其进行了改进，提出了更为高级的人脸肌肉模型。这是一种基于物理属性 的合成面部结缔组织和一组基于解剖学的面部肌肉活动的结合，这种模型将人脸 描述为一种层状结构的实体，层与层之间有许多弹簧相连，采用这种模型将通过 跟踪视频图像中非刚性的面部特征运动，以达到再合成瞬间表情的目的，由于肌 肉模型以及驱动人脸行为的内在变形机制的引入，使人脸模拟的真 实感得到了很大的提高。 1 9 9 8 年d o u g l a s l 4 l 等人提出了应用自动变化技术的人体测量技术，根据对人群 中相似人脸的测量统计数据来生成一组人脸模型的测量值，然后应用变形模型来 寻找当将一种人脸原型作为参考时满足一些限制条件的光滑表面，从而使得最终 生成的人脸模型具有人脸测量统计学方面的依据。 l e e l 5 1 ( 1 9 9 5 ) 等人用3 d 数字化仪建立了网格人脸模型提出了一种将肌肉 插在动态皮肤网格模型的正确位置，并将肌肉固定于估计的骨骼结构上，来动画 人脸的算法；p i g h i n c 6 l ( 1 9 9 8 ) 等人使用交互方式恢复相机的位置和特定人脸上的 一组稀疏点的三维坐标，利用散乱数据插值技术将一般人脸模型修改为特定人脸 模型，并将从真实人脸上提取的纹理信息赋予人脸模型，通过三维变形技术合成 第一章绪论 不同人脸表情之间的平滑过渡：v o l k e rb i a n 】( 1 9 9 9 ) 等人提出了一种基于统计 归纳的人脸建模方法，首先建立了一个包含2 0 0 人的3 - d 人脸库，归纳出一个可 变形的人脸模型，然后与特定人脸的照片匹配，从而形成一个3 - d 人脸模型。它 有着相当的局限性，它所产生了结果人脸图像和大程度上取决于预先提供的人脸 库，如从由西方人的人脸库归纳出的人脸模型，不可能逼真的模拟合成东方人的 人脸图像。z i c h n gl i u t 8 l ( 2 0 0 1 ) 等人在合成人脸表情的过程中，考虑了脸部特征 点的运动和人脸表面光照的改变两个因素。克服了传统的合成人脸表情的过程中 忽略光照因素的缺点。在人脸表情比率图像中获取人脸表情的光照改变量，加之 几何伸缩，将表情比率图像映射到任何一个其他人脸图像上来产生较为逼真的脸 部表情。 紧跟国际上的发展，国内也于2 0 世纪9 0 年代中期开展了这方面的研究。西安 电子科技大学的郑飞【8 】( 1 9 9 8 ) 等人基于图像的建模与绘制技术，提出了正面头像 提取轮廓线，并通过体元造型合成人脸三维模型的方法。这种方法的造型速度较 传统的造型方法有较大的提高。浙江大学的梅丽 9 1 ( 2 0 0 1 ) 等首先给出特定人脸的 正侧面正交图像，并提供了一个内嵌肌肉向量的一般人脸三维多边形网格模型， 采用s n a k e 技术自动适配人脸特征线，基于特定人脸的特征线相对于一般人脸模 型上的特征线的位移，变分插值一般人脸网格，适配特定人脸几何，然后，用多 分辨率样条技术产生无缝的人脸纹理镶嵌图，纹理映射后生成高度真实感的能以 任意视线方向观察的特定人脸；进而，通过组合特定人脸的肌肉向量的运动，变 形模型，组合出特定人脸的各种表情。中国科学技术大学的陈意云【9 】等提出了线性 弹性模型和肌肉模型，分别应用于人脸的建模和人脸表情的模拟上，从而能较为 快速且较为逼真的合成特定人脸并模拟出人脸表情。浙江大学的邹北骥、彭永进 等提出了基于物理模型的特定人脸模型与表情动画模型。他根据人脸生理结构的 特点，先将人脸表面分成了若干块，进而运用弹性形变原理，分析了脸部各块的 变形规律，提出了一种将一般人脸模型变换为特定人脸的变形模型，而后分析各 种表情的形成的物理运动规律，为其建立了表情动画模型。哈尔滨工业大学的高 文、晏洁等【1 0 l 提出了一种一般人脸个性化方法和多方向纹理映射算法，这也是目 前人脸建模和动画研究者广泛采用的一种方法。 近几年来，随着通信技术的发展，三维人脸合成与表情模拟技术越来越多地 用在了实现极低比特率的视频传输方面和基于模型的编码方法中利用三维人脸 模型对视频序列进行渲染与模拟，为此国际标准化组织( i s o ) 针对三维模型的表 示和模拟制定了相应的标准。i s o 的m p e g - 4 标准的第一版己于1 9 9 9 年1 月正式 公布第二代编码技术是m p e g - 4 标准的主要特征。m p e g - 4 定义了两套参数来 描述人脸的形状和运动，这两套参数分别是面部定义参数( f d p ) 和面部动画参数 ( f a p ) ，在三维人脸对象编码过程中，f d p 只需要编码传输一次，随后各关键帧 真实感人脸合成与表情模拟的研究 的f a p 在编码传输后驱动面部行为的产生。这里需要用到三维人脸合成以及真 实感人脸显示中的诸多技术。 综上所述，尽管人们在人脸合成与表情模拟方面已经取得了一定的成果，但 在具有真实感的人脸合成与逼真的表情模拟方面仍有待于进一步地研究与实践。 1 3人脸合成与表情模拟的应用前景 具有真实感的特定人脸合成与逼真表情模拟技术有着极其广泛的应用范围，它 可以广泛应用于计算机动画、辅助教学、视频会议、虚拟现实、远程医疗等领域。 1 ) 计算机动画 通常在观看动画片时，人们之所以会感觉到其中人物具有卡通性、呆板性、不 真实性，是因为动画片中人物是由计算机产生出来的虚拟人，不具有现实世界中 真实人物的特点，不能真实再现现实世界中人的行为、表情等，从而失去准确反 映人物的心理情绪的能力，影响观众对整个故事情节的理解。应用人脸合成与表 情模拟技术可以将虚拟人现实化，提高计算机动画的真实感。 2 ) 辅助教学 正常人可以通过听觉和视觉相配合来接受外界的信息，并做出相应的反应。但 是对盲人来讲，通过语音与他进行交流则成为唯一的手段：对聋人来讲，他只能 通过视觉来接受信息，接受教育。因此，合成具有真实感的人脸图像，并使唇动 与语音同步对聋哑人的教学将尤为重要。 3 ) 视频会议 视频会议中的一个核心技术是通过网络传输视频多媒体信息。众所周知，视频 信息具有很大的信息量。所有多媒体信息都通过网络进行传输，将会给网络带来 很大的负载产生拥塞，增加网络传输的延迟和降低网络的性能。视频会议的一 个重要要求是高度的实时性，绝对不能出现较大的网络传输延迟。因此，出现了 各种压缩编码方法，对传输前的信息进行压缩编码，在接收端进行解码复原等。 具有真实感的人脸图像的合成技术在接收端复原带有人脸图像的信息过程中将 起到重要的作用。 4 ) 虚拟现实 虚拟现实最近几年得到了迅速发展，它是指用立体眼睛或传感手套等一系列传 感辅助设施来实现的一种三维现实，人们通过这些设施以自然的技能向计算机送 入各种动作信息，使人们获得三维的视觉、听觉及触觉等感觉的世界，随着动作 信息的不同感觉也随之改变。将人脸合成技术和表情模拟技术应用于虚拟现实 中，将会产生更真实的场景。如将游戏者或观众合成到影片或游戏中去，以期得 到身临其境的感觉。 第一章缝论 姿熬，灭麓螽戒每袭2 舞搂撅投零戆癍瘸劳不纹双麓瓣予上逮凡个方覆。蕤凌鞭 究豹继续怠潦入，久黢合成与裘褥模熬技零凌会凑蔓广溺装痰溺舔暴。 l 。毒本文主要内容 其寮囊蜜薅的久验会黢与逶爽表 鸯摸掇技零瓣发震褒不开毒卡葵辍露形学、计箨 辍窝豫楚疆技零、昏瀵擎秘璺三疆擎麴毽论基獭变撩。程量 雾援霜彩学镁壤，黧澎 攀筑建摸愚想、坐豁交揍、三绫鼹察、毙照戳及演戆等鼓寒豢接影蛹弗 乍臻予久 羧合成与褒稳搂羧鼓拳戆努橱鹈簿凌过程中。强豫楚溪技拳串霆孽褥 囊瓣驳、入麓 识澍等毪舞入验会残稳供了羹瑟斡瑾谂袄撂。生理学、心理攀中对人黢臻麴瓣分 凝及薅憋等心溅n 素与装1 凌魏关系戆纛薅等璎论郝是零文戆黧簧瓣矮论菝撵。瓣 人在这魑领域获裕魏磷究与实蔽，褥臻静璎论释经验，都荛本文磅究爨供了缓丈 懿嫠羹。 穰旗越来，本文在磷震人黢会成毒液傍穰毅方瑟，奎蔡蠢良下几个方露翁工传： ) 怼模壤囊疆臻熬镑定久貔熬爨靖遗行蟹委，瀵豫了遥邋囊杂雾法寒浚鬟骚 豫露辐橇瓣焦躐、使嚣簿髂意豹遵疆； 2 ) 逶过将三壤瓣猿模鍪与爨冀黧稼嚣赘，逶霉亍熬薅交羧窝鼹帮变羧蕊秘变 换，鼠褥将一般入验模鬃校疆海特定入黢搂鹫： 3 ) 羁瘸灏疆夔瓣黪念袋戆绞溪嚣豫浚麓要l 羧疆嚣瓣三缍入验瘸藜模鍪上，形 戏矮存蹇安黪懿三维特意a 验鬻豫； 4 ) 凌入黢蘸郏定义驻瘸巍爨，慕溪瓤凑模整，绘鬟毒卖交感瓣特窥天验貘黧 赋予穴秘基本袭揍； 5 ) 疆究势浚诗了拿与m e g 4 藏察懿久黢麓瑟系统，获薅傻我懿豹王穆萼 最掰瓣援簇歪缭编褥檬熬兼容熬寒，霄利予箕疯藤麓攘广。 本文魏文豢绥筠安誊雾毒瑟终瓣王 聱礤怼痤+ 萋豢豹安撵强下： 第一辈怒零文豹缝论部分。奔绥了潺憨懿矮究瑟最嚣藏霜露蘩，蒡辩入 验含袋每表 毒搂攘鼓零滋器了综述，楚纂奔绥了本文麟撵懿烹黉王露； 第二肇奔绥了入验含裁技零中熬袄一簸天黢溅穆模黧甏褥定久簸瓣耩模 型载校壤技拳，获褥了糖定a 羧魏三绫溺纂攘懿； + 第三鬻楚理了入稔戆囊实感嚣承闷戆。鲡隽将三缭两臻模鍪嶷蜜感圭| 囊鼹 暴在计算瓠羼蘩上，嚣簧逡孬一系列霹筏豫楚毽l 窭纛。其中怒疆建纛燹 照壤黧，逡嚣寝嚣法两爨诗舞簿怒理。零文分嬲应嚣g r o a u d 骥瑟筵瑷、 p h o n g 鞠暗憝壤以及藏露癌巍方法寒这裂粪安感嚣示入髂强澎熬霹夔； 篱舀露囊簧滔论了绞臻浚翁技零，合残了绞璎攥搂鬻磐凌冀骥菇蘩了三 缝模黧上，获褥7 雯麓囊实撼三维模黧熬显露； 真实感人脸合成与表情模拟的研究 第五章介绍了基本表情合成的方法。在合成的具有真实感三维人脸图像 上，应用肌肉模型，给三维人脸赋予六种基本表情；从而合成了特定人 脸的逼真表情： 第六章介绍了本文研究设计的一个与m p e g - 4 兼容的人脸动画系统。此 系统通过与下一代视频压缩编码标准m p e g - 4 兼容起来，实现了可以使 人脸动画在极低比特率的网络上进行可靠、有效地传输。 结束语部分作为本文工作的总结，在简要回顾了本文工作的基础上，对人脸合 成与表情模拟技术的进一步发展提出了自己的一些看法和想法。 第二章 从一般人脸模型剿特定人腧模州的校准! 第二章麸一般人验模囊到特定人脸模型鹃校猴 2 1 引言 一张不具有任何明显几何特镊和纹理特征的人脸，称之为般人脸；甭则，称 之为特意天验。不露大黢之溺羲绺在羞熬毪又存在藿差茹洼。共泣圭要裘或在： 人脸的形状、各器官的形状及他们在面部的位置大致是相同的，存在着“三庭五 黢”茨魄键关系。歪是爨予存在蓉共注，我餐习缝涛其蠢不弱赘征兹人黢 羟为一 类，并称之为人脸。差异性主要表现在：不同的人脸具有不同的几何特征( 脸的 形凌、黢薅戆大小、鼻予豹裹低等) 窝绞疆特 蒌( 瑟部载皱纹、爨瘗等) ，遣正是 由于存在蒋差异性，我们才能将不同的人脸加以区分。人脸共性和差异性的同时 存在，锼褥透过炎形一般久验揍熬，霉至l 特定大黢模型弱久整建攘方法楚可行豹。 本文正是采用了这一人脸建模方溅。为了个体化般人脸模型，一般的方法是使 成分叛与识别按零扶图像上提取特征羁变形夔线( s n a k e ) ，然爱熔其当搏怼一般 人脸模型的变形参数，但是这种自动特犍提取的精度是不高的，而且识别结果在 受大程度上依赖予魇提供魏照只爨爨敕豢霆。困j 毙，在考感到叁动提取卡氖困戆 的情况下，我们的变形技术引入了交互机制。 2 2一般中性入脸模型的获取 目前，国外已经有入使用三维数字优仪从真实人头上获取初始数据。出于三维 数字化仪价格昂贵，国内采用这一方法的研究者相对较少。我们舱一般人脸模型 蔻从人体造型软件p o s e r 中导出的，它包括了脸郝、唇都、眼睛、鼻子、耳朵等 部分。共密5 3 9 个空间网格点和1 0 2 8 个三霜形组成。如图2 ，1 所示。 圈2 1一般 脸网格模型( 正视圈和l 也山襁闺) 真实感人脸合成与表情模拟的研究 2 3照片图像的修正与特征点的提取 2 3 i 照片图像的修正 模拟者提供特定人脸的四张实拍照片：正面、后面和左、右侧面照片。实拍照 片应保证人头端正具有尽可能大的分辨率。人脸照片的修正按以下步骤进行： i ) 缩放照片图像，使照片图像等高。 设包围人头的最小长方体的高、宽和深度分别为h 、w 和d 。正面照片图像 中包围人头图像的最小矩形的高和宽分别为：h 和w ，。此即为最小外包含长 方体的高和宽h 。( h 。= h ，) 和w 。( w 。= w ，) 。侧面照片中包围人头图像的最小矩形 的高和宽分别为：h 。和w ，。令h 。= h ，w 。= w ，h 。h 。，最小为包含长方体 的深度即为d = w 。 2 ) 裁剪照片图像使得图像中人眼的眼角处于同一水平线，且图像等高。 通过对照片图像的修正，使得照片图像等高，人头的大小基本上相同，从 而不需要通过复杂算法来恢复摄像时相机的焦距、位置等信息。为将来的变形 和纹理映射做好了准备。修正后的照片图像如图2 2 所示。 图2 2经过修正后的人脸照片图像 2 3 2 特征点的提取 为了从特定人脸上提取特征，我们在人脸模型上定义了5 2 个特征点，如图2 3 所示。这里特征点可以从特定人脸的正面图像和侧面图像中提取出来，特征点的 自动提取属于人脸面部图像识别范围，不在本文研究之列。这里假定已经应用分 析与识别技术从特定人脸图像上提取了所需要的特征点或变形曲线。或经过手工 标定了特征点或变形曲线，然后将其当作一般人脸模型的变形参数。 由于一般人脸中性模型是一个三维网格体，如图2 1 所示每个特征点的三维 坐标是己知的。下一步要进行的是根据这两组特征点集的比较，完成从一般人脸 第二章从一般人脸模型到特定人脸模型的校准 9 中性模型到特定人脸中性模型的校准。 2 4 一般人脸模型到特定人脸模型的两种变换 从一般人脸中生模型到特定人脸中性模型的修改过程中，要进行两种变换： 首先要对一般人脸模型进行整体变换，整体变换的目的是完成面部整体轮廓的修 改，使其与特定人脸的脸形和五官的大致位置相匹配。然后在对整体变换后的人 脸中性模型进行局部变换，目的是根据特定人脸的眉、眼、口、鼻的形状和大小 进行修改，即在一般人脸中性模型上打上特定人特征的烙印。 2 4 1 整体变换 设变换前人脸模型上点的坐标为( x ，y z ) 变换后为( x ，y ，z ) ，变换前后脸的中 心点坐标分别为o ( x o , y o ，z o ) 和0 ( x o , y o , z o ) ，如图2 3 所示。 其中脸的中心点。定义为两眼眼角点连线及人脸纵向中轴之间的交点，参数 p ，q 】，q 2 分别定义为中心点到鬓角，中心点到额头中点，中心点到下巴之间的距离； 参数u 定义为嘴部中心点到耳朵下沿距离；参数r l ，r 2 ，r 3 在左侧面分别定义为额头最 高处到发髻的距离，中心点到耳朵上沿的距离，嘴角点到耳朵下边沿的距离。 套 嶝 曩户 上| 二歹 图2 3 人脸模型的特征点平| l 变换参数 ( 圆点为定义的特征点) 则可以得到下面的变换公式： 对人脸的上半部分( 眼睛水平线以上的部分) 采用如下修改公式 x 。= x ；+ p ( x - x o ) y 咄+ 导( y - y o ) qo z = z ；+ - ( z - z o ) - _ ( 2 1 ) ( 2 2 ) ( 2 3 ) 1 0 真实感人脸合成与表情模拟的研究 对于脸的中间部分( 眼睛与嘴巴中间的部分) 采用如下修改公式： k k ：p - a b s ( x - x o ) p ( 2 4 ) x = x j + k k ( x - - x 0 ) 詈+ ( 1 一k k ) ( x - x o ) u ：( 2 - 5 ) y = 。+ q 。2 ( 一y y o yy 。) = + q 2 一。)( 2 6 ) z 。毛+ 詈( z - - z 0 ) ( 2 - 7 ) 对于脸的下半部分( 嘴巴水平线以下的部分) 采用如下的修改公式： x = x o + ! 一( x x o )( 2 8 ) u y 。3y j + 詈( y y o )y3 。+ 善【y z = z j + r 詈( z - z o ) ( 2 - 9 ) ( 2 1 0 ) 其中，p ，u ，q l ，q2 , l ，r 2 ，r 3 ( p 。，u ，q l ，q ；，玎，巧) 如图2 3 所示，可根据变换前 后特征点的坐标得到。 2 4 2 局部变换 一种简单的人脸模型变形实现方法是曲面插值法，变形后的网格点的三维空间 坐标是由变形前网格点的三维空间坐标乘以变形矩阵得到的。其中变形矩阵由己 知的变形前后特征点集的坐标所决定。这种方法的主要缺点是单个特征点位置的 变化都会对整体模型产生影响，从而无法完成模型的局部调整，为了使人脸编辑 过程变的灵活和易于控制，本文采用了一种新的变形算法。下面就以一个移动点 为例柬描述算法的核心思想，它能很方便地推广到有多个移动点时的情况。 假设网格模型上一点v = i x ，y ，z 1 被移动到v = k ，y + ，z 。l ，当移动发生后，整 个模型上的网格点分成两个集合，分别称为内部点集和外部点集。内部点集由所 有被该移动所影响的点组成，相应地，外部点集则包括了那些不被该移动所影响 的点。我们可以在生成内部点集时考虑人脸肌肉的分布和走向，这是一件十分复 杂的工作，为此，一种可代替的简单确定方法是把到移动点的距离不大于某固定 长度的网格点都放入内部点集图2 - 4 所示的网格点均属于关于移动点v 的内部点 第二章从一般人脸模型到特定人脸模型的校准 集，共1 5 个，其中固定长度取值为2 ，在编辑过程中可将此长度设为可调参数。 图2 4 与移动点v 相关的内部点集 人脸面部皮肤是一个弹性表面，为了模拟面部变形，一个合理的假设是将网格 体相邻顶点间看作弹簧连接。设p 。是内部点集中的一点，即v 的移动将对p 。的空 间位置产生影响，p 。，p 2 , - - - - p 。与p 。相邻，如图2 4 ，假设初始网格体是平衡的， 当移动点移动时，在内部点集中的点被驱动到新的位置以获得网格体的新的平衡 状态。因此，我们可以对p 。列出下面平衡方程： 善器0 l p o l l 叫p i - p o 忸= 。( 2 - 1 1 ) 其中，当p = v 时，p ；= v 。是已知的，除此之外均为未知量。对所有的内部点列出 这样的平衡方程，解此非线性方程组，即可得到内部点的新的三维坐标。应当指 出的是，当阶数增大时解空间很不稳定。为此，我们假设人脸皮肤具有收缩特 性，即认为p 。与它周围点的距离和最小，列出方程如下： a ( 1 1p i - p o 炉 旦l ：_ 一= 0 o p o ( 2 1 2 ) 相应地，可对所有内部点列出方程，这是一个简单易解的线性方程组。在编辑过 程中，我们可以引入了以上两种变形算法，模拟者可根据情况做出相应选择，当 一次移动影响的区域小( 距离长度 3 ) 时，使用前者变形算法由于反映出了人脸 皮肤变形时的粘弹特性，因此更具现实依据，当移动所影响的区域大时，一般须 选用后者变形算法以免由于多组解的取舍不当而影响变形效果。我们以耳朵的局 部变形匹配为例，局部变形之前，网格模型上的耳朵是向外翘着的( 如图2 5 ( d ) 所示) ，没有与特定人脸照片图像上的耳朵相匹配( 如图2 5 ( b ) 所示) ，经过局部变 形之后，网格模型上的耳朵己向脸部靠近( 如图2 5 ( e 1 所示) ，从而与特定人脸照 片图像上的耳朵相匹配( 如图2 5 ( c 】所示) 。 为方便起见，我们将变形分为粗变形和细变形两级，这两种变形基于上述相同 的变形机制这组特征点由模拟者根据需要随意定义一般地，它可能包括一个 真实感人脸合成与表情模拟的研究 面部器官或面部器官的一部分。粗变形常常用于器官定位和轮廓修改。在细变形 过程中单个网格点被移动到新的位置。变形算法由此计算出该移动所对应的内 部点集中的新位置坐标，从而实现网格体的细节调整。 ( a )( b ) ( c )( d )( e ) ( a ) 变形前的人脸网格 ( b ) 粗变形后的人脸网格 ( c ) 细变形后的人脸网格 ( d ) 细变形前的左耳 ( e ) 细变形后的左耳 图2 5特定人脸网格变形过程 2 5小结 人脸合成技术日益广泛地应用在了诸多领域，从一般人脸模型到特定人脸模 型的校准工作是人脸合成工作中必经的一个重要步骤。本文采用了两步匹配修正 的方法：整体匹配和局部匹配，交互式地完成了从一般人脸到特定人脸的修正， 给一般人脸模型打上了特定人脸的烙印。 7 第三章特定人脸模螋的真实感显示 第三章特定人脸模型的真实感显示 3 1引言 前面一章，我们已经将一般人脸网格模型校准成了特定人脸网格模型。针对如 何将此特定人脸网格体具有真实感地、逼真地显示在计算机屏幕上，本文主要应 用了g o u r a u d 明暗处理模型、p h o n g 明暗处理模型、b e z i e r 曲面磨光、三种方法来 达到逼真显示人脸图形的目的。 对于由空间多边形构成的三维人脸网格体，要将它显示为具有真实感的人脸图 形。需要进行一系列可视化处理过程。其中包括建立光照模型，进行表面法向量 计算，纹理映射等处理。本文所要讨论的三种处理方法表现在不同的表面法向量 计算上，在这些处理方法中所采用的光照模型都是一样的。 3 2光照模型 由于人脸皮肤的材质本身是不透明的，因此，本文采用的光照模型不包括透射 光，只有反射光，反射光考虑成三个分量，即环境反射、漫反射和镜面反射。为 了简化计算，将光源设置成一个点光源。有如下的光亮度公式： i = k 。i 。+ k d i d c o s 04 - k s i sc o s “o r ( 3 一1 ) 其中k 。i 。、k d i dc o s e 、和k 。i 。c o s n 旺分别对应着环境反射、漫反射和镜面反射 的光亮度，上述公式中的角度参数所表示的意义显示在下面的图3 1 中。 漫反射分量表示特定光源在景物表面的反射光中那些向空间各方向均匀反射 出去的光，这种反射光的计算可以用朗伯余弦定理，如图3 1 。镜面反射分量表明 投向观察者的镜面反射光不仅决定于入射光，而且和观察者方向有关，在具体计 算中，我们没有用c o s c t ，而使用点积n * h 。其中n 是物体表面法向量h 是l 和e 的平均向量的单位化。如图3 - 2 所示。即： h ：粤兽 ( 3 2 ) 真实感人脸合成与表情模拟的研究 光 l厘耵l 口j 翟 原l 疗 0 、 点e n jl h i | | 少 幽3 1入射、反射、视线方向示意图 图3 2p h o n g 模型所涉及的几何量 3 3 1 平面明暗处理 3 3简单渲染方法 平面明暗处理是用单一颜色填充一个多边形。对于单个多边形，其填充色由 第一个顶点的颜色决定，而对于三角形片，新增三角形的填充色由新增顶点的颜 色决定。平面明暗处理方法所产生的效果不够真实，但具有快速成像的特点，适 用于速度重于图片精度的场合。 3 3 2g o u r a u d 明暗处理 g o u r a u d 明暗处理能够使多边形的光亮度产生层次或连续的变化。它将曲面 表面的光亮度取为该曲面的各多边形顶点光亮度的双线性插值。曲面人脸由三角 形网格表示，己知各三角形的法向量，则对每一顶点，可取共享该顶点的各三角 形法向量的平均值作为该顶点处曲面的法向量，然后把该法向量代入光照模型计 算出该顶点处曲面的光亮度值。这种结果使整个多边形的亮度呈非常光滑地变化， 其外观有较为强烈的现实感和立体感，但g o u r a u d 明暗处理所绘制的画面会诱发 马赫带效应。虽然光亮度线性插值保证了由三角形近似表示的曲面上各处光亮度 连续变化，但在相邻三角形的公共边界上光亮度的一阶导数并不连续，由于人艰 的光学错觉，光亮度变化一阶不连续的边界处会呈现亮带或黑带，即马赫带效应。 3 3 3 p h o n g 模型光滑明暗处理 三维人脸网格由空间三角形构成，当采用简单光照模型照亮它时，只要知道网 格表面某一点的法向量，就可以算出该点的明暗程度。一个面的法线对于光照模 型是非常必要的，而且法线对于曲面的生成、纹理映射等都是必不可少的信息。 第三章特定人脸模型的真实感显示 但是由于每个平面上所有点的法向量相同( 如图2 2 ( a ) ) ，而不同平面块之间存在 不连续的法向量跳跃，从而引起不连续的亮度跳跃。当网格体中相邻的两个平面 多边形的法向量变化很大，就会产生明显的拼接痕迹，使显示图形的真实感降低。 为了生成具有光滑变化的明暗度的真实感图形，我们采用了p h o n g 明暗处理技术 来克服这一缺陷。 p h o n g 明暗处理的思想是对离散的法向量作双线性插值，构造一个连续的法向 量函数，将这一连续的法向量插值函数代入亮度计算公式，即可得到一个非线性 的亮度插值公式。 ( a ) 采用双线性插值计算p 点的法向量 图3 3 明暗处理 n 5 ( b ) 顶点v 处法向量的确定 如图3 3 ( a ) 所示，a 点的法向量n 。为n 。和n ：的线性插值，b 点的法向量n 。为n 1 和n 3 的线性插值，p 点的法向量n 。则为n 。和n 。的线性插值。计算多面体每个 顶点处的法向量可用以该顶点作为公共顶点的诸面的法向量平均值作为该顶点的 法向量。如图3 3 ( b ) 中的v 处的法向量为： n = ( n l + n 2 + n 】+ n + n 5 + n 6 ) 6 ( 3 - 3 ) 上述p h o n g 明暗处理方法能处理由任意凸多边形表示的物体表面，三维人脸 网格体是由空间三角形组成的，所以在p h o n g 方法中采用的是三角形插值，这时， 插值公式具有更简单的形式。设o ( x ，y ) 为屏幕坐标系，p l ( x l ，y ，) ，p ：( x2 ，y ：) 和 p 3 ( x ，y ，) 是三角形三个顶点在屏幕上的投影坐标建立三角形的仿射坐标系 ( 旺，p ) ，如图3 4 所示其中p i ，p 2 和p 3 的仿射坐标分别为( 0 , 0 ) ，( 0 , 1 ) 和( 1 , 0 ) 。 从屏幕坐标至三角形仿射坐标的变换为： a = a t x + b y + c l z ( 3 - 4 ) b = a 2 x + b 2 y + c2 z( 3 - 5 ) 令n 】、n 2 、n 3 分别是三角形三个顶点处的法向量，那么法向量插值公式如下 竺 真实感人脸合成与表情模拟的研究 n ( x ，y ) 2 ( 1 - ，o 一d ) 型，+ a n 2 + p n l (36)ab=x+y+u 、。”， 其中： a = a l n 2 + a 2 n 3 一( a i + a 2 ) n 】 ( 3 7 ) b = b l n 2 + b 2 n j 一( b i + b 2 “ u = c i n2 + c 2 n 】一( 1 一c l c 2 ) n ( 3 8 ) ( 3 - 9 ) 使用p h o n g 明暗处理方法简单，能够反映物体不同部分的明暗层次，增强现实的 立体感效果，因此有着比较好的使用价值。 typ1，友p3 图3 4 建立三角形仿射坐标 3 4网格体的曲面磨光 除了用有限的多边形面表示人脸皮肤表面外，还可以用曲面来表示人脸皮肤 表面。k o m a t s u 采用b e z i e r 曲面来模拟人体皮肤，即将人体每一部分定义成一个 b e z i e r 曲面集，并把这些曲面集光滑地连接在一起，也有应用n u r b s 曲面的例子， 而面部曲面一般采用易于控制的参数曲面描述，例如b 样条曲面，b e z i e r 曲面等。 为了保证整体益面具有一定的光滑性，要求曲面片间光滑拼接。光滑拼接一般要求较高 次数的参数曲面片( 不小于4 次) ，而高次样条曲面易于产生过多的凹凸情况，鉴于此根据 人脸面部曲面的结构特点，本章采用一种加细分片二次直积型b e z i e r 片方法构造人脸曲面造 型，将覆盖于人脸皮肤表面的三维空问网格用一组b e z i e r 衄面代替，下面的曲面磨光算法要 实现的正是这一目的。 该b e z i e r 曲面磨光算法分三步： 第一步：网格的细化； 目前，在空间三维网格上用b e z i e r 曲面进行磨光的方法很多。根据其构造可 将他们分为两种类型：一类应用细分技巧将空间三角形区域分成若干个子区域， 第三章特定人脸横型的真实感显示 襁每个子区域上定义一块曲面片；另一类方法则在三角形网格的每个三角形上寇 义一块夔覆。我键这里袋用豹是第一静蠢法，爨戴原始潮掊俸莛丞室凌三建影缀 成的，对燕中的姆一网格点，以它为顶点的三角膨形状和个数都不确定，这给作 b e z i e r 片越控裁点戆诗翼攀亲了纛矮。缎强缒基戆藏是要瓣原始鹣辏俸遴行改进， 建立起一个新的嘲格体，这个新的网格体将摒弃原始网格体散乱的网格擒扑结构， 形成一个较为飙熬靛隧掇据羚绩擒，这将有剥予控裁点懿诗霎。其嚣懿镶健方法 如下： 图3 5 原始时格体中非边界点的磨光 p a 。i j 3 图3 6 磨光后新网格体和控制点 设原贻网格体顶点集为v ，边集为e ，细化詹网格体顶点集为v ，边榘为e ， 设v 为v 中菲边界上的一点，它蠲围有k 个三角形与之耩连，如图3 ，5 所示，分 别为v o w l 、v i v v 2 、v k 1 w 0 。对其中的第i 个三角形，在它的内部生成三 个点p i l 、& 、p i 3 ，( i = 0 , 1 ，k - 1 ) ，这三个点其宥三维静空闯越麓，它稍的空阐 坐标应用下式计冀得到： p ；= 喜。+ j v + ；( v ；+ v t “) ( 3 1 0 ) p 1 0 + v ，+ 喜( v v 。t ) ( 3 嘲) p i ，2 专o + i 1v + i + ( v + v ) ( 3 1 2 ) 其中：o = 击( v + v i + v ，“) ( 3 一1 3 ) 细纯螽静闲袼体构造茹下： ( 1 ) p 。p 。p 。属于v 中： ( 2 ) 连接每一令三舞形内三令领点p ，：、p 谨、p , 3 掰形藏豹边属予e ； ( 3 ) 连接相邻三角形内对应顶点所形成的边属于e 。 纲垂乏蠡懿鼹貉 零舆有蕊整麓结构器良好魏毪能，静对往豢v 藩予v ，在孛有整 仪有4 祭边在v 处汇为一点，并且总存在两个互为对角的四边形。如图3 6 。 1 8 真实感人脸合成与表情模拟的研究 第二步：控制点的计算： 得到了细化后的网格体之后，如图3 6 所示为细化后的网格体中一点与其周 围的多边形，其中v 即为细化后的网格体v ，中的任一点，围绕v 作一个b e z i e r 片，二次b e z i e r 片有9