（计算机软件与理论专业论文）基于三维网格模型的参数化人脸表情模拟方法研究.pdf

摘要 人脸表情模拟动画是计算机图形学中最富有挑战性的课题之一，可以广泛应 用于计算机动画行业、游戏行业、远程会议、代理和化身等许多领域，是近几年 来国际上的研究热点。 本文在广泛阅读国内外现有的关于人脸表情模拟动画技术的文献，比较和借 鉴现有成功的人脸表情模拟方法后，研究出自己独特的人脸表情模拟方法。本文 使用标准化的参数化模型来描述人脸表情运动特征，并对表情运动参数的组织、 提取与驱动等关键技术进行改进和完善，在此基础上开发出相应的人脸表情模拟 系统。本文的主要研究工作包括以下几方面： ( 1 ) 使用改进的c a n d i d e 3 模型作为标准人脸网格模型。参照m p e g 一4 人脸 标准和人脸表情编码系统( f a c s ) ，对c a n d i d e 3 模型的不足进行完善与修改。 ( 2 ) 基于c o h n k a n a d e 人脸数据库提取表情运动参数。根据c o h n k a n a d e 人 脸表情库的a u 编码描述，记录每个图像序列各关键帧的表情状态，然后通过改 进c a n d i d e 模型匹配进行表情运动参数的提取。 ( 3 ) 合理地组织和设计人脸表情模拟的语义系统，构建人脸表情模拟的脚本 引擎系统。调查与研究人脸细微运动与区域运动，表情运动与区域运动之间的联 系，构建人脸表情模拟的三层语义系统，然后将表情模拟语义描述符号化、参数 化，在此基础上设计与实现文本驱动的人脸表情模拟引擎系统。 本文的创新点主要有以下两点： ( 1 ) 使用基于人脸肌肉模型的人脸动作编码系统( f a c s ) 与传统的基于人脸 几何模型的m p e g 4 人脸标准相结合的表情模拟方法，不仅简化了表情参数的定 义与提取过程，也使得产生的人脸表情更加逼真。 ( 2 ) 构建参数化的人脸表情运动模型。参数化模型建立了高层语义描述( 眉 毛上扬，上嘴唇张开等) 到低层网格控制之间的纽带，且人脸网格的数据量小， 便于人脸表情的传输、分解与再现。 在各项研究的基础上，应用软件工程的思想，本文最终实现了一个人脸表情 模拟动画系统，取得了较理想的效果。 关键词：m p e g - 4 ；f a c s ；参数化模型 a b s t r a c t f a c ee x p r e s s i o ns i m u l a t i o na n i m a t i o ni so n eo ft h em o s tc h a n l l e n i n gp r o b l e m si n c o m p u t e rg r a p h i c s i tc a nb ew i d e l yu s e di nm a n ya p p l i c a t i o na r e a s ，s u c ha s c o m p u t e ra n i m a t i o ni n d u s t r y , g a m ei n d u s t r y , t e l e c o n f e r e n c i n g ，a n da g e n t sa n da v a t a r s i nr e c e n ty e a r s ，i th a sb e e nt h er e s e a r c hf o c u s t h ep a p e rg i v e sac o m p r e h e n s i v es u r v e ya n da n a l y s i so fe x i s t i n gf a c ee x p r e s s i o n s i m u l a t i o n ，a n dd e s c r i b et h em o t h o d so fc u r r e n tf a c ee x p r e s s i o na n i m a t i o n b y s y s t e m a t i c a l l ya n a l y z i n gr e l e v a n ta l g o r i t h m s ，w ep r e s e n to u rn o v e lm e t h o d sf o rf a c e e x p r e s s i o ns i m u l a t i o n w ee m p l o y ss t a n d a r d i z e dm o d e lt od e s c r i b ef a c ee x p r e s s i o n f e a t u r e ，a n di m p r o v e ss o m et e c h n o l o g yo fs o m ea s p e c t ss u c ha so r g a n i z a t i o n ， e x t r a t i o na n dd r i v i n go fe x p r e s s i o np a r a m e t e r s i na d d i t i o n , w ei m p l e m e n taf a c e e x p r e s s i o ns i m u l a t i o ns y s t e m t h em a i nr e s e a r c hw o r ki sa sf o l l o w e d ： ( 1 ) s e l e c ta d v a n c e dc a n d i d e 一3m o d e la ss t a n d a r df a c eg r i dm o d e l r e f e r r i n gt o m p e g - 4f a c es t a n d a r da n df a c i a la c t i o nc o d i n gs y s t e m ，m o d i f ya n da m e n dt h ed e f e c t s o fc a n d i d e 一3m o d e l ( 2 ) e x t r a c te x p r e s s i o n p a r e m e t e r sb a s e d o nc o h n k a n a d ef a c e e x p r e s s i o n d a t a b a s e a c c o r d i n gt oa uc o d i n gd e s c r i p t i o no f t h ed a t a b a s e ，r e c o r dt h ee x p r e s s i o n s t a t eo fe v e r yk e yf r a m ei ne a c hi m a g es e q u e n c e ，t h e ne x t r a c tt h ee x p r e s s i o n p a r a m e t e r st h r o u g ha d v a n c e dc a n d i d em o d e l ( 3 ) o r i g n i z i n ga n dd e s i g n i n gt h es e m a n t i cs y s t e mo ff a c ee x p r e s s i o ns i m u l a t i o n ， c o n s t u c tt h es c r i p t i n ge n g i n es y s t e m b ym a k i n gas u r v e ya n dr e s e a r c ho ft h er e l a t i o n a m o n gf a c es u b t l em o t i o n ，r e g i o nm o t i o na n de x p r e s s i o nm o t i o n ，w ec o n s t u r c tt h e t h r e e l a y e rs e m a n t i cs y s t e mo ff a c ee x p r e s s i o ns i m u l a t i o n ，t h e ns y m b o l i z ea n d p a r a m e t e r i z et h es e m a n t i cd e s c r i p t i o n f i n a l l yw ec o m p l e t et h es c r i p t i n ge n g i n e s y s t e mf o rf a c ee x p r e s s i o ns i m u l a t i o nu n d e r l y i n ga b o v es t e p s t h ei n n o v a t i o no ft h ep a p e ri sa sf o l l o w e d ： ( 1 ) p r o p o s et h en o v e le x p r e s s i o ns i m u l a t i o nm e t h o dt h a tc o m b i n i n gt h em p e g - 4 f a c es t a n d a r dw h i c hb a s e do ng e o m e t r i cm o d e la n df a c ee x p r e s s i o nc o d es y s t e mb a s e o nm u s c l em o d e l i tc a nn o to n l ys i m p l i f yt h ed e f i n i t i o na n de x t r a c t i o np r o c e s so f e x p r e s s i o np a r e m e t e r s ，b u ta l s om a k et h ee x p r e s s i o n sg e n e r a t e dm o r er e a l i s t i c ( 2 ) e s t a b l i s hap a r a m e t e r i z e df a c em o t i o nm o d e l p a r a m e t e r i z e dm o d e lb u l i d su p t h el i n k sb e t w e e nh i g h l e v e ls e m a n t i cd e s c r i p t i o na n dl o w - l e v e lg r i dc o n t r o l ，a n di ti s c o n v e n i e n tf o rt r a n s m i s s i o n , d e c o m p o s i t i o na n dr e c u r r e n c eo ff a c ee x p r e s s i o nb e c a u s e i t sf e wg r i dd a t a s b a s eo na l lo fa b o v e dr e s e a r c h e s ，a p p l i n gt h em i n d so fs o f t w a r ee n g i n e e r i n g ， f i n a l l yw ei m p l e m e n taf a c ee x p r e s s i o ns i m u l a t i o ns y s t e m ，p e r f o r m sw e l lw i t hf e w f a c eg r i dd a t a s k e yw o r d s ：m p e g 一4 ；f a c s ；p a r a m e t e r i z e dm o d e l 厦门大学学位论文原创性声明 本人呈交的学位论文是本人在导师指导下，独立完成的研究成 果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均 在文中以适当方式明确标明，并符合法律规范和厦门大学研究生学 术活动规范( 试行) 。 另外，该学位论文为() 课题( 组) 的研究成果，获得() 课题( 组) 经费或实验室的 资助，在() 实验室完成。( 请在以上括号内填写课 题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特 别声明。) 声明人( 签名) 罗粢威 加悻6 月亏白 厦门大学学位论文著作权使用声明 本人同意厦门大学根据中华人民共和国学位条例暂行实施办 法等规定保留和使用此学位论文，并向主管部门或其指定机构送交 学位论文( 包括纸质版和电子版) ，允许学位论文进入厦门大学图书 馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国 博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和 摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。 本学位论文属于： ) 1 经厦门大学保密委员会审查核定的保密学位论文， 于年 月日解密，解密后适用上述授权。 ( ) 2 不保密，适用上述授权。 ( 请在以上相应括号内打“ 或填上相应内容。保密学位论文 应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密 委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认 为公开学位论文，均适用上述授权。) 声眠萝筹鹰 2 0o 呷年6 焉日 第一章绪论 第一章绪论 人脸是人类个体之间相互区别的最重要的外表特征，人脸表情是人类传达 信息和交流情感的重要手段。人脸表情甚至超越了种族、语言和文化的界线， 成为全世界人类能够相互理解的通用语言。由于人脸和人脸表情对于我们如此 重要，所以对人脸的研究工作一直是各学科领域里一个重要而有趣的课题，在 计算机图形学领域也不例外。人脸表情模拟动画技术是计算机图形学的一个重 要的研究方向。 1 1 研究背景及应用领域 早在1 8 7 2 年，c h a r l e sd a r w i n 就在他的著作( t h ee x p r e s s i o no f t h ee m o t i o n i nm a na n d a n i m a l s ) ) 中对人脸表情进行了深入研究。对人脸表情的科学研究己 有1 0 0 多年的历史，而在计算机上的研究也已经有3 0 多年的历史，日益复杂的 计算机动画角色需要生动且表达力强的人脸表情。随着计算机软硬件技术的发 展，人脸表情在计算机图形学、数字图像处理和计算机视觉中越来越受到重视。 据计算机图形学最顶级的国际会议a c ms i g g r a p h 以及计算机视觉最高档的 国际会议i e e ei n t e m a t i o n a lc o n f e r e n c eo nc o m p e e rv i s i o n ( i c c v ) 和i e e e c o m p m e rs o c i e t yc o n f e r e n c eo nc o m p m e rv i s i o na n dp a t e r nr e c o g n i t i o n ( c v p r ) 上发布的文章统计，每年都有大量高质量的相关文章发表。 人脸表情模拟不仅仅是一个研究热点，并且有着极为广泛的应用领域，同 人们生活密切相关。它的成果可以广泛的应用于电影广告、电子游戏、虚拟会 议、辅助教学、医疗研究等领域。人脸表情模拟动画作为人体语言的一部分， 对于交流信息的理解和辅助交流有着重要意义。人脸表情模拟技术对于真实感 的游戏场景提供新的思路l 。文献翻的实验结果表明，面部动画有助于用户理解 噪音环境下的讲话内容，使得服务对用户更具吸引力。计算机合成的网上播音 员a n a n o v a 可以2 4 小时连续发布新闻，人物表情模拟也已经用于通信系统的接 口，如a v a t a r s 3 , 4 1 。 入脸表情模拟动画的应用范围十分广泛。总体而言，主要有以下几个方面： 基于三维网格模型的参数化 膪表情模拟方法研究 1 游戏行业1 5 】：如今传统二维游戏已经很难使人们达到身临其境的感觉， 随着游戏者品位和鉴赏水平的不断提高，在游戏中使用三维场景和虚拟人物已 成为一个趋势。在普通p c 机上越来越多地出现了包含真实感人脸模型的游戏， 个性化富有表情的人脸在游戏人物造型技术中的地位变得越来越重要。在各种 真实感强的三维游戏场景中加入逼真的语音和表情丰富的虚拟人模型，这将极 大地增加用户的真实感、亲切感、沉浸感。一个典型的例子是视频游戏最终 幻想在泼游戏中游戏人物的外形和表情运动都显得非差逼真，如图11 所示： 图1 1 最终幻想中的人物形象 2 电影领域：计算机生成的三维虚拟人物在影视中的应用越来越普遍，而 人脸表情模拟是影视处理中最繁琐的工作，能否得到真实感的表情是影响影视 制作的一个非常关键的因素。币如公众媒体所报道的，人脸表情模拟动画最显 著的应用是电影和录像的制作，它被广泛地用于电影特殊效果的制作，如表现 一些实际不可能发生的情况。因为不必实时实现，所以这个应用对技术的限制 最少。从玩具总动员、真实的谎言、夺面双雄到黑与白( m a g i c ) ) ， 直到近期的极地特快、功大熊猫等电影，制作中都无不体现了人脸造型 和表情模拟动画技术的魅力。 3 通信领域1 6 7 】：在过程通信过程中往往需要能够高效地传送和接收人脸表 情图像，如何在有限带宽下传送连续的人脸图像是远程通信过程的关键问题。 尽管网络带宽在不断增加，但高效的人脸图像压缩算法仍然十分重要。基于模 型的编码技术及其在人脸表情图像压缩中的应用是当前非常活跃的研究领域之 一。编码器对摄像机拍摄的实际人脸进行运动估计和脸部表情分析，得到表示 第一章绪论 人脸方向、形状、特征的若干人脸参数；解码器接受到这些人脸参数，就可以根 据三维人脸模型进行脸部表情模拟，得到具有真实感的虚拟人脸。这种只传输 人脸表情运动参数的方法与传统的压缩视频图像的方法相比，传输的数据量要 小得多，如图所示。远程会议和电视电话是人脸造型和表情模拟在通信领域的 两大主要应用。 编码鬻 蚋码墨 图1 2 视频会议中人脸表情的合成 监说嚣 ，、 乙 l 、一 4 新一代的人机交互界面：继图形用户界面和多媒体用户界面之后，人们 正在研究使用代理的人性化的新一代人机交互界面。人性化用户界面要求计算 机能够与用户交谈并且作出各种反应，使得用户感觉是在与活生生的入而不是 冷冰冰的计算机进行交流，这就需要具有真实感的人脸作为计算机的代理。人 们在网络虚拟社区、三维语音动画聊天室等进行交流时，由于设备条件的限制 和心理作用，往往不会直接使用自己的真实图像，而是使用虚拟人脸作为自己 在虚拟世界的化身，使用虚拟的表情模拟来反应自己的情感。鉴于此，新一代 的人机交互通过表情、语音等多个模式、多个通道进行自然的交互。人脸表情 模拟的研究就是为这种交互的情感分析和表达提供了可行性。实际上近年来的 研究工作已经在这方面取得了一定进展，例如t a l k i n gh e a d s , 9 】、多模式的信息 处理 1 0 , 1 1 1 以及情感计算方面旧的研究等等。 5 医疗领域【1 3 , 1 4 1 ：医疗行业中脸部表情模拟的主要应用是外科手术和心理 领域。参数化人脸模型可预演校正外科手术和牙科诊治的过程。不断发展的人 脸动画系统为心理学家进行人脸运动和表情的研究提供了依据。心理学家可以 用人脸运动的计算机模型来实现他们的研究。这比以前他们必须使用照片或随 3 基于三维网格模型的参数化人脸表情模拟方法研究 意地叫人刺激肌肉来做研究更方便。 1 2 国内外研究现状与难点 历史上，p a r k e 1 5 , 1 6 , 1 7 是第一个用计算机模拟生成人脸表情动画的人，他引 入了人脸参数模型，通过两种参数便可生成比较真实的人脸表情动画。自此以 后，经过3 0 多年的发展，很多学者在这个领域做出很多的研究工作，进行了许 多创造性的工作，同时研究重点也由最初研究如何使用计算机表示人脸的外观， 转移和集中到人脸生理规律的计算机模拟和真实感人脸建模和表情模拟上，提 出了许多不同的人脸表情动画生成方法。 当前，国外的人脸表情动画技术的研究已经达到了一个较高的水平，在人 脸表情动画的真实感方面已经有了一定的突破，同时也出现了几个比较成熟的 人脸表情动画系统。s z i j a r t o 1 酊，r o b e r t op o e k a j t l 9 1 和p e t e r 2 0 】各自提出了与 m p e g - 4 兼容的三维的人脸动画系统。该类系统使用使用低码率的m p e g 4 数 据流驱动人脸模型，生成具有一定真实感的人脸动画。 此外，微软亚洲研究院口1 1 、德国的m p ii n f o r m a t i k 研究型2 2 之3 】等多家研究 机构的人脸动画系统也取得了很好的效果。 人脸表情动画技术的研究在很长一段时间内主要集中在欧美地区的研究机 构，国内关于人脸动画的研究相对比较晚，最早的人脸动画研究始于9 0 年代末 1 2 4 j 匠年来，人脸动画也引起了国内研究者的极大兴趣，不同的研究机构在人脸 建模和动画方面作了许多研究工作，并实现了一些人脸建模和动画系统。典型 的人脸动画研究机构有哈尔滨工业大学仁”6 1 、中科院计算所四- 2 9 1 、浙江大学 3 0 - 3 刀、中国科技大学1 3 8 - 4 2 1 、北京工业大学h 3 4 6 1 和西安电子科技大学h 7 】等研究机 构。国内人脸动画主要采用经典的人脸动画方法，尤其是以肌肉模型驱动的人 脸动画方法比较多见，但在生成人脸动画的真实感上仍有待改进。 经过几十年的努力，虽然人脸动画方面的研究取得了很大进展，但每一种 人脸动画方法还或多或少地存在一些缺点和问题，需要进一步的研究和完善， 尤其是人脸建模的自动化、人脸模型的特定化、人脸动画的真实感等都是需要 深入研究和探讨的问题。具有真实感的人脸表情模拟至今仍然是一个极具挑战 性的课题，主要难点有以下三个方面： 4 第一章绪论 首先，人脸具有非常复杂的生理结构。人脸是一个复杂的层次结构，一般 可分为头骨、肌肉层、结缔组织层和外部皮肤层。人脸表情的产生是由脸部多 个肌肉群的协作变形引起的。产生人脸表情或动作涉及到的主要肌肉有口轮匝 肌、鼻肌、颧肌、眼轮匝肌、皱眉肌等。 其次，人脸的几何形状很复杂，而且每个人的几何形状均不相同。特别是 头发、嘴巴、耳朵、眼睛的几何很难用一个恰当的模型来表示，它们的几何数 据也很难获得。人脸运动时的几何变化则更难以模拟。人脸的运动包括刚性的 人脸姿态变化和非刚性的人脸器官和肌肉运动，这些由人脸的皮下肌肉和人脸 皮肤的动力学特性决定的运动很难用模型来表示。 最后，人脸的光照特性也很复杂。人脸的皮肤存在着皮下散射和折射，眼 睛的光照特性很难获得，人脸的复杂几何以及皱纹、胡子、眉毛和脸部细毛使 得人脸的光照特性非常复杂。目前还没有比较好的方法来直接测量人脸的光照 特性，现在的人脸模型和系统一般都不能很好地处理人脸的真实光照问题。 所以，人脸的计算机模拟长期以来一直是计算机图形学以及人机交互中非 常活跃的研究领域，逼真的人脸表情模拟是计算机图形学中最根本的问题之一， 同时也是最困难的问题之一，必须运用多学科的知识，包括人脸表情心理学方 面的特殊知识、人脸肌肉结构的解剖学知识、人脸组织结构学，变形物理的知 识、形状几何学，计算机视觉的知识和图形可视化的真实感方面的知识来攻克 这一难题。如何应用多种知识，在不借助昂贵的设备，尽可能地减少交互的前 提下，创建具有较强真实感的人脸表情模拟动画是本文研究的重点。 1 3 本文的组织结构 论文共分为七章，主要内容概要如下： 第一章介绍本文的研究背景和研究意义，概述了人脸表情模拟画的应用领 域以和国内外的研究进展及现状。同时提出本文的主要研究工作。 第二章综述人脸表情模拟动画的相关技术、方法、标准，重点介绍了常见 的人脸表情模拟技术和驱动方法，并对这些方法的优缺点做了比较。 第三章详细介绍在m p e g - 4 脸部动画参数的标准上，实现人脸表情动画的 相关技术并简要介绍基于人体解剖学原理的人脸动作编码系统( f a c s ) 。 5 基于三维网格模型的参数化人脸表情模拟方法研究 第四章详细阐述本文所使用的标准人脸模型：改进的c a n d i d e 参数化模型。 首先介绍c a n d i d e 模型的相关内容，然后根据其不足之处，提出我们的改进方 案，最后介绍分析提取c o h n k a n a d e 人脸表情数据库中的人脸表情运动参数的 过程。 第五章主要介绍文本驱动的表情模拟引擎系统的构建过程。通过对人脸表 情的分析研究建立表情语义系统，并根据语义系统来实现表情驱动引擎。 第六章应用软件工程的思想，对人脸表情模拟动画系统的需求与功能进行 了详细剖析，最后介绍了系统具体功能模块的实现，并给出相应的实验结果。 第七章对全文进行总结，并指出进一步需要开展的工作。 6 第= 章人脸表情运动模拟 第二章人脸表情运动模拟 人脸表情运动模拟技术研究的是如何在人脸模型上实时的模拟真实人脸的 各种表情和动作。由于人脸的生理结构非常复杂，从物理上或人脸生理解剖结 构上去真实的模拟人脸运动代价巨大，甚至难以实现。而且由于人们对人脸表 情和运动的敏感性，即使具有视觉效果真实感的人脸运动的模拟也很困难。因 此，一直以来人脸运动模拟技术都是人脸合成研究的重点和难点。本章里，我 们对现有的一些比较流行的人脸运动模拟方法作介绍。 2 1 基于几何的运动模拟 基于几何的人脸运动模拟方法主要采用一些几何的方法或算法来模拟人脸 的运动。这种方法纯粹从几何外形上模拟人脸的运动，而不考虑真实人脸运动 的物理或生理机理。通常这类方法的计算代价较低，运动模拟的实时性较好， 而且相对于基于物理的方法来说，其对人脸运动的操作较为直观。但是。这种 方法难以保证模拟人脸运动的合理性，常常会产生出一些不自然不合理的人脸 外形。基于几何的运动模拟方法有多种多样，下面介绍几种常见的方法。 211 关键帧插值方法 关键帧插值方法提供了一种比较直观的人脸表情模拟的方法。典型的做 法是使用某种插值函数，在给定时刻的两个关键帧之问进行平滑的插值，毗产 生两个关键帧之间连续的动画过程。图2 1 所示的即是一个关键帧插值的例子， 给定一个中性表情作为起始的关键帧，一个带笑容的表情作为终结关键帧。在 = 者之间可以进行插值，生成关键帧之间的过度表情。 营99 中住 正暴冀鼻帕 圈2 1 关键帧插值 7 基于三维网格模型的参数化人脸表情模拟方法研究 线性插值方法由于简单性，是最常使用的一种插值方法。而正弦、余弦插 值或者其他非线性插值方法可以给人脸动画的开始或末尾阶段增加一种加速运 动或减速运动的效果，也是常用的插值方法。当给定四个关键帧而不是两个关 键帧时，使用双线性的方法可以产生比线性插值更加丰富的人脸表情。将双线 性插值方法和图形变形方法综合使用，可以构造出大量的具有真实感的人脸表 情变化。 通过更改插值函数的参数，可以产生不同的插值结果。几何插值方法直接 修改人脸网格模型各个顶多的位置，而参数插值方法则是通过插值函数间接控 制顶点的移动。举例来说，s e r a 4 8 1 的方法就是通过控制弹性参数来控制线性插 值过程，从而生成具有真实感的人脸嘴部动画，而不是直接去改变模型顶点的 坐标位置。 虽然插值方法计算速度较快，而且很容易产生较为粗糙的人脸表情模拟动 画，但是其缺点是产生较丰富的人脸表情变化的能力很有限，难以生成相互独 立的人脸表情的组合。插值方法只有在用来从有限的几个关键帧中产生一小段 人脸表情模拟动画时是一种较好的选择。 2 1 2 参数化方法 人脸表情模拟动画的参数化方法【4 9 - 5 1 】克服了简单插值方法的部分局限性。 理想的参数化可以用一组相互独立的参数值的组合来描述任意人脸的任意表情 【5 2 1 。图2 所示的即是c o h e n 等人【5 0 1 的参数化人脸运动合成系统，图2 2 中右下 方就是控制人脸几何形状的各种参数的控件。与插值方法不同，参数化方法允 许显式的控制人脸几何形状的各种参数的控件。与插值方法不同，参数化方法 允许显式的控制特定人脸的几何外观。参数的组合可以产生丰富的人脸表情， 并且计算代价相对较低。就像w a t e r s 5 3 】指出的那样，没有一种系统的方法可以 用来断定两个相互冲突的参数在合成人脸表情的时候是否会影响到同一个顶 点，所以参数化方法在参数之间发生冲突的时候很可能产生出不合理不自然的 人脸表情。因此，参数化方法通常用来控制人脸特定区域的运动，这就会导致 区域间运动不一致，以至产生明显的区域边界。参数化方法的另外一个局限是 参数几何的选择依赖与人脸网格模型的拓扑结构，因此，不能设计出一种通用 8 第= 章人脸表情运动模拟 的参数化方法。另外，为了产生自然合理的人脸运动。需要对各参数值进行繁 琐的手工调整，而且即是手工调整之后，仍有可能产生不真实的人脸几何外观 或运动。参数化方法的局限性使得研究者需要开发出其他的方法来模拟人脸运 动，比如图像变形( i m a g em o r p h i n g ) 方法，基于伪肌肉的人脸动画方法以及 有限元方法等等。 图2 2 参数化人脸运动模拟系统 21 3 二维、三维变形( m o r p h i n g ) 方法 可以通过在两个目标表情( 二维的图像或三维的模型) 之间做变形( m o r p h i n g ) 来模拟人脸的运动。二维图像的变形( m o r p h i n g ) 包括了目标图像之间若干对应点 的几何变形( w m p ) 以及图像像素之m 的交叉融合( c r o s sd i s s o l v i n g ) 。通常图像之 间的对麻点是根据应用的需要而手工标定的。如果目标图像之问的对于点标定 得较为精确，则可以产生真实感较高的人脸动画。b e i e r 等人唧1 的工作就是在手 工标定好人脸对应特征( 用线段表示) 之后，在两幅维图像之问做变形 f m o r p h i n g ) 如图2 3 所示，其中的几何变形( w r a p ) i 西数分别对各人脸特征影响 区域( 各特征附近的图像区域) 做几何变形。实现过程中，这种方法需要大量的 手工交互工作来完成图像色彩的平衡、对应特征的选取、几何变形( w a r p ) 和交 叉融合参数的调整等等，而且目标图像之间视点成人脸特征的不同会使对应特 征的选取变得更加复杂。这种方法不能模拟头部的运动因为头部的运动会导 致人脸某些部分被遮挡或显现出来，而这是通过二维变形( m o r p l l i n 酚所无法合成 9 基于三维h 格模型的参数化人脸表情摸 f 【方法研究 出来的效果 图2 3 一维图像变彤( m o r p h i n g ) 为了克服二维变形( m o i p l i n 曲的局限性p i g h i n 等人在他们的工作中将二 维罔像变形( m o r p h i n g ) 和三维几何模型结合起来使用。他们用三维几何模型的关 键帧捅值来模拟人脸几何运动，而用雄图像变形( m o r p h i n 曲来产生相应的纹理 映射。这种方法克服了视点相关的局限性，但是人脸运动模拟仍然局限于在预 先定义的关键帧之间插值。 二维、三维变形方法能够产生非常逼真的人脸表情但是它们具有和插值 方法同样的局限性。目标表情之m 对应点的选取依赖千手工标定，并且和视点 相关，标定数据不能_ i j 于的人脸，产生的人脸动画的视点也被限制在与日标表 情视点大致相同的较小范围里。 2 14 自由变彩方法 自由变形方法( f f d ：f r e ef o r md e f o r m a t i o n ) 通过分布在三维立方体酬格p 的控制点来控制处于目标物体的形状m l 。目标物体处于所有控制点的凸包 r c o n v e xh u l l ) 当中，而控制点的凸包成为目标物体的控制盒。当控制盒被积压、 弯折或扭曲时，其中的目标物体就会发生变形( d e f o r m a t i o n ) 。图2 4 所示的即 为一个自由变形的例子，a 图显示的是发生自由变形前控制点和目标物体的分 布，b 幽则显示了左右控制点被拉伸之后目标物体发生的形变。 圄冒 n m 蹙* # n j t “ 图2 4 物体自由变形前后的对比图 第二章人脸表情运动模拟 自由变形的数字基础是伯恩斯坦( b e r n s t e i n ) 多项式，它可以用于多种面元的 变形，比如多边形曲面、二此曲面、参数曲面、隐式曲面甚至实心物体等。 扩展自由变形( e f f d ：e x t e n d e df r e ef o r md e f o r m a t i o n ) t 5 7 l 允许控制盒的形 状成圆柱结构，圆柱状的控制盒与立方体的控制盒相比，增加了目标物体变形 的灵活性。有理自由变形技术( r f f d ：r a t i o n a lf r e ef o r md e f o r m a t i o n ) 给每个控 制点一个权值，使得自由变形增加了一个自由度，这样通过改变控制点的权值 而不移动控制点的位置同样可以使目标物体发生变形。当所有控制点的权值都 为l 时，有利自由变形就退化为基本的自由变形。自由变形技术( 包括扩展自由 变形技术和有理自由变形技术) 的主要优点是目标物体的变形是通过控制盒间 接控制，而不需要对目标物体的表明进行直接的操作或描述【5 8 】。 k a l r a 等人【5 9 】在他们的工作中采用有理自由变形技术和基于区域控制的方 法来交互的模拟肌肉的可视化效果。为了模拟脸部肌肤在肌肉作用下的运动， 他们预先定义了肌肉动作与人脸表面区域的对应关系，然后给每个目标区域定 义一个平行六面体的控制盒。通过交互的移动控制点，或者改变控制点的权值， 可以模拟目标区域内人脸肌肤的拉伸、挤压、扩展、压缩等运动效果，而相邻 目标区域边界上的顶点的变形则通过线性插值来完成。由于整个变形的计算量 较大，计算时间较长，所以划分的人脸区域较大，并且给每个控制点设定一个 硬度系数用来控制区域的变形。移动一个控制点就相当于物理肌肉模型发生收 缩或舒张。与w a t e r s 模型【6 0 1 相比，操作控制点的位置和权值比模拟向量肌肉的 收缩和舒张更加直观和简单。然而，有理自由变形技术不能精确的模拟肌肉和 皮肤的运动，因此这种方法难以模拟人脸皮肤上的各种褶皱或凸起的效果。而 且由于有理自由变形是一种表面变形方法，没有考虑人脸运动中物理肌肉的体 积变化。 在上述工作中，人脸动画驱动使用的是由m a g n e n a t - t h a l m a n n 等人【6 l l 提出 的成为抽象肌肉行为( a m a ：a b s t r a c tm u s c l ea c t i o n ) 的方法。这种方法主要使用 在人脸特定的区域上。每个抽象肌肉行为过程( p r o c e d u r e ) 代表一条或一组相关 肌肉的运动。人脸外形通过一组抽象肌肉行为过程来合成。由于抽象肌肉行为 过程相互之间有依赖关系，所以最后形成的人脸形状还取决于这些抽象肌肉行 为过程作用在人脸模型上的先后顺序。 基于三维网格模型的参数化人脸表情模拟方法研究 2 2 基于物理的运动模拟 基于物理的运动模拟方法主要从物理原理的角度来模拟人脸的运动。通过 建立某种简化的人脸物理模型，用运动力学的方法模拟各种力作用在人脸物理 模型上时模型各个基元( e l e m e n t ) 的运动状况。当运动和力达到最终平衡时，即 可计算出人脸模型的外形。由于是从物理上模拟人脸的运动过程，所以这种方 法产生的人脸动画具有较好的真实感，不容易发生不合理的人脸运动，但是， 这种方法模拟的人脸运动的真实感取决于所采用的人脸物理模型，物理模型越 精确，越接近真实人脸的运动机理，模拟运动的真实感就越高。另外，与基于 几何的运动模拟方法相比较，这类方法的计算代价通常较大。 下面主要对弹性网格模型、有限元模型、物理肌肉模型和较为复杂的多层 物理模型作相应的介绍。 2 2 1 弹性网格模型 p l a t t 6 2 】提出了一种用抽象肌肉纤维的结构模拟人脸表情动画的方法。这种 方法用一些抽象的内部结构，如皮肤节点、肌肉节点、头骨节点等来模拟人脸 表情。p l a t 将这种呈网格状的节点模型称为弹性网格。为了模拟人脸模型的运 动，这种基于物理的方法用具有弹性的边( n n g ) 将各种三维节点连接起来，这些 弹性边称为抽象肌肉纤维当某条抽象肌肉纤维发生收缩时，相应的力就会作用 在肌肉节点上，力的方向与抽象肌肉纤维的方向相同，并指向头骨节点的方向。 然后这个力随即传播到与该肌肉节点相连的其它节点，然后逐渐向周围节点扩 散。通过这种方式，力可以从初始作用的节点传播到整个人脸上。这种弹性网 格模型的缺点是：1 模型没有厚度的概念，与真实的人脸组织有较大差距；2 模型 在模拟真实人脸的运动机理时也不够精确。 2 2 2 有限元模型 g u e n t e r 6 3 在其工作中使用一种三维的有限元人脸模型来模拟人脸的运动。 他采用3 5 x 3 3 节点规模的人脸网状模型，在带有浮点运算加速器的 s y m b o l i c s 3 6 7 0 机器上用了2 0 多分钟计算出四种人脸表情。 1 2 第二章人脸表情运动模拟 d e n g 和p i e p e r 【删在相关的工作中对动态人脸组织进行了建模。d e n g 在他 的博士论文中主要关注的是如何用三维的有限元方法来模拟整形手术后人脸组 织的生长和恢复情况。p i e p e r 的博士论文的主要工作也集中在模拟人脸整形手 术上。在其工作中，他在人脸整形手术中需要纵向切开的部分构造了一个全局 的硬度矩阵，用以计算纵向切开后在力的作用下人脸模型节点的位移。基于这 种有限元人脸模型的方法只需要给定不同的肌肉对人脸模型的作用力，就可以 计算出人脸在力的作用下发生的运动。 2 2 3 物理肌肉模型 基于物理的肌肉模型分为三种类型：质量弹性模型、向量肌肉模型和分层弹 性模型。质量弹性模型方法用有弹性的网格来传播肌肉的作用力，以模拟人脸 肌肤的变形向量肌肉模型定义肌肉运动的影响区域，通过肌肉作用在相应的影 响区域而产生的人脸变形来模拟人脸的运动分层弹性模型是质量弹性模型的 一种扩展形式，它将简单的质盆弹性模型扩展三层相互连接的网格层，从人脸 解剖结构上更真实的模拟人脸的运动。 弹性网格肌肉：p l a t 与b a d l e r 6 5 】是人脸结构和人脸肌肉模型研究的先行者。 通过弧形肌肉作用到弹性网格上的力可以产生具有真实感的人脸表情。 p l a t 接下来的工作【删提出了一种新的人脸棋型，在这种模型中，肌肉被表 示为与预先定义在人脸结构上的各区域相关的功能块p l a t 的模型由3 8 个区域 肌肉功能块组成，这些肌肉功能块由弹性网格相连接。另外，系统还定义了肌 肉运动单位，用以描述肌肉作用力的大小。当肌肉对弹性网格模型发生力的作 用时，弹性网格会发生相应的形变。 w a t e r s 6 0 , 6 7 提出了一种非常成功的向量肌肉模型一用变形场来对作用在人 脸肌肤上的肌肉运动进行建棋。一条肌肉的定义包括肌肉的向量场方向，肌肉 原点和肌肉附着点。图2 5 所示的即是w a t e r s 肌肉模型，左边显示的是单条肌 肉的模型，右边显示的则是整个人脸模型中肌肉的分布情况。 1 3 基于三维罔格模型的参数化人脸表情模拟方法研究 图2 5w a t e r s 肌肉模型 肌肉的向量场由余弦函数和衰减系数定义，因此如果把它看做一个高度场 的话，整个向量场呈圆锥状对于嘴部括约肌，w a t e r s 使用简化的参数化椭圆体 来对其进行建模，这样的括约肌围绕椭圆体的中心收缩或舒张，主要用柬控制 人脸嘴部区域的运动。这些基于向量的线性或轮匝肌被用来产生人脸各种情感 的表情，生气、恐俱、惊讶、厌恶、喜悦和悲伤等等。 要将各向量肌肉按照人脸解剖结构的正确位置放置在人脸模型中是一件困 难的任务，直到现在也仍然没有一种方法可以在一般人脸模型甚至特定人脸模 魁中自动放置这些肌肉。肌肉的放置需要手工尝试和修正，而且没有办法来判 断某条肌肉的放置位置是否是有效位置或者是最佳位罱。如果肌肉放置位置不 正确，会产生不合理不自然的人脸运动。 虽然有述的缺陷向量肌肉模型仍然得到了广泛的运用，因为这种模型 的表示方法比较简单，而且不依赖于特定的人脸网格模型结构。电影t i n1 耐 中b i l l y 的脸部动i i i i i 就是用这种肌肉模型束实现的，一共用到了4 7 条w a t e r s 向 量肌肉。 2 24 分层物理模型 t e r z o p o u l o s 与w a t e r s 2 2 媲出了一种比较精细的分层物理模型，按照人脸动 力学原理对人脸细微的解剖结构进行建模。这种模型分为三层，分别对应人脸 的皮肤、脂肪组织和附着在头骨上的肌肉层，各层中的网格顶点用有弹性的弹 簧结构相连。肌肉作用力通过网格模型传播，从而产生相应的人脸运动。这种 模型达到了很高的真实感，但是，用三维格点来模拟体积变化的计算量很大。 第= 章人脸表情运动模拟 w u 删提出的简化的网格系统可以减少计算时问，同时保持了模拟运动的真实 感。 l e o 6 9 l 在前面工作的基础上提出了一种基于物理的合成皮肤和肌肉层的多 层人脸模型。图2 6 所示的即是这种模型的示意图。如图2 6 岸边所示，这种人 脆模型由三部分组成：具有非线性变形性质的生物组织层，与皮肤层紧密相连的 肌肉层以及肌肉层下的具有非穿透性质的头骨层。人脸组织由若干呈三棱柱基 元构成，分为表皮、韧带面和头骨面等若干层。表皮和韧带面之间由一些弹性 边相连接，用束模拟皮肤的弹性。叫样，韧带面与头骨面之间也用弹性边连接， 以模拟肌肉的作用。这种模型考虑了人脸运动中多种力的影响，包括皮肤组织 的弹力，线性和分段线性的肌肉作用力，人脸组织体积变化时产生的反作用力， 以及头骨对人脸变形产生的反作用力等等。图2 6 右边所示的是部分皮肤在多 种力的作用下发生的变形。 上述的分层物理模型在模拟人脸