（计算机软件与理论专业论文）虚拟汉语播音员口型动画及其场景整合的研究.pdf

摘要 摘要 随着计算机技术的发展和日趋完善，人们对人机交互的要求逐步提高， 越来越希望能以自然的方式来与计算机沟通。因此，在新一代信息系统中， 引入虚拟秘书，虚拟播音员或虚拟主持人等虚拟人物形象是必须的。本课 题对给定的特定的人物形象虚拟汉语播音员进行研究。 对虚拟汉语播音员人物进行形体建模；在研究人脸变形技术的基础上 提出了改进的d i r i c h l e t 自由变形算法；研究人物的汉语发音口型，创建了 人物基本口型集；利用e a i 技术，结合创建的口型集，实现人物的口型动 画；完成人物与场景的整合；研究实现人物语音与动画的同步。根据上述 内容展开如下几个方面的工作。 首先，人体建模。根据人体建模中使用的国际标准，实现了对虚拟人 物的人体建模，并对人物形象建模层次给出详细的说明，同时给出人体的 层次框架图。 其次，提出一种改进的人脸变形技术。通过对一种现有的d i r i c h i e t 自 由变形算法进行分析，提出了在此基础上的改良算法，最后使用改良后的 算法对人物面部进行合理变形。 然后，创建汉语人物的发音口型集，并实现人物的口型动画。根据汉 语的发音变化，总结规律，生成基本口型集。采用v r m l 扩展的e a i 技 术，结合关键帧思想，生成口型动画。 接着，对给定的人物设定特有的人物环境，增强三维立体感。 最后，实现语音与动画的同步。研究v r m l 中的s o u n d 声音节点技术 以及t t s ( 文- 语转换) 技术，并将两种技术在虚拟人物形象设计的不同部分 中应用实现。 关键词v r m ld i r i c h l e t 自由变形算法；j a v a ；唇动；基本口型集 燕山大学工学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p i n ga n dp e r f e c t i n go fc o m p u t e rt e c h n o l o g yd a yb yd a y , p e o p l ep u tf o r w a r dm o r er e q u e s t so nh u m a n - m a c h i n ei n t e r a c t i v e ，t h e yw a n tt o c o m m u n i c a t ew i t hc o m p u t e r su s i n gn a t u r a lm e t h o d t h u s ，i ti sn e c e s s a r yt o i n t r o d u c ev i r t u a ls e c r e t a r y , v i r t u a la n n o u n c e ra n dv i r t u a lc o m p e r et ot h en e w i n f o r m a t i o ns y s t e m s ag i v e nc h a r a c t e r , v i s u a lc h i n e s ea n n o u n c e r , w a ss t u d i e d i nt h i sp a p e r i tm a d eav i r t u a lh u m a nb o d yf o rt h ev i r t u a lc h i n e s ea n n o u n c e r ，a n d b r o u g h tf o r w a r da ni m p r o v e dd i r i c h l e tf r e e f o r md e f o r m a t i o na r i t h m e t i c b a s e dg d - f a c ed e f o r m a t i o nt e c h n i q u e j 矗s t u d i e dt h ec b 2 n e s e 黝。罐j c es h a p e a n dc r e a t e db a s i cl i p - s h a p es e t u s i n ge a ia n dc o m b i n i n gt h el i p s h a p es e t ，i t r e a l i z e dt h el i p - s h a p ea n i m a t i o n i tf u l f i l l e dc o n f o r m i t yo fh u m a na n ds c e n e ， a n ds t u d i e dt h es y n c h r o n i z a t i o nb e t w e e ns o u n da n da n i m a t i o n a c o r r d i n gt o t h e s ec o n t e n t sa b o v e ，i td i ds e r v e dw o r k sa sf o l l o w f i r s t l y , c r e a t eh u m a nb o d ym o d e l i n g a c c o r d i n gt o t h ei n t e r n a t i o n a l s t a n d a r do fc h a r a c t e rm o d e l i n g ，t h ec h a r a c t e rm o d e l i n go fv i r t u a lc h i n e s e a n n o u n c e ri sb r o u g h to u t 1 1 1 i sa r t i c l ee x p l a i n e dt h em o d e l i n gl e v e li nd e t m la n d g a v et h eh u m a nb o d yl e v e lf r a m ef i g u r es i m u l t a n e i t y s e c o n d l y , b r i n go u ta ni m p r o v e df a c ed e f o r m a t i o nt e c h n i q u e b ya n a l y z - i n ga ne x i s t i n ga r i t h m e t i c ，d i r i c h l e tf r e e f o r md e f o r m a t i o n ，a ni m p r o v e d a r i t h m e t i cw a sb r o u g h tf o r w a r d a tl a s t ，u s i n gt h i si m p r o v e dm s t h m e t i c d e f o r m e dt h eh u m a nf a c em f m n a l l y t h i r d l y , c r e a t ec h i n e s el i p s h a p es e ta n da c t u a l i z eh u m a na n i m a t i o n a c o r r d i n gt oc h i n e s ep r o n o u n c e ，s u m m a r i z e di t sr u l e ，a n dc r e a t e dc h i n e s e b a s i cl i p s h a p es e t u s i n ge a it e c h n i q u e ，t h ee x p a n d e dt e c h n i q u eo fv r m l ， a n dc o m b i n i n gk e yf r a m et h o u g h t ，c r e a t e dl i p s h a p ea n i m a t i o n h a b s t r a c t f o u r t h l y , d e s i g np e c u l i a re n v i r o n m e n tf o rt h eg i v e nh u m a na n n o u n c e r , i n o r d e rt oe n h a n t et h i r dd i m e n s i o n l a s t l y , t h es o u n dn o d ei nv r m la n dt e x t t o - s p e e c ht e c h n i q u e ，w e r e s t u d i e di no r d e rt oc a r r y i n go u ts y n c h r o n i z a t i o no fa n i m a t i o na n ds o u n d ，a n d w e r eu s e di nd i f f e r e n tp a r to f v i r t u a lh u m a n d e s i g n k e yw o r d sv r m l ；d f f d ；j a v a ；l i p - m o t i o n ；b a s i cl i ps h a p es e t i i i 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文虚拟汉语播音员口型动 画及其场景整合的研究，是本人在导师指导下，在燕山大学攻读硕士学位 期间独立进行研究工作所取得的成果。据本人所知，论文中除己注明部分 外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重要贡 献的个人和集体，均己在文中以明确方式注明。本声明的法律结果将完全 由本人承担。 作者签字裂、藕热 日期：硼年了月心日 燕山大学硕士学位论文使用授权书 虚拟汉语播音员口型动画及其场景整合的研究系本人在燕山大学 攻读硕士学位期问在导师指导下完成的硕士学位论文。本论文的研究成果 归燕山大学所有，本人如需发表将署名燕山大学为第一完成单位及相关人 员。本人完全了解燕山大学关于保存、使用学位论文的规定，同意学校保 留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借阅。 本人授权燕山大学，可以采用影印、缩印或其他复制手段保存论文，可以 公布论文的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密d ( 请在以上相应方框内打“4 ”) 作者签名：烈，底蕊 日期：砂年j 月日 导师签名： 多各冶日期：劬锣月佣 第1 章绪论 第1 章绪论 随着科学技术的不断进步，人们对生活品质的要求也越来越高。在过 去，人们对能在电话中听到亲人的声音，操纵键盘和鼠标来控制电脑，或 者在网络里通过文字和朋友进行聊天也许就己经很知足；但在如今，人们 已经远远不满足于此，“面对面”将成为未来人们交流的基本要求。人们想 要的是可视电话，人性化的电脑以及图像的网络聊天。为了达到这种要求， 科学家和工程师们在进行着各种努力，而对关于人脸的计算机动画的研究 则是这些努力中的一个。 1 1 研究意义 人脸是表达人脸情感的窗口。从人脸中可以鉴别出个人的身份、推断 出人的个性和情绪、判别出该人属于什么种族等等。人脸还是人体上最具 表达力的一部分，从人脸的微妙变化，可以得到某种领悟。具体的说，人 脸表情能提供如下信息。 ( 1 ) 情感状态包括诸如：害怕、生气、快乐、惊奇、难过、厌恶等情 绪。以及更多持久的心境，如：兴高采烈、烦躁不安、急躁易怒、悲痛欲 绝等。 ( 2 ) 气质个性包括如：敌意或友善、是否善于交际、是否胆小羞怯。 ( 3 ) 诚实坦率包括泄漏内心世界和说谎时给出的一些暗示。 ( 4 ) 精神病理学不仅包括相应于沮丧、癫狂、精神分裂症以及另外一 些不太严重的疾病的诊断信息，而且还包括对治疗的监测信息。 人脸动画系统可以提供友好的人机交互方式，可以提高人和机器交流 的效率，对实现机器的智能化有着重要的意义。近年来，随着网络技术的 发展和推广，通过网络进行交流受到人们的欢迎，人脸动画技术可以为这 种通信方式提供更丰富，更直接的面部信息。这种可视化的方式让使用者 燕山大学工学硕士学位论文 有近距离交流的感觉。 所以，长期以来，人们对人脸的复制和综合抱有浓厚的兴趣。早期， 就有黏土雕塑，手工绘画等方法用于这个目的。随着技术的发展，出现了 照片和电影，但其复制机理只限于二维的产品。现在，不管是二维还是三 维，人们都能更加精确和富有创造性地在计算机上进行人脸的复制和综合。 人脸作为人体极其复杂的一部分，在造型和动画时，要给予特殊的处理。 本文就是对此展开的研究。 1 2 人脸动画的难点 人脸生理结构复杂、人脸表情呈现多样性，从而给计算机图形世界带 来了极大的挑战。脸部表情动画涉及脸部多个器官的协调运动，有着它自 身的特殊性。首先，脸的造型要求高度逼真。其次，在表达情绪时，要注 意脸部特征的优先顺序。眼睛、嘴巴、眉毛、眼睑具有高优先级，而下巴、 鼻子、舌头、耳朵、头发的优先级较低。另外，尽管头部运动的幅度很小， 它亦是生动的脸部表情的一个重要特征。面对如此众多器官的协调运动， 有必要发展专门的表情动画技术来解决这一问题。 而且，与生俱来人们早已见惯了人脸，能精细地识别和区分人脸各种 不同的微妙表情，这就加深了人脸造型和综合的难度，必须运用多学科的 知识，包括人脸表情心理学方面的特殊知识、人脸肌肉结构的解剖学知识、 人脸组织结构学、变形物理的知识、形状几何学、计算机视觉的知识和图 形可视化的真实感方面的知识来攻克这一难题。如何应用多种知识，在不 借助昂贵的设备，尽可能地减少交互的前提下，创建具有真实感的人脸造 型和脸部动画是本文研究的重点。 1 3 国内外研究现状 由于实现三维人脸动画的难点主要有两个：人脸建模和人脸动画。这 两方面也就成为了人们一直热衷的话题。从1 9 7 4 年p a r k e 首先用计算机生 2 第1 章绪论 成人脸图像以来”，2 0 多年间计算机图形工作者对这两个方面的研究取得 了许多重要的研究成果。近几年里，l e e 等人用3 d 扫描器来创建人脸模型， 并提出了一种处理和改进扫描结果的方法。他们的人脸动画采用基于物理 的肌肉模型2 1 。t a k i m o t o 用两张人脸照片来建立人脸模型。但两张照片必 须保证是从正、侧两个互相垂直的方向拍摄。这种方法的优点是简单易行， 但是模型误差偏大 3 1 。p i g h i n 等人开发了一套系统，通过多幅照片来进行 人脸三维重构，最后可以生成具有相当真实感的三维人脸模型和人脸表情， 但是需要大量的手工工作1 4 。微软研究院的z h e n g y o uz h a n g 等人用人脸视 频作为输入，用户只要在其中的两帧中各标出5 个特征点，就可以自动生 成三维人脸模型，同时生成人脸动画【5 】。r m k o c h 等人在w a t e r s 肌肉模 型的基础上采用了有限元的方法来产生人脸表情。他们的这种方法相对于 质点肌肉模型更加精确，但是计算量大，实时性差，目前已经应用与医学 研究【“。b v o l k e r 等人提出了一种新的基于统计的人脸建模方式。他们建 立了一个三维人脸库，对于一张正面人脸照片，用库中人脸模型线性组合 的正面投影去逼近这张照片。最后把组合的人脸模型认为是照片中人脸的 模型。这种建模方法的优点是输入简单，只需要一张正面照片，而且合成 的人脸模型不会有奇异的失真。缺点是建人脸库比较麻烦，而且目前人脸 只能局限于同一个年龄层的人 7 】。 国内近几年在人脸动画方面也有很大的发展。哈尔滨工业大学的晏洁 教授在人脸建模、人脸表情、唇动、纹理映射等方面做出了一些成绩，提 出了一种人脸模型个性化的方法和多方向纹理映射的算法 8 】。北京工业大 学的尹宝才等人研究人脸建模和人脸纹理映射的方法 9 l 。 在口型合成方面，k w a t e r s 等人做了一些有关英语发音因素与口型之 间的对应关系方面的研究 1 0 1 ，j u s t i n e 和他的同事们设计并实现了一个系 统。该系统以一个句子作为输入，根据该句子所表达的内容进行表情、头 势、体式的变化( l l 如扬眉、摇头、耸肩等) ，但该系统没有对问题作更为 细致的切分，也没有将词义和词发音时的口型对应到虚拟人面部表情和唇 动变化中去。 在国内，有哈尔滨工业大学的多功能感知机系统中有面部表情及口型 燕山大学工学硕士学位论文 合成方面的研究，但其汉语口型在动画显示中由于显示速度的问题，每个 汉字只显示一到两个口型1 1 。 1 4 研究人脸造型和动画的应用领域 3 0 年来，人脸的造型和动画作为计算机图形学的一个独特分支越来越 受到人们的重视。受电影和录像中高频率地出现虚拟人物，廉价的桌面处 理能力，和人机交互中需要一种全新的沉浸感的影响，人脸造型和动画技 术的研究成为近年来的一个新热点。在大量富有想象力的应用中都能找到 人脸造型和动画技术的身影。如：复杂的人机交互界面、交互游戏、多媒 体标题中、虚拟现实的远程体验还有大量的动画产品中。人脸动画的技术 己从传统的关键帧技术发展到如今的图像变形技术、基于录像的动画、基 于几何和物理的动画、行为动画等。辅助的技术还包括说话的综合和人工 智能。一方面是技术的突飞猛进，另一方面是人们对计算机人脸造型和脸 部动画从质到量上的要求越加苛刻。人们不再满足于原先毫无修饰的、僵 硬的、木偶般的人脸和人脸动画。高质量，高效率的人脸造型和动画技术 正有待于人们进一步去探索。 人脸动画系统具有广泛的应用。有些是纯娱乐的，例如电影的制作； 有些是使人们的生活变得更便利；有些则是用于特殊的目的，比如电视电 话技术。动画系统的选择主要依赖于所要开发的应用。它的覆盖面很广， 以下对几个领域作简要的介绍。 f 1 ) 电影领域正如公众媒体所报道的，人脸动画最显著的应用是电影 和录像的制作，动画被广泛地用于电影特殊效果的制作。例如：表现一些 实际不可能发生的情况。因为不必实时实现，所以这个应用对技术的限制 最少。从玩具总动员、真实的谎言、夺面双雄到黑与白、( ( m a g i c ) ) ， 直到近期的极地特快、最终幻想等电影，制作中都无不体现了人脸 造型和动画技术的魅力。动画师总在不断寻求更具发展潜力的动画系统， 并希望利用最新的学术研究成果来修改和扩展他们当前的系统。一个实例 就是将人脸的参数化模型和解剖模型用于电影的制作。r e e v e s 还曾使用层 4 第1 章绪论 次定义的骨架和基于肌肉的人脸模型用于电影动画的制作。 ( 2 1 用户界面现在有很多具有感染力的用户界面，就是充分的利用了 人脸动画的魅力。到目前为止，很难找到一个计算机用户对他所使用的用 户界面是打满分的。现有的人机界面存在的一个普遍问题，就是专业性太 强，往往需要花费很长的时间才能学会使用一个新的系统。假如，能给用 户提供一个熟悉的界面，比如说以一种人脸的形式出现，而不是面对单调 的键盘，那么将创造出多么令人舒畅的氛围! w e l s h ，m o r i s h i m a 和h a r a s h i m a 等人将发展更好的用户界面作为他们研究脸部动画的一个主要而又长期的 目标。 ( 3 ) 医疗领域医疗中脸部动画的主要应用是外科手术和心理领域。 p a r k 的预测参数化人脸模型可预演校正外科手术和牙科诊治的过程。不断 发展的人脸动画系统为心理学家进行人脸运动和表情的研究提供了依据。 1 9 8 2 年以来，许多脸部动画系统在构造人脸模型时使用了e k m a n 和f r i e s e n 的脸部运动编码系统作为指导。心理学家可以用人脸运动的计算机模型来 实现他们的研究。这比以前他们必须使用照片或随意地叫人刺激肌肉来做 研究更方便。 ( 4 ) 教学领域使用脸部动画的另一个应用是作为教学的工具。教人正 常发音时一项艰辛而单调的工作，而当学生在说话和听力方面有障碍时， 更是如此。相反的，如果学生呆在自己想呆的地方，跟计算机模拟的老师 学习，而不必一对地教学，那将减少大量的工作。 另外，将一个学习的过程做成游戏的形式，学生的积极性将大大改变， 学习过程充满了乐趣，利用计算机，老师可以省去大量重复性的工作，并 且一次教学能容纳更多的学生。更重要的是，学生可以随时随地的学习。 ( 5 ) 刑事鉴别领域身份鉴别方法的不断提高有助于刑事案件的侦破， p a r k e 给出了个身份鉴别系统。其中，通过操作三维人脸模型适配到目 击者的描述。这样做的主要优点是三维图形给出犯罪分子更精确的描述， 特别是当目击者没有看到嫌疑犯的正面时，该系统的价值更能得到体现。 该系统的可行性有待于科学家们进一步的验证。另一个建立在新加坡国立 大学的身份鉴别系统( s u b r a h m a n y a m ) ，着眼与从入脸鉴别罪犯年龄。 燕山大学工学硕士学位论文 f 6 ) 通信领域使用人脸动画在工业上的一个最大应用当属传送人脸 图像时减少带宽。英国广播公司，d e c 和s o n y 是从事该行业的几个大公 司。通过传递相应运动的参数数据而不是整个图像，可以减少大量的传输 数据。“低带宽远程会议只需要在发送端从实况录像实时提取人脸控制 参数，在接受端，恢复出人脸运动。”因此，有必要进一步发展人脸运动分 析和综合技术，使通信事业充分利用脸部动画技术的优点。远程会议和电 视电话使人脸造型和动画在通信领域的两大主要应用。 1 5 本文的工作及其组织结构 本课题针对特定的人物形象虚拟汉语播音员而设计，完成人物的 建模及面部动画、场景建模及动画设计以及声音和动画的同步等工作。完 成后其主要的功能有：利用s a i ( s c r i p ta p p l i c t a t i o ni n t e r f a c e ) 技术，在虚拟 浏览器中，能够自由选择是否观看某段新闻的详细内容；利用e a i ( e x t e m a l a u t h o r i n gi m e r f a c e ) 技术，在a p p l e t 控制面板中，能够根据不同的操作展示 人物不同的动画，并能显示播音员播报一段新闻的动画；利用t t s ( t e x t t o s p e e c h ) 擎技术，在文本输入区内，自由输入文字并将该文字转换成语言 并由新闻播报员播报出来。 本文的组织结构如下。 第2 章主要介绍了在建立人物模型、完成与虚拟环境交互式操作以及 形成人物动画时所用到的技术。在人脸生成技术方面，在前人已有研究的 基础上给出一种改良后的算法，使得生成的人脸模型更加逼近真实、减少 人脸变形时产生的畸变。 第3 章根据前一章介绍的技术对虚拟汉语播音员人物形象进行虚拟人 物形象建模，人体的附着物的建模，并从分析汉语本身特点出发，总结出 汉语发音的特点，归纳形成了汉语基本口型集和复韵母集，并以此为基础 形成人物口型动画。 第4 章完成人物所处的虚拟环境的设计方法。给出了基本设备的设计 方法以及播音室中所用道具的设计方法。并利用e a i 技术研究实现虚拟环 6 第1 章绪论 境与用户间交互的控制界面设计。 第5 章介绍了语音与动画的同步问题，交互式的语音与动画的同步问 题，以及人物动画与现场环境的整合问题。并在相应的问题中介绍了采用 的相关技术。 最后总结本文的工作并提出了下一步设想。 7 燕山大学工学硕士学位论文 第2 章技术要点 本章将研究虚拟汉语播音员的技术做统一的整理和介绍。由静态人物 建模的研究开始，论述人物建模标准及规范、人脸生成技术的研究、交互 式虚拟技术的应用与研究及人脸动画技术，并针对各种技术进行详细阐述。 2 1人物建模方法的研究 为了便于不同情况下制作的虚拟人之间实现交互与共享，目前两个重 要的国际标准v r m l ( v i r t u a lr e a l i t ym o d e l i n gl a n g u a g e ) 和m p e g 一4 ( m o v i n g p i c t u r ee x p e r tg r o u p ) 都开始支持虚拟人的表示。 2 1 1m p e g 4 标准 m p e g 4 标准从第二个版本开始提供对b o d yo b j e c t 的支持。制定m p e g 标准的国际组织全称为：国际标准化组织国际电工委员会第一联合技术 组第2 9 分委会第1 1 工作组，简称m p e g 专家组，对人体的定义是这样的“人 体模型是虚拟人或类似角色的表示。可以描述人体运动，实现非语言交流， 并实现一般入体行为1 2 , 1 3 。”m p e gb o d y 由一组节点组成，其顶层节点b o d y n o d e 至少包括两个子节点：表示人体运动的参数b a p ( b o d ya n i m a t i o n p a r a m e t e r s ) 和表示人体模型定义的参数b d p ( b o d yd e f i n i t i o np a r a m e t e r s ) ， 人体运动参数b a p ，包含2 9 6 个描述虚拟人骨架拓扑结构的参数，这些参数 可以应用于与m p e g 4 兼容的虚拟人体，并生成相同的虚拟人运动【1 4 , 1 5 】。 如图2 1 1 ”l 所示。 2 1 2v r m l 标准 v r m l 是一种虚拟现实建模语言，它主要是用于在i n t e r n e t 上表示并且 传递三维虚拟场景以及虚拟物体。虚拟人是虚拟现实的类主要对象，为了 8 第2 章技术要点 支持不同环境下创建的虚拟人之间的相互操作与共享，v 州l 中设有一个 专门的子标准用以描述虚拟人的模型，称为h a n i m 标准，该标准完全遵循 v r m l 的语法。 图2 - 1m p e g - 4 中虚拟人表不 f i g 2 - 1e x p r e s s i o no f v i r t u a lh u m a ni nm p e g - 4 v r m l 标准用三类节点表示一个虚拟人体模型，分别是：人体重心节 点、人体关节节点、人体骨骼段节点。并把整个人体分成1 个人体重心、7 7 个关节和4 7 个骨骼段。另外，还使用v r m l 中的几何模型表示方法定义了 每个肢体( 即骨骼段) 的几何模型。每个骨骼段的位置都附在其所在的关节 上，而每个几何模型依附子相应的骨骼段，这些元素( 在v r m l 中称这些元 素为节点n o d e ) 组_ 成一个完整的虚拟人模型。如图2 2 1 6 所示。 图2 2v r m l 中虚拟人的表示 f i g 2 - 2e x p r e s s i o no f v i r t u a lh u m a ni nv r m l 9 燕山大学工学硕士学位论文 虚拟人的骨骼段之间由关节相联，人体重心、每个骨骼段以及关节的 运动会影响到与它相联的其他节点的状态。例如，人体重心的运动影响全 身关节的运动，而肩关节的运动将影响整个手臂关节的运动。 2 1 _ 3h a n i m 规范 h a n i m 规范，制订了在v r m l9 7 中使用人性化的方法。这个标准允 许使用创作工具人性化地建立从一个矢量到另一个矢量的动画。h a n i m 可以使用关键帧( k e y f r a m i n g ) 或反向动力学i k ( i n v e r s ek i n e m a t i c s ) 或其他 技术来执行动耐1 7 1 9 1 。 h - a n i t a 规范抽象出“关节”和“段”的概念，依次包容和组织人体 的各个部分【2 。其主要内容如下。 ( 1 ) 段( s e g m e n t ) 的定义一个段其实可以看作是一个组( g r o u p ) ，即多 个造型的集合扩展形式。段可以拥有个或者多个的造型，这个造型是人 体的主要表现形式。一旦人体模型构建完毕，在虚拟环境中可以看到的造 型都是段。 ( 2 ) 关节( j o i n t ) 的定义关节其实也可以看作是一个组，它在虚拟环境 中是不可见的。它可以包容其他关节( j o i n t s ) 和一个或多个段。关节是为了 对段和造型进行层次管理而设置的，在很大程度上利于人体的组织和动画 的表现。 ( 3 ) 定位点( s i t e ) 的定义段可以拥有一个或者多个定位点，这些定位点 用以指引相应段的定位信息。定位点有三个用途：一是可以作为反向运动 系统的中止受动器( e n d - e f f e c t o r ) ，比如说，人的肢体运动一旦到达某个极 限的位置时就应该停止转动：二是定义人的附加物体，比如说，珠宝和衣 服的位置信息等；三是定义相对于段的视点位置信息，比如说，摄像机的 位置信息等。 ( 4 ) 置换器节点( d i s p l a c e e r ) 的定义置换器主要有三个用途。其中，最 基本的用法是，标记出在特定的段上的特殊顶点，以便让应用程序可以找 到这些特殊点。假如，要知道在头部的哪些顶点和左眉毛的位置匹配，就 可以创造一个名字为“1 - e y e b r o w f e a t u r e ”的置换器；第二个用法是，可以 第2 章技术要点 使这些顶点的坐标值更新为所需要的值，从而画出睫毛的运动动画；第三 个用法是，对创建整个段节点的顶点进行坐标更新，从而可以创建脸部表 情的动画。 h a n i m 的设计目标包括以下几个方面。 ( 1 ) 兼容性人性化将可以在任何v r m l9 7 兼容的浏览器中工作。 ( 2 ) 适应性不假定将使用人性化应用程序的类型。 ( 3 ) 简单性规格可以在将来扩展。 h a n i m 很多设计都是为了达到以上三个目标。兼容性需要避免的是 使用脚本，因为v r m l9 7 规格不考虑再执行特别的脚本。适应性需要保 持的是规格的“底层”性，这也就是说，要能直接存取人性化身体关节的 每个身体部分的顶点。简单性需要关注的是规格的人性化，而不是去处理 每个关节的属性。 h a n i m 标准通过j o i n t 节点将整个实体组织成一个分层的结构。实体 是由一定数量的段构成的，比如前臂、手或脚，这些段是由关节( j o i n t s ) 连 接在一起的，比如肘、手腕或踝关节。除开根节点h u m a n o i d r o o t 外，每 个j o i n t 节点是另外一个j o i n t 节点的子节点。作为j o i n t 原型的典型实现， 可以是一个t r a n s l a t i o n 节点，这样，可以对j o i n t 进行平移动和转动等操 作从而改变作为身体段的s e g m e n t 节点以及该j o i n t 节点的j o i n t 子节点， 从而实现人物动画。 另外，在这些节点中可以包含丰富的信息，比如身体段的质量，包围 整个身体段或者人物的长方体尺寸，关节的运动范围等。s e g m e n t 节点可 以包含s i t e 和d i s p l a c e r 节点，s i t e 节点用来定义相对于该s e g m e n t 的位置， 可用于往身体段上附着衣服以及定义反向动力学方法的终端效应器等， d i s p l a c e r 节点用于定义一组具有特殊特征或者配置的顶点，可以用于肌肉 变形动画等。标准还规定了建立人物模型必须遵循的规则，如人物必须面 对正z 方向，正上方是正y 方向，身体左侧是正x 方向，原点在两脚中 间位置等。 这样h a n i m 可以综合使用关键帧技术、反向动力学技术、运动捕捉 技术等产生动画。就像3 d sm a x 里的c h a r a c t e rs t u d i o ，当角色移动时， 1 1 燕山大学工学硕士学位论文 你不需要调节每个点。你知道“如果膀子这样动，腿就一定会那样动”， 它们之间是相联系的，所以可以自动演算出模型其他部分的变形。因为移 动一组而不是移动一个个单独的点，角色动画将会更流畅，文件大小也会 大大地减小，特别是对于些复杂的角色。h a n i m 被称为人性化动画( h u m a n a n i m a t i o n ) ，但并不限制只用于人物动画，甚至可以用h a r l i m 来做个5 3 条腿的虫子。 本课题以研究人物面部的口型及表情变化为主，基本上不涉及到人物 的运动，那么在人体建模时，为什么要使用复杂的h a n i m 标准呢? 原因 在于考虑到课题的可扩展性，利用人性化标准建立起来的人物符合人体运 动，充分的体现了人物各功能部分之间的关联，是个有机的整体。用h a n i m 标准建立的人物，若想要在今后的工作中实现人物肢体的运动，只需编写 部分运动代码就可以轻松的完成人物运动动画，无需否决掉先前的人物建 模，从头开始。 2 2 人脸生成技术的研究 在建立最初的原始人脸模型时，使用p o s e r 软件中成型的人物模型。 但是，这时所建立的人脸模型是一个中性表情的人脸，在此基础上，必须 根据需要，调整人脸中的部分数据生成其他的各种人脸模型，如微笑人脸 模型、愤怒人脸模型等。 2 2 1引进m p e g 4 中人脸建模的思想 m p e g - 4 出现之前，在人脸建模与动画方面并没有公认的国际标准。 m p e g 4 是世界上第一个基于对象的多媒体压缩标准，该标准可以对各种 自然的或者合成的音频可视对象a v o ( a u d i o v i s u a lo b j e c t s ) 分别进行独立 编码，将它们有机地集成在同一个场景中1 2 m 5 1 。考虑到人脸动画的重要性， m p e g 一4 定义了专门的人脸动画工具。m p e g 4 使用2 个参数集合来定义 人脸：脸部定义参数f d p ( f a c ed e f i n i t i o np a r a m e t e r ) 和脸部动画参数 f a p ( f a c ea n i m a t i o np a r a m e t e r ) 。 1 2 第2 章技术要点 ( 1 ) f d p 脸部定义参数用来定义人脸的几何信息。在f d p 中m p e g - 4 定义了8 4 个特征点，这些特征点的主要作用是，为定义人脸动画参数提供 空间参考。有一些特征点并不会受人脸动画参数的影响，但它们在校准不 同人脸模型的时候需要用到。这8 4 个特征点被分为若干个组( 如脸颊、眼 睛、嘴巴等) ，所有符合m p e g 4 的人脸模型都应当了解这些特征点的位置。 f 2 ) f a p 脸部动画参数它表示了一个完整的基本脸部动作集合。 2 2 2d i r i c h l e t 自由变形算法 自由变形( f r e e f o r md e f o r m a t i o i l ，简称f f d ) 是一种几何造型技术，通 过移动控制格点，使位于控制盒中的三维物体表面发生光滑的变形。 d i r i c h l e t 自由变形算法1 2 刨( d i r i c h l e tf r e e f o r md e f o r m a t i o n ，d f f d ) 具有以下 优点：首先，它是一种局部变形技术；其次，它对控制盒的拓扑结构没有 限制；最后，它可以获得直接变形和间接变形的效果1 2 ”。本文利用修改后 的该算法实现人物头部的三维立体变形。下面主要介绍利用d f f d 算法实 现人物头部三维立体变形。 ( 1 ) 设定控制点的集合m p e o 4 中的f d p 人脸定义参数，提供了人脸 特征点，网格，纹理，人脸，动画定义表等数据，有了这些数据就可以把 一般人脸模型转化为特定人脸模型。在m p e g 4 中定义了1 1 个组，在这 些组内有序地定义了8 4 个特征点【2 8 , 2 9 。利用f d p 找出该区域中的特征点， 此即为控制点的集合，并设该集合为尸。 ( 2 ) d e l a u n a y 图划分对于该控制点的集合p ，进行d e l a u n a y 图划分， 将该区域划分为若干个凸包，设为弓，芝，只，p = eu 最u u 只。每个 包中的非控制点的s i b s o n 邻居点集就是该包中的所有顶点。 ( 3 ) v o r o n o i 图划分对非控制点及其s i b s o n 邻居点集进行v o r o n o i 图 划分，计算每个非控制点的s i b s o n 局部坐标。假设：对于属于只包内的一 个非控制点v ，计算点v 的s i b s o n 局部坐标的步骤如下。 对点v 及其s i b s o n 邻居点集进行v o r o n o i 图划分，计算点v 的s i b s o n 坐标，由于头部模型是三维立体的网状模型，在计算点v 的s i b s o n 坐标时 采用空间三维坐标。设只= 扫，p ：，p 。 ，用( z ，x ：，。，x 。) 表示点v 的 燕山大学工学硕士学位论文 s i b s o n 坐标，则 v o l ( v ( p 。) nv ( v ) ) v o l ( v ( v ) ) 于是，控制点移动时，点v 的坐标也相应移动，移动后的s i b s o n 坐标 v - v + v = v + ：l 知卸一 2 2 3 对d f f d 算法的改进 由于d f f d 算法是一种局部算法，对于已经划分了功能区域的人物头 部，能很好实现局部变形，不会引起其他区域的畸变。但是d f f d 算法中 的d e l a u n a y 图和v o r o n o i 图划分的计算量随着控制点数的增加呈指数级数 增长。控制点的数量必须合理。若完全参照m p e g 4 中的f d p ，控制点的 数量合适，但会引起区域间衔接的脱节，产生畸变。若在此基础上增加控 制点的数量无疑是增加了设计时的工作量。 为此，作者考虑采用主控制点和从控制点的方法来实现形变。具体想 法是：参考m p e g 4 中的f d p 来设定主控制点，在交叉点( 及不同颜色区 域交界出的点) 中选择位置起关键作用的某些点作为从控制剧3 0 j 。主控制点 参与d f f d 算法中的d e l a u n a y 图和v o r o n o i 图划分，而从控制点不参与划 分，其主要作用是衔接区域，在使用d f f d 算法时从控制点作为控制点使 用，其位置的设定与主控制点的设定方法相同。 2 2 4 人脸功能区域划分 根据本设计的人物特征，虚拟播音员在主持过程中主要以唇型变化为 主，表情变化较少。为此，作者在设计过程中将大部分精力集中在唇型变 化而引起的人脸动画上，而对于喜怒哀乐的表情，主要设计几个经常使用 的表情，省略掉主持人不需要的一些比较夸张表情的建模工作，从而简化 设计，减少设计时的工作量。 对于主要以唇型变化为主的人脸运动，首先对虚拟主持人的头部做运 动区域划分。将头部的网格模型主要划分为三个运动相对独立的网格区域： 1 4 第2 章技术要点 没有复杂肌肤运动的后脑区域( 1 区域部分) ，独立运动的眼部区域( 2 区域 部分) ，唇部运动涉及的区域( 3 区域部分) 。针对三个区域各自的特征采取 不同的方法实现人脸运动。如图2 - 3 所示。 图2 - 3 人脸功能区域 f i g 2 - 3f a c i a lf u n c t i o nr e g i o n 后脑区域。由于后脑区域不涉及复杂的肌肤运动，加之稍后的虚拟主 持人模型中有头发的覆盖，此部分基本上不会产生大的变化。因此无需对 该部分做过多的工作，从而减少头部设计的工作量。该部分只参与人物头 部的转动，可采用刚体运动模拟实现。 眼部区域。眼部的主要运动有眨眼、眼球的转动、眉毛的运动等。当 唇部区域作出运动较大的变动时，眼部也产生畸变，但完全可以通过二者 的交叉控制点独立调整。此区域的运动既有较复杂的肌肤运动也有简单的 运动，因此该部分应采用混合方法，针对不同运动采取不同方法进行设计。 唇部运动涉及区域。人物在说话时，主要变化集中在唇部，但唇部的 运动会牵动附近的连带运动，因此不能将唇部独立划分，必须考虑其运动 时相关部分的连带运动。此时，利用d i r i c h l e t 自由变形算法实现该区域的 复杂肌肤运动。 2 2 5 改进d f f d 算法的实现 利用d f f d 算法生成人脸的基本步骤如下。 ( 1 ) 设计主控制点的集合选择的控制点即为m p e g 一4 中f d p 定义的 特征点。 燕山大学工学硕士学位论文 f 2 1 设计从控制点的集合选择区域边界处的交叉点。 ( 3 1 计算s i b s o n 局部坐标根据主控制点和从控制点对功能区域上的 每个被控制点确定其s i b s o n 邻居集合，并计算s i b s o n 局部坐标。 ( 4 1 移动控制点根据人脸相关表情移动一个或一组控制点。 f 5 1 对功能区域进行变形根据控制点的新位置计算出物体上点的新 位置，从而实现物体的变形。 2 3 交互式虚拟技术的应用与研究 v r m l 语言虽然有强大的三维展示功能，但其本身也存在一定的局限 性。对于一些复杂的动画动作v r m l 必须结合扩展技术。 2 3 1v r m l 的局限性 v r m l 把“虚拟世界”看作成一个“场景”，而场景中的一切都看作“对 象”( 也就是“节点”) ，它使用场景图数据结构来建立3 d 实景。v r m l 的 一个显著的优点就是交互性，可以实现互动的场景。虚拟世界中，动画节 点具有广泛性和多样性，可以将虚拟世界各个部分的传感器和内插器串起 来，从而使三维造型运动起来。但对于一些复杂的动画动作，用v r m l 提 供的内插器和感应器，显得比较局限。在这个时候，v r m l 长于表达三维 物体的静态特征，本身却缺乏描述数学规律的能力和有效的交互枫制的缺 点就表露无疑了。因此，对于一些复杂的动画动作，就必须结合其他的应 用开发技术对其进行扩展1 3 i ，”j 。 2 3 2v r m l 扩展技术 v r m l 场景和用户的交互性的实现需要两个基本因素：行为和执行模 式。行为描述了将要发生的事件，而执行模式则实现来回传送场景实体的 方法。行为通过执行模式改变场景中的v r m l 对象的状态。在v r m l 场 景中有两种行为决定事件的产生：静态行为和动态行为。静态行为是说场景 中运动的模式