（计算机系统结构专业论文）基于力反馈的形变建模及虚拟柔体变形技术.pdf

中文摘要 在基于虚拟手与虚拟物体的交互技术中加入力反馈技术对于增强交互的沉 浸感、指导虚拟手对虚拟物体的操作、预测虚拟物体的行为以及提高交互的真实 感等都起着非常重要的作用。长期以来的研究都还局限于刚体之间的力反馈，然 而，可变形物体的力反馈因其更具有实用性和现实意义而备受关注。 本文以提高可变形物体仿真的实时性和真实感为目标，提出了改进表面网格 的简化质点一弹簧模型，由于我们采用的交互式三维建模工具都是采用表面网格 模型来对物体建模的，所以本文采用表面网格模型方便了虚拟物体数据的获取， 对于随之产生的物体的体行为缺失的现象本文采用法向约束弹簧来弥补，并引入 边折叠的方法简化网格减小了计算量。由于线弹性模型在大变形下会失真产生 超弹性现象，本文采用了近似非线性修正的方法解决了这个问题。将表面网 格的受力点邻近区域采用更高分辨率显示，以提高弹性物体变形区域周围的视觉 真实感，将弹性物理学引入虚拟现实技术中总结了可变形物体的三种物理属性， 通过m a t l a b 仿真弹性物体变形，有很好的视觉效果，进一步在本实验室采用 v c + + 、o p e n g i 开发的虚拟手交互平台下嵌入单点法向受力时的变形算法，取得 了很好的形变仿真效果。 对于可变形物体的力反馈问题，本文拟定了软物体与虚拟手的碰撞检测策 略，通过实验研究了对线弹性和非线弹性反馈力采用不同模型计算的依据。又根 据研究需要对弹性物体反馈力的情况分为四种：线弹性单点力、线弹性多点力、 非线弹性力和对弹性物体面施加力，并提出这四种情况下反馈力计算的方法。对 扭曲形变时的静摩擦力和动摩擦力的计算进行了探讨。实验仿真了反馈力大小与 形变位移的曲线，测试了反馈力的计算效率和反馈力的稳定性，实验表明反馈力 计算大约在l m s 2 m s 之间，能满足5 0 0 h z 以上的实时刷新的需要，力反馈流畅 无停顿感。 可变形物体的力反馈技术在很多领域的应用中都发挥着重要的作用：在工业 产品的设计中，利用该技术的人机工程学测试可以缩短产品的生产周期，降低成 本；在医学领域用于外科手术的训练仿真可以使从医人员获得经验，降低手术的 风险；在游戏制作领域用于形变效果的显示和增强游戏场景的沉浸感。 关键词：虚拟手力反馈可变形物体改进表面网格的简化质点一弹簧模型 a b s t r a c t f o r c ef e e d b a c kt e c h n o l o g yp l a y sa ni m p o r t a n tr o l ei ne n h a n c i n gt h ei m m e r s i o no f v i r t u a le n v i r o n m e n t ，g u i d i n gu s e r so p e r a t i o n s ，p r e d i c t i n gv i r t u a lo b j e c t s sc o n d u c t i o n a n dr a i s i n gt h er e a l i t yo fi n t e r a c t i o n f o ral o n gt i m ef o r c ef e e d b a c ki sl i m i t e dt or i g i d o b j e c t s ，f o r c er e n d e r i n go fd e f o r m a b l eo b j e c th a sm o r eb e e nc o n c e r n e db e c a u s eo fi t s p r a c t i c a b i l i t ya n d r e a l i s t i cm e a n i n g s i no r d e rt oa c h i e v er e a l t i m ea n dr e a l i s t i cg o a lo u rr e s e a r c hp r e s e n t sb a s e do n i m p r o v e d s u f a c e - m e s h s i m p l i f i e d m a s s s p r i n g m o d e l s u r f a c e m e s hm o d e li s c o n v e n i e n tt oa c q u i r ev i r t u a lo b j e c t sd a t a n o r m a lc o n s t r a i n t i n gs p r i n gi si n t r o d u c e d t oa v o i dt h ed i s a p p e r i n go fo b j e c t sb o d ya c t i o n m e s hs i m p li f i c a t i o ni sr e a l i z e db y c o l l a p s i n ge d g e s a p p r o x i m a t en o n l i n e a ra d j u s t m e n ta n dm u l t i - r e s o l u t i o nm e t h o da r e p r e s e n t e dt o s i m u l a t el a r g ed e f o r m a t i o nr e a l i s t i c a l l y w ec o n c l u d et h r e ep h y 7 s i t s a t t r i b u t i o no fd e f o r m a b l eo b j e c t s i m u l a t i o no fd e f o r m a t i o ni sr e a l i z e db ym a t l a b ， f u r t h e rm o r ew er e a l i z e ds i n g l e m a s sn o r m a ld e f o r m a t i o nu n d e rv i r t u a lh a n dp l a t f o r m d e v e l o p e dw i t hv c + + o p e n g lt o o l sa n db o t ha c h i e v ev e r yg o o de f f e c t i na n a l y z i n gd e f o r m a b l eo b j e c t sf o r c ef e e d b a c k ，c o l l i s i o nd e t e c t i o ns t r a t e g y i n v o l v i n gr i g i do b j e c ta n dd e f o r m a b l eo b j e c ti se x p l a i n e d e x p e r i m e n tp r o v e sa d o p t d i f f e r e n tm e t h o d st ol i n e a ra n dn o n l i n e a rs i t u a t i o n f o u rs i t u a t i o n so ff o r c ef e e d b a c k a r es t u d i e d i nt h es i t u a t i o no fs k e w e dd e f o r m a t i o ne v a l u a t i o no fs t a t i cf r i c t i o na n d d y n a m i cf i r c t i o ni sd i s c u s s e d w es i m u l a t i ec u r v e o fr e n d e r i n gf o r c ea n dd e f o r m a t i o n d i s p l a c e m e n t ，c u r v eo fe v a l u a t i o ne f f i c i e n c ya n dc u r v eo ff e e d b a c kf o r c es t a b i l i t y e x p e r i m e n tr e s u l t ss h o wt h a tt i m eo f f e e d b a c kf o r c ee v a l u a t i o ni sc o n s t r a i n t e dt ol m s - 2 m so v e r5 0 0 h zr e a l t i m er e f r e s h m e n tc a nb eg u a r a n t e e da n d r e n d e r i n gi sc o n t i n u o u s ， s m o o t h ，n o n s t o pf l u f o r c er e n d e r i n gt e c h n o l o g yo fd e f o r m a b l eo b j e c ti sw i d e l yu s e d ，s u c ha si n i n d u s t r i a lp r o d u c td e s i g n ，e r g o n o m i c st e s t sc a ns h o r t e np r o d u c t i o nc y c l e s ，r e d u c e c o s t s ；i nt h em e d i c i n ef i e l d ，s i m u t i o no fs u r g yc a nh e l pm e d i c a ls t a f fa c q u i r e e x p e r i e n c ea n dr e d u c et h er i s ko fs u r g y ；i nt h eg a m em a k i n gf i e l d ，r e n d e r i n g d e f o r m a t i o ne f f e c tc a ne n h a n c et h ei m m e r s i o no fg a m ee n v i r o n m e n t k e yw o r d s ：v i r t u a lh a n d ，f o r c ef e e d b a c k ，d e f o r m a b l eo b j e c t ，i m p r o v e d s u r f a c e - m e s hs i m p l i f i e dm a s s - - s p r i n gm o d e l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：季较签字日期：1 年月，罗日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。 特授权墨鲞盘茔可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：乙司颖 导师签名： 签字日期：吲年厂月f 7p r 样嗍1 钆凡j 7 ，日 第章绪论 1 1 研究意义 第一章绪论 虚拟现实就是一种先进的计算机用户接口，它通过给用户同时提供诸如视 觉、听觉、触觉等各种直观而又自然的实时感知交互手段，最大限度地方便用户 的操作。虚拟操作与真实操作的区别在于操作对象是虚拟的，操作对象的一切属 性，包括几何形状、材质、纹理、硬度、重量等，都是通过计算机赋予的，因此 可以随意更改。这使得虚拟操作相对于真实操作具有更大的灵活性和复杂性。 力反馈是通过力觉再现设备，将虚拟的接触力反馈给操作者，从而使操作者 能够身临其境的获得与虚拟环境接触的力觉感知。力反馈技术在虚拟现实中广泛 应用于虚拟外科手术训练仿真【1 】、虚拟装配训练【2 】、虚拟制造、虚拟博物馆游 览、伤残人力觉功能恢复等方面。随着虚拟现实技术的飞速发展，使力反馈技术 成为了虚拟现实的一个不可或缺的重要组成部分。 这里要特别提到的是在虚拟外科手术仿真和训练方面的应用，需要训练从医 人员完成复杂的外科手术，直接在病人身体上进行手术是不合适的，以往都是通 过在小动物身上获得实际操作的经验。随着虚拟现实技术的发展，医学专业的学 生们希望能够进入到一个虚拟的世界中在虚拟的人身上进行手术操作，通过构造 一个虚拟手术训练系统，操作者可以通过头盔眼镜或者屏幕观察到虚拟的人体组 织手术中的组织变形和流血等现象【1 5 】。显然外科手术仿真和训练系统需要实时 性【3 】、可交互性、可修改性，这些新的需求就推动了虚拟现实的另一个重要的 研究方向：可变形建模技术的发展。 由于目前的力反馈往往局限于刚体，而现实世界中有很多有弹性、容易在外 力作用下发生形变的物体，比如人体的组织器官、布料、弹力球等。在测试可变 形物体如：能发生形变的玩具、家具是否能满足产品的功能要求时，物体与人体 的交互就是必不可少的。因此研究虚拟手与可变形物体之间的交互有重要的意义 和广泛的应用前景。并且随着计算机性能的不断提高，用计算机来仿真这些物体 已成为可能，并会逐渐得以实现。 将力反馈技术和可变形物体的建模技术相结合将是虚拟现实技术的一个发 展趋势。基于物理工具产生物体的变形和反馈真实受力相对于传统的纯几何建模 和视觉反馈有更广阔的应用范围和发展前景。 第章绪论 1 2 国内外研究概况 虚拟物体的形变建模技术主要分为两类：一是几何建模技术，另一种是物理 建模技术【4 】。 基于几何形变的建模是完全通过控制物体的控制点、线来改变外形。具有速 度快，变形表面光滑的优点，但不具有真实的物理意义，不反映运动一力一形变 的规律，无法实现力触觉交互功能。 基于物理意义的形变建模是根据物体运动学和动力学定律，建立物体运动和 受力情况下变形关系式。由于增加了物理学上的约束计算，因而计算量要比几何 的模型要大得多，但以此为代价换来的却是高度的逼真性和更加广泛的应用范 围。现有的基于物理意义的形变建模主要有基于高斯分布的预先计算建模方法、 基于代理中介的形变建模方法、基于有限元的建模方法、基于边界元的建模方法 和基于质点一弹簧的建模方法等。 基于高斯分布的预先计算建模方法虽然计算速度很快，但是力和形变计算的 误差都较大。 基于代理中介的形变建模方法虽然对力计算速度快、但精度也不高，物体形 变的计算误差难以满足大多数虚拟现实系统要求，只适用于变形小或受力小的物 体形变建模。 基于有限元的建模方法【5 】：有限元法是求解弹性力学问题的经典方法。有 限元法的基本思想是将连续的求解区域离散为一组有限个、且按一定方式相互联 结在一起的单元的组合体。由于单元能按不同的联结方式进行组合，且单元本身 又可以有不同的形状，可以精确地模型化几何形状复杂的求解域，但又因计算量 极大而只能在昂贵的图形工作站上应用。 基于边界元的建模方法【6 】6 ：边界元方法简称b e m ( b o u n d a r ye l e m e n t m e t h o d ) 。边界元方法与作为体模型的有限元方法不同之处在于边界元方法是将 物体的表面划分成一个个小单元，通过计算每一个小单元上节点的位移从而插值 出每一点的位移。该方法只考虑边界的本质使得它相对于有限元法计算量要大大 减少，但同时它也限制了它所使用的材料必须是质地均匀的材料。另外，边界元 法还无法表达体数据，而在很多工程应用中，物体内部的力及位移是很重要的， 这也是边界元法的缺点之一。 基于质点弹簧的建模方法【7 】：该模型由许多弹簧和节点组成，节点与节点 之间由弹簧相连，被建模物体的质量集中在节点上。整个系统总趋向零能量。这 一模型对某些应用十分有效，并被发展为可对非线性物质、甚至液体建模。然而， 存在精度有限和随节点数大量增加复杂度过大的问题。 第一章绪论 1 3 本文工作和创新点 基于力反馈的形变建模是通过物理建模的方法借助力反馈设备获得对操作 物体的力觉上的感应，打破了传统几何建模方法中的仅仅是视觉上感受刺激使虚 拟现实技术向多感官感受刺激方向更迈进了一步。传统的纯几何建模方法虽然能 够惟妙惟肖的构建一个虚拟的世界，但仅仅是视觉上看起来像而不是真实的物体 间的相互作用，且不能实现力觉交互。基于力反馈的建模方法就大大增强了虚拟 环境的逼真性和交互性，能够用于对控制要求更为精确的虚拟外科手术、遥操作 机器人控制、深空探索、虚拟装配等领域。 虚拟可变形物体的交互变形是在虚拟手与刚性物体交互的基础上引入基于 物理意义的变形算法，运用动力学平衡方程计算虚拟物体受力后构成物体的网格 点的位置从而实现对可变形物体的变形仿真。但对于可变形物体与虚拟手或其他 物体实时接触时由于接触区域是不断变化的，而接触区域边界又都是未知的，此 时接触力及变形计算属于比较复杂的非线性问题。 在研究了前人大量资料的基础之上，完成了如下的工作和创新： 分析了软物体的物理特性和对不同物理特性的物体适用的物理模型进 行了分类研究，得出线弹性模型、非线弹性模型和粘弹性模型三种可用 的物理模型。 提出了改进表面网格的简化质点一弹簧模型，采用四个等腰直角三角形 构成的正方形表面网格模型，并加入法向约束弹簧，使该模型能很好的 表现物体的体行为。采用网格简化算法将弹簧边界简化为刚性，大大减 小了计算量，并解决了已有质点一弹簧模型关于各点计算不一致，不能扩 展的缺陷。 由于质点一弹簧模型是建立在线弹性假设的前提下的，线弹性系统虽然 计算量小、简单易行，但对于大变形往往会失真，在真实感要求较高的 计算机动画中，线弹性模型有较大的局限性，针对该问题本文采用了近 似非线性修正的方法。由于理论上的非线性弹性模型结构复杂难以实 现，本文采用逐步加载线性逼近的近似方法，该方法较好的弥补了线弹 性质点一弹簧模型的缺陷。 提出了对软物体建模的通用方法，该模型变形区域由接触力和软物体的 材质决定，可以根据计算的准确性要求调整网格划分的精度，对形变区 域采用更高分辨率，避免了传统质点一弹簧模型里繁复的矩阵和差分运 算，大大降低了计算量。经实验验证表明，该模型对于可变形物体的接 触力变形计算具有较高的精度。 第章绪论 采用m a t l a b 仿真工具实现了对平而物体的变形仿真，并将该变形算法嵌 入到本实验室开发的虚拟手平台下实现了对圆柱形物体的变形仿真。 对弹性物体变形的反馈力进行分类用不同的方法计算，采用力网格的方 法可以方便的表示反馈力。 总结了弹性物体受多点力作用时，判定多点力的作用是否相互影响的条 件，并计算了弹性形变时多点的反馈力，提出单一区域受力作用情况下， 反馈力的计算方法。 对反馈力计算的效率和稳定性进行了评估。 1 4 论文结构 第一章，介绍了本文的研究意义、国际上的研究现状，本文的工作与创新点 和文章的组织结构。 第二章，首先介绍了虚拟手与形变物体力觉交互基础技术、理论，其次介绍 了仿真中所用到的立体显示设备和运动跟踪设备及同类设备的比较，以及仿真的 软件保障。这些知识是我们进行虚拟手与可变形物体力觉交互研究的重要工作基 础。 第三章，概述了现有的虚拟物体形变模型，提出本文所采用的改进表面网格 的简化质点弹簧模型设计的改进之处、和相应的改进所采用的方法及理论依据 和改进后的优势。 第四章，概述了本文计算软物体变形时用到的相关理论技术，着重说明了本 文对物体变形的设计算法计算过程并提出对形变邻域采用更高分辨率的方法，在 不损失仿真精度和视觉真实感的情况下大大减小了计算量。最后，给出了采用 m a t l a b 仿真的实验结果和在虚拟手平台下的实验效果图。 第五章，提出力反馈的相关问题、力反馈的实现流程、线弹性和非线弹性采 用不同方法计算反馈力的实验依据，提出对本文研究的四种情况下的反馈力的计 算方法，最后对反馈力的计算效率和稳定性等进行了讨论。 第六章，主要介绍整个仿真系统的架构，给出仿真的实验结果，并给出了结 果分析，通过实验结果可以看出，弹性物体形变取得了很好的视觉效果。 第七章，总结本文所做工作、创新点和不足，并对未来的研究方向进行展望。 - 4 第二章背景及相关工作综述 第二章背景及相关工作综述 当前，对于虚拟现实技术而言，不断优化和完善的图形算法及其软件已经能 够惟妙惟俏地模拟三维虚拟场景，而人们对“可望而不可及”的不满又促使了近 年来对力觉再现技术的研究。 早期的虚拟交互技术主要停留在视觉的层面上，即研究如何使与用户交互的 虚拟环境看上去逼真，力觉再现技术则不仅仅要求“看的见”还要求“摸的着” 要能感受到虚拟环境中的力的作用，用户还要能对虚拟物体进行操作。这就要求 虚拟环境不仅提供视觉反馈还要能够提供力觉反馈【8 】，刚体之间的力觉交互技 术目前己比较成熟了，而与可变形物体的力觉交互因为更具有实用性和现实意义 而备受关注。其中研究的比较多的是虚拟手与可变形物体的力觉交互，虚拟手与 可变形物体的力觉交互技术包含两个方面：虚拟手对可变形物体的抓取变形和可 变形物体对手的力反馈，这两个方面又是相互联系，相辅相成的。首先虚拟手对 可变形物体的抓取变形要体现物体形变的视觉效果就要对物体建立形变模型，该 模型应该是基于物理意义的，即应该是基于力反馈的形变模型；其次要计算形变 物体对手的反馈力的大小，也必须建立物体形变模型，力反馈应该是形变的力反 馈。 2 1 虚拟手与形变物体力党交互技术基础 虚拟手与形变物体的力觉交互是以虚拟现实技术为基础，进一步研究手与可 变形物体交互作用时物体形变效果和虚拟物体对虚拟手的力觉反馈。基于以上研 究的需要，我们先对虚拟现实技术是什么、它要达到一个什么目标做一下介绍， 同时因为手是人体中最灵活的器官，虚拟手交互在人机接口中发挥了重要作用， 是虚拟现实技术研究的一个重要方面，所以我们接下来又对人手的解剖结构及人 手几何建模的方法做了介绍。 2 1 1 虚拟现实技术 虚拟现实的英文名称是“v i r t u a lr e a l i t y ”，简写为“v r ，又由钱学森院 士翻译为“灵境 。它用计算机技术生成一个逼真的三维视觉、听觉、触觉或嗅 觉等感觉世界，让用户可以从自己的视点出发，利用自然的技能和某些设备对这 第章背景及相关工作综述 一虚拟世界客体进行浏览和交互考察。在此环境中，用户看到的是全彩色主体景 象，听到的是虚拟环境中的音响，手、脚可以感受到虚拟环境反馈给他的作用力， 由此使用户产生一种身临其境的感觉。亦即人以与感受真实世界一样的( 自然的) 方式来感受计算机生成的虚拟世界。这里，计算机世界既可以是超越我们所处时 空之外的虚构环境，也可以是一种对现实世界的仿真( 强调是由计算机生成的， 能让人有身临其境感觉的虚拟图形界面) 。 传统的系统仿真技术很少研究人的感知模型的仿真，因而无法模拟人对外界 环境的感知包括听觉、视觉、触觉的感知。随着计算机动画、多媒体技术及传感 技术的发展，通过计算机来模拟外界环境并对人的感官产生刺激开始成为可能。 事实证明，人类对于图像、声音等感官信息的理解能力远远大于数字和文字等抽 象信息的理解能力。所以将仿真技术与虚拟现实技术相结合，利用虚拟现实技术 进行仿真模型的建立和实验的模拟，使仿真的过程和结果可以实现图象化、可视 化，使仿真的系统具有了三维、实时交互、属性提取等特征，极大地促进了仿真 技术的发展，同时也使虚拟现实技术更加具有生命力。 2 1 2 虚拟现实技术的设计目标 沉浸感和交互性是任何虚拟现实经历的两个实质性的特征。 沉浸感是指身临其境的感觉，简单地说就是产生在虚拟世界中的幻觉。理想 的虚拟现实系统应具备人类所具有的一切感知能力，包括视觉、听觉、力觉、触 觉，甚至味觉和嗅觉。本文所研究的力反馈就是产生沉浸感的一个重要方面。 交互性是指能提供方便的、丰富的、主要是基于自然技能的人机交互手段。 这些手段使得参与者能够对虚拟环境进行实时的操纵，能从虚拟环境中得到反馈 信息，也能使系统了解参与者的关键部位的位置、状态、变形等各种系统需要知 道的数据。实时性是非常重要的，如果在交互时存在较大的延迟，与人的心理经 验不一致，就谈不上以自然技能的交互，也很难获得沉浸感。为达到这个目标， 高速计算和处理就必不可少。 在医学手术仿真中对软组织器官的模拟就体现很强的实时交互性，该课题的 研究一直是虚拟现实技术的前沿之一，它对形变物体的变形模型提出了如下要 求：支持拓扑结构发生变化的变形；支持动态变形；能达到实时要求；能描述有 复杂结构的物体；能描述非线性弹性形变；支持有力反馈的要求的应用，这些也 是我所做的形变建模工作今后需要进一步完善的方向。 2 1 3 人手解剖学分析 手是人身体上构造最复杂的部分，是由肌肉、脂肪、韧带、腱、骨骼和感觉 第_ 幸背景及相关工作综述 灵敏的神经纤维错综组成的。手能够做几千种精密准确的工作。 右手骨解剖结构如图2 1 所示。手是一个多肢节的系统，它由2 7 块骨骼组成， 分为腕骨、掌骨和指骨。腕骨共8 块，排列成两行，由关节巧妙地连接着，并且在 手的运动过程中它们只有微小的形状变化，掌骨共5 块，由拇指向小指依次称为 第e i 掌骨：指骨共1 4 块，除拇指仅有两节指骨外，其余各指都有三节指骨， 分别称为近节指骨、中节指骨和远节指骨。因此，人手由手掌、手腕、一个大拇 指以及四个相邻的手指组成，它们由关节相互连接着；随着关节的运动，人手的 形状也不断发生变化。人手的关节运动有如下两种运动形式： ( 1 ) 屈和伸，组成关节的两骨互相靠拢，其夹角逐渐变小的运动为屈；相反，两骨 之间的夹角逐渐变大的运动为伸。 ( 2 ) 内收和外展，手指的内收和外展是以通过中指中轴的假想线为准，肢体向中指 中轴靠拢的运动为内收，而离开中指中轴的运动为外展。 另外，还有一种运动称为环转运动，即肢体的近端在原位转动，远端环绕 作圆周运动，运动时整个肢体茴成一个尖在近端、底在远端的圆锥形轨迹。环 转运动是屈、展、伸、收依次连续的动作。 手一共有2 4 个自由度，拇指5 个自由度，其它四指各4 个自由度，手腕的外展、 腕的曲度、掌的弧度共3 个自由度。手指相对手掌的运动由指根处的指掌关节 ( m c p ) 、指间关节( p i p ) 、指端关节( d i p ) 来决定的。拇指有5 个自由度，掌腕骨相 连处关节c m c 处有2 个自由度，指掌关节m c p 处有2 个自由度，指端关节i p 处有1 个自由度。其余四指各有4 个自由度，m c p 处有2 个自由度，朝向手掌方向的弯曲 伸展和手指间的内收和外展，p i p 和d i p 处各有1 个自由度，即朝向手掌方向的弯 第二章背景及相关t 作综述 曲和伸展。 2 1 4 人手几何建模方法 1 人手简化的骨骼模型 对真实人手进行合理的简化，用圆柱体对手指建模，用长方体对手掌建模， 手指之间用球形关节相连。该模型符合人手的生理特点，因此能够表达人手的运 动，且模型的复杂度低，建模相对容易。缺点是外观与真实人手相差较远，视觉 效果较差。 2 用三角面片建立虚拟手外观模型 该模型对比第一种建模方法复杂度增加了但同时看起来也更加真实，视觉效 果要远远优于第一种建模方法。手指有了粗细之分，手掌也有了弯曲的弧度。该 方法也是基于人手的解剖学特点的，能够正确表达真实人手的真实运动情况。 3 用m e t a b a l l 建立虚拟手层次模型 以上两种建模方法都是基于人手的生理特点且模型简化易于进行运动学控 制，但在这两种方法中，手指的各个指段之间位置都是固定的，每个手指是独立 的刚体，不会发生任何变形，所以视觉真实感较差。为此我们介绍一种使用 m e t a b a l l 进行手的建模方法【9 】，该方法无论从外观上还是运动上都基本符合生理 解剖学特点。 m e t a b a l l 建模是一种非常灵活的隐曲面建模技术，能够方便的表达闭合形体， 创建类似器官的形状。一个m e t a b a l l 占据了一个特定的体积，可以表达为x ，y ，z 的函数f ，即用隐函数来表达一个m e t a b a l l 曲面。所有满足f ( x ，y ，z ) l 的点都 在m e t a b a l l 内部，满足f ( x ，y ，z ) = l 的点都在m e t a b a l l 曲面上，不满足条件的 其它点都在m e t a b a l l p l 部，这些点将不被渲染。这样，一组m e t a b a l l 集合可以用来 表达一个自由形式的曲面。每个m e t a b a l l 的具体曲面函数可以使用不同的隐函数， 例如使用超二次曲面，假设o j x y z 是原点在o i 处的局部坐标系统，那么m e t a b a l l 的 边界方程为： ( 二) ”+ ( ) ”+ ( 二) ”= 1( 2 一1 ) n i b l c s a i ，b j ，c j 是超二次曲面的轴，n 是实数。随着n 的增力n m e t a b a l l 的形状会变得 越来越像有圆角的立方体，而a j ，b i ，c i 则决定了m e t a b a l l 的边界，臣l j m e t a b a l l 沿轴 方向的长度。整个虚拟手模型由多个m e t a b a l l s 组成，每个m e t a b a l l 能够表达一个 闭合曲面，通过定位这些m e t a b a l l s ，并调整它们的大小和方向，可以很容易用上 面定义的m e t a b a l l 系统定义光滑的闭合形体。可以说，用这种方法建立的虚拟手 模型达到了较好的视觉效果，但是至少有两个缺点：1 ) 尽管在基于m e t a b a l l 的虚 第二章背景及相关t n ：综述 拟手模型卜应用运动学控制并不难，但是为了实时显示，更新一个m e t a b a l 系统 开销比较大影响界面的刷新速率。2 ) 由丁耍尽町能真实的建立虚拟手模型 所以还要应用纹理映射技术将真实人手的照h 蛄到虚拟手模型上。为了后面继续 对手模型应用纹理映射要进一步做处理，处理的方法是将所有m e t a b a l l 模型镶嵌 到三角形m e s h 中，这样就有了很多i 角形顶点坐标，有利于纹理坐标的计算。进 行纹理映射的本质实际就是图片的变形处理，处理可毗分成几步：i ) 把虚拟手 模型分成两部分手掌和手背，然后相应的从真实人手捕获两张照片，手的前视 和后视。为了正确的设定纹理坐标，手心和手背照片和模型都被分成6 个区域， 纹理映射在6 个区域的每一个区域分别执行。通过纹理映射技术，可以用较少的 资源获得很真实的视觉效果，如果单纯考虑渲染，而不通过纹理映射，那么计算 量将是非常惊人的。最终的手模型效果如图2 - 2 所示。 圈2 - 2m e t a b a l 方法对于建模 1 0 1 x , 2 相关虚拟现实硬件设备及软件平台简介 2 2 1 硬件设备 5 d t d a t a g l o v e ：s d t 公司的d a t a g i o v e l 6 手套是由光纤制成，具有五组感应 器，于每只手指头各一组，负责处理手指的运动，对数据手套捕获的数据进行处 理，可以进行虚拟场景当中物体抓取、移动和旋转的识别和处理。也可以透过虚 拟手套与虚拟实境场景中的对象互动。透过r s 一2 3 2 串行端口可支持各种不同的 平台，于操作时反应失真率低，穿戴容易，质感舒适，适合各种手型，是虚拟仿 真的绝佳选择，该手套是本文所使用的，如图2 - 3 所示。 第一章背最及相关i 作综述 图2 - 35 d td a t a g l o v e l 6 f c y b e r g i o v e ：c y b e r g l o v c 用弹性织物制成，透气性好手套轻便、小巧，藏 用舒适。带有灵敏传感器，能精确地测蹙手指和腕部的位置和运动，f 重复度高， 设计中采州了最新的高精度关节传感技术。代表了仪器手套的最新成果。 c y b e r g l o v e 分1 8 个传感器和2 2 个传感器两种。i8 个传感嚣包括每个手指上两 个弯d l r f ( 感器、凹个外展传感器，再加上测量太拇指交叉、手掌拱弯、手腕翻转 和外展等。2 2 个传感器另加上四个手指上指节的弯曲传感器。i 8 个传感器的 c y b e r g i o v c 指尖露出，用户可戴着手套打字、写东西、抓物体。如| i2 - 4 所示。 图2 q c y b c r g t o v e 1 2 c y b e r t o u c h ：c y b c r t o u c h 是c y b e r g i o v e 数据下套的触觉反馈选件。共有6 个 震颤器，每个手指上一个，手掌上一个。每个震颤器可单独编程以控制触感的强 弱。成自【震颤器可产生简单的感觉如脉动或类似的震动也_ 廿j 以复合产生复杂的 触世反馈。稗序开发者可设计自己的刺激方式以获得期望的触觉，包括在虚拟仿 真环境巾触摸个实体的感觉。在虚拟世界中剧物体交互，c y b e r t o u c h 触觉反 馈选件至关重要，它能让你不用看就能感知手中物体存在与古。如图2 - 5 所示。 第一幸背景及相关t 作综述 图2 - 5c y b e r t o u c h c y b c r g r a s p ：c y b e r g r a s p 触觉反馈连系装置体现了人一机通讯技术的节命，它 足一个轻便、无阻碍的力反应外壳，抓握力由钢索阿施加，通过个外壳传l 指 尖l ，井能编程控制以防j t 手指穿过虚拟物体。钢索套经过特别设训，町压缩性 低，摩擦儿低。激励器为高质量的直流电机，位十桌面e 的一个小包内。共有五 个，每个手指个。运动范嗣内，醴备施加的抓握力近似垂直1 一指尖，并能分别 指定。c y b e r g r a s p 系统允许手部在活动范围内随意运动，不会阻碍配戴者的移 动。漫备可充分调节，适合宽广范f 目的人手。它套在c y b e r g i o v e 手套l ，并给每 个于指施加阻山。有了c y b e r g r a s p 力反馈系统用户就能探索仿真虚拟世界 中计算机生成的j 维物体的物理特性。它使c y b e r g l o v e 用户能实际“触摸” 训算机牛成的物休并通过最自然的方式一人手来体验真实的力反馈。c y b e r g r a s p 系统为“真实世群”的庸j _ f j 带来巨大的利益，包括医疗、虚拟现实培训和仿真、计 算机辅助设计( c a d ) 和危险物料的遥操作。如图2 - 6 所示。 幽2 - 6c y b e r t g m p f l 2 以上介纠的是四利傲据于套削于跟踪手势，萁i c y b e r t o u c h 与c y b e r g l o v e 结台使用或c y b e r g r a s p 还可以用j 1 体验真实的力反馈。f l o c ko f b i r d s ( 数据衣) 第章背景受j 【| 关t 作综述 可以跟踪于扯空间中的侍嚣取i ，j 向。a s c e n s i o n 公司推出的数据农f l o c ko fb i r d s ( 以下简称b i r d s ) ，是儿有一轴矗白 l 度的实时状态跟踪器。由0 。于存空间巾 的运动也具有6 个自由度，位黄t i i 据3 个自由度，手绕手腕的旋转运动义占据3 个自由度，所以使用1 个跟踪器就可以跟踪手在空间中的运动情况。如图2 7 ( b ) ， 一组b i r d s 包含b i r d u n i t 如图2 - 7 ( a ) 、t r a n s m i t t e r 、r e c e i v e r 以及p o w e r s u p p l y 。 其中t r a n s m i t t e r 与r e c e i v e r 为卡婴感应和测控元件，利用两者空问坐标相对位 置和打向改变，传回电脑并转换成位移与转动的值。两者之间测量参考坐标直图 2 - 7 ( b ) 所示。其中z 轴朝下为止，f o b ( f l o c ko fb i r d s ) 是基于磁场原理的磁 场发射器具有一个三维审问坐标系，如图2 - 7 ( b ) 所示。通过磁原理4 个方位跟踪 器能够感应出自身在磁场中的位置和方向，从而达到跟踪的目的。本文使用的立 体显示设备是v 8 立体头盔显小器，如图2 - 7 ( c ) 所示。该立体头盔的原理是根据 两眼视差产生立体视觉效粜所以主要工作就是分别在两个显示器管道上渲染出 有视差的两幅图像。另外，v 8 立体头盔显示器上还有个i n t e r s e n s ei n t e r t r a x 2 t r a c k e r ，可毗跟踪头部的运动。 a ) f l o c ko f b l r d 水位结构组成吲 ( b ) 数删农发甜器啦标系( c ) v 8 一体瓿1 i 器 罔2 7 虚拟现实设备1 1 3 1 第二章背景及相关工作综述 2 2 2 软件平台 o p e n g l ( 即开放性图形库o p e ng r a p h i c sl i b r a r y ) ，是一个三维的计算机图 形和模型库，最初是美国s g i 公司为图形工作站开发的一种功能强大的三维图形 机制( 或者说是一种图形标准) 。它源于s g i 公司为其图形工作站开发的i r i sg l ， 在跨平台移植过程中发展成为o p e n g l 。s g i 在1 9 9 2 年7 月发布1 0 版，后成为 工业标准，o p e n g l 被设计成独立于硬件，独立于窗口系统，在运行各种操作系 统的各种计算机上都可用，并能在网络环境下以客户服务器模式工作，是专业 图形处理、科学计算等高端应用领域的标准图形库。 n o v o d e xs d k 4 3 4 4 是一个由数学库和实用库组成的物理引擎，我们只需要 包含特定的头文件就可以方便的使用，可用于处理刚体动力学仿真和碰撞检测以 及网格物体绘制等。 v i s u a ls t u d i oc + + 2 0 0 3 是开发平台。 、 m a t l a b 4 7 4 8 是m a t h w o r k s 公司于1 9 8 2 年推出的一套高性能的数值计算和 可视化软件，它集数值分析、矩阵运算、信号处理和图形显示于一体，构成了一 个方便的、界面友好的用户环境。本文采用m a t l a b 仿真三维平面形变显示效果 以及绘制曲线。 第三章基于力反馈的形变模型设计 第三章基于力反馈的形变模型设计 以往对虚拟可变形物体的研究，主要是侧重于视觉效果的模拟，即通过建立 可变形物体的几何模型，对模型进行编辑，对捕获到的物体数据进行插值、拟和 或对网格物体进行交互式编辑能较好的模拟物体的形变，但几何模型难以模拟物 体系统的运动、碰撞和受力情况，所以无法真实反映可变形物体交互过程中的形 变状态。 为克服几何模型的弱点，本文采用基于物理意义的建模方法，建立基于力反 馈的形变模型，该模型在虚拟手与虚拟物体的交互中加入了力反馈技术可以大大 增强交互的沉浸性和真实感。所谓的基于力反馈的形变模型是指根据该模型知道 了物体的材质属性和外力大小就可以计算出物体的形变及物体对外界的反馈力 的大小。该形变和反馈力能如实反映物体的受力和形变情况，所以采用该模型对 可变形物体建模将更具有实用性和现实意义。 3 1 基于力反馈的建模 力反馈技术对于增强虚拟环境的沉浸感、指导用户对虚拟物体的操作、预测 虚拟物体的行为以及提高交互的真实感等都起着非常重要的作用。虚拟物体的力 反馈建模是力反馈技术中最为重要的环节，本质上是一种基于物理约束的物体受 力的变形模型，其所计算的作用力或受力变形应当尽可能接近真实世界中物体之 问相互作用所产生的作用力或受力变形。目前力反馈建模研究中较多的足针对简 单情况下，物体问相互作用时力的计算算法，对于可变形物体的反馈力计算还处 于起步阶段。 根据研究的需要将虚拟物体的力反馈建模分两方面来研究：刚性物体的力反 馈建模和可变形物体的基于力反馈的形变建模。 其中刚体的力反馈模型可分为：线性弹簧模型和非线性弹簧模型【1 4 】两类。 线性弹簧模型根据胡克定律f = k s 通过形变深度来计算反馈力，如图3 - 1 所 示，用图3 1 中的小球来表示虚拟手，用一个虚拟墙来代表虚拟场景中与虚拟手 交互的物体。x w 是虚拟墙的位置，x 是小球的位置。根据该弹簧模型的计算公 式可以看出作用力的计算结果随小球深入墙的距离是线性增加的。 第三章基于力反馈的形变模型设计 s p c e a ，a t a r i i , - a l l r 目i ，一_ ! 刚 “ 孟日是：掣 _ 非线性弹簧模型是认为作用力会在有限范围内增加，会随着皮肤和肌肉的形 变逐渐达到一个饱和从而逐渐趋于一个常数。当超过一个极限值以后，作用力呈 现逐渐缓慢的趋势，因此非线性弹簧模型采用分段函数建立的弹簧模型，计算交 互作用力。在比较小的受力范围内，使用线性函数计算，当力增大到比较大的时 候，使用常数饱和力，力处于中间大小时用曲线函数计算，使增加呈现逐渐缓慢 的趋势【1 4 】。 可变形物体基于力反馈的形变模型的分类i 1 8 】一种分法是离散的模型和连 续的模型。离散的模型是从物体的局部入手进行建模，它不遵循物体在整个空间 上连续变化的规律。同时又因为在p c 机中实现的时候都是以离散的形式，所以 离散模型比起连续的模型更适合于并行计算。质点弹簧模型就是一个离散的模 型。而连续模型的典型例子是有限元模型和边界元模型。 从是否要求实时性的角度考虑还可以把虚拟物体的形变模型分为：静态模型 和动态模型。另外从是否考虑物体内部建模的角度可把物体分为面模型和体模型 两类。 下面介绍几类主要的可变形物体基于力反馈的形变模型。 有限元模型：f e m 方法把整个物体所在的空间离散化为一个个小单元，每个 小单元都有一些节