第三章虚拟现实系统的相关技术24

1、第三章 虚拟现实系统的相关技术与软件1.环境建模技术虚拟环境建模的目的是获取实际环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。VR系统中环境的建模技术与其图形建模技术相比，主要特点表现在以下3个方面：虚拟环境中可以有很多物体，往往需要建造大量完全不同类型的物体模型。虚拟环境中有些物体有自己的行为，而其他图形建模系统中一般只有构造静态的物体，或是物体简单的运动。虚拟环境中的物体必须有良好的操纵性能，当用户与物体进行交互时，物体必须以某种适当的方式来作出反应。VR系统统包括三三维视觉觉和三维维听觉建建模等。在当前前应用中中，环境境建模一一般主要要是三维维视觉建建模。三

2、三维视觉觉建模又又是可分分为几何何建模、物理建建模、行行为建模模等。(1)几几何建模模技术几何建模模技术主主要研究究对象是是对物体体几何信信息的表表示与处处理，它它是涉及及表示几几何信息息数据结结构，以以及相关关的构造造与操纵纵数据结结构的算算法建模模方法。几何建模模通常采采用以下下4种方方法：利用VR工具具软件来来进行建建模。直接从从某些商商品图形形库中选选购所需需的几何何图形。利用常常用建模模软件来来进行建建模。直接利利用VR编辑器器。（2）物物理建模模技术典型的物物理建模模技术有有分形技技术和粒粒子系统统。分形技技术分形技术术是指可可以描述述具有自自相似特特征的数数据集。分形技术术的优点

3、点是用简简单的操操作就可可以完成成复杂的的不规则则物体建建模，缺缺点是计计算量太太大，不不利于实实时性。因此，在VR系统中中一般仅仅用于静静态远景景的建模模。粒子系系统粒子系统统是一种种典型的的物理建建模系统统，粒子子系统是是用简单单的体素素完成复复杂的运运动建模模。（3）行行为建模模技术行为建模模负责物物体的运运动和行行为的描描述。如如果说几几何建模模是VR建模的的基础，行为建建模则真真正体现现出VR的特征征。在虚拟环环境行为为建模中中，建模模方法主主要有以以下两种种：运动学学方法运动学方方法是通通过几何何变换，如物体体的平移移或旋转转等来描描述运动动。动力学学仿真运动力学学仿真运运用物理理

4、定律而而非几何何变换来来描述物物体的行行为。2.实时时三维图图形绘制制技术实时三维维图形绘绘制技术术指利用用计算机机为用户户提供一一个能从从任意视视点及方方向实时时观察三三维场的的手段，它要求求当用户户的视点点改变时时，图形形显示速速度也必必须跟上上视点的的改变速速度，否否则就会会产生迟迟滞现象象。(1)基基于几何何图形的的实时绘绘制技术术目前，用用于降低低场景的的复杂度度，以提提高三维维场景的的动态显显示速度度的常用用方法有有以下几几种:预测计计算。脱机计计算。场景分分块。可见消消隐。细节层层次模型型 。（2）基基于图像像的绘制制技术基于图像像的绘制制技术（ImageBasedRending

5、,IBR）是采用用一些预预先生成成的场景景画面,对接近近于视点点或视线线议程的的画面进进行交换换、插值值与变形形，从而而快速得得到当前前视点处处的场景景画面。与基于几几何的传传统绘制制技术相相比，基基于图像像的实时时绘制技技术的优优势在于于：图形绘绘制技术术与场景景复杂性性无关，仅与所所要生成成画面的的分辨率率有关。预先存存储的图图像（或或环境映映照）既既可以是是计算机机生成的的，也可可以是用用相机实实际拍摄摄的画面面，也可可以两者者混合生生成。对计算算机的资资源要求求不高，可以在在普通工工作站和和个人计计算机上上实现复复杂场景景的实时时显示。基于图像像的绘制制技术主主要有以以下两种种：全景技

6、技术全景技术术是指在在一个场场景中的的一个观观察点用用相机每每旋转一一下角度度拍摄得得到一组组照片，再在计计算机采采用各种种工具软软件拼接接成一个个全景图图像。图像的的插值及及视图变变换技术术根据在不不同观察察点所拍拍摄的图图像，交交互地给给出或自自动得到到相邻两两个图像像之间对对应，采采用插值值或视图图变换的的方法，求出对对应于其其他点的的图像，生成新新的视图图。3.三维维虚拟声声音的显显示技术术把在虚拟拟场景中中的能使使用户准准确地判判断出声声源的精精确位置置、符合合人们在在真实境境界中听听觉方式式的声音音系统称称为三维维虚拟声声音系统统 。（1）三三维虚拟拟声音的的特征全向三三维定位位特

7、性全向三维维定位特特性（3DSteering）指指在三种种虚拟空空间中,使用户户能准确确地判断断出声源源的精确确位置,符合人人们在真真实境界界中的听听觉方式式,如同同在现实实世界中中。三维实实时跟踪踪特性三维实时时跟踪特特性（3DReal TimeLocalization）是指指在三维维虚拟空空间中，实时跟跟踪虚拟拟声源位位置变化化或景象象变化的的能力。沉浸感感与交互互性三维虚拟拟声音的的沉浸感感就是指指加入三三维虚拟拟声音后后，能使使用户产产生身临临其境的的感觉，这可以以更进一一步使人人沉浸在在虚拟环环境之中中，有助助于增强强临场效效果。而而三维声声音的交交互特性性则是指指随着用用户的临临场

8、反应应和实时时响应的的能力。虚拟声音音技术存存在的问问题:听觉定定位的混混淆问题题。虚拟声声音环境境的可视视化问题题。听觉心心理学和和听觉生生理学的的限制。（2）人人类的听听觉模型型与头相相关转移移函数人的听听觉模型型人类听觉觉系统用用于确定定声源位位置和方方向信息息，它不不仅与混混响时间间差和混混响强度度有关，更取决决于对进进入耳朵朵的声音音产生频频谱的耳耳廓。头相关关转移函函数通过测量量外界声声音及鼓鼓膜上的的声音的的频谱差差异，得得出相关关的转移移函数，并确定定出双耳耳的信号号传播延延迟的特特点，以以此对声声源进行行定位。（3）语语音识别别与合成成技术语音识别别技术（Automatic

9、SpeechRecognition,ASR），是是指将人人说话的的语音信信号转换换为可被被计算机机程序所所识别的的文字信信息，从从而识别别出说话话人的语语音指令令以及文文字内容容的技术术。语音合成成技术（TextToSpeech,TTS），是指指将文本本信息转转变为语语音数据据，以语语音的方方式播放放出来的的技术。4.触摸摸和力量量反馈技技术触觉感知知包括触触摸反馈馈和力量量反馈所所产生的的感知信信息。触触摸感知知是指人人与物体体对象接接触所得得到的全全部感觉觉，是触触摸觉、压觉、振动觉觉、刺痛痛觉等皮皮肤感觉觉的统称称。触摸摸反馈代代表了作作用在人人皮肤上上的力，它反映映了人类类触摸的的感觉

10、，或者是是皮肤上上受到压压力的感感觉；而而力量反反馈是作作用在人人肌肉、关节和和筋腱上上的力。限制触摸摸/力量量反馈技技术发展展的几个个技术问问题：技术分分析比较较复杂难难度。难以正正确描述述触觉。性能要要求较高高。5.自然然交互技技术在计算机机系统提提供的虚虚拟空间间中，人人可以使使用眼睛睛、耳朵朵、皮肤肤、手势势和语音音等各种种感觉方方式直接接与之发发生交互互，这就就是虚拟拟环境下下的自然然交互技技术。在VR领领域中较较为常用用的交互互技术主主要有手手势识别别、面部部表情的的识别以以及眼动动跟踪等等。（1）手手势识别别手势是一一种较为为简单、方便的的交互方方式，系系统只须须跟踪用用户手的的

11、位置以以及手指指的夹角角就有可可能通过过已接收收的手势势下达指指令。手势识别别系统根根据输入入设备的的不同，主要分分为基于于数据手手套的识识别和基基于视觉觉（图像像）的手手语识别别系统两两种。（2）面面部表情情识别计算机面面部表情情的识别别技术通通常要分分为3个个步骤进进行,即即表情的的跟踪、表情的的编码和和表情的的识别。面部表表情的跟跟踪为了识别别表情，首先要要将表情情信息从从外界摄摄取回来来。现阶阶段比较较典型的的例子是是由Sim-Graphics开发发的虚拟拟演员系系统。面部表表情的编编码要使计算算机能识识别表情情，就要要将表情情信息以以计算机机所能理理解的形形式表示示出来，即对面面部表

12、情情进行编编码。面部表表情的识识别表情之间间存在着着相互渗渗透和融融合，很很难明确确地划分分为不同同的种类类。表情识别别的分类类判别树树（3）眼眼动跟踪踪眼动跟踪踪技术的的基本工工作原理理是利用用图像处处理技术术，使用用能锁定定眼睛的的特殊摄摄像机，通过摄摄入从人人的眼角角膜和瞳瞳孔反射射的红外外线连续续地记录录视线变变化，从从而达到到记录、分析视视线追踪踪过程的的目的。下表归纳纳了目前前几种主主要的视视线追踪踪技术及及特点6.碰撞撞检测技技术在虚拟世世界中关关于碰撞撞，首先先要检测测到发生生碰撞的的位置，其次是是计算出出发生碰碰撞后的的反应。（1）碰碰撞检测测的要求求实时性性精确性性（2）碰

13、碰撞检测测的实现现方法层次包包围盒法法空间分分解法。7.虚拟拟现实工工具软件件VR的软软件系统统是实现现VR技技术应用用的关键键。目前，在在国内与与国外已已开发了了很多VR系统统软件工工具，如如WTK（World ToolKit）、MR(Minimal RealityToolkit)、WorldVisions、FreeWRL、VRT(VirtualReality Toolkit)、DVES(Distributed VirtualEnviromentSystem)等，其其中WTK是应应用较多多的一种种。（1）WTK（WorldToolKit）它是一种种简洁的的跨平台台软件开开发系统统，可用用于科

14、学学和商业业领域建建立高性性能的、实时的的、综合合三维工工程。WTK开开发系统统由两部部分构成成：硬件件部分和和软件部部分。硬件部分分包括主主机、图图形加速速卡、VR设备备。软件部分分实质是是指集成成了WTK函数数库的C编辑器器。WTK仿仿真循循环程序序流程图图（2）MR(MinimalReality Toolkit)MR实质质上是一一个支持持虚拟环环境开发发的子程程序库。它包括括3个层层次的库库函数：底层包括括一组设设备支撑撑函数包包，每一一函数包包支持一一种设备备，并称称为一个个客户/服务器器对。第二层是是一组处处理从设设备获得得的数据据并将其其转换为为程序员员方便使使用的格格式的库库函数

15、。最高层的的库函数数为程序序员提供供了一组组打包的的服务集集。8.Web3D技术与与软件（1）Web3D技术术特点Web3D称为为网络3D，是是一种网网络上带带有交互互性能实实时渲染染的三维维技术，它的本本质就是是在网络络上如何何表现3D图形形，是VR技术术在网络络上的应应用。Web3D的的国际标标准VRML（X3D）互联网网3D图图形的关关键技术术实实时渲染染交互性性（2）Web3D应用用工具软软件常见的国国内外软软件有：Cult3D、Viewpoint、Java3D、GL4Java、Flatland、Fluid3D、Janet3D、Pulse3D、Shout3D、Sumea、Supersc

16、ape、Vecta3D、Blaxunn3D、OpenWorlds等。全景技技术VRML建模模语言AtmosphereShockwave3D技技术Cult3D技术Viewpoint技术（3）Web3D应用用与发展展Web3D技术术是针对对互联网网上的最最新和最最具应用用前景的的技术，今后几几年必将将在互联联网上占占有重要要地位。从目前的的趋势来来看Web3D图形将将在互联联网上的的应用主主要有以以下方面面：企业产产品宣传传与电子子商务娱乐休休闲与游游戏多用户户虚拟社社区9.虚拟拟现实技技术的总总结在硬件系系统方面面,交互互性是实实现人机机和谐的的关键，改进硬硬件设备备的性能能则是其其中的关关键，而而目目前前为VR制造的的大部分分专用设设备却普普遍存在在使用不