虚拟现实技术65课件

1、虚拟现实技术(Virtual Reality) 徐雷12 April 2011主要内容虚拟现实技术概述虚拟现实体系结构虚拟环境的建立产品的虚拟原型在虚拟环境中制造虚拟现实技术概述定义和特征虚拟现实的发展历程虚拟现实的国内外研究现状虚拟现实的主要应用领域定义和特征概念虚拟现实(Virtual Reality，简称VR)是一种计算机界面技术。从本质上讲，虚拟现实就是一种先进的计算机用户接口，它通过给用户同时提供诸如视觉、听觉、触觉等各种直观而又自然的实时感知交互手段，最大限度地方便用户操作，从而减轻用户的负担，提高整个系统的工作效率。定义和特征类似概念人工现实(Artificial Reality

2、，简称AR) ：与VR相类似的一个概念，它是可以更方便地与用可视化技术建立的三维空间中的物体进行交互的技术。这个空间是人造的，但是物体的控制方法就像物体在现实空间中一样，所以就称为人工现实。例如，可用AR技术来漫游用可视化技术建立的大脑结构。遥现技术(Telepresence)，它是一种基于VR的遥控制、遥操作或遥显示技术。 定义和特征虚拟现实的四个重要特征多感知性(Multi-Sensory)。存在感(Presence)又称为临场感(Immersion) 交互性(Interaction) 自主性（Autonomy）虚拟现实的发展历程发展历程 1965年Sutherland提出1966年开始H

3、DM的研究1968年研制出第一台HMD1975年Myron Krueger提出AR的思想1985年研制出数据手套1986年VIEW系统研制成功1990年Siggraph会议确定VR技术的发展方向20世纪90年代以来VR应用到众多领域虚拟现实的研究现状国外虚拟现实技术的研究现状美国宇航局(NASA) 美国宇航局(NASA)的Ames实验室完善了HMD，并将VPL的数据手套工程化，使其成为可用性较高的产品。 NASA完成的一项著名的工作是对哈勃太空望远镜的仿真。现在NASA已经建立了航空、卫星维护VR训练系统、空间站VR训练系统，并且已经建立了可供全国使用的VR教育系统。虚拟现实的研究现状北卡罗来

4、纳大学(UNC)的计算机系是进行VR研究最早最著名的大学。他们主要研究分子建模、航空驾驶、外科手术仿真、建筑仿真等。麻省理工学院(MIT)是一个一直走在最新技术前沿的科学研究机构。1985年M1T成立了媒体实验室，进行虚拟环境的正规研究。SRI研究中心建立了“视觉感知计划”，研究现有VR技术的进一步发展。1991年后，SRI进行了利用VR技术对军用飞机或车辆驾驶的训练研究，试图通过仿真来减少飞行事故。此外，SRI还利用遥控技术进行外科手术仿真的研究。虚拟现实的研究现状华盛顿大学华盛顿技术中心的人机界面技术实验室(HIT Lab)在新概念的研究中起着领先作用，同时也在进行感知、知觉、认知和运动控

5、制能力的研究。 HIT将VR研究引人了教育、设计、娱乐和制造领域。例如，波音公司的V22运输机就是先在实验室中造出虚拟机后再投人生产的。虚拟现实的研究现状Windustries位于Leicester，是国际VR界的著名开发机构，正在开发一系列 VR产品，主要是娱乐业方面的。正在计划推出新型轻量显示头盔和功能强大的图形引擎(Graphics Engine)。British Aerospace(BAE)的许多部门参与了VR，利用VR技术设计高级战斗机座舱，虚拟现实的研究现状Dimension International是桌面VR的先驱，尽管桌面VR是非沉浸式的，但是与那些可视效果和动态质量差的沉浸

6、式(Immersive)系统相比，具有优质图像和实时交互特性。英国的高级机器人研究有限公司(ARRL)关于远程呈现的实验研究主要包括VR技术重构问题。头控立体摄像系统、在手套和3D6D鼠标上使用了触觉反馈等。虚拟现实的研究现状在德国有大约50个研究所，研究开发工作集中在计算机图形学有关的领域，如可视模拟、可视化、图像处理和VR等，并对那些需要复杂底层结构、技术支持和专业性的中长期项目实现承包管理方法。虚拟现实的研究现状国内虚拟现实技术的研究现状：北京航天航空大学计算机系是国内最早进行VR研究的单位之一，他们首先进行了一些基础研究，并着重研究虚拟环境中物体物理特性的表示与处理；在虚拟现实中的视觉

7、接口方面开发了部分硬件，并提出了有关算法及实现方法；分布式虚拟环境DVENET 虚拟现实的研究现状浙江大学CAD&CG国家重点实验室在基于图像的虚拟现实、分布式虚拟环境的建立、多细节层次模型、真实感三维重建、基于几何和图像的混合式图形实时绘制算法等领域开展了深入的研究，在国内外产生了广泛的影响。清华大学计算机科学和技术系对虚拟现实和临场感的方面进行了研究，例如球面屏幕显示和图像随动、克服立体图闪烁的措施和深度感试验等方面都有不少独特的方法。虚拟现实技术的主要应用领域 工程应用虚拟现实技术在制造业的广泛应用。德国的汽车制造企业，将vr应用到零部件设计、内部设计、空气动力学实验和模拟撞车安全测试。

8、福特公司的虚拟工厂 英国航空实验室的虚拟轿车客舱 雷诺汽车公司的“city Fleet”虚拟现实技术的主要应用领域工程应用虚拟现实技术在飞行仿真领域的应用 飞行员的操纵舱系统显示外部图像的视觉系统产生运动感的运动系统计算和控制飞行运动的计算机系统。 虚拟现实技术的主要应用领域工程应用虚拟现实技术在虚拟实验的应用虚拟风洞 虚拟物理实验室 虚拟电力控制室 虚拟现实技术的主要应用领域医学领域的应用“虚拟现实”装置 虚拟现实技术分析神经系统分子造型虚拟现实技术的主要应用领域教育培训领域的应用建筑工程学考古学医学教育导游培训生物教育历史教育化学和物理教育社会科学虚拟现实技术的主要应用领域军事应用步兵训练

9、系统作战仿真系统虚拟现实技术体系结构虚拟现实的硬件系统结构虚拟现实技术体系结构虚拟现实系统的组成模块输入模块：是虚拟现实系统的输入接口，其功能是检测用户的输入信号，并通过传感器模块作用于虚拟环境。传感器模块：是虚拟现实系统中操作者和虚拟环境之间的桥梁。响应模块：是虚拟现实系统的控制中心。反馈模块：是虚拟现实系统的输出接口。用户传感器模块输入模块用户界面反馈模块相应模块虚拟现实系统的分类虚拟现实系统的分类沉浸式：用封闭的视景和音响系统将用户的视听觉与外界隔离，使用户完全置于计算机生成的环境之中，计算机通过用户戴的数据手套和跟踪器可以测试用户的运动和姿态，并将测得的数据反馈到生成的视景中，产生人在

10、其中的效果。虚拟现实系统的分类虚拟现实系统的分类非沉浸式：非沉浸式VR系统又称为桌面VR系统或非配带型VR系统，其视景是通过计算机屏幕、或投影屏幕、或室内的实际景物加上部分计算机生成的环境来提供给用户的；音响是由安放在桌面上的或室内音响系统提供的。这种系统有时称为“窗口虚拟现实系统(through-the-Windows VR system)”或者“桌面虚拟现实系统(Desk-top VR System)”。图8.5 沉浸式VR系统虚拟现实系统的分类虚拟现实系统的分类叠加式：叠加式虚拟现实系统允许用户对现实世界进行观察的同时，虚拟图像叠加在被观察点(即现实世界)之上。叠加式虚拟现实系统又称为“

11、补充现实系统”或者“扩大的现实系统”(Augmented Reality，A11)。 虚拟现实系统的分类虚拟现实系统的分类分布式虚拟现实系统(DVR)是一种基于网络的虚拟现实系统，它可使一组虚拟环境连成网络，使其能在虚拟域内交互，同时在交互过程中意识到彼此的存在，每个用户是虚拟环境中的一个化身(Avatar)。它的基础是网络技术、实时图像压缩技术等，它的关键是分布交互仿真协议，必须保证各个用户在任意时刻的虚拟环境视图是一致的，而且协议还必须支持用户规模的可伸缩性，常用的分布式协议是DIS和HLA。分布式VR技术主要运用于远程虚拟会议，虚拟医院，虚拟战场等。虚拟现实硬件基础头盔式显示器(Head

12、一Mounted Display, HMD) ：最常见的使用户产生沉浸感的装置是头盔显示器，它可提供视觉显示、立体声音输出以及头部位置跟踪的功能，是进入虚拟环境首选的装置。 虚拟环境的视觉通道 图8.10 头盔显示器(HMD)虚拟现实硬件基础原理：计算机系统针对左右眼的两个RGB信号，通过双路立体显示系统发送给HMD的控制单元，用于立体观察。控制单元同时接收立体声，发送给HMD的立体耳机。位置跟踪器头盔的缺点是使人感到不习惯和不舒适，加上分辨率低和视野范围不够会引起信息丢失。 虚拟现实硬件基础立体投影显示CAVE握由美国Illinois大学EVL实验室为克服HMD存在的问题而研制的一个系统，完

13、成于20世纪90年代初。它由一个10ftlOft9ft大小的房间组成，房间的每一面墙与地板均由大屏幕背投影机投上1024768分辨率的立体图像。可允许多人走进CAVE中，用户戴上立体眼镜便能从空间中任一方向看到立体的图像。CAVI实现了大视角、全景、立体、且支持5lO人共享的一个虚拟环境。 虚拟现实硬件基础CAVE的优点 它可提供180度的宽视域和2000 x2000以上的高分辨率。它允许用户在虚拟空间中走动，而不用佩戴笨重设备。它允许在同一个环境中存在多个用户，而且用户之间可以自然地交互。一次能显示大型模型，如汽车、房屋等，而用HMD则需要头部运动刁能看到完整的模型。虚拟现实硬件基础CAVE

14、的不足价格昂贵要求更大的空间和更多的硬件还没有产品化和标准化等。改进ImmersaDeskInfinity Wall SGI Reality Center 虚拟视网膜显示器(Virtual Retinal Display，简称VRD) 虚拟现实硬件基础立体眼镜被动式（Passive），这两幅图像可以并排放置，重叠在一起，图像能够通过放于眼前的不同的滤波器投影到眼睛，立体图像使用偏正光眼镜或红/蓝玻璃眼镜，以提供天然的（无色彩）立体视觉，这类眼镜造价便宜，电影等娱乐业大量采用该类型。主动式（Active），计算机交替产生左、右眼图像，使用液晶显示眼镜与显示器上的立体图像对，同步开关，遮挡左/右眼

15、，使大脑很快收到交替图像，并融合图像为单一的场景和景深。所以需要高速的场频（最小为60Hz）来避免闪烁，否则用户佩戴后会感到头昏。这类眼镜较昂贵，主要有Crystal Eye公司的立体眼镜，见图。虚拟现实硬件基础立体显示器不需借助外部设备和编程开发技术，只要有三维模型，就可以实现三维模型的立体显示。虚拟现实硬件基础虚拟环境的听觉通道听觉环境系统的组成语音与音响合成设备 识别设备 声源定位设备 人类进行声音的定位依据两个要素：两耳时间差(Interaural Time Differences，简称ITD)两耳强度差(Interaural Intensity Differences，简称IID)。

16、虚拟现实硬件基础虚拟环境的听觉通道听觉通道接口技术存在的问题：其中问题之一就是多声源声场的声音立体化，用户稍微偏离预定的位置，声音的立体声效果就会降低。另一个问题是声音信号的生成，语言和音乐的合成已经有了较好的办法，但环境声音合成和建模以及声学场景分析尚有待研究。 虚拟现实硬件基础输入装置数据手套（Data Glove ）数据手套制作技术却相当复杂。数据手套由很轻的弹性材料构成，紧贴在手上。这个系统包括位置、方向传感器和沿每个手指背部安装的一组有保护套的光纤导线，它们检测手指和手的运动。 发光二极管光传感器计算机光电信号数据当弯曲手指时，发光二极管的光经过光纤导线从导线保护套的裂缝或切口逸出。

17、关节越弯曲，光纤逸出越多，到达光传感器的光越少。光量的多少就反映了手指的弯曲程度。 图8.6 6D鼠标/控制杆图8.7 数据手套虚拟现实硬件基础5DT DATA GLOVE 5W黑色有弹性的双层纺织品，夹层中是用光纤的皮线传感器，标准的RS-232或usb与计算机相连。无位置传感器header F1 F2 F3 F4 F5 PITCH ROLL CHECKSUMCyber Glove 18-22个传感器，线性弯曲传感器虚拟现实硬件基础触觉和力反馈装置为了产生虚拟的触摸感觉，研究人员开发了触觉和力反馈装置。虽然它们的样式和大小各不相同，但它们大致上做相同的事情：推我们的手臂，并把机械或动力信号记

18、录下来。产生触觉的任务仍然是虚拟现实研究人员所面临的最为困难的挑战之一。力反馈的装置相对于触觉要容易，国际上已有一些机械的力反馈装置，但用户更需要的可能是轻便小巧一些的装置。Immersion公司推出的Feelit鼠标，能够使用户感受带力度的Internet网页。用户在浏览网页时，可以发现有些地方能够接下鼠标键，有些地方则无法按下鼠标键。 虚拟现实硬件基础三维位置跟踪器 位置跟踪器是用户与虚拟环境进行交互的基本装置之一，用于跟踪头、手、腿或其它对象的位置。位置跟踪器的形式很多，原理也完全不同，通常由超声波、低频磁场、光学和机械位移等各种传感器构成，用以测量3个坐标的位移和方向(6个自由度)。

19、传感器类型 优 点 缺 点 机械式传感器 价格较低，滞后性较小 工作空间受限制 磁性传感器 使用方便，价格较低 作用范围小，滞后大对磁场干涉敏感 超声传感器 价格较低 精度有待提高 光学传感器 位置精度和采样频率较高 成本高虚拟现实硬件基础三维鼠标/跟踪球/游戏杆 它们都带有额外的按钮和滑轮，不仅仅用于控制XY坐标变换,而且可以控制Z方向的旋转。全设备6D控制杆是一个6D游戏杆。它看起来象一个附在短棒上的网球。你可以在左/右和上/下方向拉扭这个球。图8.6 6D鼠标/控制杆常用的虚拟现实开发工具Cult3D是由Cycore公司开发的一个面向电子商务的交互三维软件。它是一种全新的网络3D技术、一

20、个跨平台的3D引擎，其目的是在网页上建立交互的3D对象。利用Cult3D技术可以让设计者制作出3D立体的产品，并且放置于网页中。浏览者可以通过鼠标即可控制3D产品的旋转、放大、缩放，实现与Cult3D对象的交互。Cult3D主要应用于电子商务和电子交易、产品和销售展示、娱乐、游戏。由于Cult3D 本身没有建模功能，其所用的模型必须从其它三维建模软件导出。Cult3D Exporter便实现了这一功能。目前， Cult3D Exporter只有支持3DS MAX 和Maya导出的版本。图8.11 Cult3D用户界面常用的虚拟现实开发工具ISB（Internet Space Builder）是

21、由美国Parallel Graphics 公司开发的一种专用虚拟现实开发工具。它采用了一种“所见即所得”方式，通过图形界面可以很方便的制作出虚拟场景。ISB不仅提供了符合VRML语言标准的基本几何造型，还为开发者提供了丰富的三维模型库，开发者可以直接利用它们来创建VRML场景。 特点：可以利用ISB提供的基本造型（长方体、圆柱体、球体、锥体等）通过布尔运算（加或减）创建逼真的三维场景和模型；可定制的用户界面；符合VRML97标准。导入和输出VRML2.0格式的文件，能够在VRML浏览器中浏览；具有可视化的场景结构树和用户自定义的场景结构层次；提供了丰富的材质、图片、组件库，并且可随意扩展的各种

22、图库；多重渲染模式；支持3DS对象、DXF文件的导入 常用的虚拟现实开发工具VRML（虚拟现实建模语言，Virtual Reality Modeling Language）是一种与互联网结合，用来描述三维交互世界的程序语言，可应用于创建虚拟现实的对象、景象和展示模型等。VRML语义描述的是基于时间的交互式三维多媒体信息的抽象功能行为。利用三维VRML格式的图形预览，用户可以对三维模型进行旋转、漫游等方式的浏览。虚拟原型机用场景图描述，因此要建立虚拟原型机的坐标空间。原型机的基本模块用节点（Node）表达。节点以层次关系组织在一起，并通过脚本定义模块的行为。节点之间可以通过消息（称为事件）相互通

23、讯，事件通过路由在场景中传播。常用的虚拟现实开发工具VRML在internet上定义交互式可视化应用的技术基本特征：分布式、三维、交互式、多媒体集成、场景逼真工作过程：用文本信息描述三维场景，通过internet传输，在本地机上由vrml浏览器解释成三维场景。场景图：节点常用的虚拟现实开发工具用VRML建立虚拟原型的过程利用CAD软件进行几何造型和装配，它是生成虚拟原型的基础；从CAD模型中取出几何模型，利用接口工具转换并输出VRML格式文件，将实体零件用多边形网格来逼近，以便与虚拟原型信息的描述方式相一致；简化：为了保证虚拟环境中能够以每秒2030幅画面进行人机交互，必须通过根据不同要求简化

24、算法，减少多边形的数目，删去不必要的细节，必要时对由于简化引起的边界裂缝或重叠借助修补算法进行重构；利用3D MAX，结合VRML文本编辑器，对虚拟原型进行着色、材料特性渲染、光照渲染、属性信息附加及运动建模等编辑加工；输出虚拟原型并存入数据库。 虚拟环境的计算平台 关键技术环境建模技术基于PC的虚拟环境体系基于几何建模和图像结合的建模方法和算法基于图像的虚拟现实关键技术，解压缩建立具有物理属性的虚拟原型关键技术触觉和力觉反馈虚拟触觉实时力觉反馈：实时碰撞检测、实时力觉绘制和实时力觉反馈设备精度和成本的问题关键技术交互技术三维交互技术语音识别和输入立体显示和传感技术。HMD，数据衣，数据手套的

25、延迟、分辨率、作用范围、使用方便性、跟踪精度和范围等问题。关键技术碰撞检测碰撞检测、碰撞相应、碰撞处理。二维平面碰撞和三维空间碰撞。一般采用矩形或球形包围盒的层次数据结构，通过对树的遍历减少检测所需时间。近似碰撞方法。存在问题费用问题在产品开发过程中，所建立的虚拟环境要真正达到沉浸性、实时交互性的效果，费用是一个严重的问题。在虚拟环境中，要获得与虚拟物体的交互性，需要具有强大计算能力、高性能的计算系统。输入输产装置性能不够完善输入输出装置很大的一个弱点就是缺少好的传感反馈元件，尤其是力反馈元件。另一个问题是精度问题。到口与标准不健全快速开发完整系统的重大障碍之一就是缺乏标准。目前，在位置跟踪装

26、置、图形生成装置、三维声音系统设备之间没有一定的接口准则。产品的虚拟原型概念虚拟原型(Virtual Prototyping)是利用虚拟环境在可视化方面的优势以及可交互地探索虚拟物体的功能，对产品进行几何、功能、制造等方面交互的建模与分析。虚拟原型、数字原型与物理原型的关系 与物理原型相比较，虚拟原型生成的速度快，生成的原型可被人们直接感触、操纵和修改，且数据可被重新利用。 在产品开发的早期阶段，往往不必要进行详细的分析。这一阶段所考虑的重点是外观、总体布置以及一些诸如运动约束、可接近性等特征。这样，基于传统CADCAM的数字原型就不能满足要求了。 建立虚拟原型的主要步骤 从CADCAM模型中

27、取出几何模型镶嵌用多面体和多边形逼近几何模型。简化根据不同要求删去不必要的细节虚拟原型编辑着色、材料特性渲染、光照渲染等。特征轮廓的粘贴，以更好地表达某些细节。增加周围环境和其他要素的几何模型。添加操纵功能和性能。虚拟原型建立示例镶嵌和简化虚拟原型建立示例修补表面模型通常用一些装饰性线条来连接共同边界。在模型镶嵌和简化的过程中，在边界上会产生裂缝或重叠。这就要借助修补算法将它加以修补，以便获得完整的多面形简化表面。 虚拟原型建立示例特征轮廓的粘贴在建立虚拟轿车内部原型时，某些具有细节的要素，如仪表、音响或空调设备等的描绘需要数量很大的多边形，但又不宜简化，否则无法表现它的特征或影响操作者的沉浸

28、感。这个问题可通过将照片和透视图粘贴到原型上的办法来解决，采用粘贴技术可以明显降低几何模型的复杂程度。虚拟原型建立示例 操作者的介入和虚拟原型调整为了使用户能进入虚拟轿车内部，并与所建立的虚拟原型要素交互，需要借助于物理的模拟驾驶座，如图所示。模拟驾驶座包括座位、方向盘、油门踏板和变速杆。在双筒显示装置中出现的虚拟轿车内部场景如图所示。虚拟原型建立示例 功能和性能的添加为了使虚拟原型能够对用户的操纵作出反应，必须添加某些功能和性能。例如，通过数据手套按下收音机的按钮(触发事件)，声音应该响起来(环境反应)。通过调用各种菜单，用户可改变汽车内部装饰件的颜色、汽车内外光线环境等渲染效果，如图所示。

29、虚拟原型的应用实例 福特公司美国Caterpillar公司 美国克莱斯勒汽车公司为迅速推出新产品，也应用了虚拟原型技术。该公司的工程师应用虚拟环境实施一个名为克莱斯勒数据可视化(CDV)的项目。 美国帝瑞(John Deere)公司是一家生产工程机械的著名厂商。工程师头戴头盔显示器，手系位置传感器，生进司机座位后，就可接触各种操纵装置，如图所示。 虚拟原型的应用实例美国波音飞机公司的波音777飞机的开发就是完全利用虚拟原型进行评价分析的。 在飞机的设计过程中如何考虑飞机的可维修性是非常重要的。借助与真人一样大小的人体模型，液压工程师在dVise软件所生成的虚拟维修区中亲身体验可用的空问。今天，飞机公司对部件供应商提出的一个基本要求就是：任何可在现场更换的部件必须能在30分钟内更换完毕，所使用的标准工具则不应该超过5件。虚拟工人进入飞机内部检查管道的场景 虚拟原型的应用实例美国国家航空航天局(NASA)就建立了这样一个虚拟风洞系统，该系统使用三维工作站产生空气流动场的可视化图象，用户通过BOOM显示器和数据手套与虚拟场景进行交互。数据手套用作烟的生成器，以便用户能观察到局部气流的流动情