虚拟现实及其应用

1、虚拟现实及其应用虚拟现实及其应用第四讲第四讲蔡则苏蔡则苏2008-05-10第四章 虚拟现实的计算机技术 v41 虚拟现实的计算机体系结构 411 虚拟现实对计算机系统的要求 v下面介绍虚拟现实对计算机系统的要求，只包括了视觉显示对计算机系统的要求。位姿传感器的数据处理，一般不在主计算机上进行，而是由专用的电子设备完成。听觉显示，力觉触觉显示，研究工作和实际应用还较少，对其计算要求的认识还较少。听觉显示和力觉触觉显示的计算，往往也由专用计算机完成。所以，当前的虚拟现实计算机，主要完成视觉显示的计算任务。v1帧频和延迟时间的要求VR要求高帧频和快速响应。要求的帧频和延迟一般取决于环境特性。只有慢

2、速运动物体的较静的环境，可以用帧频每秒8至10，和0.1秒延迟。如果环境有高速运动的物体，则要求高帧频（60Hz）和短延迟。所有情况下，若帧频低于每秒8帧，则失去三维环境的生动感，若延迟大于0.1秒，则很难操作环境。因此，帧频必须大于8到10帧/秒,总延迟必须小于0.1秒。v2计算能力和场景复杂性虚拟现实仿真的计算问题，是一种时间受限的计算。这是因为显示的帧频必须大于8到10帧/秒。于是，在0.1秒内，必须完成一次场景的计算。如果一个显示的场景中有10,000个三角形（或多边形），这个数量就反映了场景复杂性。这样，在每秒进行的10次计算中，就应该计算100,000个三角形（或多边形）。这表示了

3、计算能力。若要求更加逼真的仿真效果，就要增加场景复杂性。显示的场景中有更多的三角形（或多边形），显示的效果就更逼真。这就要求更强的计算能力，每秒计算更多的三角形（或多边形）。反之，如果只能使用能力有限的指定的计算机，则限定了计算能力，也就限定了场景复杂性。每个场景，只能用较少的三角形（或多边形），产生较粗糙的显示。左图表示，人体骨骼的两种复杂性不同的三维模型。（a）中的模型有8979个多边形。（b）中的模型有131275个多边形。效果图说明了明显的逼真度差别。是否加纹理，是否反走样，采用哪一种明暗模型，都会影响到计算能力 v细分网格具有细分连通性的网格，被称之为细分网格，这种细分连通性是由均匀

4、分裂算子产生的。所谓细分连通性，是指由一个基本网格M0经过若干次一分四的分裂（细分）而形成的三维图形所具有的三角面片或顶点间的邻接和父子关系，如图所示，该细分网格没有经过平滑处理。基于视点的非均匀抽样网格简化（9451，300，200，150，100，54）v3对计算机系统的要求图形学和计算机硬件的进展对VR是关键因素。今天的硬件能力只能给研究者、厂家和用户提供虚拟世界的尝试和应用的希望。由于广泛的兴趣和有不同性能要求的大量应用，所以需要在几个层次继续进行硬件开发，由高档多模式工作站到低档的只有适当三维视觉能力的个人工作站。v这些机器必须有很大的物理存储（15Gbytes），多个高性能向量处理

5、机，高带宽(500Mbytes/s)，低延迟(0.03s)，巨型存储设备，和对各种输入输出设备的高速接口。磁盘带宽不可能在近几年大大改进。对录象和超媒体集成，磁盘带宽和大小是限制因素。也需要巨大的计算和数据管理能力。物理建模和可视化计算将是计算需求的推动力。v412 基于PC的虚拟现实机器Grimsdale1992指出，让一般公众接受虚拟现实将通过“发展”，而不是“革命”。发展意味着升级现有的计算基础，产生虚拟现实要求的新功能。当前最大的计算基础包括遍布全世界的几千万台PC。利用PC平台的另一个优点是价格低。于是在1992年推出了低级的基于486的虚拟现实机器，它有头部跟踪器、HMD、3-D声

6、音、图形加速器和手柄，价格少于20000美元。1994年，低级的基于PC的系统价格约3300美元（跟踪球200美元，Cyberscope200美元，软件工具盒900美元，486-PC 2000美元）。1有Action Media图形加速器的486-PC 2有SPEA“Fire”图形加速器的486-PC比ActionMedia II更强的PC图形板是SPEA Software AG的“Fire”板（价格约4000美元）。它的绘制速率约为18000平面明暗化多边形/秒，和7000 Gouraud明暗多边形/秒。Fire板使用i486 RISC处理器，有64bit结构和40MIPS。 3其它基于PC

7、的图形加速器PC上其它的图形性能是由Stride板得到的。Stride图形加速器使用两个板的配置，基本板和协作的Gouraud明暗板。 v4图形硬件图形硬件是使图形绘制加速的硬件设备。图形硬件涉及到图形流水线，图形卡的AGP和PCI，图形加速器，以及Add-ons。 PCI结构的工作原理：图形加速器是图形计算的另一个重要部分。这是图形卡上的处理器，它完成所有繁重的计算。至今，这些繁重计算主要包括：加纹理，反走样，以及其他计算密集的函数。NVidia推出芯片，完成光照及其变换。它取代CPU的工作，大大加速显示过程，允许实时的照明和明暗变化。3Dfx 制造了图形卡的Voodoo和Banshee 芯

8、片。它也利用自己的T-缓冲技术，把实时明暗加在其Voodoo芯片上。AGP结构的工作原理 ：Add-ons 适用于只有2D加速器，但没有3D加速器的计算机。它提供用于显示3D物体的计算，极大地改进性能。3Dfx 是add-ons的主要制造商。它的Voodoo就是一种初等的add-ons。它还为其图形卡开发了API （称为Glide）。Glide 提供了软件微层次，使开发者免于直接处理硬件寄存器和存储器。这减少了调试时间，加快了开发过程。它基本上是OpenGL API 的缩减版本，类似于OpenGL v53D显示卡第四代3D显示卡有以下几种： 耕宇具有250MHz RAMDC、8M显存、内置TV

9、out 功能的GX3有很高的性价比。虽然GX3在出现初期，由于驱动程序的问题犯下了不少错误，可是现在已经得到了很大改善，基本上已无问题出现。奉劝用户购买SGRAM型，因为使用了8M SGRAM的GX3显存频率可轻松超至125MHz以上，而且各方面表现均超过SDRAM型。丽台S900是使用Intel i740芯片的台湾显卡中最为稳定的一种，它不会在游戏过程中突然死机，更不会经常过热，而且它是我们见过在3D测试中画质最好的i740卡。拥有8M SDRAM的S900是第二代3D加速卡中的佼佼者。MGA Millenium G200(SG) 这里所说的G200不是广为流行的G200（SD），而是使用S

10、GRAM的高端型号。内置250MHz RAMDAC，具有8M 三星7ns SGRAM的G200，在高分辨率高彩的环境中表现不凡，而且最大可扩至16M显存。发挥它长处的地方在12801024分辨率、100Hz以上刷新率下的CAD绘图领域。丽台S320 目前最“火”的显示芯片可能要算TNT，而在使用TNT的显示卡中S320的品质一流。内置250MHz RAMDAC，载有16M极为快速的8ns SDRAM，是已知TNT显示卡中速度最快的产品之一，而且稳定性和超频性能都非常好。它可满足DIY发烧友对顶级显示卡的需求。Diamond-Monster Fusion 到目前为止，Diamond仍是设计Voo

11、doo类显示卡最好的厂商之一，其Fusion是使用Banshee芯片的最好的显示卡。具有16M 8ns SEC SGRAM和250MHz RAMDAC。如此高档配置的Fusion不仅是很好的游戏用卡，其2D性能也非常高。虽然Fusion的芯片和显存运行在超频状态下，并且1300元以上的价格实在太贵，但它还是很诱人的选择。 Diamond Monster 它使用3DFX专为游戏开发的Voodoo2芯片组，加上12M EDO显存，其性能当然一流。在收购了另一家以设计Voodoo显示卡见长的Micronics公司后，Diamand Monster 3D销量激增，它在3D游戏中的画质和贴图表现确实是无

12、人能敌的，尤其是两块Monster 以SLI方式联接后更是将所有对手远抛在身后。耕宇的大龙4000 使用了以游戏见长的3DFX Banshee芯片，内置250MHz RAMDAC，板载16M Mosei(茂矽）10ns SDRAM，虽然性能不及使用SGRAM的同类产品，但是它稳定的特性和超低的价格使其成为游戏爱好者的好选择。 华硕-V3200 这是一款华硕的Voodoo Banshee产品，16MB SGRAM，250MHzRAMDAC。V3200制作精良，稳定性好。 vELSA Gloria Synergy 大名鼎鼎的ELSA专业显示卡使用了Permedia2 的改进型Permidia2V芯

13、片，其2D性能又有了提高，而且也提高了稳定性和超频性。3DFX的Voodoo 使用了16M 6ns的SDRAM，只有一片BGA封装的芯片，对3D MARK99和3D WINBENCH99的初步测试，其值分别达到了3000和600以上（800600 85Hz），比TNT等芯片高出1/3，它足以让游戏者“发疯”。3DLABS的Permedia3 专门为OPEN GL设计的结构、驱程以及空前强大的Delta浮点加速器无疑将为“无产阶级”3D绘图者增添一件“利器”。v413 基于工作站的虚拟现实机器就数量来讲，仅次于PC的最大的计算基础是工作站。它们比PC的优点是有更强的计算能力，更大的磁盘空间和更快

14、的通讯方式。Sun和SGI采用的一种途径是用虚拟现实工具改进现有的工作站，象基于PC的系统那样。Division Ltd.采用的另一个途径是设计虚拟现实专用的总承包系统，如Provision 100。这是基于工作站的虚拟现实机器的两种发展途径。 1Sun 公司的Virtual Holographic工作站 1992年，Sun推出Virtual Holographic Workstation。这个系统最初使用SUN Sparc station II ，并配置GT图形加速器（10万个多边形/秒）。1994年，它升级到Sun 10-51，配置ZX加速器（12.5万个多边形/秒）。在立体方式下，速度下

15、降到约6万个多边形/秒，且左右眼图像交替显示在立体监视器上。它采用StereoGraphics Co.的CrystalEyes VR和Logitech跟踪器，给用户部分沉浸感。头部和3-D鼠标的跟踪是用Logitech的超声跟踪器，它连到工作站串行口。3-D鼠标的使用象2-D鼠标那样，用于与虚拟对象以3-D交互。集成这些I/O工具和SUN工作站的软件（运行在Solaris 2.3操作系统上）是Sense8 WorldToolKit的新版本，在1994年春推出。整个系统价格约46000美元，再加上Sense8软件的另外价格约6000美元。v2Division 公司的Provision 100工作

16、站Provision 100的并行结构有多个处理器，称为Director（用于碰撞检测和时间同步的处理器）和用于立体视频显示的actors（视频处理器），3-D声音的actors（声音处理器）和手跟踪与手姿识别的actors（手套处理器）。这个结构也有一个I/O卡，并允许增加附加的I/O处理器。与486 PC等主计算机的连接允许基于UNIX的Provision 100用于仿真中的高级终端。Provision模型100 VRX使用两个图形板，每个眼一个，直接输出NTSC/PAL信号。每个图形板有一个Intel i860处理器和两个T425 transputers。i860利用常用的多边形加速器作

17、几何处理，提供35000个Gouraud明暗的Z-缓冲的多边形/秒。vProvision 100 VRX模型有一个附加的纹理模块，在象素处理器和两个视频存储器之间。它可以加纹理，但不损失绘制速度。对256个texel单元（纹理元），24-bit彩色纹理图存在高速静态RAM中。这个RAM可以布局为256256的4个图，128128的16个图，或者它们的组合（如256256的1个图加上128128的4个图和6464的32个图）。v314 高度并行的虚拟现实机器因为计算能力成为VR系统计算设备的瓶颈之一，所以各个工作站厂商都在发展高度并行的虚拟现实机器，以便提高计算能力。v1Division公司的“

18、SuperVision”机器 Provision可以绘制3.5万个多边形/眼/秒，这是良好的开始，但还远离图形真实性所要求的几百万个多边形/眼/秒。1992年，Division宣布了“SuperVision”机器，它用高性能的并行结构增加绘制能力到28万个多边形/眼/秒。这些多边形是纹理的，Gouraud明暗的和Z-缓冲的。SuperVision结构有标准的Provision“前端”和多处理器组。计算/绘制卡的连接是通过高速的（200MBytes/秒）、低执行时间的通讯线路。每个处理器组都是自治单元，有一个40MHz i860 处理器，一个用于I/O的T425 transputer，以及多达1

19、6 Mbytes的局部存储。多组结构包括一个画面缓冲器，它与一个立体视频画面获取器一起，允许图形实时覆盖在实况视频图像上。此外，SuperVision有一个多通道图像生成组，一个处理组，一个I/O组，一个声音组，以及可能的附加组。所有的组都连到同样的通讯线路。这个通讯线路的通讯是通过点到点的通信路线。它可以用于任何数据类型，由实况视频，到对象几何修改和象素信息。所有数据包都可以由环上任意的处理器送到另一个处理器。可以选择不同的分布方式，使得对不同问题的性能最优。2SGI公司的IRIS-1400到RealityEngine 2SGI（Silicon Graphics Incorporated）公

20、司制造的图形系统具有某种更灵活更强的数字媒体能力，它在一个包中组合了先进的三维图形，数字多通道声频，以及录象。SGI系统用作许多VR系统的核心，它完成仿真、可视化、通讯等任务。关键问题是系统支持强大的计算，体视的多通道视觉输出，以及连接到传感器、控制设备和网络的快速输入输出。纹理化多边形填充能力也是它的特点 SGI从1983年就着手开发在技术前沿的多处理机图形工作站。它的系统包括三代。第一代是1000，2000和G。第二代是GTX，VGX和VGXT。第三代是Reality Engine和RealityEngine 2。v1993年1月，SGI发布了ONYX图形超级计算机。它包括新的多处理结构P

21、owerPath 2，这是基于在150MHz工作的MIPS R4400 RISC CPU的24个并行处理机。I/O通道带宽是对存储器速率1.2 Gbytes/s，支持以50Mbytes/s工作的VME64位总线。ONYX可以用3个图形流水线，这是基于新的Reality Engine图形子系统。新的图形系统比1992年7月的RealityEngine提供高50%的多边形性能。它的速率达 每 秒 2 百 万 个 三 角 形 ， 和 每 秒 9 0 万 纹 理 的Gouraud明暗的反走样的加雾的Z缓冲三角形。vONYX2 系列是 SGI 的高档图形设备，它组合了最大的超级计算和可视化。他的布局可能

22、是可联网的单 机 工 作 站 ， 也 可 能 是 使 用 多 达 1 2 8 个“R12000”RISC 处理器的全机架系统。这个全机架系统支持多达16个可视化子系统，从而可以支持4个绘制管理器，以及多达320 MB 帧缓存。v它用于世界上很多领先的研究，军事，政府，医疗，和娱乐业。在油气勘探开发的应用中，ONYX2 的OpenGL Volumizer 允许勘探开发工程师，同时交互地处理和分析大量数据。Reality Systems 用于产生高质量的地下地形的体可视化。政府用 ONYX2 处理图像，录像，三维地形，以及地球空间数据。也用于各种仿真器，任务规划，战场可视化，军事图像和智能制造。工

23、厂用这些系统构造复杂系统的高逼真度实时仿真，通过所有设计人员的合作，在开始制造前确保整个设计的一致。这些系统也被娱乐业采用，如ILM，PIXAR等。电影界用它制造特殊效果。 vONYX2的选项包括：Digital Video Multiplexing （数字视频选通），Immersive Visualization Desk 1000D 和 2000D （沉浸的可视化工作台），以及联网 vSGI Onyx2 / ProjectorONYX2的主要指标为：14 Mbyte OpenGL Display list cache （有300MB/sec 通过量），实时 3D 体绘制，24英寸监视器，支

24、持立体的NTSC 1920 x1080 HDTV 显示，256 MB to 256 GB 系统 RAM，可达 2.3 TB 内部盘存储，1GB 物理的纹理存储，每秒可处理多达2亿个多边形，每秒填充率70亿个象素，可以用于医疗专业的 X-Rays 处理。 几何图形发生器是一组可加速模型建立的定制芯片 。 目 前 , S G I 有 多 种 由 几 何 图 形 发 生器构成的产品:XZ、ELAN、EXTREME、VGXT、VTX、REALITYENGINE、REALITY ENGINE2 这些几何图形发生器以硬件来加速图形的几何变换,减轻了中央处理器对大量图形处理的负担,从而使SGI工作站在CAD

25、、CAE、CAM、EDA、图像处理、动画、图形仿真、地理信息系统等各种领域中,提供了其他工作站不可比拟的动态图形功能。 v3Evans & Sutherland 公司的Freedom 3000Evans & Sutherland (E&S)原来是飞行仿真器公司，它最近发布了Freedom序列图形加速器，用于Sun Sparc 10工作站。它提供大范围的性能水平：由Freedom 1000的每秒50万多边形，到Freedom 3000的每秒3百万多边形。它用标准硬件软件接口与Sun环境无缝地连接。Freedom加速器可以用Sun标准接口编程，并与当前的E&S和Su

26、n工作站软件兼容。Freedom 3000有12801024，15361280和高分辨率TV显示格式。它支持硬件纹理映射，包括MIP映射，分辨率达20002000。其它特性是线、点、多边形的反走样，a缓冲区，累积缓冲，每个象素128位，和动态象素定位。vFreedom 3000包括下列技术：用0.8CMOS的五个专有的VLSI ASIC芯片，可编程高速微处理机的并行阵列(DSP)，很快的专有的图形总线(G-bus)(速度超过每秒3百万多边形)，高速象素发送互联，用于图像处理的高速存取帧缓冲区(达每秒1亿象素)，以及象素填充率950万/秒。v4北卡大学的PixelPlanes 4,5和 Pixe

27、lFlow北卡大学是最早开发图形硬件的大学之一。1988年，PixelPlanes 4有每秒2.7万多边形能力。1991年，改进的PixelPlanes 5有每秒1百万多边形能力。最新的机器PixelFlow正在开发，但已显示很大潜力。vPixel Flow和其图形性能是将来高性能三维VR的重要部分。它是高速图形生成的结构，克服了传统硬件绘制结构的变换和帧缓冲存取的瓶颈。它利用图像合成技术，分配绘制任务在同样的绘制器阵列，其中每个绘制器计算部分基元的全屏幕图像。高性能图像合成网络实时组合这些图像，产生全屏图像。图像合成结构的性能与绘制器数目成线性关系。一个PixelFlow绘制器扫描达每秒14

28、0万三角形，几个绘制器系统可以扫描达这个速率几倍。予计128个绘制器的系统可以达到多边形速率每秒1亿三角形。vPixelFlow由超级采样实现反走样。它以几个硬件明暗器支持延迟的明暗，它在包含中间象素数据的合成图像上工作。PixelFlow明暗器计算复杂的明暗算法，以及基于图像的纹理，明暗速率与图像复杂性无关。PiexlFlow可以连到并行超级计算机，用作中间模式图形服务器，或者可以为保持方式绘制维持显示表。v5Sun公司的Elite 3D m3 和 m6Elite 3D 是Sun公司的高性能图形系统系列，用于实时交互的3D可视化，绘制和动画。实际上，这只是视频卡，不是整个系统。它是与Sun

29、Ultra 10工作站一起工作的。该系统比SGI的系统便宜，但性能也较低。m6是较高性能的选项，有6个板上的FPU运算器。它有串口连接其他接口设备，如头部跟踪，HMD，3D鼠标。他的用户类似SGI系统，有：CAD/CAE，石油工业，医疗专业，HAZMAT，实时动画。系统没有大存储空间支持电影一类大的课题。vvElite 3D 的主要指标为：用在 Solaris 操作系统 (2.6 或更高)，支持 OpenGL 1.1.1，有加速的照明和线点的反走样，有加速的象素深度信息和alpha内插。vSun Ultra 10 工作站的主要指标为：是 3D建模和图形应用的台式系统，与 Elite 3D (m

30、3 or m6) 视频子系统合作，440 Mhz UltraSPARC 处理器（有 2MB cache），可达1GB DRAM 和 18GB 硬盘空间，与 Elite3D 图形子系统合作。v6更强大的机器Red Mountain和Blue Mountain1996年12月16日，Intel 公司与 US DOE 合作发 布 了 世 界 上 第 一 台 每 秒 1 万 亿 次 的 计 算 机 (teraflops)。全美国人不停地手算125年，才相当于该机器工作1秒钟。 该机器称为 Red Mountain （红山）。Accelerated Strategic Computing initiat

31、ive (ASCI) 正在开发仿真技术，不经过地下核试验就确保美国核武器的安全可靠。在新墨西哥州的 桑迪亚国家实验室 正在安装5500万美元的Red Mountain机器，新墨西哥州的洛斯阿拉莫斯国家实验室 和加州的 the Lawrence Livermore National Laboratory 也使用该机器。该机器仿真核武器的各个方面，由激励问题（如起爆仿真），到静态仿真（如核武器储存的老化效果）。Red Mountain 也用于医疗和药物研究，天气预报，飞机和汽车设计，工业生产的改进，疾病演化的仿真，治理环境等。vRed Mountain 的主要指标为：价格 $55 百万，占地100

32、0 平方英尺，系统 RAM: 584 Gbytes，双向交叉带宽51.6 Gbytes/sec，Pentium Pro 处理器 9,216，峰值性能1.8 TFLOPS。Los Alamos National Laboratory 不满足借用Red Mountain，就开始建造Blue Mountain。该机器有比Red Mountain更强的图形能力，增加了16台SGI Infinite Reality 机器。Blue Mountain 组织成48个128处理器的共享存储器多处理机（SMP）。48个SMP可以彼此通讯，速度为每秒650 Gigabits。它有76万亿bytes的光纤通道的盘空

33、间。1998年11月12日建成，5年内将超过100 TFLOPS。vSunGraph专业VR工作站基于开放稳定的Microsoft NT架构和Intel小型机架构的高性能计算机，其所采用的通用开放的基于NT架构的操作系统和硬件环境，不仅极大地提高了系统本身的易用性、兼容性和可升级性，突破了昂贵的传统Unix工作站的价格和应用瓶颈，而且还以极具吸引力的经济合理的价格实现配置的最大优越性和灵活性，实现了图形能力、稳定性、价格和高速计算性能的最佳平衡，是设计大型模型构件、大型机械装配、医学研究，以及虚拟现实和视景仿真用户最为理想的VR 3D图形系统平台，特别适合于对 CPU 和图形要求较高的应用。在

34、长期的应用实践中SunGraph以其无可比拟的开放性、强大的图形处理能力和极高的性能价格比，得到了广大专业图形用户和科研工作者的认可。 v四重缓存、48级图像位面，结合复杂的着色、光照、深度提示和纹理加速能力。频率高达4.5 G中央处理器，内置512K 的高速缓存（Cache built in CPU），高达400MHz的系统总线速率；其卓越的快速内存和高速磁盘技术可实现系统总线带宽的最大化，系统延迟的最小化，极大地提升了主机系统的3D图形处理性能：1.0GB 双通道高速内存（ECC Rambus(r) RDRAM(r) 内存,最大可扩展至4GB RAM）；最大为438GB Ultra3 Wi

35、de SCSI 六通道同步高速磁盘（速度高达15000 转/分、内置业界最大容量的高达2.0MB的片内高速缓存） v例如：例如：VRAutoMoto Trainer (专业汽车专业汽车/飞行模飞行模拟训练系统）拟训练系统） VR-AutoMoto Trainer 是一套专业级的驾驶模拟仿真系统。真实的驾驶模拟器（驾驶坐舱）和仪表系统、多通道同步计算的大幅面环幕立体投影系统和立体的三维虚拟道路场景（多通道三维立体场景同步生成）造就逼真、立体、完全沉浸的驾驶窗口视景系统，精确同步的传感系统更提供了灵敏快捷的实时交互性能。同时，系统装配的动感座椅和6自由度的底盘悬挂运动系统，还让驾驶者能实时地感受一

36、下汽车和飞机在运动过程中的颠簸、摇摆。这一切都让你仿佛置身于真实的驾驶坐舱，领略虚拟现实技术带来的真实感受。该系统适合于专业地驾驶模拟训练（驾驶员、飞行员等）、科学研究、军事模拟仿真研究等各种有专业驾驶训练和科学研究需求的应用。 v例如：虚拟手术简介 现代科学技术的发展越来越体现多门学科的交叉和渗透。虚拟手术（Virtual Surgery-VS）作为正在发展起来的研究方向，是集医学、生物力学、机械学、材料学、计算机图形学、计算机视觉、数学分析、机械力学、材料学、机器人等诸多学科为一体的新型交叉研究领域。其目的是：使用计算机技术（主要是计算机图形学与虚拟现实）来模拟、指导医学手术所涉及的各种过

37、程，在时间段上包括了术前、术中、术后，在实现的目的上有手术计划制定，手术排练演习，手术教学，手术技能训练，术中引导手术、术后康复等。v虚拟手术这个研究方向目前正在逐步形成之中，与之相关的一 些 研 究 方 向 主 要 有 ： 医 学 可 视 化 （ M e d i c a l Visualization），医学增强现实（Medical augmented Reality），医用机器人，手术模拟（Surgery Simulation），图象引导手术（Image Guided Surgery），计算机辅助手术（Computer Aided Surgery，Computer Assisted Sur

38、gery）等。我们认为使用虚拟手术（Virtual Surgery）这个名词更加能够充分体现虚拟现实（Virtual Reality）作为计算机图形学在医学治疗过程中的作用，充分体现了人机交互和真实感。国外也有称此方向为虚拟手术室（Virtual Operating Room）或医学虚拟现实（Medical Virtual Reality）。虚拟手术是利用各种医学影像数据，利用虚拟现实技术在计算机中建立一个模拟环境，医生借助虚拟环境中的信息进行手术计划、训练，以及实际手术过程中引导手术的新兴学科。 v42 虚拟现实的软件系统421 虚拟现实对工具软件系统的要求虚拟现实程序设计需要有关实时系统、

39、面向对象语言、网络、物理建模、多任务等方面的知识。好的计算机程序员精通这些技巧。但他们不可能熟悉各种虚拟现实应用的专业领域。反之，医生、建筑师、或经济分析家也不可能具有必要的程序设计技巧。虚拟现实厂家认识到需要解决这种知识缺口，并创造出这种产品的市场。v422 虚拟现实常用的工具软件系统1常用的工具软件工业界制造了很多用于虚拟现实的先进软件工具，虚拟现实工具盒（toolkits）。这包括：由表中可见，软件的价格是较高的，而且由$1,000到$10,000不等。不同价格的软件有不同的性能。Mercury价格最低，适用的平台少，无编辑器，3D文件的格式少，库函数没有。Render-ware价格最高

40、，适用的平台多，且包括SGI工作站， 3D文件的格式多，库函数较多。WTK是较好的一种，价格也较高。 工具软件支持输入工具的比较工具软件支持输入工具的比较 ：由表中可见，Mercury价格最低，适用的鼠标少，无跟踪球和手套，跟踪器少。Render-ware价格最高，适用的鼠标多，有跟踪球和手套，跟踪器多，还包括BOOM系统。WTK是较好的一种，价格也较高。 工具软件支持输出工具的比较工具软件支持输出工具的比较 ：Mercury价格最低，监视器较差，头盔较简单，无投影机，声音较少。Render-ware价格最高，监视器较好，头盔有多种，声音较多。WTK是较好的一种，价格也较高。工具软件支持图形格

41、式的比较工具软件支持图形格式的比较 ：由表中可见，Mercury价格最低，仅支持平面明暗。Render-ware价格最高，支持多种明暗和纹理。WTK是较好的一种，价格也较高。 v2VRMLVRML是Virtual Reality Modeling Language的缩写。VRML是描述三维造型与交互环境的简单的文本语言。它是一种虚拟环境交换格式，定义了当今虚拟环境中大多数的常见概念，诸如变换层级、光源、视点、几何、动画、雾、材质属性和纹理影射等。 VRML提供的技术能够把二维、三维、文本和多媒体集成为统一的整体，VRML是在Internet上建立3D多媒体和共享虚拟世界的一个开放标准：v（1）

42、VRML的特点(a)是造型语言, 可描述3D场景。(b)用户可进入VRML建立的世界，去探索它。(c)VRML建立的世界是交互的，受用户控制。(d)把2D，3D物体、动画、多媒体效果混合于一体。(e)平台无关，可在PC或SGI上浏览。(f)基于Web，可建立三维可视化服务器。(g)着色不如OpenGL快。(h)没有底层控制。(j)有限的界面。 v（2）VRML的概念与实例虚拟世界由对象构成，对象及其属性用节点来描述，所以节点是构成VRML文件的基本单元。每个节点都可以有五个方面的特征：类型、域、事件、实现、名字。VR世界中的坐标系：X轴指向屏幕右侧，Y轴指向屏幕上方，Z轴指向观察者。VRML程

43、序是解释执行，实时建模着色的文本程序。它的两个要点是：节点(node):构成虚拟世界的基本要素， 路由(route)：节点间传送信息的途径。VRML文件都是扩展名WRL的文本文件，或扩展名WRZ（压缩格式）的二进制文件。它一般包括如下四部分： 文件头：位于首行，提供版本信息。如：# VRML V2.0 utf8。注释：以#开始的一段文字。节点：场景信息的单位。可以描述造型，灯光，声音等。如：Cylinder描述一个圆柱体。域值：域用于描述及改变节点的属性，值反映域的大小。如：Cylinder height 2.0 radius 1.5 中，height（高度）和radius（半径）是域，2.0

44、和1.5是值。v（3）VRML的语言结构VRML的基础，是一个利用HTIP协议传输数据的全球网，以及一个SGI设计的Open Inventor文件格式。VRML是标准语言，与平台无关，易扩展，基于低带宽的网络连接。用户可在虚拟场景中漫游，还可用超链接（hyperlink）到达新的三维世界。(a)节点（node）是描述三维场景的图形对象。一个场景由具有层次结构的多个节点组成。共有50多个节点，定义三维场景。一个节点有多个域(field)。域名、类型及缺省值都有规定。如圆柱体节点。Cylinder field SFBool bottom TRUEfield SFFLoat height 2fiel

45、d SFFLoat radius 1field SFBool side TRUEfield SFBool top TRUE定义的圆柱体，高度为2，半径为1，具有下底面，有圆柱侧面，有上顶面。v(b)节点有各种类型。形状（shape）节点：定义物体形状。基本形状(Primitive)节点：是标准积木块，如球。外表（Appearance）节点：定义外观，如色彩、纹理。变换(Transformation)节点。照相机节点。光学节点。超链接节点：包括WWWInline和WWW Anchor。WWW Inline节点：支持集成不同文件或URL的虚拟世界。WWW Anchor节点：指定到新的URL的连接。

46、v(c)描述符（Script）节点，内插器(Interpolator) 节点：Script是Java描述符语言的子集，同时由Java 的内置对象支持VRML数据类型。 Script分析输入，由输出改变世界。Interpolator是内置的动作机制，对数据内插，产生动画。v(d)声音（Sound）节点描述声音定位和空间效果。 声音定位在一点，以球或椭圆形发射。域Intensity调节音量。域 Priority是占用声道的优先权。 v(e)传感器(Sensor)节点是一类特殊的节点。包括七种节点： Cylinder Sensor, Plane Sensor, Time Sensor, Touch

47、Sensor, Visibility Sensor, Proximity Sensor。Proximity Sensorexposed Field SFVec3f center 0，0，0exposed Field SFVee3f size 0，0，0exposed Field SFBool enabled TRUEeventout SFBool isActiveeventou SFVec3f position-changed eventout SFRotation orientation-changedeventout SFTime enter Timeeventout SFTime exi

48、t Time这是接近传感器节点。当用户接近、退出空间，或在空间移动时，会产生事件。Center和Size定义长方体，分别用三个数字定义长方体的中心点三维坐标和三维尺寸。Enabled域的值为TRUE表示允许工作。进入退出长方体空间时发生isActive, enter Time和exit Time事件。这些事件应该为对于接近的响应行为，进入时间和推出时间。也可以利用position-changed和orientation-changed，改变位置和方向。（4）VRML的动画技术(a)帧频可变：电影中24帧/秒， 电视（NTSC）中，30帧/秒。VRML中帧频可变，可最小达5帧/秒。(b)用户可控

49、制动画：改变视点可在动画中漫游。(c)自然的触发机制：向Time Sensor的Start Time域发任何的SFTime eventont事件，就启动动画。由script产生予期动作。（5）VRML的使用与开发条件VRML的浏览环境：浏览器：IE3.0或Netspace Navigator 3.0(NS)以上版本。VRML插件：Windows 98, NS自带或下载更新的版本。VRML最简单的开发环境：浏览器：IE3.0或Netspace Navigator 3.0(NS)以上版本。VRML插件：Windows 98, NS自带或下载更新的版本。文本编辑器（记事本或UltraEdit）。vM

50、ultigen Creator系列软件是MultiGen-Paradigm公司开发的一个用于可视化系统数据库进行创建与编辑的软件工具集。MultiGen Creator系列产品是一个高性价比，高度自动化，功能强大，交互的三维建模工具，具有强大的多边形建模，矢量建模，大面积地形精确生成功能，以及多种专业选项及插件，能高效最优化地生成实施三维数据库，并与后续的实时仿真软件紧密结合，专门创建用于视景仿真的实时三维模型。 MultiGen Creator系列软件可运行平台为Windows 98/NT/2000/XP及SGI IPRIX6.2版本以上。它的基本模块为：Creator（Base Creat

51、or）或Creator Pro(是Base Creator 的扩展集），基本选项两种：Terrain Bundle和Road Tools。 v3DStudio MAX,简称3DS MAX，其前身为运行在DOS操作系统下的3DS，由著名的AutoDesk公司麾下的Discreet多媒体分部推出的一种功能强大的三维设计软件包，是当前世界上销量最大的一种三维建模、虚拟现实建模的应用软件。 在应用技能方面，拥有强大功能的3DSMAX被广泛地应用于电视及娱乐业中，比如片头动画和视频游戏的制作，在应是特效方面的应用。而在国内发展的相对比较成熟的建筑效果图和建筑动画制作中3DSMAX的使用率更是占据了绝对的

52、优势。根据不同行业的应用特点对3DSMAX的掌握程度也有不同的要求。在虚拟现实方面，主要要求是对场景物体进行建模，并可以通过相关的插件输出其他文件格式的模型，一般是一些简单的动画功能。 3DSMAX常用于虚拟现实技术的建模，尤其是WEB3D的应用。与其它的同类软件相比，它具有以下的优点： （1）提供了强大的建模功能 （2）性价比高 （3）入学容易，学习简单 （4）使用者多，便于交流与应用 v323 虚拟现实工具软件的功能实时产生VR所要求的软件有很多部分。这包括交互软件，漫游软件，图形流水线软件的多边形流最小化，世界建模软件（几何、物理和属性建模），以及超媒体集成软件。每一部分都是很大的，所有

53、部分合作，可以实时产生VR。各部分互连的目标是产生详细的交互的无缝的VR。无缝表示你可以驱动车辆穿过一个地带，停在建筑前面，走下车辆，步行进入建筑，上楼梯，进入房间，与桌上的物体交互，整个过程中没有延迟和犹豫。为建立无缝的系统，要求在软件开发上实质的进展。虚拟现实工具软件包括下列模块。1交互软件:交互软件是接受用户操作与控制的接口软件。交互软件提供构造不同控制设备间对话的机制(如跟踪器,触觉接口)，并把对话用于系统或应用，使多模式显示相应变化。这个软件的第一部分由控制设备取得输入，并解释它们。可以使用几个程序库，作为商业产品或作为共用件(shareware)，它可以读普通接口设备的数据，如Da

54、ta Glove和各种跟踪器。商业程序库的例子有Sense 8的World Toolkit。程序库包括由接口设备得到输出的驱动器，和包括予测跟踪和手姿识别的程序。构造交互软件的第二部分转变系统状态信息，由控制设备进入对话（这对系统和应用是有意义的），同时滤掉对话中错误的不可靠的部分（这可能由输入设备中的错误数据产生）。然后把这些对话送交虚拟世界系统，执行某些有用的操作。 交互是VR系统关键部分，它涉及硬件和软件。VR中接口硬件提供身体各部分的位置和状态。这些信息一般用于：(1)映射用户行为到环境变化(如手移动物体)，(2)发命令给环境(如手姿或按键)，(3)提供信息输入(如语音,文本或数值输入

55、)。用户意图应由硬件输出判定。由于硬件的不精确，推理可能复杂化。2虚拟场景漫游软件虚拟场景漫游软件使用户能在三维虚拟世界中移动。这个软件有很多部分，包括控制设备手姿解释（来自运动处理输入子系统的手姿信息），虚拟摄象机视点和观看方向的空间控制，用于对图像流水线的多边形流最小化的层次数据结构。在漫游中它们一起实时工作，产生通过虚拟世界的连续帧序列的下一帧。 漫游是控制VR中视点和观看方向的问题。使用传统的计算机图形技术，漫游可以简化为用于绘制物体的位置和方向变换矩阵（在齐次图形座标中）的确定。变换矩阵可以分解为来自用户头运动的变换和来自长距离（在虚拟车辆上）移动的变换。这可能是几个虚拟车辆连在一起

56、。 第一层虚拟世界漫游是最特殊的，即用户视点。通过头部跟踪设备，可以控制观看位置和方向，头部跟踪给计算机提供头部位姿和方向。下一层漫游使用虚拟车辆。这允许在VR中移动一段距离，大于头部跟踪允许的距离。虚拟车辆的位置和方向可以使用各种方式控制。在仿真应用中，车辆控制方式与实际被仿真车辆的控制方式相同。实现的例子是用于飞行和车辆仿真的脚踏磨（跑步机），自行车和手柄。对更抽象的应用，有几种实验方法控制车辆。最普通的方法是指示飞行技术，其中由直接操作接口控制车辆。用户给三维位置方向跟踪器指出要求的飞行方向，命令用户车辆在这个方向飞行。另一种控制车辆方法是基于在VR中不需要通过一定的空间由这里到那里。遥

57、操作是明显的例子，它要求用户规定要求的目标，再把用户放在那里。解决方法包括固定了进入和退出位置的门，由数值或标记输入明确规定目标，以及用环境的小型三维图指出要求的目标。控制车辆的另一个方法是动态改变比例尺，整个环境降低比例就使用户可以达到要求的目标，然后升高用户指定的目标区的比例。所有方法都有缺点，包括难以控制和定向。v3操作系统 为了建立当前多数VR系统，一般使用运行某种UNIX操作系统的商业工作站(这些工作站最初的设计不是满足实时性能要求的)。其它途径是利用更专用的嵌入式计算元件(可能在通用工作站中用作前端机)，运行为支持实时分布计算设计的操作系统。后一种途径大量用于有强烈实时要求的领域（

58、如过程控制和遥机器人）。虚拟环境要求的操作系统能力包括：通过共享存储通讯支持大量的轻型处理，支持自主和透明地分配任务到多计算资源，支持时间关键的计算和绘制，很高分辨率的时间分片以及担保执行时间优先的过程(0.001s以内分辨率)。 v4虚拟现实编辑器 今天的通用程序设计环境是基于窗口、菜单和图标（icons）。这些用于大量不同的程序，由文本编辑到画图程序或spreadsheet。现在可能扩充同样的途径，产生或编辑虚拟现实环境。用虚拟现实系统自然的3-D接口产生虚拟环境带来极大的优越性。用户可以在环境中运动，移动物体到一个位置，并按需要改变其它属性。这提供交互更强，建模更自然的系统。可以由涂画构

59、造虚拟环境，只要由对象库选择对象（有默认的属性），把对象在虚拟空间定位，然后选择和修改给定的属性。由环境中产生和删除对象的能力，对于我们快速改造给定环境以满足用户要求是很基本的。 应用开发者看到编辑结果是通过实时仿真中使用的同样的显示（HMD或CRT）。反之，同样的输入工具（3-D鼠标、手柄、跟踪球等）也用在编辑方式。这允许由各个角度看到编辑过程，甚至在台式工作站上。把虚拟现实编辑器放进虚拟现实系统，就得到一个杰出的虚拟现实开发系统。 v5内部常驻建模器 虚拟现实编辑器具有内部动态建模设备。这对于新手是很方便的，但限制了可能建模的物理特性的选择。在复杂的仿真中，可能必须建模物理特性（力、重力、

60、变形等），这要写独立的工具盒程序。这提供了最大的灵活性，但要求很好的面向对象程序设计技巧。 完整的灵活性的建模工具盒是新的“Cyberspace Developer Kit-CDK”。它的库有很大的函数集（超过1200），组织在140个C+类中。类组织成层次，有“基本类”（没有父辈）和子类（继承基本类的属性）。VRT3工具盒图形接口用于产生新的虚拟对象。想法是给生手提供一种用户友好的直观的接口，把虚拟世界放在单个台式机器上。 IBM开发了VR-DECK工具盒，它把图形编程的应用扩充到多用户网络仿真。这个工作是把可得到的计算资源分配给各个仿真任务，并确保得到异类系统工作。不同计算和通讯能力的机器，设备定位和结构约束，使过程调