虚拟现实及相关技术田景成.doc

虚拟现实及相关技术作者：田景成摘要: 虚拟现实(Virtual Reality)是一种可以创建和体验虚拟世界(Virtual World)的计算机系统。虚拟现实是多种技术的综合，其关键技术和研究内容包括以下几个方面，环境建模技术、触觉反馈、交互技术和系统集成技术。 1 虚拟现实技术与虚拟现实系统虚拟现实(Virtual Reality)是一种可以创建和体验虚拟世界(Virtual World)的计算机系统。它的基本特征： 沉浸感(Iimmersion)是指用户作为主角存在于虚拟环境中的真实程度。理想的虚拟环境应该达到使用户难以分辨真假的程度(例如可视场景应随着视点的变化而变化)，甚至超越真实，如实现比现实更逼真的照明和音响效果等。 交互性(Iinteraction)是指用户对虚拟环境内的物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手直接抓取虚拟环境中的物体，这时手有触摸感，并可以感觉物体的重量，场景中被抓的物体也立刻随着手的移动而移动。 想象力(Imagination )是指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位地获取知识，发挥主观能动性，寻求解答，形成新的概念。 虚拟现实是一门直接来自于应用的涉及众多学科的新的实用技术，是集先进的计算机技术、传感与测量技术、仿真技术、微电子技术等为一体的综合集成技术。在计算机技术中，虚拟现实技术的发展又特别依赖于人工智能、图形学、网络、面向对象、Client/Server、人机交互和高性能计算机技术。虚拟现实是多种技术的综合，其关键技术和研究内容包括以下几个方面： 环境建模技术。虚拟环境的建立是虚拟现实技术的核心内容，环境建模的目的是获取实际三维环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模型。 立体声合成和立体显示技术。在虚拟现实系统中，如何消除声音的方向与用户头部运动的相关性已成为声学专家们研究的热点。同时，虽然三维图形生成和立体图形生成技术已经较为成熟，但复杂场景的实时显示一直是计算机图形学的重要研究内容。 触觉反馈。在虚拟现实系统中，产生深临其境效果的关键因素之一是让用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力。然而研究力学反馈装置是相当困难的，如何解决现有高精度装置的高成本和大重量是一个需要进一步研究的问题。 交互技术。虚拟现实中的人机交互远远超出了键盘和鼠标的传统模式，三维交互技术已经成为计算机图形学中的一个重要研究课题。此外，语音识别与语音输入技术也是虚拟现实系统的一种重要人机交互手段。 系统集成技术。由于虚拟现系统中包括大量的感知信息和模型，因此系统的集成技术起着至关重要的作用。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、识别和合成技术等等。2 环境建模技术现在地环境建模方法主要有以下几种： Euclidean-geometry方法 Fractal-geometry方法 Physically Based Modeling Image Based Rendering 混合建模技术：Image Based Rendering和Image Based Rendering，是未来虚拟环境建模的发展方向。基于图象的建模技术和混合建模技术的步骤和需要考虑的问题。有效地获取模型数据。虚拟化现实(Virtualized Reallity)的基本原理是采用摄像或扫描的手段而不是传统的建模手段来创建虚拟环境中的事件和对象。如果说传统的几何建模技术是一个虚物实化的过程，那么虚拟化现实就是将现实世界中的事件和对象转换成虚拟世界里的事件和对象，是一个实物虚化的过程。综合运用虚物实化和实物虚化，就可以使虚拟环境中既有计算机创造出来的虚拟实体，又有真实世界中的景物。为获取虚拟化所需要的数据，一般采用从多个不同角度拍摄的摄像机来记录对象。通过从不同拍录角度获取场景描述，可以得到场景的图象；通过多基线立体化方法MBS (Multi-basedline Stereo)（MBS的基本原理是，若用两架具有同样焦距、所处位置不同的照相机拍摄同一物体，则物体上同一点在两幅画面中的差距与两架照相机之间的距离有相关性）进行计算深度信息。深度信息和图象的结合一般称为场景描述(Sence Description)。利用多个场景描述就可以从任意视角合成场景。一旦现实世界被虚拟化，就可以用图形技术(主要是基于图象的绘制技术)从任意角度来绘制一个对象。通过跟踪观察者的位置和方向可以动态选择出最接近观察者的拍录角度的场景描述。穿带着特殊设备的观察者可以在虚拟化世界中自由移动，并在观看时从一个动态选择的角度来进行观察。为了能够较快地生成各种视景，一般先采用多边形网格法生成场景描述，但由于采样精度高，由此建立起的三维模型的复杂程度远远超过了当前计算机实时的图形处理能力。如何降低这些模型的复杂度，减少图形系统需处理的多边形数目，实现实时交互，已经成为计算机图形学研究中的一个重大课题。为此人们提出了各种方法，细节层次LoD(level of detail)便是其中一种非常有效的控制场景复杂度的方法。3 三维交互设计和制造出性能优越的三维交互设备是虚拟现实技术的关键。三维交互设备可以分为两类，即三维显示设备和三维控制设备。常见的三维显示设备有头盔式显示器和立体眼镜等。头盔式显示器采用立体图绘制技术来产生两幅相隔一定间距的透视图，并直接显示到对应于用户左、右眼的两个显示器上。新型的头盔式显示器都配以磁定位传感器，可以测定用户的视线方向，使场景能够随着用户视线的改变而作出相应的变化。所有三维空间控制设备的共同特征是至少能够控制六个自由度(Degree of Freedom)，对应于描述三维对象的宽度、高度、深度、俯仰(pitch)角、转动(yaw)角和偏转(roll)角。常见的三维控制设备有数据手套、跟踪球、三维探针、三维鼠标器及三维操作杆等。数据手套的出现，为虚拟现实系统提供了一种全新的交互手段，目前的产品已经能够检测手指的弯曲，并利用磁定位传感器来精确地定位出手在三维空间中的位置。这种结合手指弯曲度测试和空间定位测试的数据手套被称为真实手套，可以为用户提供一种非常真实自然的三维交互手段。其他控制设备都是对相应二维设备的三维扩展，即在原来的二维的基础上增加了第三维方向。人类对对三维空间的想象和接受能力比二维空间弱得多，因此这种扩展决不仅仅是简单意义上的功能扩充，这当中涉及大量的研究工作。三维交互技术则使用三维输入输出设备来完成交互任务，主要的技术难点是如何在三维空间中直接完成定位、拾取与勾画等交互操作。4 基于图象的绘制技术传统的图形绘制技术在现有的计算机硬件仍无法实时绘制简化后的场景几何。基于图象的绘制技术(Image Based Rendering)基于一些预先生成的场景画面，对接近于视点或视线方向的画面进行变换、插值与变形，从而快速得到当前视点处的场景画面。与基于几何的传统绘制技术相比，这种技术的优势在于：1. 图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关；2. 预先存储的图象(或环境映照)既可以是计算机合成的，也可以是实际拍摄的画面，两者可以混合使用；3. 算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复杂场景的实时显示。目前基于图象的绘制技术研究重点在如下几个方面： 分层绘制技术， 有效的、适合于实时绘制的三维重建技术， 表面反射属性的快速重建。基于图象的绘制技术的实现方法。源于在图形学中广泛使用的纹理映射。这种方法将纹理图象映射到简单景物的几何表面，以近似描述表面的纹理细节。用户可取不同的位置和角度来观察这些景物，在不同视点和视线方向上，景物表面的绘制过程实际上是纹理图象在取景变换之后的简单景物几何上的重投影变形的过程。在纹理映射的基础上出现了环境映照方法，采用纹理图象来表示景物表面的镜面反射和规则透射效果。具体来说，一点处的环境映照可通过取该点为视点，将周围场景投影变形到一个中间面上来得到，中间面可取球面、立方体、圆柱面等。这样，当通过该点沿任何视线方向观察场景时，环境映照都可提供场景的完全、准确的视图。基于这种策略，Eric Chen设计了一个虚拟现实系统QuickTime VR，通过在场景的离散采样点处预先建立环境映照，从而可使用户在虚拟环境中实时地从一个采样点漫游到另一个采样点处。这类系统的主要缺陷在于漫游过程中视点只能位于固定的网格点上，而不能提供场景的连续视图，产生跳跃感。事实上，上述投影变形技术存在很大局限性，只适用于在固定视点旋转摄像机的情况，而无法处理摄像机位置移动的情况。当平移摄像机时，由于景物前后遮挡关系和改变，所得图像并不完全是原存储图像的重新投影和简单变形，其画面内容在局部区域中发生变化。解决这一问题的有效方法是在原给定的图象序列中引入可见点的深度，以提供原始场景的部分三维信息。具体作法是利用给定画面上可见点的深度值，局部重建场景的三维几何，并基于这些三维信息对可见点直接进行投影变换，或建立该画面与其相邻画面象素的对应关系。使用前一种方法，由单幅画面即可生成相邻视点处新的图象，而后一种方法则需给定若干幅相邻的深度图象。利用这种基于深度信息的投影变形技术，可以在不同视点的图象序列之间生成连续过渡的中间画面，若在预处理中已生成好场景中各采样点处的深度全景图象，则可实现对场景的连续漫游，漫游过程中不再出现跳跃感。这种基于可见点深度信息的重投影过程在理论上很合理，但缺点是在所生成的中间画面上可能存在空洞，这是由于所给定的图象无法提供中间画面空洞处可见点的信息而造成的。空洞的填补是一个非常复杂、计算量很大的过程。光场重建(Light Field Recontruction)技术是在全景函数重建技术上发展起来的一种新的基于图像的绘制技术。一般地，全景函数由一参数方程来描述，定义了空间任一处、在任何时刻和任一波长范围内场景中的所有可见信息。全景函数事实上刻划了一给定场景的所有可能的环境映照，因而以图象的方式给出了场景的精确描述。为生成一帧给定视点沿特定方向的视图，只需将视点V(Vx , Vy , Vz)和球面角、及时刻t代入全景函数即可。这其实是对全景函数的采样过程，所得视图即为全景函数的一个样本。因此，基于图象的图形绘制问题可描述为：给定全景函数的离散样本集合，生成该全景函数的一个连续表示。基于这一描述，基于图象的绘制过程可分解为全景函数的采样、重建和重采样三个过程。一般来说，全景函数的获取是非常困难的，这是由于所包含的信息远远超出了当前计算机的处理能力。所谓混合式基于图象的绘制技术，指的就是同时采用几何及图象作为基本元素来绘制画面的技术。该技术根据一定的标准，动态地将部分场景简化为映射到简单几何体上的纹理图象，若简化引起的误差小于给定阈值，就直接利用纹理图象取代原场景几何来绘制画面。简单几何面置于被简化景物的中心，而简化误差被严格控制在给定的阈值内。这种绘制技术可以在一定误差条件下，以较小的代价来快速生成场景画面，同时仍保持正确的前后排序，所生成的图形质量也很高。1996年Shade等人提出了层次图象存储算法(Hierarchical Image Caching Algorithm)。该算法的基本出发点是，当景物离视点较远时，在前后两帧画面上投影位置的变化非常小。因此，若将这些远距离景物在前一帧画面中的投影图象存储起来，并以该图象作为纹理映射到一简单几何体上，以近似取代该景物在其后续画面中的绘制，就能有效地减少当前视域中的可见面片，从而极大地提高画面的绘制效率。但是，当场景中有很多可见景物时，利用上述方法将产生非常多的纹理图象，需占用大量存储空间。为此，Shade等人利用二叉剖分技术(Binary Space Partition)对场景进行层次剖分，每个节点中的所有景物根据其距离视点的远近，动态地在几何描述和纹理图象之间切换。这一算法的主要贡献在于给出了一种纹理表示与原景物几何描述间的误差估计，并给出了视点运动的安全区域。但该算法由于采用从后至前的绘制顺序来生成画面，因而对于高度复杂的场景，算法的效率将受到严重的影响。为了提高绘制精度，Sillion等利用带纹理的多边形网格来逼近远距离景物，而近景则仍采用传统的几何绘制技术。考虑到对于高度复杂场景来说，将远距离景物简经成其纹理表示仍是一个非常耗时的过程，Sillion等采用预处理的方法来生成在不同视点范围处的远景纹理图象网格。与Shade的算法相比，这一算法具有更高的逼近精度。P. E. Devevect等人也提出了一种混合方法，用于通过照片重构建筑物的几何模型及进行绘制。这种方法的理论基础是照象测量法(Photogrammetirc)，包括来自计算机视觉研究领域的光学校准和从连续运动图象中构造三维模型等一系列技术。该方法包含两部分内容，即三维模型重构和基于重构模型的绘制。在模型重构阶段，系统识别出原始图象中建筑物的大致轮廓，由用户确定某一轮廓线在不同原始图象中的对应关系，系统根据照象测量法通过约束求解自动建立起建筑物的基本三维几何模型，即由若干基本体元所组成的参数化层次模型。在绘制阶段，利用基于视向的纹理映射将各原始图象中的适当部分映射到重构的模型上。重构的模型仅由简单的几何体组成，是对实际建筑物的粗略近似。为了减少映射时产生的误差，该方法引入了立体成像技术，利用几何模型在另一方向上生成一幅参考画面，与该方向上实际拍摄的画面加以比较，通过透视关系就可以求出特定点偏离几何模型的位移量。与其他方法相较，这种方法只需要用少得多的实拍画面就可以对复杂建筑物进行建模与绘制。表面反射属性的重建由图象重建表面几何和由图象重建表面反射属性是基于图象的绘制技术中两个主要的研究方向。上面介绍的各种方法均假设景物表面为漫反射表面，且在整个运动过程中场景的光照情况保持不变。显然，这种假设是理想化的，与实际应用具有很大的差距。因此，基于图象的绘制技术必须在重建三维几何的同时也重建景物表面的光照属性。早在1992年，Haeberli就利用简单的迭加原理来重新绘制场景，但该算法要求场景中光源的类型与数量必须与原图象一致。之后，Nimeroff等人利用天空光的经验模型有效地由已知图象重新绘制了在不同自然照明(如阴天、晴天)条件下的场景。但这一方法只能处理受太阳和天空光照射的室外场景，且视点是固定的。后来，Belhumeur和Krieguman利用奇异值分解技术从原始参考图象中抽取一组基图象，新的图象则通过线性组合这些基图象得到。因此，问题的关键是如何根据光源及景物表面的反向属性来确定组合系数。一般来说，这种关系的确定是非常困难的，所以有这种方法生成的新图象仅是一种近似。目前，该算法只能处理漫射表面。最近，许多研究者在研究恢复表面的反射属性时，引入了场景的几何信息，从而更有效地处理这一问题。Seitz等人利用体元填色 (Voxel Coloring)技术构造了一个中间可编辑的体元数据结构，这样用户就可在不同的照明条件下由这些几何数据重新绘制画面。但是，这一方法仅适合于朗伯漫反射模型。俞益洲等人利用光度学理论，给出了恢复建筑物表面的双向反射率的具体算法，从而实现了由一幅参考图象生成在不同时间及光照条件下该场景的新画面。T. T. Wong也考虑了双向反射率的重建问题。Devevec则通过恢复景物表面的双向反射率(BRDF)来将虚拟景物自然地迭加到实拍图象中，使虚拟景物与实际场景具有相同的光照条件。该算法通过测量场景的辐射和整体照明情况，并利用场景的动态深度图象模型来照明虚拟景物。Devevec的方法是一个将虚拟景物绘制到实际场景(图象)中去的一般方法。从目前的研究状况来看，对景物表面反射属性重建的研究还刚刚起步，有许多问题需要解决。尽管有些算法已有较好的模拟结果，但其计算量非常大，难以做到实时显示。5 多分辨率模型和三维几何压缩高精度的扫描测绘手段为复杂物体基于多边形网格表示的三维几何建模提供了新的高效手段，但由于采样精度高，由此建立起的三维模型的复杂程度远远超过了当前计算机实时的图形处理能力。如何降低这些模型的复杂度，减少图形系统需处理的多边形数目，实现实时交互，已经成为计算机图形学研究中的一个重大课题。为此人们提出了各种方法，细节层次LoD(level of detail)便是其中一种非常有效的控制场景复杂度的方法。所谓LoD技术，就是在实时显示系统中所采用的细节省略(Detail Elision)技术。这项技术首先由Clark于1976年提出，基本思想是：如果用具有多层次结构的物体集合描述一个场景，即场景中的物体具有多个模型，其模型间的区别在于细节的描述程度，那么实时显示时，细节较简单的物体模型就可以用来提高显示速度。实时显示时，模型的选择取决于物体的重要程度，而物体的重要程度由物体在图象空间所占面积等多种因素确定。在计算机图形学中，场景中的物体通常是用多边形网格描述的，因此LoD模型的自动生成就转化为三维多边形网格的简化问题。LoD模型的缺点是所需存储量大。当使用LoD模型进行绘制时，有时需要在不同的LoD模型间进行切换，这样就需要生成多个LoD模型。此外，离散LoD模型无法支持模型间的连续过渡。为此，人们开始研究多分辨率模型。严格地讲，多分辨率模型是指一种紧凑的模型表示方法，从这个表示中可以生成任意多个不同分辨率的模型，一个典型的代表是Microsoft公司的Hoppe提出的累进网格。不过，由于有些网格简化方法能够生成连续的LoD模型，因而在一些文献中，也把这类模型统称为多分辨率造型。为了生成LoD模型，近几年来研究人员提出了多种多边形网格简化算法。网格简化的目的是将一个用多边形网格表示的模型表示为一个近似模型，近似模型基本保持了原模型的可视特征，但顶点数目少于原始网格的顶点数目。通常的做法是把一些不重要的图元(顶点、边或三角形)从多边形网格中移去。目前主要有两类多边形网格简化方法：基于几何特征识别方法和基于小波变换的方法。小波变换是八十年代后期发展起来的数学分支，在计算机图形学中具有广阔的应用前景，其中多尺度分析MRA (Multiresolution Analysis)是一个重要方面。基于MRA的简化网格是对原始网格的简单近似，被省略的细节可以通过一系列的小波基重构出来。尽管小波计算的复杂性影响了这类方法的应用，但这类方法具有明显的优势，利用经过处理的小波基序列，只需要很少的面片就可以逼近原始网格，在构造多分辨率模型、三维几何数据压缩、模型的分级传输和LoD控制等应用中有着无可比拟的实用价值，因此逐渐成为模型简化的研究热点。基于几何特征识别的模型简化方法根据对原始模型的逼近精度要求，识别并保留模型中的几何特征信息、消除冗余信息，从而达到模型简化目的。有了快速、可靠的模型简化方法，只要给出不同的逼近精度要求，即可构造出层次化模型。各种基于几何特征的模型简化算法可以按如下几种方式进行分类：(1) 拓扑结构算法 拓扑结构保持型。 拓扑结构非保持型。(2) 自适应细分型、采样型与几何元素删除型 自适应细分型，要求首先建立原始模型的最简化形式，然后根据一定的规则，通过细分把细节信息增加到简化模型中，从而得到较细的LoD表示。 采样，类似于图象处理中的滤波方法，有时不能保持拓扑结构不变。这类方法对原始模型的几何表示进行采样，其中一种方法是从模型表面选择一组点；另一种方法是把一个三维网格覆盖到模型上，并对每个3D网格单元进行采样。 几何元素删除型，通过重复地把几何元素(点、边或面)从三角形中移去，从而得到简化模型。有三种形式的删除：直接删除；通过合并两个或多个面来删除边或面；以及对边或三角形进行折叠。移去或删除操作反复进行，直到模型不能被简化或达到了用户指定的近似误差为止。在进行几何元素删除时，绝大多数算法要求不能破坏模型的拓扑结构。大多数模型简化算法都属这一类。(3) 局部与全局算法 全局算法是指对整个环境的简化过程进行优化，而不仅仅根据局部特征来确定删除哪些不重要的图形元素。有些全局算法中也使用到一些局部算法的特征。 局部算法是指应用一组局部规则，仅考虑物体的某个局部区域的特征对物体进行简化。(4) 其他分类方法，如视点相关、误差可控性及实时性等 视点相关性：把算法分为两大类，即与视点无关的模型简化算法和与视点有关的模型简化方法。早期的算法都与视点无关，近两年出现了一些与视点相关的方法，这是一个重要的发展趋。 误差可控性：有两层含义，一是用户对整个模型的近似误差是否可以控制(全局)；二是指用户对局部误差是否可以控制。一进步讲，用户可以有选择地对模型的不同部分使用不同的误差度量。 实时性：模型简化的目的就是为了加快绘制速度，达到实时图形生成。这种分类方法有一定的模糊性，原因是时性与所使用的计算机的运算速度有关。模型简化的算法很多，现简单介绍几种主要的模型简化算法如下： Schroeder的顶点删除法，基本思路是指定一个最小的距离阈值，如果模型中某顶点到由该顶点定义的平均平面的距离小于该阈值，则删除该顶点，并采用递归循环分割法对删除顶点后遗留的空洞进行三角剖分，通过调整距离阈值大小可生成层次化模型。Schroeder将该技术应用于从医学CT数据中抽取的等值面模型及地形模型的简化，大量消减了原模型中的三角形数，同时保留了原模型的几何特征。Schroeder算法简单，执行效率高。 Turk的重新布点法，基本思路是指定一个新模型所包含的顶点数，首先将这些点布置在曲面上，原则是面积大的多边形内多布一些点，曲率变化大的多边形内多布一些点，新点集合中可以包含原模型中的点；第二步生成由新旧顶点共存的网格，即将新点插入到原模型中，修改原模型网格；最后删除模型中不在新点集中的顶点，得到由新布点集合中的顶点组成的简化模型。通过调整新模型中的顶点数，可以生成层次化模型。这种方法仅适用于光滑曲面，且简化模型中引入了新点。 Hoppe的能量函数法，其中能量函数由三部分组成：距离能量、表示能量及弹簧能量。其中距离能量反映原始顶点集与简化模型的距离偏差。该能量越小，表明简化模型对原始模型的逼近精度越高。表示能量定义为表示因子Crep与模型顶点数m的乘积，Crep值越大，表明模型表示的简洁性越重要，Crep值越小，表明对原模型的逼近精度要求越高，因此通过指定不同的Crep值，可以控制模型的复杂度，构造层次化模型。这种方法的特点是用能量函数的变化指导网格简化，通过在能量函数中加入一项表示能量将网格简化视作一个网格优化过程，通过能量函数中的距离能量变化反映出简化后的模型对原始模型的逼近程度。Hoppe给出了对三维扫描仪测量的数据模型进行简化的实例，效果十分理想，但算法的执行效率很低。 Hinker的合并共面多边形法，通过找出最大法矢夹角在某一给定值之间的一组多边形，将其看作近似共面的多边形，把这组多边形合并成一个多边形，对合并后的多边形进行三角剖分。其他方法还有：顶点簇(Vertex Clustering)方法、Hamann的三角形删除法、Rofard的边退化法、基于八叉树表示的模型简化方法、基于简化信封(Simplification Envelope)的模型简化方法、基于感知系统的模型简化方法、基于超曲面(Superface)的模型简化方法、基于体素表示的模型简化方法等。此外，Renzen提出了一种通用的非结构化网格简化方法，特别是解决了四面体网格的简化问题，即体简化(Volume Decimation)方法。体简化比面简化(Surface Decimation)难度要大，因为面简化过程中，删除一个顶点，与该顶点相连的顶点可以按逆时针排序；而体简化过程中，删除一个顶点，包围该顶点的若干三角形面片无法进行排序，因此一般的面简化方法无法直接推广到体简化。Renzen的方法实际上可分为两步，第一步，即对删除顶点后遗留的空壳体进行四面体剖分；第二步即解决剖分后存在的拓扑不相容问题。参考文献1 Donald Hearn, M. Pauline Baker. Computer Graphics C Version,