第七章虚拟现实及其应用

主讲：夏洪文第七章虚拟现实及其应用本章要点本章要点虚拟现实的定义和特征虚拟现实系统的构成与分类虚拟现实实现的关键技术与设备虚拟现实建模语言VRML虚拟现实的教育应用27.1虚拟现实的定义和特征7.1.1虚拟现实的定义虚拟现实（VirtualReality）技术是20世纪80年代末90年代初崛起的一种实用技术。它是由计算机硬件、软件以及各种传感器构成的三维信息的人工环境——虚拟环境，可以真实的模拟现实世界可以实现的（甚至是不可实现的）物理上的、功能上的事物和环境。用户投入到这种环境中，立即有“亲临其境”的感觉，并可亲自操作、实践，与虚拟的环境交互作用。3这里所谓虚拟环境就是用计算机生成的具有表面色彩的立体图形，它可以是某一特定现实世界的真实体现，也可以是纯粹构想的世界。传感设备包括立体头盔，立体眼镜等在用户身上的装置和设置于现实环境中的传感装置。自然交互是指用日常使用的方式对环境内的物体进行操作(如用手拿东西，行走等)并得到实时立体反馈。47.1.2虚拟现实的特征图7-1：虚拟感应头盔、遥控手柄、数据手套5多感知性(Multi－Sensory)所谓多感知就是除了一般计算机技术所具有的视觉感知之外，还有听觉感知，力觉感知，触觉感知，运动感知，甚至应该包括味觉感知，嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术，特别是传感技术的限制日前虚拟现实技术所具有的感知功能仅限于视觉、听觉、力觉、触觉，运动等几种，而且无论从感知范围还是从感知的精确程度都还无法与人相比拟。62．沉浸感(presence)又称为临场感(Immersion)，它是指用户感到作为主角存在于模拟环境中的真实程度。理想的模拟环境应该达到使用户难以分辨真假的程度(例如，可视场景应随着视点的变化而变化)，甚至比真的还“真”，如实现比现实更逼真的照明和音响效果等。73．交互性(Interaction)交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度(包括实时性)。例如，用户可以用手去直接抓取模拟环境中的物体，这时手有握着东西的感觉。并可以感觉物体和重量(其实这时手里并没有实物)，视觉中被抓的物体也立刻随着手的移动而移动。8虚拟现实的特征4．自主性(Autonomy)自主性是指虚拟环境中物体反映现实规律的程度。例如，当受到力的推动时，物体会向力的方向移动或翻倒，或从桌面落到地面等。97.1.3虚拟现实的用途领域用途医学外科手术，远程遥控手术，身体复建，虚拟超音波影像，药物合成教育虚拟天文馆，远距教学艺术虚拟博物馆，音乐商业电传会议，电话网路管理，空中交通管制景观模拟建筑设计，室内设计，工业设计，地形地图科学视觉化数学、物理、化学、生物、古生物、考古、行星表面重建，虚拟风洞试验，分子结构分析军事飞行模拟，军事演习，武器操控太空太空训练，太空载具驾驶模拟机械人机械人辅助设计，机械人操作模拟，远程操控工业电脑辅助设计娱乐电脑游戏107.2虚虚拟现实系统统的构成与分分类虚拟现实系统统的构成虚拟现实技术术的实现，主主要分三大块块：建模技术术、显示技术、三维场景景中的交互技技术。具体来说虚拟拟现实系统主主要由以下五五个模块构成成：图7-2虚虚拟现实系系统的构成11虚虚拟现实实系统的构成成检测模块：检检测用户的操操作命令，并并通过传感器器模块作用于于虚拟环境。。反馈模块：接接受来自传感感器模块信息息，为用户提提供实时反馈馈。传感器模块：：一方面接受受来自用户的的操作命令，，并将其作用用于虚拟环境境；另一方面面将操作后后产生的结果果以各种反馈馈的形式提供供给用户。控制模块：对对传感器进行行控制，使其其对用户、虚虚拟环境和现现实世界产生生作用。建模模块：获获取现实世界界组成部分的的三维表示，，并由此构成成对应的虚拟拟环境。12虚虚拟现实实系统的分类类虚拟现实系统统按其功能高高低大体可分分为四类：1．桌面虚拟拟现实系统，，也称窗口中中的VR。它它可以通过桌桌上型机实现现，所以成本本

较低，功功能也最简单单，主要用于于CAD（计计算机辅助设设计）、CAM（计算机机辅助制造））、建筑设计计、桌面游戏戏等领域。2．沉浸虚拟拟现实系统，，如各种用途途的体验器，，使人有身临临其境的感觉觉，各种培训训、演示以及及高级游戏等等用途均可用用这种系统统。133．分布式虚虚拟现实系统统，它在因特特网环境下，，充分利用分布布于各地的资资源，协同开开发各种虚拟现实的利用用。它通常是是浸沉虚拟现现实系统的发展，也就是是把分布于不不同地方的沉沉浸虚拟现实系统，通过过因特网连接接起来，共同同实现某种用途。14分布式虚拟现现实系统（DVR）即是是一个较为典典型的实例。。所谓DVR是指一个支支持多人实时时通过网络进进行交互的软软件系统，每每个用户在一一个虚拟现实实环境中，通通过计算机与与其它用户进进行交互，并并共享信息。。把分布式虚拟拟现实系统用用于建造人体体模型、电脑脑太空旅游、、化合物分子子结构显示等等领域，由于于数据更加逼逼真，大大提提高了人们的的想象力、激激发了受教育育者的学习兴兴趣，学习效效果十分显著著。同时，随随着计算机技技术、心理学学、教育学等等多种学科的的相互结合、、促进和发展展，系统因此此能够提供更更加协调的人人机对话方式式。154．增强现实实又称混合现现实系统。它它是把真实实环境和虚拟拟环境结合起起来的一种系系统，既可减减少构成复杂杂真实环境的的开销（因为为部分真实环环境由虚拟环环境取代），，又可对实际际物体进行操操作（因为部部分系统即系系真实环境）），真正达到到了亦真亦幻幻的境界，是是今后发展的的方向。167.3虚拟现现实实现的关关键技术与设设备实实时立体视视觉与广角立立体显示相比较而言，，利用计算机机模型产生图图形图像并不不是太难的事事情。如果有有足够准确的的模型，又有有足够的时间间，我们就可可以生成不同同光照条件下下各种物体的的精确图像，，但是这里的的关键是实时时。例如在飞飞行模拟系统统中，图像的的刷新相当重重要，同时对对图像质量的的要求也很高高，再加上非非常复杂的虚虚拟环境，问问题就变得相相当困难。17人看看周周围围的的世世界界时时，，由由于于两两只只眼眼睛睛的的位位置置不不同同，，得得到到的的图图像像略略有有不不同同，，这这些些图图像像在在脑脑子子里里融融合合起起来来，，就就形形成成了了一一个个关关于于周周围围世世界界的的整整体体景景象象，，这这个个景景象象中中包包括括了了距距离离远远近近的的信信息息。。当当然然，，距距离离信信息息也也可可以以通通过过其其他他方方法法获获得得。。18在VR系系统统中中，，双双目目立立体体视视觉觉起起了了很很大大作作用用。。用用户户的的两两只只眼眼睛睛看看到到的的不不同同图图像像是是分分别别产产生生的的，，显显示示在在不不同同的的显显示示器器上上。。有有的的系系统统采采用用单单个个显显示示器器，，但但用用户户带带上上特特殊殊的的眼眼镜镜后后，，一一只只眼眼睛睛只只能能看看到到奇奇数数帧帧图图像像，，另另一一只只眼眼睛睛只只能能看看到到偶偶数数帧帧图图像像，，奇奇、、偶偶帧帧之之间间的的不不同同也也就就是是视视差差就就产产生生了了立立体体感感。19图7-3FlyVR实实景景虚虚拟拟现现实实平平台台图图7-4环环形形或或球球幕幕投投影影系系统统20头头部部及及体体位位追追踪踪用户户（（头头、、眼眼））的的跟跟踪踪：：在在人人造造环环境境中中，，每每个个物物体体相相对对于于系系统统的的坐坐标标系系都都有有一一个个位位置置与与姿姿态态，，而而用用户户也也是是如如此此。。用用户户看看到到的的景景象象是是由由用用户户的的位位置置和和头头（（眼眼））的的方方向向来来确确定定的的。。跟踪踪头头部部运运动动的的虚虚拟拟现现实实头头套套：：在在传传统统的的计计算算机机图图形形技技术术中中，，视视场场的的改改变变是是通通过过鼠鼠标标或或键键盘盘来来实实现现的的，，用用户户的的视视觉觉系系统统和和运运动动感感知知系系统统是是分分离离的的，，而而利利用用头头部部跟跟踪踪来来改改变变图图像像的的视视角角，，用用户户的的视视觉觉系系统统和和运运动动感感知知系系统统之之间间就就可可以以联联系系起起来来，，感感觉觉更更逼逼真真。。另另一一个个优优点点是是，，用用户户不不仅仅可可以以通通过过双双目目立立体体视视觉觉去去认认识识环环境境，，而而且且可可以以通通过过头头部部的的运运动动去去观观察察环环境境。。21在用户与与计算机机的交互互中，键键盘和鼠鼠标是目目前最常常用的工工具，但但对于三三维空间间来说，，它们都都不太适适合。在在三维空空间中因因为有六六个自由由度，我我们很难难找出比比较直观观的办法法把鼠标标的平面面运动映映射成三三维空间间的任意意运动。。现在，，已经有有一些设设备可以以提供六六个自由由度，如如3Space数字化化仪和SpaceBall空空间球等等。另外外一些性性能比较较优异的的设备是是数据手手套和数数据衣。。22立立体声声与虚拟拟立体声声的产生生人能够很很好地判判定声源源的方向向。在水水平方向向上，我我们靠声声音的相相位差及及强度的的差别来来确定声声音的方方向，因因为声音音到达两两只耳朵朵的时间间或距离离有所不不同。常常见的立立体声效效果就是是靠左右右耳听到到在不同同位置录录制的不不同声音音来实现现的，所所以会有有一种方方向感。。现实生生活里，，当头部部转动时时，听到到的声音音的方向向就会改改变。但但目前在在VR系系统中，，声音的的方向与与用户头头部的运运动无关关。231．在虚虚拟环境境中的声声音生成成和显示示系统为为达到一一定的仿仿真逼真真度，应应该达到到以下一一些目标标:(1)声声音的生生成和显显示系统统应能够够在可听听范围内内体现较较高的频频率分辨辨度，声声音的生生成和显显示系统统应能反反映目标标实体的的方位、、距离等等信息及及音调变变化;(2)能能表达多多个静止止或运动动的声源源，支持持多个听听点和听听点切换换;(3)与与其他通通道的良良好融合合、匹配配和同步步。242．扬声声器生成成虚幻声声像原理理图7-5扬扬声器生生成虚幻幻声像如图7-5所示示的一对对扬声器器，分别别输出相相干的声声音信号号，通过过控制信信号的增增益、相相位可以以让听者者产生听听觉上的的虚幻声声像，人人耳可以以自然地地根据不不同位置置的扬声声器发出出的声音音来识别别虚拟环环境中动动态目标标的方位位。25触触觉与与力觉的的技术从物理学学仿真角角度看，，包括接接触觉(TactileorTouchSensing)和力力觉(ForceSens-ing)的的触觉感感知(HapticSensing),在基基于虚拟拟现实操操作系统统中是不不可或缺缺的重要要感觉。。当前，，虚拟环环境中大大多数数数据信急急是采用用视觉传传感器以以及非接接触型传传感器(如超声声测距传传感器等等)采集集的。26然而，实实际工作作中很多多操作任任务的信信急要求求具备敏敏捷的控控制和接接触感觉觉。在虚虚拟环境境中，由由于缺乏乏触觉感感知反馈馈(HapticFeedback)手手段，而而使许许许多多的的信号源源很难反反馈和显显示给异异地的用用户，从从而难以以实现更更加全而而的人一一机交互互作用。。显而易易见，没没有基于于几虚拟拟现实的的触觉感感知反馈馈作用，，就很难难满足各各种工程程实际应应用的要要求。在一个VR系统统中，用用户可以以看到一一个虚拟拟的杯子子。你可可以设法法去抓住住它，但但是你的的手没有有真正接接触杯子子的感觉觉，并有有可能穿穿过虚拟拟杯子的的“表面面”，而而这在现现实生活活中是不不可能的的。解决决这一问问题的常常用装置置是在手手套内层层安装一一些可以以振动的的触点来来模拟触触觉。27虚虚拟现现实中使使用的输输出/输输入技术术语音、自自然语言言、手势势、视线线跟踪及及头部跟跟踪等各各种形式式的输入入技术正正在研究究中，沉沉浸式的的头盔显显示器已已经开始始使用，，新的立立体显示示设备也也正在研研制。在VR系系统中，，语音的的输入输输出也很很重要。。这就要要求虚拟拟环境能能听懂人人的语言言，并能能与人实实时交互互。而让让计算机机识别人人的语音音是相当当困难的的，因为为语音信信号和自自然语言言信号有有其“多多边性””和复杂杂性。例例如，连连续语音音中词与与词之间间没有明明显的停停顿，同同一词、、同一字字的发音音受前后后词、字字的影响响，不仅仅不同人人说同一一词会有有所不同同，就是是同一人人发音也也会受到到心理、、生理和和环境的的影响而而有所不不同。。28使用人的的自然语语言作为为计算机机输入目目前有两两个问题题，首先先是效率问题题，为便于于计算机机理解，，输入的的语音可可能会相相当罗嗦嗦。其次次是正确性问问题，计算机机理解语语音的方方法是对对比匹配配，而没没有人的的智能。297.4虚虚拟拟现实建建模语言言VRML307.4.2VRML的基本本内容31例如，下下面是一一个显示示无顶面面的杯状状体的VRML文档#VRMLV2.0utf8Shape{appearanceAppearance{materialMaterial{}#使使用默认认材质和和颜色}geometryCylinder{radius3height6sideTRUEtopFALSEbottomTRUE}}32与上述述文档档相应应的屏屏幕显显示情情况如如图7-6所示示。图7-6用用VRML描述述的一一个虚虚拟圆圆柱体体332．VRML文文档的的编辑辑由于VRML文文档是是一个个普通通的文文本文文件即即纯文文本文文件，，因此此它对对编辑辑工具具没有有特殊殊的要要求。。事实实上，，MircrosoftWord、、写字字板等等，都都可以以用来来编辑辑VRML文档档。为为了方方便进进行VRML文文档的的编辑辑，可可以通通常具具有““所见见即所所得””功能能的可可视化化VRML文档档编辑辑软件件，例例如InternetSpaceBuilder、、Canoma等等，它它们会会自动动将所所编辑辑成的的结果果保存存为VRML格格式的的文本本文件件。3435的的发展展362．VRML2.01996年年8月月公布布。VRML2.0名义义上是是VRML1.0的的修订订版，，但两两者从从内容容到文文档结结构上上都很很不相相同。。在VRML2.0中，，节点点类型型扩展展为54种种，支支持的的对象象包括括动态态和静静态两两类。。这时时的VRML语语言，，已经经完全全脱离离HTML的影影响，，被正正式命命名为为：虚虚拟现现实建建模语语言（（VirsualRealityModelingLanguage））。377.5虚虚拟拟现实实的教教育应应用虚虚拟拟现实实的教教育意意义主要表表现在在以下下两个个方面面。1．扩扩大经经验建构主主义的的学习习理论论告诉诉我们们，人人们的的知识识是在在一定定的环环境中中建构构的。。学习习环境境在知知识的的建构构中占占有重重要的的位置置。虚虚拟现现实技技术为为学习习环境境的设设置，，为人人们获获取知知识提提供了了条件件。虚虚拟现现实在在人们们的学学习中中具有有重要要的意意义。。在虚拟拟现实实的环环境中中，人人们通通过与与虚拟拟的环环境相相互作作用，，获取取信息息，取取得经经验。。在此此基础础上，，可实实现发发现学学习、、问题题解决决学习习。为了培培养学学生的的实践践能力力、分分析问问题、、解决决问题题的能能力，，应让让学生生在虚虚拟现现实的的环境境中近近行体体验学学习，，去发发现问问题，，解决决实际际的问问题，，实现现能力力的培培养。。382．提提高训训练效效率利用虚虚拟现现实可可进行行许多多复杂杂的训训练、、飞行行模拟拟训练练、中中央控控制室室训练练等各各种训训练系系统是是这种种应用用的具具体实实例。。利用用虚拟拟现实实进行行训练练，不不仅可可极大大地降降低训训练成成本，，提高高训练练效率率，还还可以以保障障训练练的安安全，，甚至至许多多在一一般情情况下下难以以出现现的情情况，，也可可以在在虚拟拟现实实系统统中进进行设设置，，予可可训练练。在理、、工科科教学学中，，实验验占有有重要要的位位置，，学生生能够够在实实验的的具体体操作作过程程中，，培养养实验验能力力。为为此．．不少少学校校开辟辟有开开放实实验室室，让让学生生自由由地进进入实实验室室，进进行有有关的的实验验操作作和训训练。。但在在教学学实际际条件件下，，某些些实验验或需需要的的实验验场地地过大大，或或实验验设备备过于于昂贵贵，或或实验验的费费用过过高，，或实实验的的危险险性过过大，，它给给学生生正常常地完完成实实验、、掌握握实验验的操操作带带来了了许多多因难难。此此时，，可利利用虚虚拟实实验室室来培培养学学生的的实验验能力力，使使学生生具有有一定定的实实验技技能。。397.5.2虚拟拟现实的教教育应用虚拟现实可可广泛地用用于教育的的各个方面面，它主要要应用于：：1．教学训训练它包括各种种专业实验验室的实验验操作、实实验技能训训练以及实实验事故的的识别、应应急处置的的训练。2．设计与与研究它包括用于于设计与研研究的各种种实验，如如风洞实验验、思考实实验以及系系统设计与与设计结果果的比较和和研究。403．过程的的评价利用虚拟现现实系统可可对各种操操作过程进进行评价和和研讨果进进行研讨，，由此实现现有效的决决策。4．能力与与技能的评评价利用虚拟现现实系统可可对面临诸诸如地震、、洪水等有有关灾害应应采取怎样样的防治和和救助的方方法及所得得到的效果果进行评价价。该种方方法可对预预期的结果果进行评价价。415．特定的的教育应用用它包括各种种用于具体体学科内存存教学的教教学设施。。例如，行行星仪、风风桐实验室室等各种虚虚拟实验设设施。6．娱乐主要是基于于虚拟现实实的答种教教学游戏。。以上是虚拟拟现实衣教教育应用中中的若干个个分支，随随着虚拟现实技技术的不断断完善，其其应用面还还将得到不不断地扩展。427.5.3存在在的问题虚拟现实是是近十几年年发展起来来的一种新新兴技术，，虚拟现实实在教育中中的应用虽虽然具有十十分乐观的的前景，但但日前仍然然存在一定定的问题，，这些问题题主要是：：1．虚拟现现实的各种种系统、设设施还需不不断完善目前，虚拟拟现实的各各种系统、、设施还处处于研制阶阶段，其功功能、稳定定性、操作作性还有待待完善、提提高。许多多虚拟现实实系统及其其接口多针针对成年人人的特点设设计，若将将它用于学学校，特别别是中、小小学，还应应根据学校校的特点及及学生的特特点进行设设计。432．经济问问题虚拟现实系系统中的硬硬件设备及及软件价格格较为昂贵贵，一般学学校难以接接受。此外外，设备的的安全性、、稳定性也也是—项重重要的问题题。由于虚虚拟现实系系统目前多多处于研发发阶段，许许多效术不不甚成熟，，有待研究究和完善，，系统的使使用受到一一定的限制制。从日前的实实际情况舌舌，虚拟现现实多用于于那些实际际操作、技技能训练较较多的课程程，如理工工科的有关关课程和艺艺术类的有有关课程，，学生可以以通过虚拟拟现实的情情景进行模模拟体验，，达到一定定的学习效效果。447.6虚虚拟现实实系统的用用举例45图7-7全全景环视视作品：故故宫博物院院4647图7－8全全景环视视制作工具具实例487.6.2VRML技术术及其应用用49VRML文文档及其显显示VRML文文档通常是是用VRML语言组组织起来的的一个扩展展名为.wrl的文文本文件，，它通过Web浏览览器向用户户展示虚拟拟现实情景景。为了方便进进行VRML文档的的编辑，一一般采用可可视化的VRML文文档编辑软软件，例如如InternetSpaceBuilder、Canoma等。编编辑过的VRML文文档可以在在Internet上传输并并由Web览器进行行显示。在在Web浏浏览器中中显示VRML文档档时需要预预装一个简简单的VRML插件件。5051图7-9网网上虚拟拟美术馆527.6.3遥控控机器人主从式遥控控机器人是是指在人的的操纵下，，能在人难难以接近、、无法进入入或对人体体有害的环环境，完成成比较复杂杂操作的一一种远距离离操作系统统。受现有有技术水平平限制，目目前能使用用的遥控机机器人在上上述的大部部分环境中中，都是通通过人工参参与，借助助于人的智智能和经验验来完成复复杂环境下下的作业。。临场感技术术是将机器器人与环境境交互作用用信息(视视觉、力觉觉、触觉等等)实时反反馈到本地地操作者处处，使操作作者产生身身临其境的的感受，从从而实现对对机械手臂臂的控制。。它是遥控控机器人完完成接触性性任务的保保证。537.6.4虚拟拟实验室虚拟实验室室可以说是是教育领域域应用信息息技术的一一种创新:允许人们们访问和使使用自己没没有的设备备资源，使使得处于不不同地理位位置的学习习者可以同同时对一个个实验项目目进行实验验工作，可可以接触最最新的仪器器。1．例如：：卡耐基··梅隆大学学的虚拟实实验室CMU(CarnegieMeilonUniversity)的虚拟实实验室为传传统的实验验室平台与与未来的实实验之间提提供了一种种独特的链链接。基本本结构如图图7-10所示:54图7-10CMU的虚拟实实验室552.虚拟拟实验室的的发展方向向（1）协作作式虚拟实实验室与同伴合作作是实验过过程中一个个至关重要要的环节，，因为科学实验验常常是种种协作性的的活动，一一切科学均均取决于思想理理念，最终终为人们所所共有的以以及人们对对思想理念的论论辩。56（2）自适适应虚拟实实验室在日常语言言中，“自自适应”是是指生物变变更自己的的习性以适适应新的环环境的一种种特征。直直观地说，，“自适应应实验”即即指能修正正自己的特特征以响应应规则原理理的变化，，并根据学学习者的学学习过程生生成一个反反馈回路，，为学习者者提供一个个自适应的的获取知识识和技能的的实验学习习环境。577.6.5虚拟拟演播室虚拟演播室室是一种全全新的电视视节目制作作工具，虚虚拟演播室室技术包括括色键技术术、计算机机虚拟场景景设计和蓝蓝背景技术术、灯光技技术和摄像像机跟踪技技术等。虚拟演播室室技术是在在传统色键键抠像技术术的基础上上，充分利利用了计算算机三维图图形技术和和视频合成成技术，根根据摄像机机的位置与与参数，使使三维虚拟拟场景的透透视关系与与前景保持持一致，经经过色键合合成后，使使得前景中中的主持人人看起来完完全浸尽于于计算机所所产生的三三维虚拟场场景中，而而且能在其其中运动，，从而创造造出逼真的的、立体感感很强的电电视演播室室效果。58虚拟演播室室系统是由由摄像设备备、摄像机机位置参数数分析和控控制、图形形计算机、、背景材料料库和图像像合成等设设备组成。。虚拟演播室室节省了传传统的基于于搭设真实实布景的电电视节目制制作中设计计、材料、、施工、场场地等昂贵贵费用，克克服了传统统布景不宜宜随便搬动动，灵活性性差，场地地不能重复复利用的缺缺点，满足足了电视节节目制作与与播出的高高时效性要要求。59图7-9虚虚拟