虚拟现实1-概念课件

1、梁延研 黄静虚拟现实与建模Virtual RealityContents:1虚拟现实2虚拟现实应用3建模技术发展前景5存在的问题4虚拟现实与建模计算机屏幕只是一个窗口,但通过这个窗口,我们可以看见一个虚拟的世界。我们面临的挑战是如何使这个世界看起来真实、动起来真实、听起来真实、摸起来真实！ 伊万萨瑟兰虚拟现实基本含义、发展历史、特征、关键技术、硬件基础、VR系统1虚拟现实1.地理信息学：存在于计算机系统中的逻辑环境，通过输出设备模拟显示现实世界中的三维物体和它们的运动规律和方式。资源信息学：利用计算机发展中的高科技手段构造的，使参与者获得与现实一样的感觉的一个虚拟的境界。通信科技学：一种模拟三

2、维环境的技术，用户可以如在现实世界一样地体验和操纵这个环境。 虚拟现实在不同学科中有不同定义：4虚拟现实技术是一种综合应用计算机图形学、人机接口技术、传感器技术以及人工智能等技术，制造逼真的人工模拟环境，并能有效地模拟人在自然环境中的各种感知的高级的人机交互技术。1.1 详细定义人机交互的飞跃5计算机科学发展的一个重要推动力 如何让计算机更容易被人使用操作人员可以以更为自然的方式使用计算机将结果以更易被操作人员接受的方式尽快地表现出来计算机能够更准确地理解人的意图从60年代末起在计算机技术的支持下已对各种计算提出“可视”的要求在计算数据的基础上要解释数据、理解数据，把计算得到的数字信息转换为直

3、观的、用视频或声频信息表示的、随时间和空间变化的物理现象或模拟的物理现象先进的科学计算将能洞察到传统科学计算所不可能看见的结果（To see the unseen），可视化是把某些不可见对象或抽象事物转化为可见的、可感知的结果“ The purpose of computing is insight, not number ” -Richard Hamming解决复杂问题，必须跨领域合作集体攻关网络技术已基本成熟，基于网络计算可实现资源共享基于统一的开放体系框架结构、应用程序接口和面向对象的中间件，已能实现“优势互补”、“即插即用”的协同式的可视化计算自90年代中旬以来在网络计算技术的支持下要

4、求实现协同式的可视化计算总之：沉浸式、协同式的可视化计算促进高性能计算机的发展, 高性能计算机为沉浸式、协同式的可视化计算提供基础关键技术高性能计算机和高性能网络技术大量的、快速的、分布的、基于网络的数值计算开放体系结构、中间件、人机接口和经验模型的建立把数据映射成可视化的、具有某种物理属性的对象（虚物实化）把实物转化为可融入虚拟环境的虚拟对象（实物虚化）美国各个国家计算中心和有关部门都提出迎接21世纪技术发展的相应规划，如：DOE 2000和NSF的PACI等1.2 技术基础虚拟现实的关键技术，从自然信源获取信息，并进行处理和识别。 通过输入、输出设备，以有效的方式实现人与计算机对话。虚拟现

5、实的奠基石，用数学算法实现图形在计算机中的显示。模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。计算机图形学人工智能传感器技术人工交互技术虚拟现实121.4 基本特征沉浸感(Immersion)：指用户感到作为主角存在于模拟环境中的真实程度。交互性(Interaction)：指参与者对虚拟环境内物体的可操作程度和从环境中得到反馈的自然程度。构想性(Imagination)：指用户沉浸在多维信息空间中，依靠自己的感知和认知能力全方位获取知识，发挥主观能动性，寻求解答，形成新的概念。 ImaginationInteractionImmersion3I141.5 虚拟现实系统的硬件组成虚拟现实

6、系统感知设备虚拟环境生成设备跟踪设备交互设备15用于空间跟踪定位的装置，使参与者在空间上能够自由移动、旋转，不局限于固定的空间位置。位置跟踪器不需要任何立体眼镜设备，用肉眼即可观察到突出的立体显示效果。3D显示器能使参与者实现除视觉、听觉之外的第三感觉触觉，增强虚拟现实的交互性和真实感。力反馈装置1.6 硬件基础名称应用17 快速响应的工作平台 洞穴状的投影屏幕（CAVE） 安装在浙江大学的CAVE CAVE 示意图 由矩形块拼接构成的投影屏幕全景图可支持多用户协作的投影屏幕的改进力反馈设备：数据手套(cyberglove)：三维鼠标三维声音系统声音在VR中的作用：1）增强空间信息，尤其是当空

7、间超出了视域范围。2）数据驱动的声音能传递对象的属性信息。3）声音是用户和虚拟环境的另一种交互方法。 三维扫描仪 (来自cyberware 公司）有多个摄像头的三维实时重构 基于图片的三维重建基于图片的三维重建1.7 关键技术1）环境建模技术即获取实际三维环境的三维数据，建立相应的虚拟环境模型的技术。2）立体声合成和立体显示技术消除声音的方向与用户头部运动的相关性，并在复杂的场景中实时生成立体图形。363）触觉反馈技术用户能够直接操作虚拟物体并感觉到虚拟物体的反作用力，从而产生身临其境的感觉。1.7 关键技术4）交互技术利用数字头盔、数字手套等复杂的传感器设备，三维交互技术与语音识别、语音输入

8、技术成为重要的人机交互手段。375）三维跟踪技术用于空间跟踪定位，实时记录参与者的相关动作轨迹等。1.7 关键技术6）系统集成技术包括数据转换技术、语音识别与合成技术等，实现数据的实时传输与处理，方便智能控制和增强交互性。38虚拟现实的技术实质在于提供一种高级的人机接口和人性化的虚拟信息空间，改变了人与计算机之间枯燥、生硬和被动的交互现状。 1.8 技术优点虚拟现实的出现，使人们从纷繁复杂的数据中解放出来，提供了一个崭新的信息交流平台，乃至一个全新的世界。391.9 虚拟现实系统分类按交互和浸入程度的不同：分布式虚拟现实 增强式虚拟现实 桌面式虚拟现实 沉浸式虚拟现实 虚拟现实系统401.9

9、虚拟现实系统分类桌面式虚拟现实系统（Desktop VR）：利用PC 机或中低档工作站作虚拟环境产生器；计算机屏幕或投影屏幕作为观察窗口；参与者仅使用键盘、鼠标和力矩球等简单外部设备。41桌面虚拟现实系统桌面虚拟现实（PCVR）系统，基本上是一套基于普通PC平台的小型桌面虚拟现实系统。 桌面虚拟现实的参与者是不完全沉浸的，他要求参与者使用标准的显示器和立体显示设备，数据手套和六个自由度的三维空间鼠标器，戴上立体眼镜坐在监视器前，在一些专业软件的帮助下，可以通过计算机屏幕观察虚拟境界。 增强式虚拟现实系统（Augmented VR）：真实世界和虚拟对象叠加在一起；部分真实环境由虚拟环境取代，减少

10、构成复杂真实环境的开销；1.9 虚拟现实系统分类43增强式虚拟现实系统增强式虚拟现实系统是把真实环境和虚拟环境组合在一起的一种系统，它既允许用户看到真实世界，同时也可以看到叠加在真实世界的虚拟对象，这种系统既可减少对构成复杂真实环境的计算，又可对实际物体进行操作，真正达到亦真亦幻的境界。 沉浸式虚拟现实系统（Immersive VR）：各种高档工作站、高性能图形加速卡和交互设备。是一种高级的、较理想的虚拟现实系统，参与者置身于虚拟环境之中，能得到完全沉浸的体验。1.9 虚拟现实系统分类45沉浸式虚拟现实系统沉浸式虚拟现实系统是一种高级的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种置身于

11、虚拟境界之中的感觉。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身临其境、全心投入和沉浸其中的感觉。 分布式虚拟现实系统（Distributed VR）：虚拟现实技术和网络技术结合的产物；以沉浸式虚拟现实系统为基础，多个用户或虚拟世界通过网络相连接；多个用户同时参与到同一个虚拟空间，共享信息，协同工作达到一个更高的境界。1.9 虚拟现实系统分类47分布式虚拟现实系统分布式虚拟现实系统是利用远程网络，将异地的不同用户联结起来，多个用户通过网络同时参加一个虚拟空间，共同体

12、验虚拟经历，对同一虚拟世界进行观察和操作，达到协同工作的目的，从而将虚拟现实的应用提升到了一个更高的境界。 Augmented VR穿透型头戴式显示器配合其他交互设备增强参与者对真实环境的感受成本较高维修、医学检查、培训等所需硬件实现效果成本&应用完全的沉浸感，多用户共享信息成本高军事仿真、娱乐、多用户环境、电子商务等Distributed VR沉浸式虚拟现实系统&互联网络1.10 四种虚拟现实系统的对比Desktop VR沉浸感不够好，受现实世界影响大成本低应用广泛，实现一般的虚拟现实PC机、中低档工作站配合立体眼镜、3D控制器或者鼠标，追踪球，力矩球头盔显示器和数据手套等各种交互设备Imm

13、ersive VR成本高应用广泛，如虚拟社区等 完全的沉浸感，真实性好，多感觉性（视、听、触）49基本含义、特点、分类、各层次建模技术虚拟现实建模技术2虚拟现实系统的构成无论哪种 VR系统，其系统构成都可以划分为以下 6个功能模块：检测 反馈 传感器控制3D模型建模模块用户虚拟世界现实世界检测用户的操作命令，并通过传感器模块作用于虚拟环境。检测模块接受来自传感器模块的信息，为用户提供实时反馈。反馈模块一方面接受来自用户的操作命令，将其作用于虚拟环境，另一方面将操作后产生的结果以相应的反馈形式提供给用户传感器模块对传感器进行控制，使其对用户、虚拟环境和现实世界产生作用。控制模块现实世界各组成部分

14、的三维表示，并由此构成对应的虚拟环境。3 D模型库获取现实世界各组成部分的三维数据，并建立它们的三维模型。建模模块虚拟现实系统的构成虚拟现实建模2.虚拟现实建模是为了建立虚拟现实所需要的数字模型，是虚拟现实技术中最重要的技术领域。从数学上定义基本过程, 并配备已有的硬件资源。开发对象数据库，优化模型, 建立对象的形状、外表、行为、限制模型，并映射到虚拟世界。步骤如下：虚拟现实建模与其他图形建模系统相比，有自己独特的特点:虚拟现实中有非常广泛的物体,往往需要构造大量完全不同类型的物体。虚拟现实中有些物体必须有其自己的行为,即多是动态的物体。虚拟现实中的物体必须能够对观察者作出反应，即具有交互性。

15、2.1 虚拟现实建模技术特点542.1 虚拟现实建模技术分类虚拟现实建模技术基于几何绘制基于图像几何与图像混合55设定控制参数，获取观察者的位置信息，输出实时渲染绘制视景画面。建立光照模型，并借助纹理映射技术来提升真实感；对虚拟环境进行数字化描述，构造模型结构，同时设定材质信息；1.基于几何绘制的虚拟场景建模技术：以计算机图形学原理为基础，用数学意义上的曲线、曲面、多边形等数学模型预先构建好虚拟场景的几何轮廓，并建立光照和材质模型。2.1 虚拟现实建模技术562.1 虚拟现实建模技术2.基于图像的虚拟场景建模技术：选择合适的空间模型把多幅全景图组织为虚拟场景空间通过图象处理系统对数据进行优化和

16、整理，生成逼真的场景平面全景图；利用外部设备采集真实模型的离散图象数据或连续图象视频数据；572.1 虚拟现实建模技术3.几何与图像混合的虚拟场景建模技术： -对场景中的不同环节采用不同的处理方式。系统总体的全景视觉效果基于图像的建模技术利用反映真实场景的高质量的图象，在无须复杂建模的情况下取得最真实的感官效果。系统的用户交互部分基于几何模型的方法对虚拟环境中用户要与之交互的对象进行模型建构，以克服图像交互性不强的问题。58缺点优点2.2 三种虚拟现实建模技术对比基于几何绘制几何模型参数精确，整个场景细腻真实，碰撞检测时容易实现，技术较成熟，产品很多复杂场景模型的构建工作量大，成本较高；三维场

17、景实时渲染绘制对计算机软硬件要求较高基于图像能生成高质量的图象环境，漫游效果及处理时间与场景内容的复杂度无关，不需要专业的图形加速设备必须有真实场景存在，二维对象难以实现交互，获得实景图象需要高性能摄影装备几何与图像混合无须复杂建模取得最真实的感官效果，克服图像交互性不强的问题实体对象与虚拟对象坐标位置、亮度、阴影强度等要精确匹配；实时交互的实现较复杂59认知建模行为建模感知建模物理建模图像建模几何建模逼真感内在逼真感外在逼真感2.3 虚拟现实建模的层次智能建模60虚拟现实应用工程、军事、航空航天、医疗、科学研究、教育娱乐、其他3虚拟现实在教育领域的具体应用 虚拟学习环境 虚拟实验室 虚拟实训

18、基地 虚拟仿真校园 虚拟远程教育 虚拟现实在军事领域的具体应用虚拟战场环境 单兵模拟训练与评判 诸军种联合虚拟演习 进行指挥员训练 虚拟现实在矿业领域的具体应用模拟矿井开采 矿业人员技术培训 矿井设备的虚拟设计和制造 事故模拟与调查分析 虚拟现实在商业领域的具体应用物品外观展示物品特性展示物品的功能参数物品的价格虚拟现实在房地产领域的具体应用最直观的交流方式 最快捷的审批平台 最方便的设计工具 最先进的营销手段 几个已实现的例子： 1、日本松下公司用来招揽买主的“厨房世界”2、杭州大学开发的虚拟故官游玩系统 3、美国佐治亚理工学院开发出虚拟动物园的大猩猩系统 4、日本的一家公司设计制造出一个虚

19、拟世界中的歌手 5、宾夕法尼亚大学研究制成虚拟现实人杰克 虚拟样机虚拟工业设计虚拟装配3.1 工程应用68 产品设计与人机功效(飞机，空间站等)奥迪效果图和线框图虚拟战场环境可以用来训练军事人员，同时又可以来检查和评估武器系统的性能。 利用虚拟现实技术，研究人员即使不进行核试验，也能不断改进核武器。3.2 军事应用71用于核弹B-61-x 的虚拟组装系统某型军舰航空母舰模型3.2 军事应用73仿真训练 北京邮电大学中国海警某型主力艇虚拟仿真虚拟现实&视景仿真技术在军事上的应用Virtual Reality systems to train aircraft pilots and tank co

20、mmanders协同工作环境的仿真 北京邮电大学3.3 航空航天飞行员模拟操作训练飞机飞行状态模拟783.3 航空航天虚拟太空环境训练虚拟卫星运行环境航天员操作训练79最为成功的例子就是“哈勃望远镜的修复和维护”。经过这个虚拟系统的训练，宇航员于1993年12月，成功地完成了从航天飞机上取出备件更换哈勃太空望远镜上损坏的MRI这一复杂而又费时的任务。 空间技术VR3.4 医疗应用虚拟手术虚拟人体模型813.5 科学研究计算数据可视化参数化模型分析823.6 教育娱乐虚拟课堂虚拟实验833.7 其他应用室内设计84虚拟现实技术问题软硬件问题、自身问题4虚拟现实中的问题4.硬件问题软件问题VR自身

21、技术问题数据存储设备的速度、容量不足，显示设备的造价昂贵而且清晰度不够。硬件问题限制了软件的开发，费用惊人，实现的效果受时间和空间影响很大。 4.1 自身技术问题VR自身技术问题虚拟环境感知信息合成的真实性环境表示的准确性人与虚拟环境交互的自然性实时显示的问题 智能技术的实现图形生成的问题87虚物实化如何根据虚拟环境生成人可直接感受到的真实信号（声、光、电）。是一个显示（输出）问题。实物虚化如何将真实世界中的物（特别是人）与事件（特别是人的动作）传入虚拟环境中。是一个感知的问题。主要研究方向之一： 感知技术的研究研究如何感知真实世界中人和物的存在及相关事件的发生：电磁感知：三维定位跟踪技术。数据手套与数据衣感知技术。视觉感知：基于计算机视觉原理感知技术。听觉感