虚拟现实技术及应用101

虚拟现实技术及应用第一讲：：虚拟拟现实技技术概论论VR的概念和和发展VR系统的硬硬件组成成VR系统的体体系结构构VR的研究内内容增强现实实（AR）VR应用虚拟现实实的发展展趋势（一）VR的概念和和发展（1）虚虚拟现实实技术的的提出1965年计算算机图形形学的奠奠基者IvanSutherland发表了““TheUltimateDisplay”论文，提提出了一一种全新新的图形形显示技技术。他他在论文文中提出出使观察察者直接接沉浸在在计算机机生成的的三维世世界中，，而不是是通过窗窗户（计计算机屏屏幕）来来观察。。１）观察察者自然然地转动动头部和和身体，，他看到到的场景景就实时时地发生生变化。。２）观察察者能够够以自然然的方式式直接与与虚拟世世界中的的对象进进行交互互操作，，触摸它它们，感感觉它们们，并能能听到虚虚拟世界界的三维维空间声声音。（2）虚虚拟现实实的狭义义解释虚拟现实实对不同同的人的的有不同同的含义义。比较较狭义的的解释是是：虚拟拟现实是是由计算算机生成成的、可可交互的的仿真环环境。该该虚拟环环境具有有以下三三个特点点：1）该该环境将将向介入入者（人人）提供供视觉、、听觉、、触觉等等多种感感官刺激激。2）该环环境应给给人以一一种身临临其境的的沉浸感感。3）人能能以自然然的方式式与该环环境中的的一些对对象进行行交互操操作，既既不使用用键盘鼠鼠标等常常规输入入设备，，而强调调使用手手势（数数据手套套）、体体势（数数据衣服服）和自自然语言言等自然然方式的的交互操操作。（3）一一个典型型的虚拟拟现实系系统（4）虚虚拟现实实的广义义解释虚拟现实实是由计算机生生成的给人以沉浸感的虚拟环环境。（5）虚虚拟现实实的概念念模型感官刺激激信号反应动作作感知系统统介入者反应系统统虚拟世界界（环境））（6）虚虚拟环境境系统提提供的各各种感官官刺激视觉听觉嗅觉味觉触觉（触触觉，力力觉）身体感觉觉（7）虚虚拟环境境中用户户的动作作检测和和设备用户反应应动作检检测测设备头部运动动头头部跟跟踪装置置肢体或躯躯体运动动跟跟踪器器，力反反馈装置置，空间间球手指运动动数数据据手套，，按钮装装置，操操纵感眼球运动动眼眼球球跟踪器器语言语语音音识别装装置受力带带力力传感器器的力反反馈装置置（8）虚虚拟现实实的发展展历程1965年IvanSutherland博士提出出“TheUltimateDisplay”概念，1968年他研研制成功功头盔式式显示器器（HMD））70年代以来来图形学学技术的的进步，，特别是是90年年代，可可以实时时显示复复杂场景景军方飞行行模拟器器的研制制和发展展对VR的推动1984年美国国NASA的AMES中心研制制成功VIVD系统，以以及1986年年的VIEW项目1992年美国国NSF召开VR研讨会其他国际际会议（（IEEEVR；ACMVRST等），VR专著以及及各种研研究成果果（二）VR系统的典典型设备备和环境境显示和观观察设备备沉浸式现现实设备备非沉浸式式显示设设备交互设备备数据手套套（输输入手的的各种姿姿势）三维鼠标标游戏杆传感设备备数据手套套数据衣位置跟踪踪装置三维立体体声系统统三维数据据获取设设备（1）显显示和观观察设备备产生沉浸浸感的方方法和装装置1.头头盔式显显示器2.快快速响应应的工作作平台3.大大屏幕投投影洞穴状的的投影屏屏幕（CAVE）圆柱型的的投影屏屏幕由矩形块块拼接构构成的投投影屏幕幕4.全全景图5.可可支持多多用户协协作的投投影屏幕幕6.具具有三维维空间感感的声音音头盔式显显示器的的特点用户带着着头盔。。双眼看到到不同的的图象。。跟踪器跟跟踪头的的方向。。具有看穿穿功能（（see--through)的头盔显显示器快速响应应的工作作平台洞穴状的的投影屏屏幕（CAVE）安装在浙浙江大学学的CAVECAVE示意图圆柱型的的投影屏屏幕由矩形块块拼接构构成的投投影屏幕幕全景图可支持多多用户协协作的投投影屏幕幕可支持多多用户协协作的投投影屏幕幕的改进进（2）交交互设备备力反馈设设备：数据手套套(cyberglove)：三维鼠标标（3）三三维声音音系统声音在VR中的作用用：1）增强强空间信信息，尤尤其是当当空间超超出了视视域范围围。2）数据据驱动的的声音能能传递对对象的属属性信息息。3）声音音是用户户和虚拟拟环境的的另一种种交互方方法。（4）三三维数据据获取设设备静态数据据的获取取：三维扫描描仪动态数据据的获取取：运动捕捉捉设备用多摄像像机实时时重构三三维数据据三维扫描描仪((来自cyberware公司）有多个摄摄像头的的三维实实时重构构（4）基基于图片片的三维维重建基于图片片的三维维重建（三）VR系统的体体系结构构（1）非非分布式式VR系统体系系结构会话管理理应用进程程设备服务务器（2）分分布式式虚拟现现实系统统（DVR））的结构1）数数据模型型集中式结结构*结构简简单*实现比较较容易*对网络通通信带宽宽有较高高的要求求*中心服务务器往往往会成为为整个系系统的瓶瓶颈复制式结结构*所需网络络带宽较较小*交互式响响应效果果好*比集中式式结构复复杂*维护多个个备份的的信息或或状态一一致性比比较困难难

2）基于分布布仿真（（DS）模型的VR系统软件件结构

计算几何模型型展示用户交互

智能代理理图基基于DS模型的VR系统软件件结构

3）DVR系统的通通用参考考结构模模型（四）VR的研究内内容（1）研研究内容容的多种种分类技术/应应用:层层面*虚拟拟现实技技术本身身*虚拟拟现实应应用技术术软硬件层层面*虚拟拟现实硬硬件技术术*虚拟拟现实软软件技术术技术层面面*建模模（场景景（基于于：几何何/图象象），听听觉，行行为等））*绘制制（图形形，声音音，力觉觉）*交互互（人--机交互互；人--人交互互）（2）分分布式虚虚拟现实实分布式虚虚拟现实实(DistributedVirtualReality,,DVR)在DVR系统中，，位于不不同物理理位置的的多个用用户或多多个虚拟拟环境通通过网络络相联结结，进行行信息共共享和交交互DVR系统或工工具的开开发涉及及多个领领域*虚拟拟现实**分分布式系系统*实时时图形绘绘制技术术**异异步系统统设计*数据据库**用户户界面设设计

DVR的实例（3）实实时绘制制技术场景简化化快速消隐隐纹理化对对象限时绘制制（五）增增强现实实增强现实实允许用用户看到到真实世世界，并并且把虚虚拟对象象叠加在在真实世世界之上上。（1）增增强现实实系统的的定义真实世界界和虚拟拟世界融融为一体体的系统统具有实时时人-机机交互功功能真实世界界和虚拟拟世界是是在三维维空间上上整合的的。（2）增增强现实实的关键键技术聚焦和对对比度系统的可可移动性性整合技术术实时高精精度传感感器（六）虚虚拟现实实的应用用*应用用（一））虚拟战场场核爆炸、、战略导导弹的虚虚拟杀伤伤虚拟飞行行/驾驶驶虚拟建筑筑漫游虚拟风洞洞实验虚拟设计计、虚拟拟制造战场仿真真虚拟驾驶驶模拟虚拟建筑筑漫游*应用用（二））虚拟课堂堂虚拟手术术和远程程手术城市规划划和建筑筑设计的的虚拟演演示虚拟商店店、虚拟拟旅游、、虚拟剧剧场虚拟体育育仿真虚拟文化化遗产保保护（虚虚拟博物物馆）虚拟手术术虚拟故宫宫漫游虚拟博物物馆虚拟体操操训练系系统（SheffieldHallamUniversity））虚拟滑雪雪训练系系统（ReebokSportsClubinNewYorkCity）其他例子子PCCLUSTER（七）虚虚拟现实实的发展展趋势（1）虚虚拟现实实硬件的的发展趋趋势1）正正在大力力发展基基于PC的低价格格的虚拟拟现实系系统2）基于于多个视视频输入入的系统统受到重重视。例例如：由由多个摄摄像头组组成的跟跟踪器,由多个摄摄像头组组成的三三维重构构系统等等。（2）虚虚拟现实实软件的的发展发展特点点：1）非常常规的输输入设备备在主流流的操作作系统中中不被支支持。2）管理理不同的的输入的的工具包包正在出出现。软件资源源：VRJuggler开放源代代码，其其功能类类似CAVElib。具有输入入和显示示功能。。输入层不不支持手手势识别别。设计者有有雄心打打算将其其发展成成一个操操作系统统。（3）虚虚拟现实实应用的的发展1）网络络化===》网络络VR2）单投影应应用===》多投投影应用用3）智能能化===》智能能虚拟环环境4）虚拟拟现实===》增增强现实实，混合合现实5）应用用向各个个行业扩扩展：*与商商业结合合==》》虚拟商商城*与体体育结合合==》》虚拟体体育仿真真。。。。。最终形成成网络化化的虚拟拟社会。。第二讲实实时图图形绘制制技术图形绘制制流水线线网格简化化快速消隐隐纹理映射射IBR&&IBM真实感图图形生成成的步骤骤场景造型型取景变换换、透视视投影视域裁剪剪、消除除隐藏面面光亮度计计算典型三维维图形系系统的绘绘制流水水线OpenGL绘制流水水线计算机成成像过程程与照相相过程的的类比影响图形形绘制性性能的因因素几何复杂杂度光照模型型复杂度度纹理映射射问题：如如何提高高绘制速速度？针对不同同的因素素采取不不同的方方法。降低场景景几何复复杂度场景简化化和网网格多分分辨表示示快速消隐隐基于BSP树的绘制制纹理映射射技术基于图象象的绘制制网格简化化技术场景简化化层次细节节模型::在大规模模的虚拟拟环境中中，很多多对象很很小，获获距离视视点很远远。按透透视规律律，在屏屏幕上只只占很小小的图象象区域。。为了更更好地利利用这一一特点，，一个对对象应该该用多层层次细节节表示。。在交互互绘制过过程中，，使用简简单的对对象的表表示可以以提高帧帧速率•根据观察察者的心心理、生生理特点点和场景景画面限限时计算算的要求求，在视视觉等价价的前提提下，对对要绘制制的复杂杂场景进进行简化化,生成成可表达达不同层层次细节节的场景景模型。。•在多层次次细节建建模和三三角形网网格简化化方面，，我们们设计和和实现了了一系列列新的算算法，并并提出了了新的控控制全局局误差和和局部误误差的方方法。LoD网格-1基于顶点点删除的的三角形形网格模模型简化化Schroeder1992基于距离离准则的的顶点删删除，顶点移去去留下的的空洞由由一个局局部的三三角面片片机制重重新生成成新的三三角面片片。基于重新新划分的的多边形形网格模模型简化化Turk1992引入新的的顶点来来优化三三角形网网格，生生成新的的几何模模型。新新的顶点点均匀地地分布在在原对象象表面。。原来的的顶点被被逐步移移去，表表面进行行局部的的三角化化，以最最好地满满足对象象表面的的连续性性。整体网格格优化算算法，全全局能量量优化方方程Hoppe1993基于表面面重构的的三角网网格简化化方法。。它引入入了一种种新的能能量公式式来建模模多边形形简化以以及与简简化模型型与原模模型的相相似度。。用能量量函数来来衡量原原网格模模型与简简化模型型的变形形程度。。算法可可以找到到使变形形最小的的优化的的顶点分分布。LoD网格-2基于顶点点聚类的的网格简简化算法法Rossignac1993不考虑输输入模型型和输出出模型的的拓扑结结构。结结果，算算法对于于退化的的输入数数据具有有很好的的鲁棒性性，对任任意类型型的几何何数据都都可以得得到很高高的压缩缩比。缺缺点是，，简化模模型的人人工痕迹迹严重，，模型的的局部特特征保持持不好。。不同的选选择准则则来选取取那些聚聚类的顶顶点。Rssignac提出了一一种简单单有效的的一致量量化方法法。Schaufler则采用了了分层的的聚类方方法。边折叠与与视点有有关的累累进网格格Hoppe1997基于边折折叠操作作，产生生一个无无损的，，连续分分辨率的的三角网网格。简简化表示示通过一一系列重重复的边边折叠操操作产生生，很容容易转换换为递进进的重构构过程。。LoD简化网格格的一些些评价参参数网格简化化算法的的鲁棒性性简化网格格的生成成和解析析速度简化后的的对象shape是否保持持不变简化后的的网格是是否保持持拓扑结结构不变变LoD几何模型型传统的网网格的表表示数据量庞庞大，不不易于存存储﹑传传输---实时时性很多情况况下，我我们并不不需要一一个对物物体的细细节刻画画得很详详细的模模型较远或物物体在运运动---较较粗糙网网格物体较近近或物体体静止---精精细网格格

基于视点点的网格格简化快速消隐隐技术视见体裁裁减背面提出出遮挡剔除除(OcclusionCulling)遮挡剔除除(OcclusionCulling)快速消隐隐的例子子基于BSP树的场景景绘制技技术BSP树方式的的场景组组织BSP树的遍历历纹理映射射基本思想想：实际纹理理非常复复杂，难难以解析析描述。。采用图图象来描描述表面面纹理细细节。IBMR(Image-basedModelingandRendering)关键问题题：如何在光光照明模模型中融融入纹理理的描述述？如何将纹纹理绘制制在景物物表面上上？光亮度计计算1．依据：光光照明模模型局部光照照明模型型：朗伯伯模型、、Phong模型整体光照照明模型型：Whitted模型，光光能辐射射度方程程（隐式式）追求目标标：光照效效果的真真实感2．计算算方法：：绘制算算法扫描