数字媒体技术概论（融媒体版） 课件 6虚拟现实技术及应用

第6讲：虚拟现实技术及应用数字媒体技术概论第6章：虚拟现实技术及应用1虚拟现实基本概念2虚拟现实关键技术3虚拟现实技术在融媒体中的应用4AR与MR一、虚拟现实定义模拟视觉、听觉等感官计算机实时计算三维空间电脑图形仿真人工智能§1.1虚拟现实基本概念一种由电脑技术辅助生成的高技术模拟系统。一、虚拟现实定义§1.1虚拟现实基本概念使用虚拟现实设备或多投影环境生成逼真的图像、声音和其他感觉。模拟用户在虚拟环境中的实际存在。可以环顾虚拟世界，在其中移动，并与虚拟特征或物品进行交互头戴式显示器或具有多个大屏幕的专门设计的房间可以实现此效果支持听觉、视频、以及其他类型的感官和力反馈具体定义二、虚拟现实发展情况§1.1虚拟现实基本概念莫顿·海利希在50年代创造性地想到了“体验剧院”这一概念，他构建了一个名为Sensorama的视觉原型，其中展示了五部短片，并在其中涵盖了多种感官。1.50年代1968年，IvanSutherland在学生的帮助下创建了被广泛认为是第一个用于沉浸式模拟应用的头戴式显示系统。2.60年代二、虚拟现实发展情况§1.1虚拟现实基本概念1970-1990年虚拟现实产业主要为医疗、飞行模拟、汽车工业设计、军事训练等提供VR设备。3.70-80年代到了20世纪90年代，虚拟现实开始商业化，但早期的VR产品外形笨重、功能单一、价格昂贵，未能成功普及。1993年，雅达利公司发布了JaguarVR虚拟现实头盔，但它并未取得成功。1995年，任天堂推出了VirtualBoy，这引起了轰动，但它依然没有普及，因为设备成本很高，并且在当时的环境下似乎过于超前了。4.90年代二、虚拟现实发展情况§1.1虚拟现实基本概念VR技术初期任天堂为先驱，但之后没有公司敢于将VR带入商业领域VR技术价格昂贵，无法普及Oculus的出现Oculus于2012年在Kickstarter上众筹募资160万美元OculusRift设备定价亲民，拉低了VR设备价格以20亿美元收购Oculus，VR技术进入大众视野5.近20年三、虚拟现实主要特征§1.1虚拟现实基本概念沉浸感沉浸感又称为临场感，是指用户作为体验者存在于虚拟环境中的真实程度。好的VR设备应该让体验者有身临其境的感受，而非只是四周多了几块屏幕。佩戴头盔显示器、数据手套等交互设备体验者的大脑会用他们从VR头戴式显示器中看到和听到的东西来欺骗自己三、虚拟现实主要特征§1.1虚拟现实基本概念自然交互三自由度（3DegreesOfFreedom，3DoF）交互：3DoF是用户可以使用VR头盔观察四周的景象并将头部左右晃动以扩大可以探索的地方六自由度（6DegreesOfFreedom，6DoF）交互：借助功能强大的游戏笔记本电脑或计算机来处理信息，以便使用传感器、数据手套和其他传感设备等额外配件进行游戏和互动。超现实超现实是指虚拟现实世界依托于现实世界，但限制内容创作的只有想象力本身，完全可以创造出超越现实的虚拟世界。四、虚拟现实典型设备§1.1虚拟现实基本概念主要是用于观看3D电影或者游玩一些简单的VR游戏。流行产品：谷歌Cardboard、暴风魔镜价格范围：几十元到几百元主要结构：两枚凸透镜。工作原理：手机中图像原理类似观看左右格式3D电影，手机中图像分成左右两部分，每只眼睛只看到其中一部分，两幅画面送至双眼，带来3D效果。分辨率要求：对手机屏幕分辨率要求高，凸透镜需要对画面进行倍数放大，低分屏颗粒感明显。1.VR眼镜三、虚拟现实典型设备§1.1虚拟现实基本概念VR头盔是主流大厂推出的产品，搭配主机使用，如PC或家用游戏主机优势：OculusRift、HTCVive和PlayStationVR的设置更加复杂，但功能更强大实现位置追踪、无线控制等功能搭配丰富的遥控套件，可增加沉浸感成本较高2.VR头盔三、虚拟现实典型设备§1.1虚拟现实基本概念VR一体机内置处理器和屏幕，无需外接主机，但成本高且体验效果不如VR头盔。市面上一体机产品较少，玩家选择也不多，但具备可移动、便携的特点，成本相对低廉。AMD、谷歌、腾讯等公司宣布将致力于VR一体机的研发，未来前景值得期待。3.VR一体机第6章：虚拟现实技术及应用1虚拟现实基本概念2虚拟现实关键技术3虚拟现实技术在融媒体中的应用4AR与MR一、动态环境建模技术§1.2虚拟现实关键技术强调沉浸感和真实感重视自然的交互方式和实时性。将真实感、实时性和交互性作为建模指导原则1.虚拟现实建模特点建模方法不同：虚拟现实建模主要采用纹理等技术提高逼真度，而不是增加几何造型复杂度说明内容更多：虚拟现实建模需要说明许多系统连接，如自由度、层次细节等，而不仅仅是造型2.虚拟现实建模与三维动画建模的本质区别一、动态环境建模技术§1.2虚拟现实关键技术不依赖于三维几何建模，主要利用离散图像或连续视频作为基础数据。经过图像处理生成真实的全景图像，并组织为虚拟实景空间，用户可进行前进、后退、环视、仰视、俯视操作。多用于漫游系统，实现全方位观察三维场景的效果。1.基于图像的虚拟建模法按照虚拟场景的构造方法来区分，虚拟现实技术常用的有三种建模方法：基于图像的虚拟建模法、基于几何模型的虚拟建模法和基于图形与图像混合建模方法。一、动态环境建模技术§1.2虚拟现实关键技术常用于大规模场景的建模。以计算机图形学为基础，对真实场景进行建模，并建立虚拟环境中的光照和材质模型。进一步进行纹理映射、模型的可见消隐和控制参数的设定最后通过软件控制观察者的位置和光照，在输出设备上实时渲染绘制视景画面。2.基于几何模型的虚拟建模法将基于图形与图像的优点集合于一体利用基于图像的虚拟建模法构造虚拟场景，利用基于几何模型的虚拟建模法进行实体构建增加场景真实感，保证实时性与交互性，提高用户沉浸感技术上的困难，仍处于探索研究阶段，尚未得到广泛应用3.基于图形与图像混合建模的虚拟建模法二、实时三维图形生成技术§1.2虚拟现实关键技术在不影响画面视觉效果的前提条件下，用一组复杂程度各不相同的实体层次细节模型来描述同一个对象依据视点远近或其他一些客观标准切换模型，实时地改变场景复杂度1.细节层次技术目的就是在实际环境中获取三维数据，建立虚拟环境模型，重点解决实时性。直接利用拍摄得到的实景图像来构造虚拟场景观察点及观察方向受到限制，不能实现完全的交互性操作2.基于图像的图形绘制技术二、实时三维图形生成技术§1.2虚拟现实关键技术利用基于顶点聚类的网格简化算法和基于边折叠的网格简化算法对于某些复杂的模型，简化效果还是不能令人满意，往往需要手工简化。3.模型简化技术场景地形的分块调度和场景模型的动态调度动态地选择部分地形模型进行调用现实，能有效地提高系统输出视景的实时性4.场景调度管理技术多个几何形状相同但位置不同的物体共享同一个模型数据通过矩阵变换安置在不同的地方，大大地节约内存空间。5.实例化技术三、立体显示和传感器技术§1.2虚拟现实关键技术使用偏振光滤镜或偏振光片来过滤掉特定角度偏振光以外的所有光，让零度的偏振光只进入右眼，90度的偏振光只进入左眼。两种偏振光分别搭载两套画面，形成3D效果1.偏振光分光3D显示将不同视角上拍摄的影像以两种不同的颜色保存在同一幅画面中通过佩戴红蓝眼镜看到不同的画面，根据色差和位移产生立体感与深度距离感。2.图像分色立体显示头戴设备所用到的立体高清显示技术是最关键的一项技术，该技术是以人眼的立体视觉原理为依据的。三、立体显示和传感器技术§1.2虚拟现实关键技术投影机内部放置了一个快速转动的滤光轮，其中包含了另外一组红色、绿色和蓝色的滤光片。这组滤光片可以产生和原始滤光片一样的色域，并让光线以不同的波长传播，分别包含了左右眼的影像内容。观众佩戴带有二向色滤光片的分色眼镜后，可以过滤掉其中特定波长的光线，从而让两只眼睛看到不同的画面。3.杜比图像头戴设备所用到的立体高清显示技术是最关键的一项技术，该技术是以人眼的立体视觉原理为依据的。三、立体显示和传感器技术§1.2虚拟现实关键技术HMD头戴显示技术能够营造出在超短距离内看超大屏幕的效果，具备足够高的解析度。通过人的大脑将两个图像融合以获得深度感知，从而得到立体的图像。除此之外，还有一种视网膜投影技术。采用这种显示技术的头戴设备包括谷歌眼镜和AvegantGlyph4.HMD头戴显示技术三、立体显示和传感器技术§1.2虚拟现实关键技术微软产品HoloLens内置独立计算单元处理摄像头捕捉的各种信息。透过层叠的镜片创建出虚拟影像，借助体感技术进行虚拟物体交互。利用上述技术，让用户实时感受3D图像。借助SLAM技术获取环境信息，保证用户移动时成像的稳定性4.HMD头戴显示技术三、立体显示和传感器技术§1.2虚拟现实关键技术MagicLeap采用“光影成像”技术；用螺旋状震动的光纤来形成图像，并直接让光线从光纤弹射到人的视网膜上；用光纤向视网膜直接投射整个数字光场，产生所谓的电影级现实。4.HMD头戴显示技术三、立体显示和传感器技术§1.2虚拟现实关键技术惯性传感器：加速度传感器、陀螺仪和地磁传感器，这些传感器主要用于捕捉头部转动运动。；动作捕捉传感器，目前的方案有红外摄像头和红外感应传感器等，主要用来实现动作捕捉，特别是使用者左右前后的移动。；其他类型传感器，如佩戴检测用的接近传感器、触控板用的电容感应传感器等已被广泛使用5.传感器技术单靠立体显示技术远远不能实现真正的虚拟现实或增强现实系统。虚拟现实的应用，少不了传感器技术的大力支持。四、系统集成技术§1.2虚拟现实关键技术一个完整的虚拟现实系统由以下功能单元构成：虚拟环境、虚拟环境处理器、视觉系统、听觉系统、身体方位姿态跟踪设备和味觉、嗅觉、触觉与力觉反馈系统等1.虚拟现实系统的组成系统集成技术是指将各个功能单元组装成完整的虚拟现实系统的过程。计算机是虚拟现实系统的核心：整个虚拟世界的实时渲染计算用户和虚拟世界的实时交互计算虚拟现实系统对计算机配置的要求非常高。2.计算机在虚拟现实系统中的作用四、系统集成技术§1.2虚拟现实关键技术传统的鼠标和键盘无法实现自然交互，需要采用特殊的交互设备。常用的交互设备有：数据手套、三维声音系统和头盔显示等3.交互设备专业的虚拟现实引擎软件负责：完成虚拟现实系统中的模型组装、热点控制、运动模式设立、声音生成等工作为虚拟世界和后台数据库、虚拟世界和交互硬件建立起必要的接口联系。4.虚拟现实引擎软件四、系统集成技术§1.2虚拟现实关键技术头盔显示器是典型的虚拟现实系统组成部分。头盔显示器系统由计算机、头盔显示器、数据手套、力反馈装置、话筒、耳机等设备组成。计算机生成虚拟世界，头盔显示器输出立体景象，用户通过头的转动、手的移动、语言等与虚拟世界进行自然交互，计算机实时计算用户输入信息进行交互反馈，耳机输出虚拟立体声音、力反馈装置产生触觉反馈。6.基于头盔显示器的虚拟现实系统第6章：虚拟现实技术及应用1虚拟现实基本概念2虚拟现实关键技术3虚拟现实技术在融媒体中的应用4AR与MR一、沉浸式影视娱乐§1.3虚拟现实技术在融媒体中的应用定义：交互影视是融合了影视表现效果和游戏自由度的新的影视表现形式。特点：观看者不仅仅局限于欣赏沉浸式的电影，可以进一步的作为主角影响这剧情的走向。1.交互影视的定义和特点全景交互：参与者可以360°转换视角来观察虚拟环境。剧情交互：参与者不仅与虚拟环境发生全景交互，还可以参与到剧情的发展中，引起剧情的变化。完全交互：参与者作为故事的掌控者，能够决定故事的发展和结局。2.交互等级的分类

一、沉浸式影视娱乐§1.3虚拟现实技术在融媒体中的应用一、沉浸式影视娱乐§1.3虚拟现实技术在融媒体中的应用逼真度和沉浸感强大量剧情交互或完全交互用户可以自行决定剧情的进展和结局未来发展:更加逼真的画面和体验更加丰富的游戏类型更加高效的控制方式更多的社交互动和合作模式1.VR游戏一、沉浸式影视娱乐§1.3虚拟现实技术在融媒体中的应用目前发布的VR游戏，不乏恐怖、射击、模拟生存等类游戏。二、沉浸式教育培训§1.3虚拟现实技术在融媒体中的应用VR技术使得教育变得生动活泼，师生可以自由探索交互，将枯燥的文字转换成丰富的可互动形式的活动。VR教育方式可以提高学生的课堂注意力以及学习效率。1.VR技术改变传统教育方式2012年，微软Kinect体感设备实现了VR技术和教育的结合。2014年，韩国中央大学开发了一个在线VR游戏系统，让学生进行角色扮演和协作学习，以身临其境的体验获得建筑安全的教育知识。2015年，意大利乌迪内大学开发了一款航空安全教育的VR游戏，让玩家体验一架商用飞机遇难后的紧急着陆和撤离工作。2.发展历程二、沉浸式教育培训§1.3虚拟现实技术在融媒体中的应用2016年，墨西哥Linnea公司将LeapMotion绑定到Oculus，用于教育领域并设计了教育内容。有些教育游戏过于注重教育而忽略了娱乐元素，应该具有教育和娱乐的双重特性。2.发展历程二、虚拟旅游§1.3虚拟现实技术在融媒体中的应用新冠疫情的肆虐导致全球旅游业收入损失1.3万亿美元，国际游客数量下降74％。虚拟旅游因360°全景视频等技术成为疫情期间很多人“在家旅游”的主要方式之一。一些公司在不懈地进行完善虚拟旅游技术的尝试，例如将其应用于旅游出行。FirstAirlines公司推出了名为“虚拟现实飞行体验”的项目，游客能在旅途中使用特制的装备游览即将抵达的目的地城市。1.发展历程虚拟旅游是依托互联网等环境系统构建的虚拟空间的旅游体验，包括身临其境的感受和虚拟产品消费，与现实景点旅游相辅相成。二、虚拟旅游§1.3虚拟现实技术在融媒体中的应用疫情加速了各公司相关技术的研发，AmazonExplore推出新的服务，在辅助设备的帮助下游客可以在一对一虚拟导游的指引下享受日本京都游、在墨西哥本地学习美食烹饪课程等体验。科技公司Oculus推出Quest2头戴设备，用户可以通过使用NationalGeographicVR服务，在南极洲攀登冰山，躲避暴风雪和寻找企鹅。中国也推出了北京故宫博物院虚拟旅游项目，利用VR技术让无法到达实地的游客们足不出户就可以欣赏故宫的美景。各地博物馆也增添了各式各样的VR体验，使得游客们可以更好的了解当地的风土人情。虚拟现实技术能重新唤起人们对旅游的兴趣，提高游客对旅行目的地的积极性，为旅游的未来开创更多可能性。1.发展历程二、虚拟旅游§1.3虚拟现实技术在融媒体中的应用三、虚拟医学§1.3虚拟现实技术在融媒体中的应用医疗领域培养一名外科医生需要耗费大量时间和精力虚拟现实技术为实习医生提供了更多的培训机会通过虚拟现实技术的应用，可以降低人为操作失误和风险1.意义三、虚拟医学§1.3虚拟现实技术在融媒体中的应用2002年，斯坦福大学推出了一套手术模拟器，提供触觉反馈功能2013年，RealView公司开发了医用3D全息投影系统，提供全新的手术操刀模拟技术2015年，伦敦StBartholomew医院发布了TheVirtualSurgeon，提供手术的360°全景视频记录，供医学院学生学习通过虚拟现实技术的应用，实习医生可以进行更多次的模拟手术操作，提高操作技能2.具体应用三、虚拟医学§1.3虚拟现实技术在融媒体中的应用医疗资源不足的地区可以通过虚拟现实技术与远程医生进行交流，获取更多的诊断和治疗建议医生可以通过虚拟现实技术远程指导手术操作，提高手术的成功率通过虚拟现实技术的应用，可以更好地满足远程地区的医疗需求，提高医疗水平3.虚拟现实技术在心理治疗中的应用三、虚拟医学§1.3虚拟现实技术在融媒体中的应用虚拟现实可以用于减轻烧伤患者的疼痛：通过沉浸式的游戏体验和音乐，帮助患者缓解伤口或物理治疗所带来的痛苦。虚拟现实可以帮助失去部分或全部四肢的患者减轻幻肢疼痛：通过虚拟的四肢，帮助患者学会如何控制假肢，同时大大缓解幻肢疼痛的现象。虚拟现实可以帮助自闭症患者提升社交技能：将自闭症患者放到虚拟环境中特定场景，如面试和约会，可以明显提升参与者涉及社会认知部分的大脑活跃度。虚拟现实可以通过冥想缓解焦虑：使用呼吸控制游戏的名为DEEP的虚拟现实应用，玩家学会控制呼吸，从而冥想以缓解焦虑。4.医疗具体应用三、虚拟医学§1.3虚拟现实技术在融媒体中的应用五、模拟军事§1.3虚拟现实技术在融媒体中的应用美军推出用于单兵训练的模拟软件美国陆军步兵训练系统；配备一台定制版的笔记本电脑和头戴式虚拟头盔，士兵们可以做出各种复杂的姿势动作；DSTS还能够评估士兵在虚拟战场的受伤程度，记录士兵应对战场情况说的每一句话和每一次开火，从而通过回访功能观察士兵在训练中的表现。1.单兵综合实战训练系统五、模拟军事§1.3虚拟现实技术在融媒体中的应用美军采用综合了航空照片、卫星影像和数字地形数据等信息生成高分辨率的作战区域三维地形环境，以此来训练执行作战任务的战斗机飞行员。2.虚拟战场环境构建五、模拟军事§1.3虚拟现实技术在融媒体中的应用通过运用分布式交互仿真技术结合虚拟现实技术，可以在作战模拟训练中心控制设置在不同地域的模拟系统终端来实现不同地域和环境下的作战训练。美国陆军近战战术训练系统采用主干光纤系统网络结合分布式交互仿真，建立一个虚拟作战环境。3.多军种联合军事演习五、模拟军事§1.3虚拟现实技术在融媒体中的应用美军曾使用过多种作战模拟系统来训练军事指挥人员。美国海军开发的“虚拟舰艇作战指挥中心”可以逼真模拟与真实的舰艇指挥中心相似的环境，使受训者沉浸在“真实的”战场中。4.军事指挥人员训练五、模拟军事§1.3虚拟现实技术在融媒体中的应用美国第四代战斗机F-22和JSF将VR技术融入进研发过程中，3D的数字化设计，大大缩短了研发周期，也大大节省了研发费用。VR/AR技术将有望运用于未来军事发展，其基本的思路就是把虚拟现实技术用于训练模块，通过计算机作战模拟训练、模拟实战、模拟战场环境的构建、可视化未来的兵器设计。5.缩短武器研发周期五、虚拟航天航空§1.3虚拟现实技术在融媒体中的应用NASA在其载人飞行器中心建立了虚拟现实实验室，其中提供了沉浸式的训练环境和运动模拟器，以及驱动机器人装置等工具，以模拟外太空的环境和操作。NASA还与索尼等商业机构合作，使用虚拟现实技术来帮助机器人在太空中更好的完成任务，如探索和登陆等。NASA也在和各种商业或民间机构合作推进自己的火星登陆计划1.具体应用五、虚拟航天航空§1.3虚拟现实技术在融媒体中的应用在戴上索尼PlaystationVR头戴设备后，NASA的人类宇航员可以安全的坐在地球或飞船的控制舱内，让机器人去完成危险的外太空探索和登陆任务五、虚拟航天航空§1.3虚拟现实技术在融媒体中的应用NASA还与多媒体公司FUSIONMedia以及MIT太空系统实验室合作，开发了一款名为Mars2030的交互式火星探险应用，让玩家能够在虚拟现实中探索这个红色星球，并进行各种探索任务。虚拟现实技术将在航天技术的发展中发挥重要的促进作用。2.未来的研究第6章：虚拟现实技术及应用1虚拟现实基本概念2虚拟现实关键技术3虚拟现实技术在融媒体中的应用4AR与MR一、AR与MR定义§1.4AR与MRAR是一种现实世界环境的交互式体验，其中驻留在现实世界中的物体通过计算机生成的感知信息得到增强，有时跨越多种感官模式，包括视觉、听觉、触觉、体感和嗅觉。1.AR定义一、AR与MR定义§1.4AR与MR混合现实是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。在新的可视化环境里物理和数字对象共存，并实时互动.2.MR定义二、AR关键技术§1.4AR与MR虚拟场景与现实场景一同出现需要进行配准注册，包括使用者的空间定位跟踪和虚拟物体在真实空间中的定位。常用的跟踪注册方法有基于跟踪器的注册、基于机器视觉跟踪注册、基于无线网络的混合跟踪注册技术等。基于跟踪器的注册方法通过跟踪已知物体的运动来确定虚拟物体的位置。基于机器视觉跟踪注册方法使用计算机视觉技术跟踪环境中的特征点，确定虚拟物体的位置。基于无线网络的混合跟踪注册技术通过将多种跟踪方法进行组合，提高跟踪精度和稳定性。1.跟踪注册技术二、AR关键技术§1.4AR与MR显示技术是AR技术的关键组成成分，需要高色度的显示设备和精良的显示技术来降低虚拟系统和现实环境融合的违和感。显示设备包含一系列的头盔显示器以及相配套的传感器接口，使用者通过摄像头接口和画面结合在一起来获取虚拟与现实环境共存的AR增强影像。精良的显示技术通过对图像进行相关的处理，使之可以与虚拟环境相融合，从而得到真实感和逼真感更强的AR增强影像。在显示技术中，常用的方法包括平面显示、投影显示、头盔显示