6.1 备课笔记-虚拟交互初识

编号31-01【了解交互设计中虚拟现实类产品、游戏交互设计师岗位工作流】编号31-01学习任务一、虚拟交互初识一、课程说明与要求1.课程说明本阶段课程分为两个部分，第一部分为虚拟现实概述，介绍了虚拟现实的定义以及应用分类；第二部分为虚拟现实技术汇总，介绍虚拟现实的实现的关键技术，重点说明虚拟现实中使用的交互技术；通过学习虚拟现实使用分类以及交互设计采用的关键技术汇总，学生可以全方面理解虚拟现实使用范围以及采用的交互技术，储备虚拟现实基础理论为后续虚拟开发奠定基础。2.工具材料准备说明本课的实践环节需要同学们提前准备一些素材，相关虚拟现实案例供学生和教师下载。二、学情分析与课程导入1.学情分析虚拟现实技术缩写为VR，又称灵境技术，是20世纪发展起来的一项全新的实用技术。本课程为虚拟现实认知课程，需要学生在学习过程中，结合实际的虚拟现实相关案例，分析各个案例的分类以及使用的交互技术。在学习虚拟现实理论的同时，要不断思考虚拟现实的应用对实际生活所产生的影响，思考如何在进行虚拟现实设计时使用切合的交互技术，这是非常重要的。此外，作为一门高科技课程，针对学生对当前市场应用需求普遍认知不强，或有较多偏差的情况，强调进行引导教学，融入市场多元化理念。2.课程导入我们之前学习了网页交互设计流程以及APP产品交互设计流程的相关知识。那么，作为融合多个技术领域的新型行业虚拟现实的交互设计也需要有一定的认知，上节课在了解了AdobeXD交互设计的相关操作，本节课我们将对虚拟现实相关基础知识进行介绍。三、理论知识讲解（一）VR概述2.VR系统分类所谓虚拟现实：顾名思义，就是虚拟和现实相互结合。从理论上来讲，虚拟现实技术（VR）是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。虚拟现实技术受到了越来越多人的认可，用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉；同时，虚拟现实具有一切人类所拥有的感知功能，比如听觉、视觉、触觉、味觉、嗅觉等感知系统；最后，它具有超强的仿真系统，真正实现了人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈。正是虚拟现实技术的存在性、多感知性、交互性等特征使它受到了许多人的喜爱。编号31-02编号31-022.VR系统分类VR涉及学科众多，应用领域广泛，系统种类繁杂，这是由其研究对象、研究目标和应用需求决定的。从不同角度出发，可对VR系统做出不同分类。1、根据沉浸式体验角度分类沉浸式体验分为非交互式体验、人——虚拟环境交互式体验和群体——虚拟环境交互式体验等几类。该角度强调用户与设备的交互体验，相比之下，非交互式体验中的用户更为被动，所体验内容均为提前规划好的，即便允许用户在一定程度上引导场景数据的调度，也仍没有实质性交互行为，如场景漫游等，用户几乎全程无事可做；而在人——虚拟环境交互式体验系统中，用户则可用过诸如数据手套，数字手术刀等的设备与虚拟环境进行交互，如驾驶战斗机模拟器等，此时的用户可感知虚拟环境的变化，进而也就能产生在相应现实世界中可能产生的各种感受。如果将该套系统网络化、多机化，使多个用户共享一套虚拟环境，便得到群体—虚拟环境交互式体验系统，如大型网络交互游戏等，此时的VR系统与真实世界无甚差异。2、根据系统功能角度分类【思政融入（训练演练，为国家航空领域培养高端人才，增强国家在航空航天领域的竞争力，培养学生爱国主义精神）】系统功能分为规划设计规划设计系统可用于新设施的实验验证，可大幅缩短研发时长，降低设计成本，提高设计效率，城市排水、社区规划等领域均可使用，如VR模拟给排水系统，可大幅减少原本需用于实验验证的经费；展示娱乐展示娱乐类系统适用于提供给用户逼真的观赏体验，如数字博物馆，大型3D交互式游戏，影视制作等，如VR技术早在70年代便被Disney用于拍摄特效电影；编号31-03编号31-03训练演练等几类。训练演练类系统则可应用于各种危险环境及一些难以获得操作对象或实操成本极高的领域，如外科手术训练、空间站维修训练等。3.VR特征1、沉浸性沉浸性是虚拟现实技术最主要的特征，就是让用户成为并感受到自己是计算机系统所创造环境中的一部分，虚拟现实技术的沉浸性取决于用户的感知系统，当使用者感知到虚拟世界的刺激时，包括触觉、味觉、嗅觉、运动感知等，便会产生思维共鸣，造成心理沉浸，感觉如同进入真实世界。2、交互性交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度，使用者进入虚拟空间，相应的技术让使用者跟环境产生相互作用，当使用者进行某种操作时，周围的环境也会做出某种反应。如使用者接触到虚拟空间中的物体，那么使用者手上应该能够感受到，若使用者对物体有所动作，物体的位置和状态也应改变。3、多感知性多感知性表示计算机技术应该拥有很多感知方式，比如听觉，触觉、嗅觉等等。理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技术，特别是传感技术的限制，目前大多数虚拟现实技术所具有的感知功能仅限于视觉、听觉、触觉、运动等几种。4、构想性构想性也称想象性，使用者在虚拟空间中，可以与周围物体进行互动，可以拓宽认知范围，创造客观世界不存在的场景或不可能发生的环境。构想可以理解为使用者进入虚拟空间，根据自己的感觉与认知能力吸收知识，发散拓宽思维，创立新的概念和环境。编号31-04编号31-045、自主性是指虚拟环境中物体依据物理定律动作的程度。如当受到力的推动时，物体会向力的方向移动、或翻倒、或从桌面落到地面等。4.虚拟现实的关键技术主要包括：1、动态环境建模技术虚拟环境的建立是VR系统的核心内容，目的就是获取实际环境的三维数据，并根据应用的需要建立相应的虚拟环境模型。2、实时三维图形生成技术三维图形的生成技术已经较为成熟，那么关键就是“实时”生成。为保证实时，至少保证图形的刷新频率不低于15帧/秒，最好高于30帧/秒。3、立体显示和传感器技术虚拟现实的交互能力依赖于立体显示和传感器技术的发展，现有的设备不能满足需要，力学和触觉传感装置的研究也有待进一步深入，虚拟现实设备的跟踪精度和跟踪范围也有待提高。4、应用系统开发工具虚拟现实应用的关键是寻找合适的场合和对象，选择适当的应用对象可以大幅度提高生产效率，减轻劳动强度，提高产品质量。想要达到这一目的，则需要研究虚拟现实的开发工具。5、系统集成技术由于VR系统中包括大量的感知信息和模型，因此系统集成技术起着至关重要的作用，集成技术包括信息的同步技术、模型的标定技术、数据转换技术、数据管理模型、识别与合成技术等。5.VR技术应用虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合，是一门富有挑战性的交叉技术前沿学科和研究领域。在影视娱乐中的应用在教育中的应用在设计领域的应用虚拟现实在医学方面的应用虚拟现实在军事方面的应用虚拟现实在航空航天方面的应用编号31-05编号31-05运用虚拟现实技术，设计者可以完全按照自己的构思去构建装饰“虚拟”的房间，并可以任意变换自己在房间中的位置，去观察设计的效果，直到满意为止。既节约了时间，又节省了做模型的费用。（二）VR交互技术汇总……………………【重点】1.VR系统的组成一个典型的虚拟现实系统主要由计算机、输入输出设备、虚拟现实设计/浏览软件等组成。用户以计算机为核心，通过输入输出设备与应用软件的虚拟世界进行交互。在虚拟现实系统中，计算机是系统的心脏，主要用于接收、处理、控制显示各种信息及相互间的作用和状态，负责虚拟世界的生成、人与虚拟世界的自然交互等功能的实现。输入输出设备在虚拟现实系统中，用户与虚拟世界之间要实现自然的交互，必须采用特殊的输入输出设备，用以识别用户的各种信息输入，并实时生成逼真的反馈信息。2.交互技术【思政融入（科学技术极大地推动社会生产力的发展。科学技术能够在很大程度上提高劳动者的智力水平，并且通过促进生产力的向前发展，为社会的发展提供丰足的物质前提。培养学生投入高新技术领域的学习研究。）】VR输入设备如动作捕捉、手势识别、声音感知等体感类设备，通过感知用户输入信息，与虚拟世界编号31-06进行交互，输入设备是实现消费者交互、沉浸感的重要技术。编号31-06下面是一些在VR虚拟现实场景中运用到的交互技术：1.动作捕捉用户想要获得完全的沉浸感，真正“进入”虚拟世界，动作捕捉系统是必须的。目前专门针对VR的动捕系统，目前市面上可参考的有PerceptionNeuron。但是这样的动作捕捉设备只会在特定的超重度的场景中使用，因为其有固有的易用性门槛，需要用户花费比较长的时间穿戴和校准才能够使用。相比之下，Kinect这样的光学设备在某些对于精度要求不高的场景可能也会被应用。全身动捕在很多场合并不是必须的，它的另一个问题，在于没有反馈，用户很难感觉到自己的操作是有效的，这也是交互设计的一大痛点。2.触觉反馈这里主要是按钮和震动反馈，这就是下面要提到的一大类，虚拟现实手柄。目前三大VR头显厂商Oculus、索尼、HTCVive都不约而同的采用了虚拟现实手柄作为标准的交互模式：两手分立的、6个自由度空间跟踪的（3个转动自由度3个平移自由度），带按钮和震动反馈的手柄。这样的设备显然是用来进行一些高度特化的游戏类应用的（以及轻度的消费应用），这也可以视作一种商业策略，因为VR头显的早期消费者应该基本是游戏玩家。这样高度特化/简化的交互设备的优势显然是能够非常自如地在诸如游戏等应用中使用，但是它无法适应更加广泛的应用场景。3.眼球追踪提起VR领域最重要的技术,眼球追踪技术。Oculus创始人就曾称其为“VR的心脏”，因为它对于人眼位置的检测，能够为当前所处视角提供最佳的3D效果，使VR头显呈现出的图像更自然，延迟更小，这都能大大增加可玩性。同时，由于眼球追踪技术可以获知人眼的真实注视点，从而得到虚拟物体上视点位置的景深。所以，眼球追踪技术被大部分VR从业者认为将成为解决虚拟现实头盔眩晕病问题的一个重要技术突破。事实上，在业内人看来，从眼球追踪技术本身来说，虽然在VR上有一些限制，但可行性还是比较高的，比如外接电源、将VR的结构设计做的更大等。但更大的挑战在与通过调整图像来适应眼球的移动，这些图像调整的算法目前来说都是空白的。有两个指标，一是图像自然真实，二是快速延迟小。这对VR+眼球追踪提出了更高的要求，如果达到这两点，VR的可玩性会再提高一个档次。4.肌电模拟震动感，这个在一般的游戏手柄中可以体验到；另外一部分，也是最有意义的部分，是肌肉电刺激系统，通过电流刺激肌肉收缩运动。两者的结合能够给人们带来一种错觉，误以为自己击中了游戏中的对手，因为这个设备会在恰当的时候产生类似真正拳击的“冲击感”。然而，业内人士对于这个项目有些争议，目前的生物技术水平无法利用肌肉电刺激来高度模拟实际感觉。即使采用这种方式，以目前的技术能实现的也是比较粗糙的感觉，这种感觉对于追求沉浸感的VR也编号31-07没有太多用处，“还不如震动马达”。利用肌肉电刺激来模拟真实感觉需要克服的问题有很多，因为神经通道是一个精巧而复杂的结构，从外部皮肤刺激是不太可能的，但是“随便”电刺激一下让肌肉运动以当做反馈是可以的。编号31-075.手势跟踪使用手势跟踪作为交互可以分为两种方式：第一种是使用光学跟踪，比如LeapMotion这样的深度传感器，第二种是将传感器戴在手上的数据手套。光学跟踪的优势在于使用门槛低，场景灵活，用户不需要在手上穿脱设备，未来在一体化移动VR头显上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。但是其缺点在于视场受局限，以及涉及到两个基本问题：需要用户付出脑力和体力才能实现的交互是不会成功的，使用手势跟踪会比较累而且不直观，没有反馈。这需要良好的交互设计才能弥补。数据手套，一般在手套上集成了惯性传感器来跟踪用户的手指乃至整个手臂的运动。它的优势在于没有视场限制，而且完全可以在设备上集成反馈机制（比如震动，按钮和触摸）。它的缺陷在于使用门槛较高：用户需要穿脱设备，而且作为一个外设其使用场景还是受局限：就好比说在很多移动场景中不太可能使用鼠标。不过这些问题都没有技术上的绝对门槛，完全可以想象类似于指环这样的高度集成和简化的数据手套在未来的VR产业中出现，用户可以随身携带随时使用。这两种方式各有优劣，可以想象在未来这两种手势跟踪在很长一段时间会并存，用户在不同的场景（以及不同的偏好）使用不同的跟踪方式。6.方向追踪方向追踪除了可以用来瞄点，还可以用来控制用户在VR中的前进方向。不过，如果用方向追踪调整方向的话很可能会有转不过去的情况，因为用户不总是坐在能够360度旋转的转椅上的，可能很多情况下都会空间受限。比如头转了90度接着再转身体，加起来也很难转过180度……所以，这里“空间受限无法转身是一个需求”，于是交互设计师给出了解决方案——按下鼠标右键则可以让方向回到原始的正视方向或者叫做重置当前凝视的方向（就是你最初始时候面向的那个方向），或者可以通过摇杆调整方向，或按下按钮回到初始位置。但问题还是存在的，以用户面朝的方向作为行走方向比起键鼠和gamepad，转向和视觉相匹配极大地增强了沉浸感，但是却有可能玩得很累，削弱了舒适性。编号31-08编号31-087.语音交互在VR中海量的信息淹没了用户，他不会理会视觉中心的指示文字，而是环顾四周不断发现和探索。如果这时给出一些图形上的指示还会干扰到他们在VR中的沉浸式体验，所以最好的方法就是使用语音，和他们正在观察的周遭世界互不干扰。这时如果用户和VR世界进行语音交互，会更加自然，而且它是无处不在无时不有的，用户不需要移动头部和寻找它们，在任何方位任何角落都能和他们交流。8.传感器传感器能够帮助人们与多维的VR信息环境进行自然地交互。比如，人们进入虚拟世界不仅仅是想坐在那里，他们也希望能够在虚拟世界中到处走走看看，比如万向跑步机。然而体验过的人都反应过，这样的跑步机实际上并不能够提供接近于真实移动的感觉，目前体验并不好。还有的想法是使用脚上的惯性传编号31-09感器使用原地走代替前进，比如全身VR套装，戴上这套装备，可以切身感觉到虚拟现实环境的变化，比如可感受到微风的吹佛，甚至是射击游戏中还能感受到中弹的感觉。编号31-09这些都是由设备上的各