5.31版-诺亦腾 Alice沉浸式多人大空间交互方案书

北京诺亦腾科技有限公司 ProjectAlice沉浸式多人大空间交互方案书北京诺亦腾科技有限公司目录1.VR产业现状分析 3（1） 国内 4（2） 国外 52.VR+教育运用价值 6(1) 理论支撑 7(2) VR+教育需求分析 83.Alice方案简介 124.海量VR教学资源 155.Alice硬件平台介绍 17

1.VR产业现状分析VR产业覆盖了硬件、系统、平台、开发工具、应用以及消费内容等诸多方面，作为一个处于技术创新井喷期的产业，VR虚拟现实的想象空间和市场前景十分广阔，全球科技巨头纷纷投身其中。目前，VR作为新兴产业，其技术要求高、资源投入大，产业链的部分环节相对比较单薄，国内VR产业主要集中在硬件制作环节，而内容与工具提供商，尤其是内容平台搭建者，主要以国际大型IT科技公司为主。图VR产业链尽管目前VR/AR行业都处于起步阶段，但整个市场未来增长潜力巨大：根据DigiCapital预测至2020年，全球AR与VR市场规模将达到1500亿美元，而根据市场研究机构BIIntelligence的统计，2020仅年头戴式VR硬件市场规模将达到28亿美元，未来5年复合增长率超过100%。在过去的2017年，VR毫无疑问成为资本市场最受热捧的风口。图2020年世界图2020年世界AR/VR市场规模图2017-2020年世界头戴式VR硬件市场规模2018年，VR将在全世界范围内迎来行业大爆发，成为互联网科技界新一代的智能硬件入口。由于VR带来的时代颠覆性，国内外各大型知名高新科技公司纷纷进驻VR产业，寻求下一个发展切入点：国内腾讯进入VR领域，发布“TOS+”智能硬件开放平台，布局虚拟现实产品在内的智能硬件生态圈；百度视频成立VR频道，成为BAT中投入VR领域的首一家；360、迅雷、京东等知名互联网公司也纷纷开发其VR产品迅速占据国内主流市场；国外索尼PSVR、HTCVive、Facebook旗下的Oculus、三星GearVR、微软VRKit、谷歌Cardboard成为国际VR消费级市场主流产品；MagicLeap（裸眼3D全息视觉）宣布获8.27亿美元；著名游戏公司EA将组建VR游戏团队，开辟全新的VR游戏产品路线。图全球VR行业巨头公司全球最大社交平台Facebook创始人扎克伯格在收购Oculus时表示：“我们在做长期的布局，未来虚拟现实和增强现实都将进入普通人的生活。”而根据风投机构Digi-Capital的预测，到2020年，整个虚拟现实技术将产生1500亿的庞大市场。2017年1月的国际消费电子展（CES）中，虚拟现实和增强现实技术成为了本届展会的焦点，结合CES2017年关于VR产业链的成熟度，预计2017-2020年，随着大量适应移动VR的爆款游戏出现，VR将拥有庞大的主流用户群体，VR产业也将进入红利期。可以预见的是，随着技术的逐渐成熟和完善，VR虚拟现实技术将在科研教学、虚拟医疗、虚拟驾驶、旅游景观、航空航天、远程协同、城市规划、游戏娱乐、工业仿真、军事模拟、广告营销、虚拟实验，甚至心理疾病治疗等领域，带来一次颠覆性的技术变革。图VR生态圈组成及各类应用2.VR+教育运用价值现代学习理念要求：“转变传统教育观念，创建学生自由发挥的空间，使其掌握学习的主动性，并成为独立、自主、高效的学习者，已成为学生实现自我、发展自我、完善自我的必要条件。”而虚拟教学，就是创建一种可控的、逼近真实、多感知一体化的学习环境，使学生能够与之交互，进而开展各种研究、训练的一种学习方式。“虚拟现实之父”ThomasFurness表示：VR在改变社会，从教育开始。2016年，大英博物馆为13岁以上的游客提供了VR设备，用于体验和探索VR虚拟现实环境下的青铜时代文物、遗址、仪式文化等，沉浸式的震撼体验让观者振奋不已，成为了本年度VR技术用于教育文化应用的最佳典型。图使用VR设备参观数字博物馆理论支撑随着VR产业在全球范围内的不断兴起，由于其具备的各种技术特征，VR技术越来越多的被教育领域所重视，以往传统二维空间授课过程中的痛点也将迎刃而解。各项应用研究表明，VR技术进入高校教学，能形象生动地表现教学内容,有效地营造一个跟随技术发展的教学环境,提高学生掌握知识、技能的效率,真正使教学者更容易地去表达自己的教学思想和内容,使学习者更直观、更容易理解教学者的教学思想和教学内容。行为主义理论认为,学习就是刺激与反应之间的联合。根据这个理论,运用AR技术可以让学习者在运动训练真实环境的模拟中不断接受环境的刺激,不断地尝试与错误,最终达到由感性知识上升到理性认识的目的,并且比起真实环境,虚拟现实更加能保证学习者的安全,并且打破了时间与空间的限制。建构主义学习理论认为“情境”、“协作”、“会话”和“意义建构”是学习环境中的四大要素或四大属性。虚拟现实技术为建构主义理论提供了其要求的学习环境,使得学习者能够主动利用VR系统进行自主学习,自主选择学习内容和时间等,因此它符合建构主义理论以学为中心的思想。建构主义提倡，开展在教师指导下的、以学习者为中心的学习，也就是说既强调学习者的认知主体作用，又不能忽视教师的指导作用，教师是意义构建的帮助者、促进者，而不是知识的传授者与灌输者。VR技术创造或模拟的事物与环境真实而生动，并且提供多元化的自然交互途径和会话手段，允许学习者在一个可自主控制的环节里自由活动和探索虚拟世界，可以获得对客观事物的各种感性或理性认识，有助于激发人的形象思维和研究性思维，从而深化概念和建造新的构想与创意。同时，人本主义学习理论提出，人类具有天生的学习愿望和潜能，当学生了解到学习内容与自身需要相关时，学习的积极性最容易激发。虚拟环境的创设，提供了一种新的教学交往模式，开放的环节、丰富的资源、真实的情境、充盈的情感以及对学生个体的重视和对写作的支持等，使学生得以摆脱说教枯燥感，参与到生动活泼实践中来。这充分反映了人本主义、以人为本、情感互动、培养完整的人的思想底蕴。VR+教育需求分析VR与教育行业的深度融合是大势所需，其需求驱动主要体现在以下几方面：知识点呈现方式的升级需求科技与教育如影随形，每一次科技革新对教育都会产生深刻影响，教师在课堂上传授知识的方式也在不断演变，从而满足高效的信息化教学需求。从使用“粉笔+黑板”到使用多媒体教室的交互白板，从“全程基本靠讲”的知识单向灌输到配合使用答题器、平板电脑终端进行师生交互，科技设备并非要取代“传统”，而是将各种高科技教学设备和信息化教学手段做互补、融合，针对课堂中不同学科、不同类型的知识点，为教师提供更先进的、适合的、多元化的呈现方式。图知识呈现方式升级演变尤其适合在VR课堂中呈现的知识点例如：天文天体、地壳运动、时间空间等宏观知识点的理解认知；细胞分裂、分子原子、光合作用等微观知识点的观察认知。高难度教学目标的需求利用虚拟现实技术，可以彻底打破空间的限制。大到宇宙天体，小至原子粒子，学生都可以进入这些物体的内部进行观察。例如学生可以乘坐飞船进入虚拟太空，遨游太阳系，以飞船驾驶舱视角近距离观察各个行星，理解真实的天体运行规律，这是电视录像媒体和实物媒体所无法比拟的。图星球学习示意虚拟技术还可以突破时间的限制，一些需要几十年甚至上百年才能观察的变化过程，可以在很短的时间内呈现给学生观察。例如，生物中的孟德尔遗传定律，用果蝇做实验往往要几个月的时间，而虚拟技术在一堂课内就可以实现。另外，地壳运动的原理、生物进化的演变等漫长过程，也可以通过虚拟现实技术得以展现。图乘坐飞船自由视角观察天体3.Alice方案简介ProjectAlice是诺亦腾公司的商用VR解决方案。通过该解决方案可以让用户开发大场景多人联机、空间数据实时追踪的VR应用。ProjectAlice通过专业摄像头实时追踪场地中的所有刚体对象，如头显、控制器、道具等，获取到被追踪物体的光学数据后，结合刚体上的惯性传感器元件对数据进行防抖动平滑处理以及光学信息丢失补偿处理，最后生成高质量的实时追踪数据并广播至所有的应用客户端。ProjectAlice通过专业动作捕捉设备(动捕服)实时采集人体动作数据，并对动作数据进行相应的转换处理，最后将其通过网络广播至所有的应用客户端。在客户端应用开发中，采用ProjectAlice解决方案提供的针对不同引擎的开发套件，实时从服务器获取刚体数据、动作数据、按键事件数据并驱动3D应用场景中的相应对象，如头显、相机、控制器、道具、骨骼模型等，同时，从服务器接收控制器按键事件进行相应的交互逻辑处理。ProjectAlice总体功能如下：实时采集光学场地中物体上的光学马克点信息并计算刚体位置旋转信息；实时采集IMU传感器信息；结合刚体光学信息及IMU传感器信息进行融合计算处理；将被跟踪的所有刚体数据通过网络广播给应用客户端；实时接收控制器按键事件数据并将其通过网络广播给应用客户端；实时采集人体动作数据，并通过网络广播给应用客户端；客户端SDK接收刚体数据，驱动3D场景中的相机、头显模型、控制器模型及其它道具刚体模型对象；客户端SDK接收控制器按键事件数据，对上层应用层提供相应接口以用于交互逻辑的处理。客户端SDK接收动作捕捉数据，并驱动场景中的骨骼模型进行相应的动作展示。软件平台介绍1．VR＋软件引擎诺亦腾自行设计的虚拟软件引擎能够充分发挥虚拟现实系统的用处，除了我们提供的体验应用之外，这套系统可以直接将3D模型导入虚拟现实环境中，并且通过我们的人机交互工具进行修改，调整，装配，达到直观的设计目的。软件可以直接导入多种三维工业建模软件的数据模型，自由搭建虚拟环境，在我们的硬件系统中结合交互工具，让设计、装配、训练、展览等工作变得史无前例的直观。适用于本项目的教学和训练、展陈、宣传功能。2.VR＋内容设计平台可导入各种常见软件的模型数据（Unity3D、UnrealEngine4、CATIA、3DsMax、Solidworks、Maya、FBX、OBJ等），在虚拟现实环境中以真实比例观察，并且提供交互和编辑功能。虚拟设计平台将提供已经完整整合的虚拟现实交互环境，应用开发者仅需要将已有的3D模型导入即可完成诸如讲解、设计、协作等设计任务，工作量极小。3.VR＋软件开发套件提供虚拟现实中间件，用户可在这套虚拟现实系统的基础上自行开发虚拟现实应用并且运行在VR+软件平台上。集成虚拟现实显示、跟踪、交互接口，供有能力有需求的用户开发自由的虚拟现实体验应用，共同合作开发适用于行业领域的多类型VR应用。SDK为C++格式，深度兼容Maya/3DsMax等3D设计软件，同时兼容Unity3D/Unreal等主流3D引擎。处理VR头显的分屏显示，支持VR+设备和相应的功能，提供VR下的交互界面GUI，多人协作。VR教学资源是实现沉浸式教学的核心建设内容，是打造各学科VR课堂的实质性基础。诺亦腾教育依托行业领先的多媒体资源开发团队，不仅拥有强大的3D资源制作能力，并且在引擎开发方面有着丰富的自主研发经验。4.海量VR教学资源VR资源具备可沉浸、可交互、可构想的技术特点，在一节课堂的VR教学环节中，学生的视觉、听觉能与外界隔离，完全排除了外界干扰,全身心地投入到虚拟现实中去，获得身临其境的感觉。学生借助专用的教学设备从视觉、听觉上获得与真实世界相同的感受，跨越时间空间的限制，将抽象化概念具象化，体验高度开放、可交互、沉浸式的三维学习环境。同时，资源需提供一定程度的交互性，以达到营造意境、加深知识记忆、提升学习效果的教学目的。图沉浸式VR教学资源优势覆盖分类虚拟实验：可重复操作、无成本消耗的专业实验室，还可以避免化学反应所产生的燃烧、爆炸所带来的危险。学科教学：语文、历史、生物、地理、科学、物理、化学等学科部分知识点可以使用VR的呈现方式，更易于学生理解掌握。安全教育：交通安全、校内外活动安全、消防安全、居家安全、地震火灾等紧急逃生；爱国教育:体验穿越历史、被压迫的生活、革命先烈的事迹体验；价值观教育：社会主义核心价值观教育；职业规划：让学生几分钟时间体验一种职业，让他们对不同职业有直观认识，展开关于人生理想、职业规划的思考；博闻强识：如介绍各地名校、数字图书馆、畅游著名景点等。图VR教学资源：太阳系5.Alice硬件平台介绍诺亦腾ProjectAlice系统是一套能够适用于大场地多人的虚拟现实完整解决方案。这套解决方案包括如下几个部分：头显，负责显示图像；图形计算机，负责渲染用户看到的图像；追踪定位系统，负责准确的定位头显的移动和用户的移动，以及场景中道具的位置；中央服务器，负责处理追踪系统的数据并且计算出场景。交互系统：用户能够使用系统与虚拟环境中的对象进行交互。1.系统结构图可容纳人数 4人 可追踪面积 25m2摄像头个数 10 位置精度 <1mm追踪目标个数 10 定位系统刷新率 120FPS定位系统延迟 <30ms 追踪模式 惯性光学混合头显分辨率 1920*1080 头显显示延迟 <20ms图像刷新率 75Hz 头显连接模式 有线图形渲染能力 1080P@90FPS 中央服务器 1手柄追踪 六自由度 支持手柄数量 4支持动捕手套 4 全身动捕服 支持2．高精度的混合追踪定位系统这套系统最大的创新就在于使用了光学和惯性混合的追踪定位系统，给用户史无前例精确的虚拟现实环境感受。这套混合系统由光学动捕系统和惯性传感器构成。场景中布置有多个光学摄像头，可以追踪带马克点的定位模块；定位模块同时也与惯性传感器组合，提供稳定、低延迟、高精度的虚拟现实系统定位跟踪能力。相比于纯光学方案，我们的混合追踪定位系统成本更低，性能更高，更加可靠。2.1光学摄像头场地中布置有多个高性能红外光学摄像头，能够以毫米级精度捕捉定位模块。方案中目前使用OptiTrack品牌光学动捕摄像头，根据分场地尺寸：5m*5m定制设计。2.2光学摄像头参数OptitrackFlex13分辨率：1280×1024帧速：120FPS延迟：8.3ms镜头视角：水平56°×垂直46°数据接口：USB2.02.3光学定位模块光学定位模块上放置有多个马克点，安装在头显/控制器/交互道具上，光学摄像头通过跟踪模块上的马克点来实现光学追踪。定位模块上设计有插槽，与惯性传感器组合，提供虚拟现实系统内的光学惯性混合定位能力。定位系统规格摄像头个数 10 位置精度 <1mm追踪范围 25m2 角度精度 0.02°追踪目标个数 10个刚体 更新率 120FPS系统计算时间 <30ms 支持模式 主动和被动目标2.4惯性传感器自行开发研制的惯性定位模块输出高刷新率的、不受遮挡的运动数据，与光学定位相结合，提供高性能的混合定位数据。定位数据融合算法延迟极低，在光学马克点被遮挡情况下仍然可以做到稳定跟踪。这是其他的纯光学方案所无法匹敌的优势。惯性传感器参数动态范围：±360deg加速度：±8/16/24g自适应角速度：±2000°/sec角度分辨率：0.02°静态精度：<1°最大更新率：480Hz尺寸：35x20x10mm，重量17g与光学定位模块组合安装，提供光学/惯性混合定位能力内置电池，续航时间大于2小时，系统包含充电器，也可用标准MicroUSB接口充电全无线设计，使用自有协议，2.4GHzISM3.高性能的头显整套系统中我们会提供虚拟现实头显和相应搭载的高性能图形计算机。提供高显示性能低延迟的画面显示，配合光学系统实现六自由度定位跟踪。头显的分辨率和延迟水平均为市面顶级水平。4.图形渲染计算机搭配虚拟现实头显，提供顶级图形渲染能力。同时提供定位数据的处理、虚拟现实交互系统的本地数据处理功能。5.灵活的虚拟交互道具系统这一套虚拟现实解决方案提供灵活的虚拟现实交互手段，观者/体验者和讲解员/领航员都可以使用标准的虚拟现实手柄进行交互，也可以选择惯性动捕手套作为交互的选择。5.1虚拟现实手柄精准追踪的手柄可以完成简单有效的触碰、挥动、点击等交互。在虚拟体验中可用于生成虚拟实物、切换场景、进行面板操作等。这是默认将会搭配在系统中的交互手段，直观，易用，学习成本低，所有的虚拟现实应用都将使用手柄作为默认的交互方式。我们将会在标准套装中提供标准数量的虚拟现实手柄。5.2惯性动捕手套（可选）配合光学定位的惯性动捕手套可以准确识别手部姿态，在虚拟空间中完成抓取、滑动、触碰等多种交互。在虚拟体验中可以通过手套抓取对体验对象进行多方位观察和学习。惯性动捕手套可以完成手势操作等自然交互，与内容相配合实现出色的虚拟现实沉浸体验。惯性动捕手套在方案中为可选项。设备参数序号名称数量单位技术参数实物图样1光学摄像头10台分辨率：1280x1024帧速：240FPS延迟：4.2ms跟踪范围：12米镜头视角：水平42°×垂直56°扩展数量：96+数据接口：GigE/PoE光学波段：850nm红外图像处理：目标，分割，原始灰度，MJPEG灰度2光学定位软件+软件狗1套光学定位软件MOTIVE与软件加密狗HDWKEY3摄像头HUB0台摄像头同步驱动器4光学标定工具1套场地三维空间方位标定校准工具5网络交换机1台端口结构：非模块化

电源电压：AC100-240V，50/60Hz，支持Po

背板带宽：208Gbps

包转发率：66Mpps/96Mpps

端口描述：24个10/100/1000Base-T端口，4个

电源功率：765W6路由器0台750M11AC双频无线路由器;

11n2T2R,11ac1T1R;

支持PPTP、L2TP、IPSec7头戴显示设备6台2160×1200,90Hz;FOV110;470g8VR渲染电脑1台CPUi5-6400T

16GDDR4内存

240GSSDSATA硬盘

GTX070w_8GGDDR5显卡9显示器1台19.5英寸；

16:10屏幕比例；

升降支架，

IPS屏显示器；10核心计算系统1套1.可对不少于8个刚体进行创建，识别，追踪

2.位置计算精确到毫米级

3.系统计算时间少于30ms

4.提供无晕眩的沉浸感虚拟现实体验

5.提供网络引擎

6.提供渲染引擎

7.提供物理引擎

8.提供场景管理功能

9适用于Windoows8及以上系统；11VR渲染电脑6台CPUi5-6400T

16GDDR4内存

240GSSDSATA硬盘

GTX070w_8GGDDR5显卡12虚拟现实引擎系统6套1渲染帧率达到90FPS；

2多人同步网络延迟低于20ms；

3利用延迟渲染技术实现高精度画质及高仿真度；

4普通刚体追踪数据需接入核心计算系统；

5现实刚体需在内容中以1:1尺寸比例重建，现实位置需与内容贴合；

6场景内容中，HMD模型需参照人眼位置添加子节点，保证人眼位置正确性；

7内容内可见视野范围物体大小需控制在0.75-3.5米范围内；

8保证场景显示完整度，360度全方位无穿帮或模型丢失情况；

9避免因内容制作产生的人体生理眩晕：避免非体验者控制摄像机移动，避免添加摄像机震动效果，避免在内容中使用带来不适的强光，避免摄像机快速位移，避免使用景深、模糊等镜头效果；13手持虚拟现实控制器6套1人体工程学设计

2多按钮控制

3震动反馈14控制器接收器1套手持虚拟现实控制器无线信号接收器15可追踪道具0套1虚实结合的道具（摸虚拟空间中有三位模