第1章　虚拟现实技术概论-1.3MR技术简介

第1章虚拟现实技术概论

1.3

MR技术简介

.目录.2.MR技术体系

.3.

MR主流产品及差异

.1

.MR发展历史

1.3.1MR发展历史1.3.1MR发展历史1.3.1MR发展历史MR，来源于“智能硬件之父”多伦多大学教授史蒂夫•曼恩（SteveMann）提出的介导现实（MediatedReality），从范围来说是介导现实的子集。在20世纪七八十年代，为了增强视觉效果，让眼睛在任何情境下都能够“看到”周围环境，曼恩设计出可穿戴智能硬件，这被看作是对MR技术的初步探索。MR技术是在VR及AR基础上延伸的又一新型技术，其融合了两者的优点，使得现实与虚拟更加无缝结合。MR技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。根据曼恩的理论，智能硬件最后都会从AR技术逐步向MR技术过渡。MR是下一个大的虚拟交互范式转变，它是AR和VR的混合。MR比VR更先进，因为它结合使用若干类型的技术，包括传感器、先进的光学和下一代的计算能力。所有这些技术捆绑成一个单一的设备，将会为用户提供叠加增强全息数字内容到实时空间的能力，创造了令人难以置信的现实和令人兴奋的场景。1.概念形成2015年，MR技术公司MagicLeap通过一段鲸鱼从篮球场高高跃起的视频震惊了整个世界，如图所示。因此，MagicLeap被视为MR技术的领导者之一，该项技术将计算机图形集成到现实世界中，主要研发方向就是将三维图像投射到人的视野中，具体如何研发依然处于绝密状态。1.3.2MR技术体系1.3.2MR技术体系1.3.2MR技术体系

VR和MR的产业链有大量重叠，技术体系也是如此。MR体系也要支持实现实时环境扫描、实时三维建模、与全息图像交互的功能，主要包含了图像识别、同步位置和映射、全息影像等内容。图像识别即计算机系统快速和精确地分析图像并识别其中特征的能力。MR技术把现实的物体虚拟化，需要先用摄像头捕捉画面，但摄像头捕捉到二维画面，画面扁平没有立体感，需要把二维的图像通过计算机重构形成三维虚拟图像，这就是3D建模。现实物体只有虚拟化之后，才能很好地融合进入虚拟的3D世界。1.图像识别与重构SLAM是一套用于定位一个人并同时映射环境的技术。SLAM是MR应用的关键。为了使MR技术在新的、未知的或不断变化的环境中发挥作用，需要不断地创建这些环境的地图，然后定位和跟踪一个人在其中的运动。采用图像识别和深度传感器数据的SLAM算法来计算用户在物理世界中的位置。当然除了硬件，还有很多公司基于硬件检测到的数据做算法的分析，能够实现对运动的实时跟踪。2.同步定位与地图构建（SimultaneousLocalizationandMapping，SLAM）MR（MixedReality）是可以把全息影像和现实场景融合起来，让虚拟与现实进行交互的技术。全息影像也可以称为虚拟成像技术，它的原理是通过虚拟成像硬件，利用光线的干涉和衍射记录再现物体真实的三维图像。换个说法，全息影像就是用户戴上MR头戴显示设备时出现在其周围世界中的数字对象（由光和声音组成）。全息影像与VR技术最大的不同，在于VR技术展示出的是完全虚拟的景象，而全息投影则是在真实场景中呈现虚拟的景象，虚实混合在一起难以区分。全息影像开发者可对全息影像进行编程，来实现与用户的视线、手势或语音输入的交互。开发者可在MR空间中的特定位置放置全息影像，用户可绕着特定位置走近或远离，而全息影像位置保持不变。开发者也可将全息影像设置为跟随用户，无论用户在哪里，全息影像都能与用户保持一定相对距离。开发者甚至可添加空间定位点，让应用程序记住放置全息影像的位置，有效地将全息影像固定在原地便于回来查看。3.全息影像（Holographic）1.3.3MR主流产品及差异1.3.3MR主流产品及差异1.3.3MR主流产品及差异

MR技术作为一种通用性技术在近几年得到迅速发展，在很多行业内都能找到应用场景的结合点。基于MR技术的全息展示和空间定位等特性，在工业、设计、展览、建筑、医疗、教育等行业中都具有显著的业务需求。目前市场上主流产品是微软的HoloLens和MagicLeap的MagicLeapOne。这类MR眼镜设备都是为了看到现实中不存在物体与现实世界融合在一起的图像，并与其交互。从技术上可以简单地看成两个部分：对现实世界的感知（Perception），头戴式显示器以呈现虚拟的影像（Display）。

MagicLeap的感知部分与微软HoloLens并没有太大差异，都是空间感知定位技术。在操作上，MagicLeap也与微软HoloLens类似，用户所有操作都是依靠手势来完成，而且设备上的传感器能识别用户用手指发出的各种命令，还能用导波管在真实世界中添加虚拟的3D图像。两者之间最大的不同应该是来自显示部分，MagicLeap是用光纤向视网膜直接投射整个数字光场，产生所谓的电影级的现实（CinematicReality）。而HoloLens则采用一个半透玻璃，从侧面实施数字光处理（DigitalLightProcessing，DLP）投影显示，是个二维显示器。

MagicLeap是将画面直接投射于用户的视网膜，人们通过MagicLeap看到的物体和现实生活中真实的物体并没什么区别，也不会有信息损失。从理论上来说，使用MagicLeap的设备，是无法区分虚拟物体和现实物体。使用MagicLeap的设备，最明显区别在于技术上的效果，人眼可以直接选择聚焦（主动选择性聚焦），即用户需要看近的物体，近的物体就实，远的就虚。注意这里不需要任何的人眼