信息技术 计算机图形图像处理和环境数据表示 混合与增强现实中实时人物肖像和实体的表示

ICS35.240

CCSL81

中华人民共和国国家标准

华人民共和国国GB/家TXXXX标X—XX准XX

信息技术计算机图形图像处理和环境数据

表示混合与增强现实中实时人物肖像和实

体的表示

Informationtechnology—Computergraphics,imageprocessingandenvironmental

datarepresentation—Liveactorandentityrepresentationinmixedandaugmented

reality(MAR)

(ISO/IEC18040:2019,IDT)

（征求意见稿）

（在提交反馈意见时,请将您知道的相关专利连同支持性文件一并附上）

XXXX-XX-XX发布XXXX-XX-XX实施

1

GB/TXXXXX—XXXX

目次

前言........................................................................IV

1范围.......................................................................1

2引用规范性.................................................................1

3术语，定义和术语缩写.......................................................1

3.1术语和定义...........................................................1

3.2术语缩写.............................................................3

4MAR中LAE表示的概念.......................................................3

4.1概述...................................................................3

4.2基本构成...............................................................6

4.2.1梗概...............................................................6

4.2.2LAE的捕获器和传感器...............................................7

4.2.3LAE识别器.........................................................7

4.2.4LAE追踪器.........................................................7

4.2.5LAE空间映射器.....................................................7

4.2.6LAE事件映射器.....................................................7

4.2.7渲染器.............................................................8

4.2.8界面与用户接口.....................................................8

4.2.9场景表示法.........................................................8

5LAE捕获器和传感器.........................................................8

5.1概述...................................................................8

5.2计算视图...............................................................9

5.2.1梗概...............................................................9

5.2.2LAE捕获器.........................................................9

5.2.3LAE传感器.........................................................9

5.3信息性观点............................................................11

6LAE的追踪器和空间映射器..................................................12

6.1总览..................................................................12

6.2计算视图..............................................................13

6.3信息视图..............................................................14

6.4利用LAE跟踪和MAR空间映射的一个例子..................................15

7LAE的识别器和事件映射器..................................................16

7.1概述..................................................................16

7.2识别器................................................................16

7.3事件映射器............................................................18

7.4事件执行..............................................................19

7.5在MAR中的LAE识别和事件映射例子.......................................19

8LAE场景表示..............................................................20

8.1概述..................................................................20

8.2现场描述...............................................................22

9渲染器....................................................................22

9.1概述.................................................................22

GB/TXXXXX—XXXX

9.2计算视图..............................................................23

9.3信息视图..............................................................23

10显示和用户界面...........................................................23

11虚拟人物和实体的扩展.....................................................23

12系统性能.................................................................24

13安全性...................................................................25

14一致性...................................................................26

附录A......................................................................29

A.13D虚拟工作室..........................................................29

A.2在MAR场景中LAE的事件映射............................................29

A.3通过LAE动作对MAR场景中的虚拟对象进行交互式控制......................32

A.4用特殊效果增强对象....................................................34

A.53D虚拟会议............................................................35

iii

GB/TXXXXX—XXXX

引言

本文件定义了包含在混合与增强现实（MAR）世界中的实时人物肖像和实体（LAE）

的表示模型的范围和关键概念。相关术语及其定义以及一个通用的软件体系结构，共同构成

作为MAR应用、组成部分、系统、服务和规范的参考模型。它定义了在MAR场景中表示

和渲染LAE，以及LAE和MAR场景中的对象之间的交互界面。它为适用于当前和未来

MAR标准完整范围的LAE定义了一组原则，概念和功能。该参考模型建立了一组含有相关

信息内容的必需的模块及其最小功能，以及应由兼容的MAR系统提供和（或）支持的信息

模型。包括（但不限于）以下内容：·

—混合与增强现实标准领域和概念的介绍；

—在MAR场景中包含LAE的表示模型；

—MAR场景中LAE的3D建模，渲染和仿真；

—MAR场景中LAE的属性；

—MAR场景中LAE的感知表征；

—MAR场景中用于控制LAE的接口表示；

—在MAR场景中控制LAE的功能和基本构成；

—LAE和MAR场景之间的交互界面；

—与其它MAR组成的接口；

—与其它标准的关系；

—用例；

本文件的目标如下：

—为基于LAE表示的MAR应用程序提供参考模型；

—在MAR环境中管理和控制LAE及其属性；

—将LAE集成到MAR场景中的2D和（或）3D虚拟场景中；

—在MAR场景中实现LAE与2D和（或）3D虚拟场景的交互；

—提供在基于LAE的MAR应用程序之间传输和存储数据所需的交换格式；

本文档具有以下文档结构：

—条款4描述了MAR中表示基于LAE系统的概念。

—条款5说明了传感器如何捕获现实世界和虚拟世界中的LAE。

—条款6描述跟踪LAE位置的机制，并指定现实空间和MAR空间之间的空间映射

器的作用。

—条款7描述识别LAE行为的机制，并详细说明LAE的MAR事件与MAR内容创

建者指定的条件之间的关联或事件

—条款8描述一个由LAE的虚拟场景，感测数据，空间场景，事件，目标等组成的

场景。

—条款9描述了MAR场景系统如何在给定的显示设备上呈现场景、LAE映射、事件

等以进行显示输出。

—条款10描述显示器的类型包括监视器、头戴式显示器、投影仪、触觉设备和声音

输出设备，用于在MAR场景中显示LAE.

—条款11识别并描述虚拟LAE（例如虚拟3D模型（虚拟人物））和虚拟LAE（例

如MAR系统中的真实人体模型）。

v

GB/TXXXXX—XXXX

—条款12发表有关MAR中LAE的任何与系统性能有关的问题的声明。

—条款13发表和MAR中LAE的任何与操作安全相关的问题声明。

—条款14发表和MAR中LAE的任何与一致性相关的问题声明。

—附件A给出了MAR中具有代表性的LAE表征系统的实例。

vi

GB/TXXXXX—XXXX

信息技术虚拟现实内容表达第2部分：视频

1范围

本文件定义了一个参考模型和基本构成，用于表示和控制MAR场景中的单个LAE或多个

LAE。它定义了概念，参考模型，系统框架，功能以及如何集成2D/3D虚拟世界和LAEs

以及它们之间的接口，以便为MAR应用程序提供LAEs的接口。它还定义了在基于LAE的MAR

应用程序之间传输和存储LAE相关数据所需的交换格式。

本文件具体说明了以下功能：

a)MAR中LAE的定义；

b)LAE的表示；

c)LAE属性的表示；

d)LAE在现实世界的感知；

e)将LAE集成到2D/3D虚拟场景中；

f)在2D/3D虚拟场景中LAE与对象之间的交互；

g)在MAR场景中传输与LAE相关的信息。

本文件定义了一种基于LAE表示的MAR应用的参考模型，用于在MAR场景的2D/3D

虚拟场景中表示和交换与LAE相关的数据。它没有定义操纵LAE所必需的特定物理接口，也

就是说，它没有定义特定应用程序如何在MAR场景中实现特定LAE的方式，而是定义了一个

通用的功能接口，用于表示可以在MAR应用程序之间互换使用的LAE。

2规范性引用文件

以下文件在正文中引用时，其部分或全部内容构成本文件的要求。凡是标注日期的引用

文件，仅引用的版本适用。凡是不标注日期的引用文件，其最新版本（包括任何修改件）适

用。

ISO/IEC18039，信息技术—计算机图形、图像处理和环境数据表示—混合与增强现实

（MAR）参考模型。

3术语，定义和缩略语

3.1术语和定义

本文档适用ISO/IEC18039和以下内容中的术语和定义。

3.1.1

增强对象augmentedobject

增强的对象

3.1.2

1

GB/TXXXXX—XXXX

地理坐标系geographiccoordinatesystem

由传感器设备提供的用于确定LAE位置的坐标系（3.1.4）

3.1.3

头戴式显示器headmounteddisplayHMD

显示虚拟现实立体视图的设备

注释1：它有两个小显示屏，带透镜和半透明镜子，可适应左右眼。

3.1.4

现场演员和实体liveactorandentityLAE

在MAR内容或系统中对有生命的物理或真实对象的表示，例如人类、动物或鸟类等

注：通过从摄像机捕获动作，可以在MAR场景中对实时的人物肖像进行动画处理，移

动并与虚拟对象进行交互。实体是指MAR内容中存在的3D对象和实体。

3.1.5

LAE识别器LAErecognizer

MAR模块可识别LAE捕获器（3.16）和LAE传感器的输出，然后根据内容创建者指

示的条件生成MAR事件。

3.1.6

LAE捕获器LAEcapturer

MAR构件(component)，在虚拟世界和现实世界中捕获LAE（3.14），包括深度摄影机、

通用摄影机、360°摄影机等

注：LAE的信息可由LAE识别器和LAE追踪器处理，以提取背景或骨架。

3.1.7

LAE追踪器LAEtracker

分析来自LAE捕获器（3.16）和传感器的信号，以及提供跟踪LAE（3.1.4）的一些特

性（或示例位置、方向、振幅、剖面）的MAR构件（硬件和软件）。

3.1.8

物理相机坐标系physicalcameracoordinatesystem

由照相机提供的用于捕获现实世界中LAE（314）的坐标系。

3.1.9

物理坐标系physicalcoordinatesystem

可以定位LAE（3.14）并由地理空间坐标系传感设备控制的坐标系。

3.1.10

2

GB/TXXXXX—XXXX

虚拟演员和实体virtualactorandentityVAE

LAE的虚拟现实表示（3.1.4）

注：虚拟肖像和实体是通过3D捕获技术获得的，可以在MAR场景中进行重构，传输

或压缩。虚拟肖像和实体可以使用全息技术在一个地方捕获或实时传输到另一个地方。

3.1.11

世界坐标系worldcoordinatesystem

在计算机图形学中，通用系统允许模型坐标系相互交互。

3.2缩略语

DDRdancedancerevolution（劲舞革命）

EIDeventidentifier（事件标识符）

FOVfieldofview（视场）

GNSSglobalnavigationsatellitesystem（全球卫星导航定位系统）

LAE-MARliveactorandentityrepresentationinmixedandaugmentedreality（混合与增

强现实（MAR）中实时肖像和实体的表示）

RGBred，green，blue（红，绿，蓝）

SDKsoftwaredevelopmentkit（软件开发工具包）

SIDsensoridentifier（传感器标识符）

UIuserinterface（用户界面）

UTMuniversaltransversemercator（通用横轴墨卡托投影）

VRvirtualreality（虚拟现实）

4MAR中LAE表示的概念

4.1概述

如ISO/IEC18039中所示，MAR代表了一个连续体，它涵盖了使用现实（例如，实时

视频）和虚拟表示（例如，计算机图形对象或场景）的组合作为其主要表示媒介[1][2]的所有

域或系统。图1说明了MAR是根据现实和虚拟的表示混合定义的，不包括LAE观点表示

的纯粹的真实环境和纯虚拟环境。真实环境是指LAE和现实对象所在的现实世界环境。虚

拟环境通常是指虚拟现实，它是计算机生成的逼真的图像和复制真实环境的假设世界。增强

现实是指真实世界环境的视图，其要素包括LAE和可以通过计算机生成的感官进行增强的

对象，而增强虚拟化是可以在其中映射和交互包括LAE的现实世界元素的虚拟环境。在图

1中，LAE配置了HMD设备以观察虚拟世界，并直接与虚拟对象进行交互。

3

GB/TXXXXX—XXXX

图1混合与增强现实（MAR）

本节基于ISO/IEC18039的MAR参考模型（MAR-RM）描述了MAR场景中LAE表

示的概念，包括在MAR场景中LAE表示系统的目标、嵌入、交互和功能。通常，肖像是

独立的在表现中刻画特征。在这种情况下，一个人物肖像代表一个由深度摄影机或普通摄影

机捕捉到的人，然后这些摄影机可以执行嵌入到MAR场景中的动作。存在于MAR场景中

并可以与实时人物肖像进行交互的3D对象称为实体。实体可以通过事件映射器移动或与人

物肖像的动作交互。LAE在本文中被定义为MAR内容或系统中现实实时人物肖像和对象的

表示。例如，在MAR场景中，人物，鸟和动物都被表示为LAE。

图2展示出了一个由二维虚拟世界和三维虚拟世界组成的MAR场景中的LAE表示的

例子。

图2a)显示了一个集成到2D虚拟世界的真实或虚拟图像。可以从普通摄像机和（或）

深度摄像机传感器捕获LAE。此子图显示了一个真实的动作，其中一个人被绿屏工作室中

的摄像头捕获，并作为人物肖像被整合到白宫的2D虚拟世界图像中。

图2b)显示了集成到3D虚拟世界中的多个LAE。这种情况可以适用于各种情况，如

新闻工作室，教育服务，虚拟手术或游戏[3l[4]。它在混合环境中支持3D视频会议、类现实

通信功能、演示/应用程序共享和3D模型显示的集成组合应用程序。

图2c)展示了一个通过整合3D虚拟世界和实时人物肖像构建的MAR场景[5]。实时

人物肖像通过操纵杆或深度相机捕获的动作与3D虚拟世界中的对象进行交互。HMD设备

用于在虚拟世界中显示360°3D视图，包括实时和逼真的动作[6]。该图显示工作室中的一个

人戴着HMD，通过它可以看到bowsling训练场和操纵杆。通过操纵操纵杆他在操纵箭和弓。

因此，它可以射击虚拟世界中的物体。

图2d)展示了在现实世界中具有代表性的虚拟人物和实体[7]。虚拟LAE和LAE可以

相互通信和交互，例如进行自然的面对面对话。当与MAR结合使用时，该技术使LAE可

以在3D虚拟空间中看到、听到并与虚拟LAE交互，就像在现实空间中真实表现一样。

图2e)描述了鸟和狗的LAE，从中可以推断出LAE可以是MAR场景中的动物、鸟类

或人。

4

GB/TXXXXX—XXXX

（a）在抠像后一个LAE融合进一个（b）两个LAE融合出一个三维虚拟

二维虚拟视频世界世界

（c）一个LAE与虚拟三维世界中的（d）在一个MAR场景中一个LAE

虚拟物体交互的虚拟表示

e)一只鸟和一只狗的LAE表现形式

图2LAE表现形式在MAR场景的例子

5

GB/TXXXXX—XXXX

一旦一个在现实世界LAE被合成到一个虚拟的三维世界，它的位置，运动和相互作用

应该在三维虚拟世界得到精确的表达。在一个MAR应用中，一个需要被嵌入进一个三维虚

拟世界的LAE需要被定义，并且诸如LAE的位置，动作和来自处理设备的传感数据等信息

应该能够在现实世界，虚拟三维世界和MAR应用中转移。这篇文档是去定义一个LAE如

何能被管理和控制其在三维虚拟世界的特性；一个LAE如何能被嵌入到一个三维虚拟世界；

一个LAE如何在虚拟三维世界与虚拟相机，虚拟物体和AR内容互动；和MAR应用数据

如何能被转移到异构计算环境中。

4.2基本构成

4.2.1概述

在一个MAR场景中一个LAE能从现实世界中捕获，然后在三维虚拟世界中表示，并

且能根据输入的感知信息与三维虚拟世界中的相机，物体和增强现实内容交互。

为了提供一个能够基于MAR-RM的LAE表示的三维虚拟世界，MAR系统需要以下功

能：

——LAE在现实世界中的感知来自于输入设备，例如一个（深度）相机；

——感应来自输入传感器的交互信息；

——识别和追踪现实世界中的一个LAE；

——识别和追踪在现实世界中由多个LAE制造的事件

——识别和追踪在现实世界中被传感器捕获的事件

——在一个三维虚拟世界中一个LAE的物理属性的表示

——在一个三维虚拟世界中一个LAE的空间控制

——一个在三维虚拟世界和LAE之间的事件接口

——一个进入到三维虚拟世界的LAE混合渲染

6

GB/TXXXXX—XXXX

图3在一个MAR场景中一个LAE的系统框架

概念上来说，如图3所示，一个用LAE来实施的MAR场景包含几个必要的构成部分，

它们用于处理LAE去融入三维虚拟世界的表示与交互。本条款提供了这些构成部分的一个

概念性的概述。每一个构成部分被描述的更多细节在条款5到10。

4.2.2LAE的捕获器和传感器

一个LAE的MAR场景能够接受一个被捕获的图像或者图像序列，并且能感知到由LAE

引发在现实世界中的数据。LAE的表示数据能够从传感设备/接口获取，并被分成两类：一

类用于LAE，一类用于感知LAE运动数据。LAE的数据能够用于展示空间映射和事件映

射到三维虚拟空间上去，并且利用传感数据去执行LAE和三维虚拟环境之间的事件映射。

MAR系统能够使用例如网络摄像机和深度类设备等设备。对于网络摄像机来说，图像

序列被捕获并用于输入。一个深度相机是一个用于捕获LAE运动的运动感知接口设备。该

设备包含一个RGB相机，三维深度传感器，麦克风阵列和一个电动倾斜装置。该设备使用

红外（红外辐射）相机和一个红外激光投影仪来获取三维深度信息。

4.2.3LAE识别器

识别是指在捕获的图像或图像序列和传感数据中发现和识别LAE的动作。当一个传感

器处理一个MAR构件的输出并生成MAR事件时，LAE识别器识别出每一个事件并从数据

库中给每一个事件匹配一个事件ID。LAE识别器通过比较来自现实世界中LAE动作和交互

信号与一个本地或者远程的信号进行分析。然后，处理事件函数。

4.2.4LAE追踪器

该模块需要预处理的捕获图像或者图像序列，以及从感知设备和接口获得的传感数据。

预处理的示例包括抠像，颜色转换和背景去除。追踪LAE是指找到LAE在每一个图像序列

中的位置，这能通过图像处理库实现。

4.2.5LAE空间映射器

在一个MAR应用中现实世界中的LAE被嵌入到虚拟三维世界中。空间映射器的作用

是支持LAE在三维虚拟世界中更自然的运动。LAE空间映射提供在现实空间和MAR场景

空间用于转换标定的空间信息，如位置，方向和比例。空间映射器通过提供显式映射信息将

物理空间和LAE映射到MAR场景中。映射信息可以通过传感器的给定的信息翻译处理来

建模。

4.2.6LAE事件映射器

LAE能在现实世界中执行触发事件的行为。这些行为反射到虚拟三维世界中，在这个

世界中LAE加入并与虚拟相机，虚拟物体和增强现实内容交互。LAE事件映射器是为了支

持LAE的行为运动。它创立了一个在MAR事件和被LAE识别器识别的事件之间的联系。

7

GB/TXXXXX—XXXX

4.2.7渲染器

LAE的空间和事件映射器的结果被转换为渲染模型。这个模型将结果和三维虚拟场景

融合并展示最终的融合输出渲染结果。MAR场景能由渲染器的各种性能所规定；从而场景

能被调整，模拟性能能被优化。

4.2.8界面与用户接口

LAE和MAR的最终融合渲染结果能在多种多样的设备中展示，如显示器，头戴式显示

器，投影仪，气味扩散器，触觉装备和扬声器。用户接口提供给用户一个改变MAR场景的

方式。WebXR是为了在一个HMD设备上展现一个渲染好的场景。

4.2.9场景表示法

MAR场景描述在混合与增强现实环境中所有涉及LAE的信息。这些信息包含传感数据、

空间场景、事件、目标等。MAR场景观察现实和虚拟物体的空间性，并且至少有一个现实

物体和一个虚拟物体。

表一基于上述讨论总结了一个LAE-MAR系统的输入输出构件

表1——每一个LAE构件的属性

类型

构成模块

输入输出

LAE捕获器/传感器现实世界信号LAE表达的传感数据

LAE识别器表示LAE原生或者处理后至少一个事件确认识别

的信号（传感器提供）和目

标物体规格化数据（来自待

识别物体）

LAE追踪器LAE表示的传感数据识别目标信号的瞬时特征值

（位姿，方向，体积等）

LAE空间映射器传感器标识符和传感空间信在给定的MAR场景中的校

息准空间信息

LAE事件映射器MAR事件标识符和事件信在给定的MAR场景中LAE

息的转换事件标识符

渲染器混合虚拟现实场景数据同步渲染输出（例如视频帧，

立体声信号和电机命令等）

显示/用户界面渲染场景数据/用户行为现实输出/用户行为回应

5LAE捕获器和传感器

5.1概述

LAE能够被能够测量各种物理属性的硬件和软件（可选）传感器所捕获。如ISO/IEC

8

GB/TXXXXX—XXXX

18039所述，两种传感器，“捕获器”和“传感器”被用于将LAE嵌入虚拟世界并且去展现LAE

和虚拟世界物体之间的交互。最常见的“捕获器”是视频和（或者）深度相机，它能捕捉一个

包含实时人物肖像和物体的现实世界，并形成一个（深度）视频。视频被用于提取LAE和

它被识别器和跟踪器处理的行为。行为能够特别地影响在现实世界中的LAE和虚拟世界中

的物体之前的交互。传感器能够捕获目标现实物体产生的物理和非物理数据。（非）物理数

据能够用于检测，识别和追踪将要被增强的现实目标物体并且去产生交互。传感数据将会被

输入到识别和追踪中。

5.2计算视图

5.2.1概述

一个LAE捕获器/传感器模型定义了构件的功能和它们感知一个LAE的接口。它将每

一个环境中的构件明确服务和协议。该模型提供两类传感器去感知LAE，“捕获器”和“传感

器”。

5.2.2LAE捕获器

包含普通相机，深度相机和360°相机等多种多样的相机被用于捕获LAE。图4展现了

一个LAE捕获器捕获包含一个LAE的现实世界，产生用于一个MAR场景的一个视频，深

度图和骨架。

一个LAE可以通过如背景去除、过滤和抠像等视频处理技术在LAE追踪器和识别器的

预处理步骤中被提取。一个经过提取的LAE不仅能嵌入进一个视觉世界，还能被用于识别

MAR事件，也就是说，一个经过提取的LAE能被当作LAE追踪器的一个输入或者一个标

识。

图4LAE捕获器

5.2.3LAE传感器

LAE传感器可以测量各种物理属性，并将观测值解释为与LAE相关的数字信号。图5

9

GB/TXXXXX—XXXX

显示了传感器捕获与LAE活动相关的操作。它表明捕获的数据只能用于计算LAE追踪器和

LAE识别器中的上下文，或者它可用于计算上下文和根据物理属性的性质或传感器设备的

类型对场景的组成做出贡献[11]。有许多类型的传感器可用于在MAR环境中通过LAE控制

虚拟对象、虚拟摄像机和增强对象。这些传感器可以根据其属性生成不同的结果，例如位置、

方向、地理坐标系、时间、运动等。特别是，输出传感器可以作为高质量数据进行过滤和重

新生成。

图5捕获与LAE活动有关的动作的LAE传感器

举个例子，图6展示了如何使用智能手机实现陀螺仪传感器，加速度计，数字罗盘，环

境光传感器，距离传感器，气压计，霍尔效应传感器，磁力计，计步器等功能。陀螺仪传感

器通过每单位时间产生角速度来检测手机旋转的旋转角度。加速度传感器是用于测量加速度

和动力以感应手机的运动或振动。数字罗盘传感器用于检测地理坐标系，方向和导航电话信

息。

10

GB/TXXXXX—XXXX

图6LAE活动的传感器例子

HMD传感器对于LAE在虚拟世界中自然呈现也很重要。当LAE配上HMD设备，它

们可以看到虚拟世界的真实场景并通过使用深度或跳跃运动设备的手势与前面的虚拟对象

交互。HMD分为三种设备，它们为LAE提供不同的传感器信息：

－首先，支持HMD的电脑是用作外部监视器的台式机外围设备。它提供了最深的以及

最身临其境的VR体验。它可以平滑地跟踪位置和方向，从而轻松计算用户的位置，然后在

虚拟空间中生成实时位置移动。大多数支持HMD的电脑都带有输入设备，例如用于跟踪位

置的照相机或用于与虚拟世界中的对象进行交互的操纵杆。

－其次，移动HMD是可以通过智能手机连接的设备，以便可视化虚拟现实并且这个功

能可以使用内置的SDK进行自定义。移动HMD可以提供方向和头部跟踪感应数据。智能

手机严格支持此类型。

－第三，还有其它价格较低的设备可以查看虚拟现实的立体声场景，例如嵌入式手机查

看器。许多智能手机都支持使用简单的立体渲染和加速度计跟踪的插入式手机查看器。它们

只能跟踪方向，因此，不能提供像前两者那样流畅或沉浸式的虚拟现实体验。

头部跟踪通过陀螺仪、加速度计、磁力计等传感器，让LAE在360°的场景中感受存在

感。

5.3信息性观点

传感器接收现实世界中的各类信号作为输入，并获得与MAR场景中LAE的表示有关

的传感数据。

与MAR场景中的LAE相关的传感器的输入和输出是：

-输入：现实世界信号和/或设备信号。

-输出：与LAE的表示有关的传感器数据。

物理传感器设备具有一系列的能力和参数。根据其特性，传感器设备会产生多种类型的

传感数据，包括用于监测和分析的相机的内在参数（例如焦距、视场角（FOV）、增益、频

率范围）；相机外在参数（例如位置和方向）；分辨率；采样率；骨架；单声道、立体声或

空间音频。二维、三维（颜色和深度）或多视角视频。为了以普遍一致的方式提供传感数

据，传感器输出由<标识符>、<类型>和<属性>组成。

为了合成一个三维虚拟空间和一个LAE，需要考虑LAE的传感设备本身。本文档可以

使用以下类型的传感设备：以网络相机和深度相机为代表的普通摄像头和以深度相机为代表

的类深度设备。对于一般的相机，它们先采集RGB图像序列，并将图像本身作为传感数据。

深度摄像机提供以下功能：RGB彩色图像、3D深度图像、多阵列麦克风和电动倾斜。捕获

的图像和/或深度图像可用于将LAE嵌入到3D虚拟空间中。表2总结了LAE捕获器和LAE

传感器的输入和输出。

表2LAE捕获器输入/LAE传感器输出

捕获器类型/传

输入输出使用的设备

感器类型

LAE捕获器视频包括LAE的现实世图像/视频（灰度图，彩彩色相机

界色图，深度图深度相机

相机信息

全景视频全景图片/视频全景相机

相机信息

11

GB/TXXXXX—XXXX

立体声视频立体图片/视频立体相机

相机信息

骨架骨架深度相机

相机信息

音频现实世界声音信号（空间或立麦克风

体）

LAE传感器地理坐标系统位置，对地静止卫星电磁波，坐标值，移动

传感器信息方向

陀螺仪传感器旋转运动，方向改变电磁波，坐标值，移动

方向

智能手机加速度计，陀螺仪，电磁波，坐标值，移动

磁力计，气压计光感方向

测距离，触摸传感器

Wii手柄/控制器用户输入按钮功能电磁波，坐标值，移动

方向

头戴式显示器头部跟踪，位置跟电磁波，坐标值，移动

踪，用户输入按钮方向

Wii遥控器就是一个很好的例子。此信息是为了方便使用本文件的用户而提供的，并不构成

本产品的ISO/IEC认证。

6LAE的追踪器和空间映射器

6.1总览

图7显示了LAE捕获器和LAE传感器可以捕获并提取在现实世界中表示的LAE数据。

来自捕获者和/或LAE传感器的与LAE相关的传感数据需要被预处理，以便为在MAR场景

中对LAE进行空间映射提供优化的传感数据。LAE捕获设备指的是实体世界捕获设备，如

深度相机、普通相机和360度相机。利用计算机视觉技术，将视频、图像、骨架和音频信息

解析为预处理函数，组成滤波、色彩转换、背景去除、抠像和深度信息提取等预处理函数。

预处理结果传输到LAE追踪器。此外，该传感器还提供了捕获移动事件的传感器，如位置、

方向、地理坐标系统感知、时间和运动等，并将这些传感数据提供给滤波函数。滤波函数用

于处理传感数据和识别目标对象。表示LAE的原始信号和目标对象规范数据被解析到LAE

追踪器。LAE追踪器可以对于LAE有关的信息进行跟踪，就像现实世界中真实相机的信息

和LAE本身。

从LAE追踪器获得的跟踪数据，如摄像机信息(FOV，位置，方向等)和LAE信息(抠像

结果，骨架，地理坐标系统等)在现实世界中被解析为一个空间映射器，用于绘制LAE的空

间数据。空间绘图仪的作用是通过对空间绘图仪的标定应用必要的转换，提供现实世界和

MAR场景世界之间的空间关系信息(位置、方向、比例和单位)。将跟踪数据与空间场景描

述进行映射，嵌入到空间场景中，然后将标定后的空间信息解析为场景合成模块。

12

GB/TXXXXX—XXXX

图7在MAR中LAE的跟踪与空间映射

6.2计算视图

空间映射器构件的工作可以使用存储在LAE空间场景中的信息来完成。传感数据包括

坐标系，其中LAE传感器从物理坐标系、物理摄像机坐标系和世界坐标系中提取传感数据。

图8显示了物理坐标系之间的映射和世界坐标系，具体细节在以下几点:

—物理坐标系统是指一个坐标系统，能够定位一个LAE，这个LAE就是由地理坐标

系统控制装置控制。这意味着可以通过这种机制，可以从现实世界中提取坐标系统。物理坐

标系统检索地面坐标，例如纬度/经度或UTM坐标，还可以测量地面距离和区域。物理坐标

系统可以应用于任何与地理位置相关的对象或LAE。

—物理相机坐标系用来捕捉物理世界中的LAE，与LAE捕获器有关。物理相机也拥

有自己的坐标，可以为空间映射器提供坐标数据。

—LAE对象与LAE的位置，方向，FOV和空间信息有关。位置是相对于在初始坐标

系中以对象或LAE为原点的坐标。方向通过一个矢量和LAE的旋转来确定方向的物体的状

态。

13

GB/TXXXXX—XXXX

—空间映射用于将现实世界坐标系中的对象LAE与虚拟世界坐标系进行组合和映射。它提

供了LAE捕捉器和LAE传感器的跟踪信息，以便更自然地将LAE映射到虚拟世界中去。

图8物理和世界坐标系之间的映射

模型坐标系是初始化和创建实体对象和LAE模型的坐标系。它是这个模型的一个独特

的坐标空间。如果有两个不同模型有各自的坐标系，则他们无法建立连接。因此，必须要有

一个可以允许任何模型之间相互作用的通用坐标系。这个通用坐标系就是世界坐标系。当相

互作用发生时，将每个模型和实体的坐标系都转换为一个世界坐标系。然后将世界坐标系转

换为虚拟相机坐标系。

虚拟相机坐标系就是用户在屏幕上所看到的场景，且与充当相机的观察设备有关。相机

方向和位置的变化会改变观察者所看到场景。将三维景象转换为二维图像的最终变化称为摄

影坐标系或者显示坐标系。在屏幕上被感知到的三维物体仅仅是一种错觉。它只是一个利用

射影坐标系的一个简单二维图像。

当被物理相机拍下的图片根据虚拟相机的位置进行渲染时，所有的图像都会失真。涉及

到LAE的MAR场景渲染应该记住这点。

6.3信息视图

LAE追踪器能够检测和测量在MAR场景下与LAE表示相关的传感数据的属性变化。

来自传感器的跟踪信息，如位置，方向，坐标，地理上的坐标等等，都是在现实世界中测得

的。

—追踪器的输入和输出如表3所示：

—输入：与LAE表示相关的传感数据；

—输出：LAE的识别目标信号特征的瞬时值。

表3—追踪器种类

14

GB/TXXXXX—XXXX

方面类型种类

—相机信息

—LAE的二维图像/音频

LAE捕捉器—物体规格信息

输入

—三维基元（点，线，多边形，形状）

—三维模式

LAE传感器—传感信息

LAE捕捉器—LAE视频

—位置，方向，体积，坐标

输出—触觉（力度，方向等等）

—听觉（强度，音高等等）

LAE传感器—传感器信息（坐标值，纬度等等）

在给定的传感器中使用空间参考坐标系和空间度量值需要被映射到MAR场景中，以

便感应到的LAE被正确地放置、定向和调整大小。一个特定的传感器系统和一个MAR空

间之间的空间表示关系由有MAR经历创造器提供，并且由空间映射器维护。

—空间映射器的输入和输出如表4所示：

—输入：传感器标识符（SID）和LAE的感应到的空间信息；

—输出：给定MAR场景的LAE已校准空间信息。

表4—空间映射器的输入/输出

方面类型

输入—LAE带标识的空间数据

—LAE连续的空间数据

—跟踪的空间数据

—空间信息

输出—校准的空间信息

—声音（方向，振幅，单位，规模）

空间映射器的概念可以扩展到映射其它领域，比如音频（例如方向，振幅，单位，规模）

和触觉（例如方向，大小，单位，规模）。

6.4利用LAE跟踪和MAR空间映射的一个例子

图9a)是LAE嵌入到MAR场景中，而没有使用色度键功能来去除物理场景中LAE的

背景。图9b)表明，在LAE视频流应用色度键过滤器后，可以将没有背景的LAE嵌入到

MAR场景中。图9c)是在MAR场景中的一个LAE瞬间。LAE可以被LAE捕捉器从现实世

界中所追踪；并且将LAE的位置、方向、FOV、坐标等信息映射到空间表示中。空间映射

常用于映射LAE的空间信息和包含三维虚拟世界的场景描述。

15

GB/TXXXXX—XXXX

（a）LAE嵌入到MAR场景中，（b）没有背景的LAE嵌入到（c）在MAR场景中的一个

而没有使用色度键功能来去除MAR场景中LAE瞬间

物理场景中LAE的背景

图9在MAR中LA