虚拟-增强现实内容制作流程规范_第1页
虚拟-增强现实内容制作流程规范_第2页
虚拟-增强现实内容制作流程规范_第3页
虚拟-增强现实内容制作流程规范_第4页
虚拟-增强现实内容制作流程规范_第5页
已阅读5页,还剩37页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS

L.

中华人民共和国国家标准

GB/T—

虚拟/增强现实内容制作流程规范

Virtualreality/augmentedrealitycontentproductionprocessspecification

--发布--实施

国家市场监督管理总局

发布

国家标准化管理委员会

GB/T×××××—××××

前言

本文件按照GB/T1.1-2009给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本文件由全国音频、视频及多媒体系统与设备标准化技术委员会(TC242)提出并归口。

本文件起草单位:星鲨科技集团、中国电子技术标准化研究院、青岛星鲨虚拟现实技术研究院、西

北工业大学、北京航空航天大学、北京理工大学、北京电影学院、华为、腾讯、公安部第三研究所、北

京交通大学、北京邮电大学、福州大学、江西理工大学、厦门大学、上海市虚拟现实产业协会、海军研

究院、青岛虚拟现实研究院有限公司、中国信通院江西研究所、南京睿悦信息技术有限公司、深圳市中

视典数字科技有限公司、OPPO广东移动通信有限公司、上海曼恒数字技术有限公司、广东虚拟现实科

技有限公司(燧光)、广州幻境科技有限公司、广州视享科技有限公司、马上消费金融股份有限公司、

中国传媒大学、中科泰岳(北京)科技有限公司、贝壳找房、艾迪普科技股份有限公司、北京贝斯林泰

岳教育科技有限公司、北京市商汤科技开发有限公司、北京抖音信息服务有限公司、百度网讯、江西洪

工高科有限公司、江西泰豪动漫职业学院、如你所视(北京)科技有限公司、哈尔滨工程大学、咪咕文

化科技有限公司、南昌虚拟现实研究院股份有限公司、美的集团股份有限公司、海信视像科技股份有限

公司、深圳市洲明科技股份有限公司、深圳市博乐信息技术有限公司、中国联合网络通信有限公司江西

省分公司、联想(上海)信息技术有限公司、厦门视诚科技有限公司、煦象(上海)信息科技有限公司、

福建乐想天成信息科技有限公司、福建华南女子职业学院、福建犀牛智慧科技有限公司、聚好看科技股

份有限公司、歌尔股份有限公司、漳州理工职业学院、赛因芯微(北京)电子科技有限公司。

本文件主要起草人:刘诗雅、赵晓莺、樊养余、周彬、宋维涛、游寒旭、任爽、乔秀全、姚建敏、

黄学雨、郭诗辉、陶锐、李婧欣、严小天、胡开拓、曹峻玮、陈炎磊、王岳明、王晶、石智荣、石演峰、

史俊杰、白莹杰、白继嵩、刑刚、刘向群、刘法亮、刘志强、刘晓丹、刘霞、孙林、孙晨、李东晓、李

亚群、李兆昕、李赤峰、李笑如、李凌煜、李琳、李静雅、吴健、吴聆捷、吴强、沈文、张亚军、陈立

超、陈浩、林江滨、周建国、周效军、周海鹏、单华琦、赵晖、胡宏青、胡清、柳德荣、钟威、耿一丹、

聂蔚青、贾腾飞、徐龙明、徐嵩、郭红、黄传增、黄昌正、康峰、韩建、韩哲、靳聪、谭胜淋、滕维宇、

薛齐勇。

II

GB/T×××××—××××

目次

前言..............................................................................II

1范围.................................................................................1

2规范性引用文件.......................................................................1

3术语和定义...........................................................................2

4缩略语...............................................................................4

5内容制作平台.........................................................................5

5.1平台结构...........................................................................5

5.2内容制作工具.......................................................................9

5.3网络需求..........................................................................14

6内容制作流程........................................................................14

6.1概述..............................................................................14

6.2内容设计..........................................................................15

6.3内容制作..........................................................................15

6.4内容制作流程测试..................................................................21

6.5内容质量评价......................................................................22

附录A(资料性)VR、AR、360°全景视频特征比较示例......................................24

附录B(资料性)模型验收单示例........................................................25

附录C(资料性)内容质量要求示例......................................................27

I

GB/T×××××—××××

虚拟/增强现实内容制作流程规范

1范围

本文件规定了虚拟/增强现实制作平台的组成,描述了虚拟/增强现实的制作流程。

本文件适用于虚拟现实/增强现实内容的制作,虚拟现实/增强现实内容制作系统的开发

可参考使用。

2规范性引用文件

下列文件对本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用

于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。

GB/T18905.1-2002软件工程产品评价第1部分:概述

GB/T25000.10-2016系统与软件工程系统与软件质量要求和评价(SQuaRE)第10

部分:系统与软件质量模型

GB/T25000.51-2016系统与软件工程系统与软件质量要求和评价(SQuaRE)第51部

分:就绪可用软件产品(RUSP)的量要求和测试细则

GB/T26856-2011中文办公软件基本要求及符合性测试规范

GB/T28452-2012信息安全技术应用软件系统通用安全技术要求

GB/T28452-2012信息安全技术应用软件系统通用安全技术要求

GB/T29833.1-2013系统与软件可移植性第1部分:指标体系

GB/T29833.2-2013系统与软件可移植性第2部分:度量方法

GB/T29833.3-2013系统与软件可移植性第3部分:测试方法

GB/T29836.3-2013系统与软件易用性第3部分:测评方法

GB/T30882.1-2014信息技术应用软件系统技术要求第1部分:基于B/S体系结构的

应用软件系统基本要求

GB/T30975-2014信息技术基于计算机的软件系统的性能测量与评级

GB/T34975-2017信息安全技术移动智能终端应用软件安全技术要求和测试评价方

GB/T36341.1-2018信息技术形状建模信息表示第1部分:框架和基本组件

GB/T36341.2-2018信息技术形状建模信息表示第2部分:特征约束

GB/T36341.3-2018信息技术形状建模信息表示第3部分:流式传输

GB/T36341.4-2018信息技术形状建模信息表示第4部分:存储格式

GB/T38247-2019信息技术增强现实术语

GB/TAAAAA-AAAA信息技术虚拟现实内容表达第2部分:视频

GB/TBBBBB-BBBBB信息技术虚拟现实内容表达第3部分:音频

GB/TCCCCC-CCCC信息技术虚拟现实内容表示编码第1部分:系统

ISO/IEC18040:2019信息技术计算机图形和图像处理混合和增强现实(MAR)参考模

型(Informationtechnology.Computergraphics,imageprocessingandenvironmentaldata

representation.Liveactorandentityrepresentationinmixedandaugmentedreality(MAR))

1

GB/T×××××—××××

ISO/IEC18040:2019信息技术计算机图形和图像处理混合和增强现实(MAR)中的实

时参与者和实体表示(Informationtechnology.Computergraphics,imageprocessingand

environmentaldatarepresentation.Liveactorandentityrepresentationinmixedandaugmented

reality(MAR))

ISO/IEC23090-17-2021信息技术沉浸式媒体的编码表示第17部分:全向媒体格式

(OMAF)的参考软件和一致性(Informationtechnology-Codedrepresentationofimmersive

media-Part17:Referencesoftwareandconformanceforomnidirectionalmediaformat(OMAF))

ISO/IEC23090-2-2021信息技术沉浸式媒体的编码表示第2部分:应用格式和全向媒

体(Informationtechnology-Codedrepresentationofimmersivemedia-Part17:Reference

softwareandconformanceforomnidirectionalmediaformat(OMAF))

ISO/IEC23090-6-2021信息技术沉浸式媒体的编码表示第6部分:沉浸式媒体度量

(Informationtechnology-Codedrepresentationofimmersivemedia-Part17:Reference

softwareandconformanceforomnidirectionalmediaformat(OMAF))

ISO9613.1-1993声学户外声传播衰减第1部分:大气声吸收的计算(Acoustics-

AttenuationofSoundDuringPropagationOutdoors-Part1:CalculationoftheAbsorptionof

SoundbytheAtmosphere)

ITU-RBS.1534.3-2015音频系统的媒介质量级别的主观评估方法(Methodforthe

subjectiveassessmentofintermediatequalitylevelsofcodingsystems)

ITU-RBS.2051用于节目制作的先进音响系统(Advancedsoundsystemforprogramme

production)

ITU-RBS.2076音频定义模型(AudioDefinitionModel)

ITU-RBS.2132.0-2019用于广播节目制作和国际节目交换的高级沉浸式视听系统的视

频参数值(Methodforthesubjectivequalityassessmentofaudibledifferencesofsoundsystems

usingmultiplestimuliwithoutagivenreference)

3术语和定义

下列术语和定义适用于本文件。

3.1

虚拟现实virtualreality

采用以计算机为核心的现代高科技手段生成的逼真的视觉、听觉、触觉、味觉等多感官

一体化的数字化人工环境,用户借助一些输入、输出设备,采用自然的方式与虚拟世界的对

象进行交互,相互影响,从而产生亲临真实环境的感觉和体验。

[来源:GB/T38247-2019,2.1.1]

3.2

增强现实augmentedreality

采用以计算机为核心的现代高科技手段生成的附加信息对使用者感知到的真实世界进

行增强的环境,生成的信息以视觉、听觉、味觉、嗅觉、触觉等生理感觉融合的方式叠加至

真实场景中。

[来源:GB/T38247-2019,2.1.2]

3.3

虚拟现实内容virtualrealitycontent

在虚拟现实应用中,加载于虚拟现实终端设备的数字信息,包括文字、图像、视频、三

维模型等。

2

GB/T×××××—××××

3.4

增强现实内容augmentedrealitycontent

在增强现实应用中,与物理世界环境融合的数字信息。

注1:增强现实应用中增强的信息或资料来源,包括文字、图像、视频、三维模型等。

注2:由增强现实应用通过适当模拟、渲染及显示来体现,需要满足高质量、尺度合适、容易获取等

要求。

[来源:GB/T38247-2019,2.3.2,有修改]

3.5

虚拟对象virtualobject

计算机生成的具有几何形状、特定格式或特定行为的对象。

注:其原型可以是现实对象,也可以是完全虚构的对象。

[来源:GB/T38247-2019,2.2.1]

3.6

虚拟场景virtualscene

由计算机生成的具有动态感官信息表现(如双眼立体视觉、三维听觉、力触觉、味觉及

嗅觉等)的、多虚拟对象构成的环境。

注:可以是某一特定物理世界的虚拟重现,也可以是虚构的世界。

[来源:GB/T38247-2019,2.2.2]

3.7

脚本script

虚拟现实内容/增强现实内容制作的大纲,确定虚拟/增强现实产品构成的所有要素及这

些要素的功能、变化规律、空间分布、相互关系、相互交互、出现的先后顺序和与操作者(人)

的交互方式。

3.8

建模modeling

利用计算机以数学方法描述虚拟环境中所有要素之间空间关系的过程。

3.9

交互设计interactiondesign

在虚拟现实内容/增强现实内容制作过程中对人、机器/系统、界面之间交流的内容和结

构进行设计的过程。

3.10

模型渲染modelrendering

虚拟现实内容/增强现实内容制作过程中,按照预先设定的环境、灯光、材质等参数,

将三维虚拟场景中的模型投影成二维数字图像的过程。

3.11

跟踪tracking

实时计算用户与物理场景中的某个对象之间的位姿,并根据先前时刻获得的位姿来生成

下一时刻位姿的过程。

[来源:GB/T38247-2019,2.2.53]

3

GB/T×××××—××××

4缩略语

下列缩略语适用于本文件。

ADM:音频定义模型(AudioDefinitionModel)

AGC:自动增益控制(AutomationGainControl)

API:应用程序编程接口(ApplicationProgrammingInterface)

AR:增强现实(AugmentedReality)

BRIR:双耳房间脉冲响应(BinauralRoomImpulseResponse)

BW64:64位广播波形音频(BroadcastWave64Bit)

CCS:摄像机坐标系(CameraCoordinateSystem)

CG:计算机图形学(ComputerGraphics)

CS:坐标系(CoordinateSystem)

DAW:数字音频工作站(DigitalAudioWorkstation)

FOA:一阶Ambisonics技术(FirstOrderAmbisonics)

FPS:每秒帧数(FramesPerSecond)

HOA:高阶Ambisonics技术(HighOrderAssembler)

HRIR:头相关冲激响应(Head-RelatedImpulseResponse)

HRTF:头相关传递函数(Head-RelatedTransferFunction)

ILDs:双耳强度差(InterauralLevelDifference)

ITDs:双耳时间差(InterauralTimeDifference)

JSON:JS对象简谱(JavaScriptObjectNotation)

Kbps:比特率,指数字信号的传输速率为每秒传送千位信息的数量(Kilobitpersecond)

KHz::千赫兹,频率单位(KiloHertz)

M/S:和差立体声(Middle/Side)

MAA:最小可听角(MissionAreaAnalysis)

Mbps:传输速率兆比特每秒(Millionbitspersecond)

MR:混合现实(MixedReality)

OLA:重叠-相加之卷积法(Overlap-addmethod)

OLE:整体聆听体验(OverallListeningExperience)

OLS:重叠-存储之卷积法(Overlap-Savemethod)

PCS:图像坐标系(PixelCoordinateSystem)

RCS:成像平面坐标系(RetinalCoordinateSystem)

SAL:场景音频库(Sceneaudiolibrary)

SOFA:声学空间定向格式(SpatiallyOrientedFormatforAcoustic)

VO:虚拟对象(VirtualObject)

VR:虚拟现实(VirtualReality)

VS:虚拟场景(VirtualScene)

WCS:世界坐标系(WorldCoordinateSystem)

XML:可扩展标记语言(ExtensibleMarkupLanguage)

3DoF:三自由度(ThreeDegreesofFreedom)

3DR:三维重建(ThreeDimensionReconstruction)

6DoF:六自由度(SixDegreesofFreedom)

4

GB/T×××××—××××

5内容制作平台

5.1平台结构

5.1.1概述

内容制作平台是以一种或几种编程语言为基础的二次开发软件框架。用户可在此平台上

使用多种内容制作工具进行无代码或低代码开发,制作虚拟现实/增强现实内容。

内容制作平台由系统层和功能模块层组成,平台结构见图1。

图1虚拟/增强现实内容开发平台结构图

5.1.2系统层

5.1.2.1概述

系统层由开发层、应用层、核心系统、渲染抽象层、API、硬件、系统支持组成,如图2

所示。

5

GB/T×××××—××××

图2虚拟/增强现实内容开发平台系统层结构图

5.1.2.2开发层

开发层包括插件系统、资源和资源分发平台。

插件系统应与开发平台核心模块对接,对外提供一系列开放接口。开发者可通过开放接

口获取开发平台的特性及能力来实现针对开发平台的插件开发或将第三方类库引入开发平

台进行使用。

5.1.2.3应用层

应用层包括三维引擎编辑器和三维引擎内核等,起到统筹项目工程的作用,可进行外部

内容资产导入、开发平台特有资产创建、用户界面开发、虚拟场景开发、代码管理等工作。

5.1.2.4核心系统

6

GB/T×××××—××××

核心系统应为支撑开发平台的特有功能,不同的开发平台差异性主要体现在核心系统

上。不同的开发平台可根据其主要受众群体的差别开发出不一样的核心功能,以优化工作

流、简化内容制作难度等。

核心系统包括场景模块、物理模块、接口模块。其功能应包含事件系统、输入系统、内

存管理、序列化/反序列化、数学库、字符串处理等。

5.1.2.5渲染抽象层

渲染抽象层应为开发平台提供渲染能力。开发平台应提供标准通用渲染管线以满足绝大

多数开发者的需求,也应提供可编程渲染管线以满足有特殊需求的开发者针对其内容特性可

以实现特殊的渲染需求。

5.1.2.6API

API应提供对图形API和协议的支持及对系统模块和功能的访问接口。图形API通常包括

但不限于OpenGL、Vulkan等,虚拟现实通用协议通常包括但不限于OpenXR、WebXR等。

5.1.2.7硬件及系统

硬件及系统应提供开发平台运行的底层技术支持,包括跨平台运行/编译、各种虚拟/增

强/混合现实硬件的支持。

5.1.3功能模块层

5.1.3.1概述

功能模块层级维度由资源管理模块、场景管理模块、接口模块、物理模块、渲染模块、

二次开发模块、虚拟/增强现实模块和平台模块组成,如图3所示。

图3虚拟/增强现实内容开发平台功能模块层结构图

5.1.3.2资源管理模块

资源管理模块包括资源导入和资源管理两个子模块。

资源导入子模块应将模型、材质、贴图、动画等资源导入到开发平台中,支持主流三维

模型、工业模型和图片、视频、音频等其他资源数据的导入。

注:主流三维模型包括fbx、obj、stl,工业模型如step、iges等。

资源管理子模块应为开发平台提供资源管理器功能。资源管理器一般由两种组件组成:

一种是离线工具链,可将资源转换为适配引擎的格式;另一种是实时管理资源的组件,可在

运行时按需要管理资源。

5.1.3.3场景管理模块

场景管理模块包括UI系统、“网格,材质,着色器,纹理”、动画系统、光照系统、光

照阴影、地形编辑、天空盒和粒子系统八个子模块。

7

GB/T×××××—××××

UI系统应在开发平台中提供制作UI界面的能力,在开发平台中,开发者可通过图片,

文本,进度条,画布等组件制作UI界面。

网格,材质,着色器,纹理是在开发平台的编辑界面中显示三维模型以及其效果。开发

者可在建模软件中制作完成网格体及其贴图,导入至开发平台,并在开发平台中对其材质,

着色器以及纹理效果进行修改。

动画系统应在开发平台中提供制作动画的能力。在开发平台中,开发者可选择导入已制

作完成的动画,或选择在开发平台中制作动画,通过状态机将不同的动画串联组合起来,用

以制作完整流畅的动画效果。

光照系统应在开发平台中提供光照效果,使编辑器中的场景与实际场景一致。在开发平

台中,开发者可通过方向光、点光源、聚光灯和天空光以及其他特殊类型光源对场景进行灯

光布置。

光照阴影应在开发平台中体现阴影效果,使编辑器中的场景与实际场景一致。在开发平

台中,开发者可在完成灯光设置之后,对场景内的灯光进行烘培处理,以达到更加真实的效

果。

地形编辑应在开发平台中提供完成地形编辑的能力。在开发平台中,开发者可利用地形

编辑工具在编辑器中对地形进行雕刻,可利用不同的材质对不同高度的地形进行处理,以达

到仿真的效果。

天空盒应为场景提供添加天空盒效果。开发者可使用立方体贴图或者2:1全景图制作天

空盒。

粒子系统应在开发平台中提供特效制作能力。在开发平台中,开发者可利用相应的粒子

系统组件进行特效制作。

5.1.3.4接口模块

接口模块包括输入系统、音频系统、事件管理和寻路网格四个子模块。

输入系统应提供在开发平台上与系统交互、外设交互的功能。

音频系统应在开发平台中提供声音处理能力。开发者可通过音频功能模块管理声音,混

音和播放,使其达到仿真的效果。

事件管理应为开发平台的各类事件做调度处理,开发者可自定义事件并注册到事件管理

系统中,通过设置事件的回调函数,在事件触发时处理对应的逻辑。

寻路网格应在开发平台中通过算法将地图烘培为凸多边形寻路网格,将动态计算转为静

态数据集查询以加快寻路计算的过程。

5.1.3.5物理模块

物理模块包括物理系统模块,应在开发平台中为刚性物体、柔性物体、流体、车辆、角

色控制器赋予真实的物理属性,来计算物体所发生的运动、旋转、碰撞反应。

5.1.3.6渲染模块

渲染模块包括渲染管线、可视性和遮挡剔除、后处理、动态分辨率和自定义着色器五个

子模块。

渲染管线应将开发的内容应用通过一定的步骤从内存提交到显存,并渲染成最终呈现的

画面。

可视性和遮挡剔除应在开发平台中优化性能,开发者可通过设置是否将某些物体绘制到

屏幕上来减少关卡中可见的对象数量。

后处理其应在已经完成场景渲染的情况下,对场景画面进行最后的修正以达到特定的效

果,或是开发者所需求的特殊风格。

8

GB/T×××××—××××

动态分辨率应在渲染场景时,根据GPU的使用情况,调整视口的大小,将场景的渲染目

标的内容传输到渲染纹理。

自定义着色器应在开发平台中为开发者提供可自行编辑着色器效果,包括对颜色、纹理、

法线、粗糙度等各类属性进行调整以达到想要的效果。

5.1.3.7二次开发模块

二次开发模块包括序列化/反序列化和反射系统两个子模块。

序列化/反序列化应将开发平台的项目资源序列化成二进制或其他格式的文件,并可通

过该文件还原项目的资源。一般应用于资源处理、项目配置、场景设计等方面。

反射系统应使得开发平台编辑器可以在运行时访问、检测和修改脚本代码本身状态或行

为。

5.1.3.8虚拟/增强现实模块

虚拟/增强现实模块包括运动捕捉和虚拟/增强现实设备支持两个子模块。

运动捕捉应提供运动捕捉功能,包括实现惯性、电磁、超声、力学、光学等硬件设备的

运动捕捉。运动捕捉应捕捉人体各个部位或其它动物、植物、非生物物体等的运动,并传输

给开发平台。

虚拟/增强现实设备支持应实现对虚拟/增强现实硬件设备的支持,可为用户提供高沉浸

感的立体视觉感受、触觉感受及力反馈。

5.1.3.9平台模块

平台模块包括用户资源门户和多人互动两个子模块。

用户资源门户模块的主要功能包括用户账号信息管理;资源基本信息、分类、权限的修

改;资源的在线浏览和查询,以及将资源下载到用户本地目录等。

多人互动应支持用户在场景中扮演角色进行漫游,多人在线互动;应提供多种交流方式,

包括但不限于文字、图形、表情和动作;应提供多种浏览模式,包括行走、飞行、静物观察、

摄像机动画等。

5.2内容制作工具

5.2.1概述

内容制作工具是用于制作特定模型的软件,通常包括建模核心系统、仿真模拟系统和渲

染系统三大系统,应支持建模、动画制作、流体模拟、骨骼绑定、蒙皮绑定、渲染等功能,

见图4。

9

GB/T×××××—××××

图4虚拟/增强现实内容制作工具整体结构图

5.2.2分类

内容制作工具通常包括建模核心系统、仿真模拟系统和渲染系统,见图5。

图5虚拟/增强现实内容制作工具分类图

10

GB/T×××××—××××

建模核心系统应为建模所需软件提供模型制作、材质系统、骨骼绑定、动画制作等主要

功能,宜允许用户安装符合需求的插件。

仿真模拟模块应为建模软件提供物理仿真能力,包括流体模拟、布料模拟、刚体模拟等。

在计算量较大的情况下,用户也可利用插件来提升计算效率。

渲染模块应为建模软件提供渲染能力。用户宜根据不同场景选取系统内的不同渲染器,

也可通过第三方软件进行渲染制作。

内容制作工具逻辑见图6。

11

GB/T×××××—××××

建模软件应用方向

导入三维引擎

模型制作动画制作

建模软件核心系统

模型制作模块骨骼模块

多边形建模曲面建模Biped骨骼

蒙皮

自定义骨骼

颜色贴图法线贴图

AO贴图粗糙度贴图

动画

金属材质非金属材质关键帧动画

透明材质发光材质骨骼动画

仿真模拟

插件模拟流体模拟布料模拟

渲染

光照系统渲染器设置

标准灯光光度学渲染器类型光线跟踪

Vary灯光Arnold灯光分辨率设置渲染插件

图6内容制作工具逻辑图

5.2.2.1建模核心系统

为建模软件提供模型制作,材质系统,骨骼绑定,动画制作等主要功能。根据主要受众

群体的不同,不同的建模软件也会根据其需求,针对用户的工作流程,制作难度,制作方式

等方面进行调整和优化。

建模软件应允许用户在官方频道或第三方启用符合需求的插件。

5.2.2.2仿真模拟

12

GB/T×××××—××××

主要为建模软件提供物理仿真能力,包括流体模拟、布料模拟、刚体模拟等。在主流建

模软件中,用户可以使用软件自带的模拟功能来进行模拟,通常可以满足用户的基本要求。

如果遇到计算量较大的情况,用户则可以利用官方或是第三方插件来提升计算效率。

5.2.2.3渲染模块

为建模软件提供渲染能力。在场景完成灯光和材质处理后进行渲染,应根据不同场景使

用不同的渲染器,用户可通过第三方软件进行渲染制作。

5.2.3功能

模型制作工具指制作特定模型的特殊软件,应支持包括建模功能、动画制作功能、流体

模拟、骨骼绑定、蒙皮绑定、渲染功能,见图7。

图7模型制作工具功能图

5.2.3.1建模功能

建模功能应实现多边形建模功能和曲面建模功能。

多边形建模首先应在建模软件中新建几何体,设置新建几何体的长宽高或半径等其他数

值,将几何体调整到合适的大小以及比例。随后将几何体转换为可编辑多边形模式,对几何

体的点,线,面,元素进行调整。

曲面建模首先应在建模软件中,通过二维曲线空间架构出符合要求的物体网格线结构。

完成初步的物体结构,应继续添加线条,以构建四边形或三边形网格结构。

5.2.3.2动画制作功能

动画制作功能应包括关键帧动画和骨骼动画。

关键帧动画应将制作动画的物体放置在起始位置,将物体按照设计的路径移动。应根据

需求在每5帧或10帧处,添加新的关键帧,并在此关键帧处添加物体的坐标,旋转,缩放等

信息,直到最终完成整个物体的动画。

13

GB/T×××××—××××

骨骼动画,应先对人形或非人形几何体进骨骼绑定设置,绑定完成后,进行在实际场景

中物体进行移动,跳跃,奔跑等动作的模拟。在制作骨骼动画的过程中,同样应通过设置关

键帧来描述整个动画的变化过程。

5.2.3.3流体模拟

流体模拟首先应设置流体的流动范围,在场景中新建一个立方体并修改成合适的大小,

随后应在立方体的物理属性中将纹理显示改为线框显示,并为立方体添加物理属性。

流动范围制作完成之后应开始制作水流效果,将新建的球体置入立方体中,为球体创建

水的材质纹理。

5.2.3.4骨骼绑定

在建模软件中制作骨骼绑定时,应将制作好的人物或者怪物模型导入至软件中,将biped

骨架放入场景中,并将骨骼大小调整至于人物模型大小一致。调整至大小一致后,首先对骨

骼的关节数量进行设置(比如手指数量、脚指头数量、脊椎数量等等),继而将骨骼的各个

关节移到与模型相对应的位置,且使得模型能够包裹住骨骼即可完成绑定。

5.2.3.5蒙皮绑定

完成骨骼绑定后,应选择全部的骨骼关节,可点击编辑封套后对点进行选择和分配权重。

权重的分配主要考虑某一块骨骼对于此处模型的影响大小。

5.2.3.6渲染功能

在进行离线渲染时,首先应在材质面板将物体的各个材质贴图进行调整,随后在预览窗

口预先定义好的光线、轨迹渲染图片,最终将渲染完成的图片导出。

5.3网络需求

虚拟现实内容/增强现实内容制作过程中,传输速度应支持流畅的视频效果。在虚拟/增

强现实视频流传输速率应不小于25FPS。

网络制式的要求见表1。

表1不同制式下的网络需求

网络制式要求

NR(包含NSA和SA制式)需支持N78和N1频段

EN-DC组合需支持B3+n78、B8+n78、B1+n78、B5+n78频段

TD-LTE需支持B41频段

LTEFDD需支持B1、B3、B5和B8频段

WCDMA需支持B1和B8频段

5G及无线WIFI条件下,带宽要求如下:

a)VR/AR端侧渲染场景:单用户下行带宽20Mbps,延时50ms以内,支持高效的碎

片化VR/AR地图及特效资源分发;

b)VR/AR云侧渲染场景:单用户上、下行带宽40Mbps,延时20ms以内,支持终端

视频实时上传与云渲染后的视频下发。

6内容制作流程

6.1概述

虚拟现实内容制作流程包括内容设计、内容制作、内容测试三个子流程。

a)内容设计:进行脚本设计、UI设计、情景设计、交互设计;

b)内容制作:进行模型制作、角色制作、场景制作、交互实现、音频制作、内容渲染;

14

GB/T×××××—××××

c)内容测试:进行模型测试、场景测试、音频测试、整体测试。

6.2内容设计

内容设计阶段应明确虚拟现实内容/增强现实内容的具体描述及指标设定,形成内容设

计文案,VR、AR、360°全景视频内容比较见附录A。

6.2.1脚本设计

对虚拟/增强现实内容中的基础环境、用户画面、交互动作、画面衔接等进行整体设计。

6.2.2UI设计

对虚拟/增强现实内容中的人机交互、操作逻辑、界面美观等进行整体设计。

6.2.3情景设计

情景设计包括模型设计、角色设计和场景设计。

其中,模型设计是对虚拟/增强现实内容中的人、物、场景的空间位置、几何形态、纹

理、属性等进行整体设计。

角色设计是对虚拟/增强现实内容中的人物身份、形态、情绪、运动等进行整体设计。

场景设计是对虚拟/增强现实内容中在角色周围和角色有关系的一切景和物进行整体设

计。

6.2.4交互设计

对用户与虚拟/增强现实内容之间交流的内容和方式进行整体设计。

6.3内容制作

6.3.1模型制作

6.3.1.1人工建模

依据测量数据或设计资料,利用计算机软件交互制作人、物、场景等的三维数字模型。

人工建模包括几何建模、运动建模、物理建模和行为建模。

其中,几何建模是用点、线、面、体等基本几何元素描述人、物、场景等几何形态的数

字模型。

运动建模是利用计算机软件描述人、物、场景等运动形态、运动规律等的数字模型。

物理建模是利用计算机软件描述人、物、场景等物理形态、物理关系、物理规律等的数

学模型。

行为建模是利用计算机软件描述人、物因周围环境影响而产生运动的数学模型。

6.3.1.2设备建模

依据测量数据,利用计算机软件自动生成人、物、场景等的三维数字模型。

设备建模包括扫描建模、测绘建模、数学建模和声音建模。

其中,扫描建模是以激光扫描点云数据为基础,利用计算机软件自动生成人、物、场景

等的三维数字模型。

测绘建模是以影像数据为基础,利用计算机软件自动生成人、物、场景等的三维数字模

型。

数学建模是以数学、信息、系统等技术或设计资料等为基础,利用计算机算法自动生成

人、物、场景等的三维数字模型。

声音建模是以声音数据为基础,利用计算机软件自动生成人、物、场景等声音的数字模

型。

6.3.2角色制作

制作流程:素材采集-模型制作-贴图制作-场景塌陷-模型命名-UV制作-灯光渲

染测试-场景烘培-场景调整导出。

6.3.2.1模型制作流程

15

GB/T×××××—××××

模型制作流程包括模型制作的主流软件和模型制作的流程。

其中,模型制作的主流软件有MaYa、3DMax、Rhino、Zbrush、Blender、Poser、

LightWave3D、GoogleSketchup、AutoCAD;

模型制作的流程为前期制作—多边形建模与数字雕刻—UV展开—制作贴图。

6.3.2.2模型制作规范

模型制作规范包括确定模型定位标准、模型单位、模型面与面之间的距离和模型的级别。

其中,确定模型定位标准以CAD底图作为标准确定分工区域的模型位置的过程。

模型单位为在没有特殊要求的情况下,单位为米(Meters)。

模型面与面之间的距离为模型上两个不相交的平面之间的距离,推荐最小间距为当前场

景最大尺度的二千分之一。

模型的级别为建模时根据模型所处的具体位置与重要程度对该模型精细程度进行的等

级划分。

6.3.2.3材质贴图规范

材质贴图规范包括贴图的文件格式和尺寸、贴图和材质应用规则和通道纹理应用规则。

其中,贴图的文件格式和尺寸为原始贴图不带通道的jpg,带通道的为32位tga或者

png,尺寸最大别超过2048,贴图文件尺寸须为2的N次方(8、16、32、64、128、256、

512、1024)最大贴图尺寸不能超过8192x8192,特殊情况下尺寸可在这些范围内做调整。

贴图和材质应用规则:

a)贴图不能以中文命名,不能有重名;

b)材质球命名与物体名称一致;

c)材质球的父子层级的命名一致;

d)同种贴图使用一个材质球;

e)除需要用双面材质表现的物体之外,其他物体不能使用双面材质;

f)材质球的ID号和物体的ID号一致;

g)若使用CompleteMap烘焙,烘焙完毕后会自动产生一个Shell材质,将Shell材质变为

Standard标准材质,并且通道要一致,否则不能正确导出贴图。

通道纹理应用规则为模型需要通过通道处理时需要制作带有通道的纹理。在制作树的通

道纹理时,最好将透明部分改成树的主色,这样在渲染时可以使有效边缘部分的颜色正确。

通道纹理在程序渲染时占用的资源比同尺寸普通纹理要多。通道纹理命名时应以-AL结尾。

6.3.2.4模型的塌陷、命名

模型的塌陷、命名包括模型的塌陷和模型的命名。

其中,模型的塌陷是把模型中的多个物体元素合并成一个物体元素,把所有附加在立体

模型上的修改器,贴图,形态等特征全部固化到立体模型上。

模型命名是按照相关命名原则使用英文对模型进行命名的过程。

6.3.2.5模型烘焙及导出

模型烘焙及导出包括贴图UV编辑和模型导出。

其中,贴图UV编辑是将图像上每一个点精确对应到模型物体的表面,在点与点之间的

间隙位置由软件进行图像光滑插值处理的编辑过程。

模型导出是将模型参数以及网格结构的以不同的格式分别导出或是整合成一个独立文

件导出的过程。

6.3.2.6模型验收

16

GB/T×××××—××××

当全部虚拟三维模型完成制作后,应根据设计要求进行模型测试。当全部虚拟三维场景

完成制作后,应根据设计要求进行模型测试。当全部沉浸音频完成制作后,应根据设计要求

进行音频测试。当虚拟现实内容完成开发后,应根据设计要求进行整体测试。

可根据事先确定的模型验收单进行模型验收。

模型验收单示例见附录B。

6.3.2.7模型导出格式

列举模型导出的主流格式:FBXexport、OBJexport。

6.3.3场景制作

6.3.3.1天空盒

由6个贴有天空远景图像构成的一个环绕环境的封闭空间的过程。

6.3.3.2地形

在三维场景中绘制渲染出的地表以上分布的固定物体所共同呈现出的高低起伏各种形

态的过程。

6.3.3.3动画

动画包括建立对象模型、使用材质、放置灯光和摄影机、设置场景动画和渲染场景。

a)建立对象模型:从不同的3D几何基本体开始,将对象转变成多种可编辑的曲面类

型,通过拉伸顶点和使用其他工具创建对象模型的过程。

b)使用材质:使用材质编辑器设计材质,并将设计好的材质赋予场景之中的模型,使

创建好的模型具有真实质感的过程。

c)放置灯光和摄影机:利用灯光三维制作中表现场景气氛,使材质真实地在模型表面

显示出来的过程。

d)设置场景动画:利用相关软件的动画设置功能创建出模型在场景中动画效果的过

程。

e)渲染场景:根据所指定的材质、场景的布光来计算明暗程度、阴影以及背景与大气

等环境的设置,将场景中创建的几何体实体化显示出来的过程。

6.3.3.4雾化

通过将景物颜色与雾的颜色,以随物体到观察点距离增加而衰减的混合因子混合而实现

一种场景效果的过程。

6.3.4交互实现

通过输入/输出设备来获取用户的面部动作、手部动作、肌体状态等信息,信息经过处

理后实现与人产生相互作用,包括人对物体可操作的程度和产生自然反应的程度等。

6.3.4.1行为交互

行为交互包括动作捕捉、眼球追踪、手势跟踪和空间定位。

其中,动作捕捉是利用包括单目/双目/深度摄像头、光学摄像机阵列、可穿戴动作捕捉

系统等方法采集到人体运动姿态,并定义在特定姿态下,系统可以根据捕获的动作类别动态

调整虚拟内容素材的展示和交互形式。

眼球追踪是利用眼球跟踪技术,动态跟踪人眼注意力,并根据用户注意区域进行信息呈

现、颜色高亮等虚拟内容呈现与交互。

手势跟踪是通过定义若干种手势,利用单目/双目/深度摄像头等设备进行手势识别跟踪,

系统可以根据识别后的手势类别动态调整虚拟内容素材。

空间定位是利用单目/双目/深度摄像头/惯性测量单元(IMU)/激光扫描仪等设备进行

SLAM定位与跟踪,实时跟踪用户在三维空间内的位置变化,并根据设备位姿动态调整三维

内容素材。

17

GB/T×××××—××××

6.3.4.2感官交互

感官交互包括肌电模拟、触觉反馈、语音交互和视点定位。

其中,肌电模拟是通过肌电刺激来模拟真实感觉,利用生物电学优化手势交互。当肌肉

纤维受到电流刺激时,产生收缩,通过肌腱带动骨骼,最终产生动作。起到关键作用的这种

电流被称为肌电信号EMG。手部动作的控制信号,在手臂位置可以通过生物传感器捕获,

可基于这个原理将肌电传感技术纳入到虚拟现实设备系统中。

触觉反馈是通过作用力、振动等一系列动作为使用者再现触感。这一力学刺激可被应用

于计算机模拟中的虚拟场景或者虚拟对象的辅助创建和控制,以及加强对于机械和设备的远

程操控。

语音交互是基于语音识别、语音合成、自然语言理解等技术,赋予虚拟设备智能人机交

互功能。

视点定位是佩戴头显时眼睛正前方跟随用户头部同步移动的瞄点进行选择或点击信息

的基础交互形式。

6.3.5音频制作

6.3.5.1概述

音频内容制作的一般流程基于制作工具将不同类型的音频文件通过渲染技术处理生成

具有沉浸感的空间音频,整体流程如图8所示。

图8虚拟/增强现实音频内容制作流程

虚拟/增强现实音频内容表达方式根据应用场景可分为静态音频和动态音频,并最终通

过渲染器生成双耳耳机和扬声器输出的空间音频。

a)静态音频:可以提前制作的音频,例如音乐、影片等,常用的格式是ADM-BW64

或已经渲染的双耳音频和扬声器音频,一般使用数字音频工作站DAW制作。其中ADM是三

维空间音频的元数据定义框架,参考ITU-RBS.2076-2,为满足广泛的虚拟/增强现实音频场

景需求,除ADM基础元数据,也可以增加扩展元数据VRExt。通常使用BW64格式的音频文

件存储音频数据和元数据(ADM+VRExt)。

b)动态音频:指音频内容不能提前制作,需要根据场景和环境实时渲染,例如直播、

游戏等场景,一般使用游戏引擎制作。静态音频有时可作为动态音频的输入以制作交互音频。

虚拟/增强现实场景中三维音频的主要回放方式为使用双耳耳机或多个扬声器来进行播

放。

a)面向双耳耳机输出的空间音频渲染过程:将带有方位信息的音频信号处理成能在双

耳耳机中进行播放,此过程利用了双耳化三维音频渲染技术,最常用的是基于HRTF的虚拟

双耳三维音频生成技术。

18

GB/T×××××—××××

b)面向扬声器输出的空间音频渲染:将输入的声道(Channel)、对象(Object)、场

景(HOA)类型音频信号进行不同的渲染算法处理能够在标准或非标准布局的扬声器中进

行回放。

虚拟/增强现实音频内容制作流程满足以下要求:

a)制作静态音频时,应具备生成Object对象音频的轨迹、录音、导入音频、回放、导

出的功能,应支持基本的ADM元数据及VRExt扩展元数据。

b)制作动态音频时,应具备使用三维空间场景的能力,并且能够进行头部追踪、场景

交互,应支持静态音频的录音、回放功能。

c)输出音频回放形式宜为双耳耳机回放或扬声器回放。

d)渲染器应具备解析渲染包含ADM元数据和VRExt扩展元数据音频的能力。

e)渲染器可支持六自由度(6DoF)下根据用户头部和位置变化的实时渲染。

f)静态音频可作为动态音频的一部分输入。

6.3.5.2静态音频制作要求

虚拟/增强现实静态音频制作时输入音频满足以下要求:

a)静态音频制作的输入端应支持多声道音频、对象音频和HOA类型的音频。

b)多声道音频应支持常用多声道音频格式。

c)对象音频应支持制作动态轨迹,支持调节声源大小。

d)HOA应至少支持ACN_SN3D和ACN_N3D两种归一化格式中的一种,可选择支持

FuMa格式,HOA需要支持1-7阶。

e)所有音频应支持按通道进行增益调节。

f)应支持声源的增减与减少。

输出音频满足以下要求:

a)静态音频制作的输出端应支持导出ADM-BW64格式的文件,并且包含扩展元数据。

b)应支持导出双耳耳机输出音频和扬声器输出音频两种格式,可选择支持HOA格式,

若支持导出HOA,则需要支持1-7阶。

c)应支持环境声学,可根据场景的几何模型,材质等自适应调整混响效果。

应支持实时播放制作的音频,且能够预览声源在空间中的位置及位置变化轨迹。

静态音频的制作流程可以通过制作引擎及渲染器插件进行设计并实现,根据渲染器插件

结构不同可以有多种拓扑设计,例如多通道渲染插件结构、非多通道独立结构、主渲染器插

件结构,它们在渲染多个声源时可以不同程度地利用协同机制。进一步,还可以通过制作引

擎在数字空间里面构造一个虚拟的数字孪生舞台,在虚拟的环境下进行仿真设计,并不断地

进行调整和优化,用于模拟真实世界中舞台声场的效果。

6.3.5.3动态音频制作要求

虚拟/增强现实动态音频内容从表现形式上可以分为需要空间化的音频内容与无需空间

化的音频内容。

空间化音频内容主要有:

a)音频对象:声音场景中与发声体绑定的点声源或体积声源,例如汽车引擎声、脚步

声、枪声、说话声等。音频对象会受到程序运行过程中触发的事件、自动化脚本等控制。

b)环境音频:与场景相关的音频内容,原则上场景因为可以被点声源和体积声源及其

与环境的交互共同表达,但为了兼顾空间感与实时计算能力,很多时候与场景绑定的很多内

容会考虑用三自由度(3DoF)下的音频素材表达,如场景信号Ambisonics。

空间化音频内容会进入空间音频渲染器进行混音,在这一过程会根据手柄等控制器传入

的控制信息(如控制主角移动)及VR设备上的传感器采集到的姿态信息计算空间化后声音

19

GB/T×××××—××××

输出。

非空间化音频内容主要有:

a)非叙事内容,如旁白,评论音轨等。

b)与视角无关背景音乐及音效。

非空间化音频内容无需与控制及姿态信息交互,通过传统手段进行上/下混得到与回放

设备输入匹配的格式音频,进行回放。

6.3.6内容渲染

6.3.6.1结构

内容渲染的载入对象与工具包括:

a)环境:虚拟场景中的非目标物。

b)光源:能发光且正在发光的物体。

c)灯光:虚拟场景中所设光源发出的能量。

d)材质:虚拟场景中为虚拟对象所设定的物质。

e)直接照明:光源对物体表面的照明。

f)间接照明:其他物体表面反射/透射光对物体表面的照明。

g)全局光照:物体表面所受到的直接照明与间接照明的总合。

h)阴影:光源不能直接照射到的那个暗区域。

i)反射:光在两种物质分界面上改变传播方向又返回原来物质中的现象。

j)折射:光从一种介质射入另一种介质时传播方向发生变化的现象。

k)局部光强:由光源产生的直接光线照射强度。

l)间接光强:其它物体表面的反射或透射光线照射的强度。

m)视角方向:在进行模型渲染时,那些散射到我们人眼的光线方向,计算机图形学中

称之为视角方向,也叫摄像机方向。

n)光栅化:指将三维空间的面投影成二维平面中像素的方法。光栅化以物体为中心,

捕捉从物体所发射到视点的光线。

o)阴影贴图:在三维计算机图形中加入阴影的过程。这是一种可以在不减少帧率的情

况下达到真实感光照和阴影效果的方法。

p)光线投射法:以视点为中心,将光线投射到场景中,从而得到场景中物体表面在二

维平面中像素值的方法。

q)光线跟踪:由视点与像平面上的像素点连成一根射线,该线与第一个物体相交后,

在其反射、折射与透射三个方向上进行跟踪,如果这三个方向上还会遇到物体表面,再分解

光线成三个方向并继续跟踪,直到不再遇到物体或满足结束条件,跟踪结束;接着计算光线

与物体表面交点处的光强,该光强由三部光强相加而成:由光源产生的直接光线照射光强、

反射方向上由其它物体表面引起的间接光照光强、折射方向上由其它物体引起的间接光照光

强,该光强即为像平面上像素点的值。

r)渲染滤镜:在图像中创建云彩图案、折射图案和模拟光反射的处理过程。

s)光照效果:通过改变光照样式、光照类型和套光属性,在RGB图像上产生的视觉结

果。

t)镜头光晕:亮光照射到像机镜头上时所产生的一种折射现象。

6.3.6.2分类

内容渲染的方法包括扫描线渲染、光线追踪渲染、辐射度渲染、GPU渲染和图像渲染。

其中:

a)扫描线渲染是一行一行,将场景渲染成一些列水平线的算法。

20

GB/T×××××—××××

b)光线追踪渲染是基于物理的渲染方式模拟真实世界光线照射方式的一种特殊的渲染

算法。

c)辐射度渲染是基于辐射度回归函数渲染包括透明物体的场景全局光照效果并实现物

体移动交互的渲染算法。

d)GPU

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论