扩展现实（XR）产业和标准化研究报告（2024 版）

扩展现实（XR）产业和标准化研究报告中国电子技术标准化研究院扩展现实（XR）标准工作组 1.良好政策环境带来发展机遇 42.软硬件+内容构建XR产业生态 6 9第二章基础通用 2.基础软件 3.基础技术 1.分发传输 2.业务运营平台 2.感知交互 第六章产业应用 4.教育培训 6.安全应急 7.智慧城市 第七章扩展现实标准化体系 1.现有标准和在研计划 2.国际标准现状 3.标准体系规划 4.标准化工作规划 为贯彻落实《虚拟现实与行业应用融合发展行动计划（2022—2026年）》《元宇宙产业创新发展三年行动计划（2023-2025年）》等文件要求，系统化推进我国扩展现实（XR，含虚拟现实VR、增强现实AR、混合现实MR等）标准化工作开展，2024年5月13日，全国信标委计算机图以及全国信标委多媒体分委会（TC28/SC29）共同成立扩展现实（XR）标准工作组，开展XR领域标准体系研究和相关国际、国家、行业、团体标准制定。本报告主要参编单位有（排名不分先后）：中国电子技术标准化研究院、浙江商汤科技开发有限公司、中关村数智人工智能产业联盟、歌尔股份有限公司、歌尔光学科技有限公司、中国信息通信研究院、南昌虚拟现实研究院股份有限公司、中国虚拟现实技术与产业创新平台、北京理工大学、北京润尼尔科技股份有限公司、广州卓远虚拟现实科技股份有限公司、广州市虚拟现实行业协会、工业和信息化部电子第五研究所、咪咕文化科技有限公司、江西科骏实业有限公司、中国信通院江西研究院、厦门大学、青岛虚拟现实研究院、北京渲光科技有限公司、OPPO广东移01东）有限公司、北京创业科创科技中心、中电凯杰科技有限公司、北京猫眼视觉科技有限公司、北京耐德佳显示技术有限公司、浙江水晶光电科技股份有限公司本报告主要参编人有（排名不分先后）：潘榕、耿一丹、孙齐锋、董桂官、李婧欣、赵晓莺、曾洁琪、卫文港、朱博成、李亚健、姜翰青、贾昊、郑莹鑫、陈曦、于洋、王平平、杨春、陈曦、翟云、孙其民、倪名立、于文江、宋维涛、银德、孙建京、姜军毅、周刚毅，黄信焕、韦胜钰、张黎敏、毕蕾、张小磊、黄斌、张梦妮、胡开拓、郭诗辉、石祥仁、严小天、刘宁、方顺、崔铭、康峰、来航曼、董丙银、王亚忠、蒋金蒙、王炎、汤庆、付芦静、华晨、段家喜、王阳、陈近近、冯东洋本报告公开发布。转载、摘编或利用其它方式使用本研究报告文字或观点的，请注明：“来源：《扩展现实（XR）产业和标准化研究报告（2024版）》”。本报告将结合XR产业发展和国内国际标准化进展，依托XR标准工作组，持续更新。感谢关注！扩展现实（XR）标准工作组02扩展现实（ExtendedReality，简称XR）是从现实到虚拟的连续概念统称。XR以沉浸式图像处理和显示等核心技术为基础，在现实物理世界基础上，为用户开拓和提供一个数字化的虚拟世界，是支撑元宇宙概念愿景的三大核心技术之一（其余两项包括先进无线通信和区块链），为元宇宙提供了交互入口，以及虚拟人、物和场景构建。XR包括虚拟现实（VirtualReality，简称VR）、增强现实(AugmentedReality，简称AR)、混合现实（MixedReality，简称MR）等多种类型。其中，VR是通过计算机图形图像等技术创建的，可供用户完全沉浸体验虚拟世界的计算机仿真系统；AR是将现实世界中的实体通过模拟仿真处理将虚拟信息叠加在真实世界中加以应用；MR是VR和AR的进一步发展，通过在现实场景呈现虚拟场景信息，在现实、虚拟世界与用户之间搭起一个交互反馈的信息回路，增强用户体验真实感。此外，脑机接口可为用户提供一种可能的更具真实体验感的全新方式，是XR领域的探索性方向。作为新一代信息技术的重要前沿方向，XR是下一代通用性技术平台和元宇宙的关键入口，是数字经济的重大前瞻领域。XR集成了近眼显示、渲染计算、三维重建、传感测量、人工智能、脑机接口等多种前沿技术，产业链条长、技03术迭代快、融合创新多。加快研发XR专用芯片、新型显示、操作系统、3D引擎、人机交互等底层基础技术，提升XR终端产品供给质量，提高产品的舒适度、沉浸感、交互性与安全性，加大对XR内容生产工具开发的投入力度，加强针对行业共性需求解决普遍问题的标准化研究工作，有助于促进XR产业高质量发展。1.良好政策环境带来发展机遇世界各国政府加快布局，XR产业不断创新和发展。欧盟于2014年推出“地平线2020”计划，其中多个项目与XR技术高度相关；英国国防部在2017年提出《科学与技术战略》，明确将加快XR等技术利用；日本内阁会议发布《科学技术创新和战略2017》，强调将进行XR技术的研发；美国白宫在2022年发布《先进制造国家战略》，指出将XR等技术推广至更广泛的学生和教师群体。在国内，国家和地方省市政府高度重视XR产业，相关政策陆续出台。2016年3月，“十三五”规划明确指出要将虚拟现实产业作为我国经济发展的重要增长点；2018年，国家出台《关于加快推进虚拟现实产业发展的指导意见》，指明了XR产业的发展方向；2021年，在“十四五”规划纲要将虚拟现实和增强现实产业列为未来五年数字经济重点产业；2022年，工信部等五部门联合印发《虚拟现实与行业应用融04合发展行动计划(2022-2026年)》，分别从推进关键技术融合创新、提升全产业链条供给能力、加速多行业多场景应用落地、加强产业公共服务平台建设、构建融合应用标准体系等方面提出了5大重点任务，并在产业规模、出货量以及应用场景方面均给出了具体指引。2023年，工信部等五部门联合提出要强化人工智能、区块链、云计算、虚拟现实等新一代信息技术在元宇宙中的集成突破。此外，山东、上海、北京、重庆等也陆续出台了多项政策，旨在推动XR技术的创新和应用，促进XR产业发展，打造全新的数字经济生态体系。在国家政策的有力支持下，我国XR产业正蓬勃发展，生态体系不断完善，呈现良好发展态势。XR核心技术不断突破，与5G、人工智能等技术体系加速融合，带动一体机、头戴式、移动端各类产品百花齐放。XR融合应用不断深化，赋能产品研发、装配、维修等各个环节，广泛应用到智慧景区、文物修复、虚拟直播、展览展示等场景，深度融入杭州亚运会、数字火炬人、VR观赛等给观众带来震撼新奇的赛事体验，XR新场景、新模式、新业态层出不穷。目前XR产业链企业主要集中在北京、广东、上海等地区，其中广东为国内申请XR专利数量最多的省份，江西和青岛联合组建首个国家虚拟现实创新中心。与此同时，中西部地区加大对XR产业引导力度，2023世界VR产业大会、05第13届西部VR/AR技术展，相继在南昌、成都和重庆成功举办，通过产业大会及技术博览会，聚合XR资源，聚焦产业数字化和数字产业化方向，深入挖掘应用场景，统筹推进网络、算力、应用等基础设施建设，积极推进数字经济和实体经济融合，实现XR产业高质量发展。2.软硬件+内容构建XR产业生态XR产业包括硬件、软件、内容制作与分发、应用和服务等产业链条。硬件、软件和内容三者相辅相成为XR产业生态发展注入活力。硬件性能迭代优化，持续向轻薄超清化目标迈进。硬件按照功能划分可分为核心器件、终端设备和配套外设三部分。核心器件包括芯片、显示器件、传感器、通信模组等；终端设备包括具备手势识别、追踪定位和体感交互的各类整机设备；配套外设包括手柄、摄像头体感设备等视/触/力觉反馈装置等。硬件产品的迭代更新主要体现在以下核心部件上：芯片方面，苹果推出的VisionPro采用M2+R1芯片组合，算力水平相当于一台普通个人电脑。国内的PICO4Pro搭载7纳米制程的高通骁龙XR2芯片，能进行高效场景理解和三维重建。显示器件方面，京东方公司为VR/AR/MR智慧终端提供的显示解决方案包括高刷新率的Fast-LCD和超高分辨率、06超高对比度的硅基OLED等具有代表性的显示技术。光学器件方面，具有高透过率、大视场角等特点的Pancake透镜成为轻薄式XR设备的热门解决方案，国内的华为、创维及国外的Meta、苹果、谷歌等公司都在积极布局Pancake光学方案研发。感知交互器件方面，微软AR眼镜兼具语音识别和手势控制等多种交互方式，为用户提供更为便捷和智能化的体验。小米AR眼镜采用了高清摄像头和深度传感器，融合语音识别和智能推荐等功能，实现更为精准的手势控制以及虚拟场景的逼真呈现。开发软件及平台不断涌现，国内外创新热情高涨。开发软件方面，市场上核心3D开发引擎为Unity的U3D和EpicGames的UnrealEngine等。苹果、谷歌等推出了面向AR开发者的便捷化软件开发工具ARKit、ARCore。商汤、华为、亮亮视野、亮风台、容悦信息等国内头部XR企业也推出了XR内容开发引擎、系统和内容制作系列软件，部分产品已有大量开发者入驻。开发平台方面，Facebook发布了最新XR协作平台HorizonWorkrooms，该软件集成了AR透视、桌面识别、手势追踪、键盘识别、多任务模式和虚拟化身等功能，创造了虚拟办公环境。Pico为创作者提供了一站式的发布、管理和服务平台，涵盖了XR内容创作、应用检测获取、创作者激励等全方位服务。国内移动运营商也发布了结合5G的VR开发平台，通过云上图像渲染和内容制作，结07合边缘计算和AI技术，促进终端轻量化和移动化。内容涵盖视频直播、游戏、社交等多个领域，在短期内，游戏仍然是XR平台上的主流。2023年6月，苹果携手迪士尼开发头显内容，为用户带来了身临其境的体验，让用户能够随时随地畅游于魔幻乐园之中。Pico应用商店汇聚了超过400款引人入胜的XR应用，其中包括350款游戏内容，此外，该平台还提供了高质量的串流功能，使用户能够轻松访问原本只为个人电脑设计的优质XR内容。Steam平台作为当前拥有最多XR内容应用的平台之一，已经推出了超过7344款支持XR的内容应用，XR活跃用户更是突破了250万人。为了进一步推动创新和内容的多样性，Facebook推出了AppLab渠道，允许开发者提供实验性、小众和早期的内容，规避了OculusStore的限制。例如，《GorillaTag》这款内容在AppLab渠道中获得了相当数量的评价，接近甚至超越了OculusStore上备受瞩目的《BeatSaber》。爱奇艺的内容资源库独家定制了iOUT内容制式，其内容在分辨率以及码率等方面都超越了行业平均水平。与Pico相比，爱奇艺提供了更加丰富多彩的内容，为用户呈现出更为引人入胜的XR体验。硬件、软件与内容协同发展的飞轮效应已初步形成。硬件需满足软件不断增长的算力、网络等需求，为日渐丰富的08内容应用提供坚实高品质显示等保障，赋予内容更加生动、真实的呈现形式。软件对硬件发展提出高标准高要求，是硬件发挥作用的途径，软件和内容开发者协同打造适配硬件平台的应用和内容。作为最终呈现给用户的部分，丰富多样的内容会激发用户购买软硬件产品的愿望，推动软硬件销售的增长，促进XR消费市场的逐步扩大。三者协同发展为整个XR产业生态构建提供了源源不断的推动力，也使得国内XR市场的前景更加值得期待。3.产业体系3.1XR产业链初步形成XR产业生态体系按产业链环节划分，包括基础通用、内容生产、内容分发、内容呈现与交互、行业应用。基础通用环节主要涉及XR技术的研发和标准化工作，包括硬件和软件的基础技术研发，以及制定相关的技术标准和规范；内容生产环节涵盖了从场景设计、角色建模到交互设计等一系列内容制作过程；内容分发环节主要负责将制作好的XR内容进行发布和推广，通过各种渠道和平台将内容传递给用户；内容呈现与交互环节主要负责将XR内容以高质量的方式呈现给用户，并提供良好的交互体验，包括头戴式显示设备的设计和优化，以及交互方式的设计和实现；行业应用环节主09要将XR技术应用到具体的行业中，为各行业提供创新的解决方案，包括工业、游戏、教育、医疗、旅游等。目前，我国XR产业初步形成全产业链生态体系，核心技术加速迭代，近眼显示、影像捕捉、人机交互等关键技术不断进步，XR与5G、人工智能、超高清视频等技术加快融合创新，头戴式、一体机、移动端等各种形态的XR设备纷纷涌现。3.2XR产业市场初具规模5G商用加速到来，开启了XR产业发展的新一轮热潮，推动XR的应用范围从直播、游戏等消费娱乐领域，加速向工业、医疗、教育等垂直领域渗透，实现规模化发展。从硬件生产来看，中国是早期出现和流行XR的国家之一，积累了丰富的硬件生产经验，但XR头显产品销售仍呈现波动状态。据IDC统计，2023年，中国AR/VR头显出货72.5万台，同比2022年下滑39.8%，其中AR出货26.2万2023全年，AR出货占整体中国市场AR/VR出货的36.1%，创历史新高。从XR的应用场景看，除游戏、娱乐等大众熟知的应用场景外，XR已涉足医疗保健、教育、机械工程等新领域，行业渗透率不断提升。其中AR游戏的表现尤为引人注目，010根据MarketsandMarkets的预测，2025年AR在电子游戏应用领域所占份额将达到AR领域的28.1％。2021年，元宇宙概念席卷全球，元宇宙本质上是对现实世界的虚拟化、数字化过程，需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造，其中XR在现实物理世界基础上为用户开拓了一个数字化的虚拟世界空间，是元宇宙的核心。元宇宙的兴起导致XR行业投资数量明显增加。2022年中国XR行业投资数量154起，较2021年增加了55起；投资金额336.91亿元，较2021年增加了227.71亿元。截止到2023年6月中国XR行业投资数量65起，投资金额64.56亿元。3.3XR生态体系尚未完善国内XR产业链已较为完整，但整体来看自主产业生态体系尚未完善。XR重点领域龙头企业少，具有领先自主技术、国际市场竞争力产品的企业少，围绕领军企业的产业生态体系尚未形成。核心元器件和软件较为薄弱，对国外芯片、传感器的依赖程度较高，国产系统软件、开发工具产品有一定突破，但难以取代国外软件的市场地位。XR高端研发人才缺乏，相关政策法规和标准测试认证体系亟待完善。XR应用的推广度和深度有待加强，消费者对XR的认知认可程度不高。XR硬件市场规模偏小，XR内容缺乏变现渠道影响011了开发者的积极性，内容和终端互相促进的正向循环产业生态尚未形成。0121.关键器件1.1核心计算芯片早期XR产品多采用消费级移动芯片。随着对XR设备高度沉浸、高算力、多种交互等需求的显现，核心计算芯片由移动处理芯片向专用芯片发展。1.1.1主要技术特点核心计算芯片的技术特点主要包括：（1）高性能计算：XR设备芯片具有更强的空间计算能VPU、NPU等多个功能模块，以支持复杂的图形渲染、空间计算和人工智能等任务。（2）多线程处理：为了提高处理效率，芯片中的CPU处理器通常采用多核心设计。多核心处理器能够同时处理多个任务，提高XR产品的运行效率。（3）实时图形渲染：XR产品需要实时渲染图形，以保证用户视觉体验的流畅性。因此，芯片中的GPU模块具备实时渲染能力，能够在短时间内完成大量的图形渲染任务，并不断向更精细的图形渲染、更高效的通用计算和更智能的013AI运算方向发展。（4）多传感器信息融合：核心计算芯片能够处理来自多个传感器的数据，并实现有效的信息融合，以提供准确的空间定位和环境感知。（5）低功耗：XR产品通常需要长时间运行，因此核心计算芯片需要具备低功耗特性，以减少能源消耗和热量产生，提高XR产品的续航能力和稳定性。1.1.2主要功能模块核心计算芯片主要功能模块包括：CPU、GPU、ISP、负责处理大量的数据运算和逻辑处理，以实现流畅的虚拟现实体验。未来更高级别CPU架构可提供更加强大的AI能力和DSP能力，为XR应用算法实现提供良好支撑并为运算实时负载均衡提供可能。另外，为了XR内容生态开发提供便利，CPU需提供强大的生态和软件支持。负责图形渲染和处理，直接影响用户的视觉体验。GPU不仅可以用于图形图像渲染，还可用于运行分析、深度学习和机器学习算法。未来，GPU向着更多更精细的图形渲染能力、更多更高效的通用计算能力，更智能的AI运算能力方向迈进，以提供更强的图形处理和视频渲染能力，并提供光线追014踪等算法能力。大规模扩展计算能力的高性能计算、人工智能计算、更加逼真的图形展现方向将成为GPU未来发展的三个趋势。（3）ISP：图像信号处理(ImageSignalProcess，ISP）负责接收感光元件（Sensor）的原始信号数据，主要对前端图像传感器输出的图像信息做后期处理和计算，主要功能有色彩插值、自动白平衡、颜色较正、色彩空间转换、自动曝光控制等。未来ISP随着高像素采样和多摄的不断发展，将会提出更高的性能收益。是用于压缩和解压缩数字视频的专用电路。支持编解码多种视频格式和灵活稳定的码率控制。未来VPU将需要支持更（5）WCN：无线通信网络（WirelessCommunicationNetwork，WCN）主要负责无线通信功能，支持高速数据传输，可提供广泛的无线连接能力，能满足XR业务高频多连接并发，聚焦云网边端的协同渲染，也可辅助其他短距通信能力。（6）DSP：数据信号处理（DataSignalProcess，DSP）负责对信号（例如音频信号）进行数字化处理，可以用于处理图像、视频和音频信号，以提高质量、性能和效率。未来XR中DSP向更低功耗、更强计算能力方向演进。015负责图像的采集、处理和增强，管理显示输出，控制多个显示器的内容，实现多屏幕显示和高分辨率输出。未来要支持的支持。带宽的高要求也对视频压缩能力有需求，减少内存带宽占用，特别是与GPU的交互带宽。（8）NPU：神经网络处理单元（NeuralProcessorUnit，NPU）用于加速神经网络和深度学习算法，通过将神经网络的层次结构映射到硬件架构上，实现高效的计算。随着人工智能应用的不断扩展，NPU将更加注重针对特定应用场景的定制化设计，以提高计算效率和节能性能，适应不断增长的AI计算需求。1.1.3主流核心计算芯片目前主流的XR核心计算芯片主要有：（1）高通SnapdragonXR2+Gen2平台，支持每只眼睛4.3K显示分辨率和12个或更多并发摄像头，具备4K分辨率空间计算。（2）高通SnapdragonXR2Gen2平台，搭载设备端人工智能和低延迟视频透视功能，为XR体验提供更高水平的沉浸感。（3）高通SnapdragonAR1Gen1平台，专为智能眼镜设计，具有双ISP，可实现优质照片和视频捕获，并支持双016目显示器以实现免提通知和指示。（4）高通SnapdragonAR2Gen1平台，专为轻便、无线、舒适的AR眼镜设计，优化尺寸、功耗、性能，可支持Wi-Fi7，支持定位追踪、环境感知、平面检测等功能，采用4nm工艺制程，具有眼镜端分布式处理能力，其AR协处理器帮助摄像头聚合AI和计算机视觉，使得AR眼镜更轻薄。RK3588具备强大的视觉处理能力，可支持结构光、TOF等多种快速人脸解锁方案；支持丰富的显示接口，高达8K显TypeC/USB3.1等高速接口，可做AI算力、图像数据处理等扩展。虽然国产芯片不断探索，但与国外先进芯片仍存在较大差距，相关技术仍是未来需要持续探索和不断投入的方向。1.2传感器1.2.1陀螺仪陀螺仪又叫角速度传感器，是一种用于测量、控制物体在相对惯性空间中的角运动的惯检测性器件，基于角动量守恒的理论设计。在XR设备中，陀螺仪主要用于追踪头部或手持设备的运动方向，从而准确地渲染视图或精准定位追踪手持设备在空间中的精确位置和运动轨迹。其特点有：017（1）精度提升：现代陀螺仪具有极高的测量精度，能够捕捉到微小的设备动作，使得XR体验更加真实。（2）集成化：随着技术的发展，陀螺仪正变得越来越小，更容易集成到XR设备中。1.2.2加速度计加速度计用于测量设备的加速度，从而确定其速度和位置。在XR中，加速度计通常与其他传感器结合使用，以提供更准确的运动追踪。其特点有：（1）多轴测量：现代加速度计能够测量多个轴上的加速度，为XR设备提供更为详尽的运动数据。（2）噪声减少：随着技术的进步，加速度计的噪声水平正在不断降低，提高了数据的准确性。1.2.3磁力计磁力计用于测量地磁场强度和方向，主要用于确定设备的方向。其特点有：用户能够更为自然地在虚拟环境中移动。（2）校准和稳定：磁力计还可用于校准其他传感器并提供稳定性，确保XR体验的一致性和准确性。1.2.4光学传感器光学传感器利用光学原理进行测量，常被用于位置和方018向的精确检测。其特点有：捕捉设备上的特定光点或标记，能够精确地追踪设备的位置和方向。（2）外部追踪系统：一些高端XR设置还使用外部光学传感器系统，如基站或摄像头，以提供更大范围的运动追踪和更高的精确度。1.2.5眼动追踪传感器眼动追踪传感器主要涉及相机、光电传感器、超声换能器等。（1）相机：眼动追踪领域一般采用红外相机进行眼部如2mm*1.96mm*3.42mm）、采样率一般（30~380Hz）、功耗较高（大于48mW）；事件相机采样率较高（1000Hz）、功耗低、体积大。体积更小、功耗更低的红外相机，以及体积小的事件相机，将是其发展趋势。（2）光电传感器：基于光电传感器的眼动追踪方案，具有采样率高、功耗低、体积小的特点。其原理为：光电传感器捕获从发光器件（如发光二极管）发出再经人眼反射后的光信号，并最终转换成数字信号；控制器基于上述数字信号计算人眼视线方向，实现眼动追踪。目前的光电传感器一般体积较大，且未与发光器件制成一体。体积小、功耗低的019发光与感光一体器件将是光电传感器的发展趋势。（3）超声换能器：基于超声换能器的眼动追踪方案，具有抗强光、采样率高、功耗低的特点。其原理为：超声换能器阵列发射超声波，再接收经人眼反射回的超声波，依据发射与接收超声波信号的时间间隔实现测距，最后基于测距信息实现眼动追踪。目前，可用于眼动追踪的量产超声换能器阵列还比较少见。体积小、易集成的超声换能器阵列将是未来发展趋势。1.3显示屏1.3.1概述随着XR技术的飞速发展，3D显示屏作为XR产品的核心组件，对于提升用户体验和沉浸感起着至关重要的作用。XR显示屏涉及的主要性能指标有：（1）分辨率与刷新率：在XR产品中，3D显示屏的分辨率和刷新率是影响用户体验的关键因素。高分辨率能够提供更清晰、更细腻的图像，而高刷新率则能够减少图像拖影，提高动态画面的流畅性。目前，主流XR产品的3D显示屏已经实现了较高的分辨率和刷新率，如2K、4K甚至8K的超高清分辨率，以及90Hz、120Hz或更高的刷新率。（2）视角与视场角：视角和视场角是决定XR产品沉浸感的重要因素。视角指的是用户观看3D显示屏时的可视范020围，而视场角则是显示屏能够呈现的最大视角。更大的视角和视场角能够提供更宽广的视野，增强用户的沉浸感。目前，高端XR产品的3D显示屏已经能够实现接近人眼的视角和视场角。（3）串扰值：3D显示系统发出的左右眼图像信号，本该进入左眼的图像信号进入右眼，反之亦然。评估此种现象程度的参数值即为串扰值。串扰率的高低在画面上的直观反映就是播放两幅图像时，造成重影的深浅和影像的模糊。因此串扰值成为评价3D显示性能优劣的重要参数之一。目前，高端XR产品的3D显示屏串扰值能控制到1.8%以下，能够有更好的3D显示观看效果。业界在不断探索新的XR显示屏技术路线，目前主要涵盖AMOLED、Fast-LCD、MicroLED等显示屏产品。1.3.2AMOLED按照驱动方式的不同，OLED显示主要分为PMOLED和AMOLED两大类，AMOLED是当前OLED显示发展的主要方向。AMOLED使用有源驱动方式，可以针对每个像素进行精准控制驱动，最大程度地减少控制线路的数量，使其具备低能耗、自发光、响应速度快、色域覆盖广、轻薄等优良光电特性。韩国在AMOLED显示产业上布局较早，且超90%的工艺实现本土化，具有领先优势。我国虽经过多年的产业生态021建设，在发光材料、封装材料、喷墨打印设备等关键材料和设备领域实现了国产化，但前段制程设备的国产化率偏低，曝光机、蒸镀机、气相沉积设备等市场的国产化率低于5%。中国AMOLED产业对韩国供应链的依赖程度较高。随着良率提升，产能释放，以及手机品牌不断导入，国产AMOLED出货持续攀升。AMOLED工艺较复杂，对工艺的精细度和到电性指标的均一度有极高要求。此外，AMOLED性能需要进一步提升以满足多重应用需求。比如微小显示的超高分辨率，中大尺寸的亮度、寿命等，但这些性能提升受限于FMM物理限制带来的瓶颈。1.3.3Fast-LCDFast-LCD技术使用了全新铁电液晶材料和超速驱动技术，基于液晶分子的电光效应，通过在液晶层中施加电场以控制液晶分子取向，实现图像显示。Fast-LCD在保证高分辨率的同时突破了显示时延的瓶颈，综合显示性能比肩OLED，且因为成熟工艺带来的造价成本相对更低。目前，Fast-LCD凭借同时具备高清画质和高刷新率的优点，以及成熟工艺带来的高性价比，在XR设备领域稳居应用率首位。从2017年到2023年，不断有搭载Fast-LCD的头显新品问世，如PICO4、海信视像XR-V3、HTCViveXRElite、OculusQuest2、PicoNeo3和PANCAKE1等机型。022由于背光层存在，容易出现显示器漏光等问题。随着消费者对近眼显示需求不断升级，MiniLED背光Fast-LCD成为重要技术方向。Fast-LCD与MiniLED相结合，不仅可以很好地解决漏光难题，也能够进一步提升Fast-LCD在高对比度、高刷新率、高亮度等方面的性能，辅以HDR功能，将更好地发挥XR产品近眼超清细腻画质的要求。1.3.4MicroLEDMicroLED指在芯片上集成高密度微小尺寸的LED阵列，根据像素点间距（点距）大小，学术界和产业界分别将点距小于0.1mm和0.3mm的显示屏称为MicroLED显示产品，企业将点距小于0.9mm的大尺寸显示、点距小于0.2mm的微小尺寸显示均宣传为MicroLED产品。MicroLED产业呈现出创新研发热度高涨、市场发展潜力广阔等特征。为抓住MicroLED发展机遇，苹果、谷歌、三星、京东方、TCL华星、友达、LGDisplay等国内外科技巨头纷纷涌入MicroLED赛道，并催生了一系列应用。在小尺寸微显示领域，虽然我国起步相对较晚，但凭借在LED和OLED等相关领域的技术积累和产业基础，多家企业在MicroLED技术研发上取得了显著进展，如镭昱、Porotech、思坦科技、Kopin等纷纷发布MrcroLED微显示屏，雷鸟创新也发布了新一代双目全彩MicroLED光导波AR眼镜。023MicroLED技术发展处于商业化早期，现阶段仍有许多技术瓶颈亟待突破。如芯片制造环节，MicroLED芯片尺寸缩小导致周长面积比增大，刻蚀过程中产生的损伤以及芯片的表面复合区域所占的比例相应增加，阱宽、掺杂、离子注入层等外延结构均需要做较大的优化，同时为配合后续转移良率要求，芯片制备良率、均匀性、洁净度也要在传统工艺上进行较大改进；如巨量转移有印章转移、激光转移等多种技术，但尚未形成主流，加上高频高精度转移运动控制、热膨胀消除及温度补偿等难点尚未攻破，高准确性、高良率的巨量转移设备严重缺乏。MicroLED具有芯片微缩化、高亮度、高PPI、高色域、高刷新率、低功耗、无限拼接等优势，并在轻量化、节能等方面优于MiniLED，小尺寸微显示应用无疑是未来MicroLED产业重点发展的方向。苹果公司公开的专利显示，后续产品趋向于搭配柔性显示和感测功能，镎创、首尔半导体、JBD、镭昱、MICLEDI、Sundiode、思坦科技、赛富乐斯、Porotech等企业也陆续推出MicroLED微型显示器，MicroLED显示在小尺寸微显示领域逐步兴起。1.4光学器件1.4.1VR光学器件VR光学经历了非球面透镜、菲涅尔透镜和Pancake方024案三个阶段。非球面透镜是早期VR光学系统方案，但在显示的图像质量和光学放大系统总长度之间具有不可调和的矛盾，导致设备笨重头戴舒适度低；菲涅尔透镜以其低廉的成本和可控的成像质量成为当前大多数VR头显方案的选择；基于折叠光路原理的Pancake方案，以其轻巧、出色的成像质量和逐渐成熟的量产工艺，逐渐成为消费类VR光学产品的发展和演进方向。非球面透镜非球面透镜（AsphericLens）的特点是有一个随着透镜的中心而径向变化的曲率半径，能够更精确地同时操纵多个波长的光，从而获得更清晰的图像，特别是边缘图像质量。因此，可以使用更少的光学元件，如一个或两个非球面透镜来取代五个或六个球面透镜，实现相同或更高的光学效果，降低整个系统的设计成本。非球面透镜的生产制造工艺包括模压成型、精密抛光成型，混合成型、注塑成型等，目前VR头显使用的非球面透镜基本采用注塑成型工艺。歌尔股份、欧菲光、双莹光电、舜宇光学等均具有自主的设计和加工能力。早期VR盒子大部分使用非球面透镜，例如三星GearVR、以及暴风盒子以及当前千幻魔镜生产销售的VR盒子等，目前仅有爱奇艺奇遇Dream、PSVR等少数的VR头显使用了非球面透镜，其余大部分在售的VR头显则采用了菲涅尔透镜或Pancake光025菲涅尔透镜菲涅尔透镜将连续的表面切割成一段常曲率的非常精细的不连续表面，去掉直线传播部分，只保留折射面，节省了大量材料，同时达到相同的调焦效果。菲涅尔透镜又分为传统菲涅尔透镜和复合菲涅尔透镜，传统菲涅尔透镜由基面和菲涅尔面构成，菲涅尔面由上百条环带构成同心圆形状，基面则是光滑的表面；而复合菲涅尔透镜在基面采用了微小的结构，使光线更容易聚焦。菲涅尔透镜的制造涉及光学设计模拟、超精密制造技术、聚合物材料和精密成型技术，包括超精密数控机床技术、电铸模具工艺和注塑成型工艺等，其生产工艺类似于非球面透镜，但对精度和材料要求更高。目前，VR光学中使用的菲涅尔透镜大多采用注塑成型工艺生产，可以实现大规模量产，降低成本。市场上主流的VR代工厂商以及光学厂商，包括歌尔股份、舜宇光学、欧菲光、趣立科技、玉晶光电以及双莹光电等均能提供菲涅尔透镜方案。市场销量靠前的VR头显，例如Metaquest2、PICOneo3、NOLOsonic等均采用了菲涅尔透镜的方案。然而菲涅尔透镜同样存在重量较重、成像清晰度低等问题。Pancake方案Pancake光学方案又名折叠光路方案，压缩了VR光学026总长，使得VR眼镜厚度大幅降低，是当前VR头显轻量化的最佳选择。目前Pancake方案工艺成熟，成本可控，可以实现大规模的量产。Pancake光学的核心思路是压缩屏幕与透镜之间的距离，通过多片光学镜片让光路多次折返，扩大光路总长，使其可以达到合焦的同时扩大视场角，从而缩小整个光学模组总长。目前非球面透镜和菲涅尔透镜的系统总长约为40-50mm，Pancake光学方案系统总长基本为18-25mm左右；Pancake光学方案中，通过透镜组合，可以提高透镜边缘成像质量，降低图像畸变，提高成像的对比度、清晰度、细腻度。Pancake光学模组生产主要包括光学设计、透镜加工、透镜贴膜、组装、检验和封装等流程。生产技术难度主要集中在膜材料质量、贴膜工艺和组装调整三方面。相比传统非球面透镜和菲涅尔透镜，Pancake模组功能优势在于光路折叠。光学膜在成像中起到了至关重要的作用，膜材料质量和贴膜工艺是技术核心，反射偏振片和1/4相位延迟片准确性与稳定性对于Pancake光学成像质量构成关键影响。目前高端光学膜材只有日本企业可以提供。1.4.2AR光学器件AR光学面向不同需求，衍生了两个主要发展方向：一是显示质量优先，比如Birdbath方案、自由曲面等；二是可穿戴轻薄优先，比如光波导方案等。027Birdbath方案Birdbath结合了两个主要的光学组件，一个球面镜/组合器（半透半反）和一个分束器。Birdbath将来自OLED的光投射到分束器中，分束器与OLED光源平面保持45度角。分束器具有反射（Br）和透射（Bt）特性，允许将光部分反射为Br的百分比，分束器返回的光通过凹面镜重定向到眼睛。当前C端市场的AR终端主要使用Birdbath光学方案，比如华为、OPPO、Xreal、Rokid等厂家先后发布了基于Birdbath光学的C端产品。自由曲面是一种有别于球面或者非球面的复杂非常规面形，即用来描述镜头表面面形的数学表达式相对比较复杂，往往不具有旋转对称性。显示器发出的光线直接射至凹面镜/合成器，并且反射回眼内。显示源的理想位置居中，并与镜面平行。从技术上讲，理想位置是令显示源覆盖用户的眼睛，所以大多数设计都将显示器移至“轴外”，设置在额头上方。凹面镜上的离轴显示器存在畸变，需要在软件/显示器端进行修正。自由曲面作为近年来光学设计领域的研究热点技术，为光学系统的设计提供了更大的自由度，同时也为系统设计带来更加灵活的结构形式，使光学性能显著提高。当前市面上采用自由曲面方案的AR智能眼镜无论在沉028浸感、成像质量方面都比其它光学方案更具优势。然而，此方案也有着厚度和重量仍高于普通眼镜的劣势，虽然它的成像色彩饱和，但是也容易导致局部畸变。光波导方案更薄、更大视场角、全彩显示等做光学探索，技术呈现百家争鸣之态势。首先，光波导兼顾显示和可穿戴性的综合考量，有轻薄、高透过率等先天优势，主要分几何光波导和衍射光波导；衍射光波导又分为表面浮雕光栅波导和全息体光栅光（1）几何光波导（又称阵列光波导）：通过镜面反射原理传导光信号，在人眼前方通过半透半反射膜阵列将光线导出波导镜片。几何光波导原理简单，已经具备产业化落地的能力，但是制备工艺复杂、良率低、成本高等问题限制了市场推广。这是由于几何光波导核心光学元件半透半反射膜阵列的制备涉及玻璃的镀膜、贴合、切割、抛光等多道工序，每层膜的光透过率必须满足特定的数值，否则将影响波导的成像效果。代表光学公司是以色列的Lumus，但由于制造工艺繁冗，良率很低，市场上还未出现消费级的量产眼镜产品，国内一些光学厂家（灵犀微光、珑璟光电等）正在探索二维扩瞳阵列光波导的产品方案。（2）表面浮雕光栅波导：通过光的衍射光学原理实现029光线在波导中导入和导出，其核心光学元件是表面浮雕光栅。表面浮雕光栅的制备能够直接采用成熟的芯片制造工艺，涉及光刻、清洗、干燥、模压转印等多道工序。表面浮雕光栅波导方案相对成熟，已被很多产品商用，例如微软的Hololens2和MagicLeap2。表面浮雕光栅波导虽然工艺成熟但也很复杂，且表面浮雕光栅存在多级衍射，不仅光栅的衍射效率不高，还导致AR显示时的杂散光较为明显。（3）全息体光栅光波导：以全息体光栅作为核心光学元件，满足布拉格条件时，只有零级光和一级衍射光，衍射效率可高达100%，光能利用率显著提高。同时，全息体光栅的制备仅需全息干涉曝光即可一步成型，工艺简单，成本低廉。但是，全息体光栅光波导技术的不足之处在于全息材料较为缺乏。制备全息体光栅的主流材料是全息高分子材料，国外研究机构和企业通常直接采用德国科思创的Bayfol系列全息材料，但这种材料对国内禁运。此外，全息体光栅光日本Sony、韩国Samsung以及中国华为等国内外著名企业均积极布局全息体光栅光波导技术，推动全息体光栅光波导技术发展和产业化应用。1.5通信模块1.5.1概述030XR系统由终端、内容生成系统、应用平台和网络传输系统组成，需要高速、低延迟、高带宽的无线网络传输技术来保证高交互性和实时性。目前XR终端设备大多配备Wi-Fi和蓝牙模块用于网络如5G网络的覆盖范围和建设进度、XR终端设备成本、电池续航能力和性能、XR应用的内容和体验等方面，需要在技术、产业、政策等多方面进行协同创新和推进。5G网络的高速、低延迟、高带宽等特点，为XR技术的发展提供了有力的支撑，XR技术将在5G及未来6G网络中得到更广泛的应用，如XR游戏、XR电影、XR教育、XR医疗等领域。1.5.2蜂窝通信5G/6G3GPP作为5G标准制定组织，从5G的第一个版本就启动了XR相关的标准化工作。R15和R16引入了低时延和高可靠传输，以及终端节能特性；R17开展了XR业务特征以及XR应用在系统容量、功耗等方面的研究，定义了触觉及多模态的需求；R18对XR业务特征识别、终端节能和网络容量增强技术进行了标准化，引入对视频的调度增强、延迟控制等技术；2024年2月展开R19标准化工作，预计R19将对多业务协同等进行标准化，并实现对视频调度的持续增强和加密流识别。未来，6G系统能够原生支持沉浸式XR，031并引入触觉、全息等新业务。更多沉浸式业务的出现，对数据率、时延、可靠性以及多业务协同传输等方面都带来更大的挑战，是未来的重点研究方向。1.5.3Wi-Fi技术（5.925GHz~7.125GHz）频段，同时支持2.4GHz、5GHz和6GHz。在新频段上可以有效避免老旧设备的干扰，从而提升相应的网络性能，其中6GHz频段的Wi-Fi将提供可达相对于Wi-Fi6的20ms延时性能将显著提高XR使用体验，支持高吞吐量、低延迟的XR应用场景。即便Wi-Fi7可以支持16个空间流，但由于头显上的天6，具有相同配置时最大吞吐量提高了2.4倍。如果使用两个空间流且没有多用户检测（MLDWi-Fi7和Wi-Fi6的吞吐量分别为4.6Gbps和1.92Gbps。一个双天线的Wi-Fi6AP可服务7个4K头戴设备或者1个8K头戴设备，Wi-Fi7可服务17个4K头戴设备或者4个8K头戴设备。1.5.4蓝牙技术蓝牙技术可对XR设备的耳机和控制器提供可靠、低延迟及低功率的无线连接。XR设备可以通过蓝牙与其他设备032进行交互，以及实现设备间数据传输、位置追踪及定位、连接耳机/音响播放音频等功能，增强XR的交互性及沉浸感。蓝牙技术联盟于2016年推出蓝牙5.0，较之前的蓝牙协议在物理层上引入了2倍速率增加、4倍范围增加和8倍广播数据容量增加的技术改进。并增加了低能耗广播和连接模式，以及新的2Mbps的高速数据传输模式。蓝牙5.1引入了方向性信号功能，可精确定位设备的方向。支持高精度定位服务，能实现厘米级别的定位精度，并提高了蓝牙低功耗连接的速度、稳定性和范围。蓝牙5.2传输速率42Mbps，理论传输距离300米，增加了增强型ATT协议，LE功耗控制和LE同步信道等功能。蓝牙5.3解决了低速率传输问题，增加加密控制，并增强周期性广播功能。2023年2月，蓝牙技术联盟发布最新的蓝牙5.4，主要改进之一是与来自单个接入点的数千个终端节点进行双向通信。1.6相关标准化情况国际电子显示标准化技术委员会（IECTC110）主要负责电子显示设备及相关组件领域的标准化工作。针对全球正在兴起的虚拟显示产业，IECTC110于2015年正式成立了“眼戴显示（EyewearDisplay)”标准工作组（WG12)，开始研制眼戴显示IEC63145系列标准（标准清单见表1）。该系列标准主要内容包括对虚拟现实（VR）眼镜和增强现实033（AR）眼镜等眼戴式显示设备的光学性能评测条件、测试设备和测量方法进行规定。国内对口单位中国电子显示器件标准化技术委员会（SACTC547）对部分标准进行了采标。该系列标准为终端整机测试提供了重要参考和依据。互式显示器光学测量方法、AR眼镜显示的光学元件、柔性显示、OLED等方面的标准研制。034表1IEC63145系列标准清单序号标准状态标准号标准名称（英文）标准名称（中文）主要内容1IECTR63145-1-1:2018Eyeweardisplay-Part1-1:Genericintroduction眼戴显示第1-1部分：通则IECTR63145-1-1:2018(E)是一份技术报告，提供了眼戴显示标准化的一般信息。本文档包括技术概述、关键性能特征、光学测量问题和其他信息。2IEC63145-1-2:2022Eyeweardisplay-Part1-2:Generic-Terminology眼戴显示第1-2部分：通则-术语本文件提供了用于增强现实、虚拟现实、混合现实以及这些显示器上的图像或视频渲染的眼戴显示领域的术语。3IEC63145-10:2023Eyeweardisplay-Part10:Specifications眼戴显示第10部分：规范IEC63145-10:2023建立了眼戴显示的规范和要求。本文档适用于使用虚拟图像光学器件的虚拟现实(VR)类型(不透明)和增强现实(AR)类型(透明)眼戴显示。医学镜片的规格和要求超出了本文档的范围。4IEC63145-20-10:2019（该标准目前在修订中）Eyeweardisplay-Part20-10:Fundamentalmeasurementmethods-Opticalproperties眼戴显示第20-10部分：基本测试方法光学特性IEC63145-20-10:2019(E)规定了确定眼戴显示光学性能的标准测量条件和测量方法。本文档适用于使用虚拟图像光学器件的非透明类型(虚拟现实“VR”护目镜)和透明类型(增强现实“AR”眼镜)眼镜显示器。隐形眼镜类型的显示器和视网膜直接投影显示器不在本文档的范围内。序号标准状态标准号标准名称（英文）标准名称（中文）主要内容5IEC63145-20-20:2019Eyeweardisplay-Part20-20:Fundamentalmeasurementmethods-Imagequality眼戴显示第20-20部分：基本测试方法图像质量IEC63145-20-20:2019(E)规定了确定眼戴显示图像质量的标准测量条件和测量方法。本文档适用于使用虚拟图像光学器件的非透明类型(虚拟现实“VR”护目镜)和透明类型(增强现实“AR”眼镜)眼镜显示器。隐形眼镜类型显示器和视网膜直接投影显示器不在本文档的范围内。6IEC63145-21-20:2022Eyeweardisplay-Part21-20:SpecificmeasurementmethodsforVRimagequality-Screendooreffect眼戴显示第21-20部分：VR图像质量特殊测试方法纱门效应IEC63145-21-20:2222(E)规定了确定纱门效应(SDE)的标准测量条件和测量方法，这是虚拟现实(VR)类型的眼镜显示器的图像质量方面之一。7IEC63145-22-10:2020Eyeweardisplay-Part22-10:SpecificmeasurementmethodsforARtype-Opticalproperties眼戴显示第22-10部分：AR特殊测试方法光学特性IEC63145-22-20:2020(E)规定了用于确定增强现实 (AR)眼镜显示器的透明光学特性和成像质量的标准测量条件和测量方法。这包括眼镜显示器的传输特性和环境光学性能。隐形眼镜类型的显示器不在本文档的讨论范围之内。8IEC63145-22-20:2024Eyeweardisplay-Part22-20:SpecificmeasurementmethodsforARtype-Imagequality眼戴显示第22-10部分：AR特殊测试方法图像质量IEC63145-22-20:2024规定了确定增强现实(AR)型眼镜显示器图像质量的标准测量条件和测量方法。本文档适用于使用虚拟图像光学的透视式(AR眼镜)眼镜显示器。透明显示器(VR眼镜)、隐形眼镜显示器和视序号标准状态标准号标准名称（英文）标准名称（中文）主要内容网膜直接投影显示器不在本文档的讨论范围之内。9在研IEC63145-30ED1Eyeweardisplay-Part30:Durabilitytestmethods试验方法—在研IECTR63145-40-20ED1Eyeweardisplay-Part40-20:3Dsensing眼戴显示第40-20部分：三维传感—在研IEC63145-201-10ED1Eyeweardisplay-Part201-10:MeasurementmethodsforVRtype-Opticalpropertiesofasingletlensusedforeyepieces测量方法目镜用单线透镜光学特性—在研IECTR63145-202-40ED1Eyeweardisplay-Part202-40:GeneralinformationofARtype-Frontalstraylights眼戴显示第202-40部：AR型通则正面散射光—待立项PNW110-1650ED1Eyeweardisplay-Part50:Userinteraction互2.基础软件2.1开发引擎2.1.1概述开发引擎是一套完整的开发工具，用于创建和呈现2D/3D图形和场景，为开发者提供了创建XR应用程序所需的工具和功能。开发引擎作为一种支持性工具，定义了虚拟世界中的基础规则和呈现方式，通过提供用于2D或3D图形的渲染引擎、物理引擎或碰撞检测、声音、脚本、动画、用户界面开发、网络功能、音频支持等功能，帮助开发者创建和开发在虚拟环境下的游戏、模拟环境和其他互动应用，并通过计算机屏幕或其他设备呈现给用户。开发引擎起到的作用主要有：（1）图形渲染：引擎提供高级的图形渲染功能，能够创建逼真的3D环境和角色。这对于XR体验至关重要，因为它需要高度逼真的视觉表现来增强用户的沉浸感。（2）物理和交互模拟：开发引擎包含物理引擎，可以模拟现实世界的物理规律，如重力、碰撞和材料特性；这些功能使得虚拟世界中的对象能够以真实的方式互动和反应。（3）音频处理：引擎提供音频处理工具，用于创建空间音效，这在XR中非常重要，因为它增强了空间感知和沉输入/输出集成：集成了对各种输入设备（如XR头盔、手柄、运动传感器）的支持，使开发者能够设计交互式体性能优化：由于XR应用需要高帧率和低延迟来保证舒适的用户体验，开发引擎提供了性能优化工具，以确保应用运行平稳。多平台支持：许多现代开发引擎能够支持跨平台开发，这意味着开发者可以为多种类型的XR设备创建应用，无论是PC驱动的高端头盔还是移动XR设备。内容创建和数字资产管理工具：引擎提供了一系列的内容创建和管理工具，使开发者可以轻松地设计、测试和修改虚拟环境和元素。随着虚拟世界开发人员的不断增多以及虚拟世界产业的不断壮大，平台化引擎成为主流。平台化引擎的出现很大程度上降低了开发门槛，使更多中小创作者有能力来进行高逼真度或者是更加宏大的虚拟世界的创作，促进了UGC的发展，其中最为主流的开发引擎包括Unity、Unreal，国内开发引擎则以CocosCreator、Lumverse3D引擎为代表。2.1.2主流开发引擎Unity由UnityTechnologies开发，是一个跨平台开发引擎，适用于创建三维视频游戏、建筑可视化、实时三维动画等互动内容。Unity编辑器及引擎可在在不同种类OS中运行，目前支持超过19个不同平台，包括移动平台、桌面平台、网络平台、主机平台、XR平台等多种类型。对于XR而言，Unity是一个跨平台工具，用于创建与多个平台兼容的XR内容，包括PC、主机、移动设备和Web端。具体功能方面，Unity目前可提供的功能包括用于VR空间音效（SpatialAudio）、粒子系统、AR基础套件（ARFoundation）以及混合和增强现实工作室（MARS）等。其中，UnityMARS是可视化增强现实（AR）开发工具包。它的主要目标是让开发人员可以更简单地创建AR应用程序和增强现实体验。UnityMARS采用了场景书写、节点布局和AR数据等抽象概念，大大简化了AR的开发流程。UnrealEngineUnrealEngine（虚幻引擎）由知名游戏公司EpicGames开发，适用于诸多行业，如游戏、电影、建筑、汽车和交通、广播以及VR/AR模拟等。UnrealEngine同样可在多OS及多平台下运行。2022年，UnrealEngine5.0（UE5）正式发布，针对OpenXR进行了大量修复与优化改进，让XR开发更具扩展性与高效性。它还针对VR模板进行了更新，包括对抓取系统（GrabSystem）的改进，支持组件抓取和放置，VRSpectator可以使用游戏手柄进行控制等。虚幻引擎5中最为重磅的两项渲染技术Lumen及Nanite增加了对VR的初步支持。截至目前，通过虚幻引擎制作的知名VR游戏代表包《行尸走肉：圣徒与罪人第二章》《Moss:BookII》等。CocosCreatorCocosCreator是一款高效、轻量、免费开源的跨平台2D&3D图形引擎，同时也是一个实时2D&3D数字内容创作平台，拥有高性能、低功耗、流式加载、跨平台等诸多优点，开发者可以用它来创作游戏、车机、XR、元宇宙等领域的项目。2022年9月，Cocos宣布正式布局XR，官宣CocosCreatorXR。CocosCreatorXR是基于CocosCreator和CocosEngine打造的一款XR内容创作工具。底层通过支持OpenXR标准协议来抹平不同XR设备之间的差异；中层封装了一系列不同功能的XR中间件来提供XR内容创作支持；上层基于CocosCreator面板扩展出多种形式的XR功能菜单和组件样式。Lumverse3D年通过工信安全信创检测认证，各项功能在包括龙芯、兆芯、统信操作系统在内的多个纯国产软硬件平台上完美兼容运行，且在软件性能、可靠性、稳定性等方面表现突出。可为3D产业的内容创作提供便捷的创作工具、高效的技术实现以及不同行业的应用解决方案。目前已完成了多平台的适配工作，支持包含移动端、PC端，以及新兴的XR设备。开发者可通过一套工具实现在不同操作系统和硬件平台发布3D应用。2.1.3技术特性对于XR应用，现阶段成熟开发引擎普遍需要满足6DoF交互需求，在图形渲染、物理模拟、交互设计等方面全方位模拟人类感觉带来沉浸式交互体验。主要特征包括：高性能的实时3D渲染VR体验依赖于高质量的3D图像渲染，这要求开发引擎能够提供高效率、高性能的实时渲染能力。VR环境对帧率（FPS）非常敏感，低帧率会导致不逼真的体验甚至晕动症，因此需要优化以保持稳定的高帧率。开发者可通过优化渲染流程和引入异步时空变形（AsynchronousTimeWarp）技术来减少晕动症的风险，该技术通过预测头部运动并相应地调整图像，以减少延迟并保持流畅的帧率。沉浸式的立体声和空间音频处理沉浸式的立体声和空间音频处理技术使声音能够在三维空间中定位，从而增强用户的沉浸感。当声音能够根据用户在虚拟环境中的位置和方向改变时，不仅能提供更丰富的感官体验，而且还可以增强用户对虚拟世界的认知和交互。例如，Valve为其SteamVRSDK平台开发的SteamAudio利用物理学原理来模拟声音如何在复杂的环境中传播和反射，提高了声音的真实感和方向感，为用户提供更自然和沉浸式的音频体验。更为真实的物理和环境互动模拟在XR中实现更为真实的物理和环境互动模拟是提高用户沉浸感的关键。这涉及到精确的碰撞检测、物体动力学模拟以及逼真的物理反馈，使得用户在VR环境中的体验尽可能地接近现实。例如Unity引擎的高效物理模拟确保了VR音乐游戏《BeatSaber》中光剑和方块的碰撞感觉真实，并且响应迅速。精确的碰撞检测和及时的反馈使得玩家的每一次挥剑都感觉富有力量和真实，极大地增强了游戏体验。低延迟的头部追踪和手势识别开发引擎需要支持头部追踪技术，以确保图像随用户头部移动而适时调整，提供流畅的视觉体验；手势识别和运动追踪对于创建交互式XR体验也至关重要。高延迟会导致用户体验不适，开发引擎需要特别注意对延迟的优化。例如OculusRiftS和Quest采用了“Inside-Out”追踪技术，无需外部传感器即可追踪头部和手部的位置。通过这种技术，Oculus设备能够以极低的延迟实时追踪用户的头部和手部运动，从而提供流畅和连贯的VR体验。不同于单一界面的交互设计工具XR中的用户界面（UI）和交互设计与基于传统屏幕的应用有很大不同，需要专门的工具和技术来设计和实现这些交互。例如TiltBrush（使用Unity引擎）是一款XR绘画应用，允许用户在三维空间中绘制。用户通过XR控制器作为画笔，在空间中进行绘画。UI元素如颜色选取、工具栏等被巧妙地整合到XR环境中。这种设计使用户能够以一种非常直观和自然的方式进行创作，展示了XR中UI和交互设计的潜力。2.2操作系统操作系统（OperatingSystem，简称OS）是管理XR硬件与软件资源的计算机程序。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入设备与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。相比于计算机、手机等设备，XR设备作为一个独立使用的复杂电子产品，对操作系统的要求更高，需要提升图像处理能力，增加交互模块，另外XR显示的内容是动态的，要实时渲染、要时延非常低，这些都需要对操作系统做深度定制。当前，主流XR设备的操作系统由安卓主导。当前市场中的XR一体机的操作系统大多基于安卓系统底层进行优化和定制，分体式XR设备则依靠主机的操作系统。除了安卓之外，部分XR设备使用Windows操作系统。华为分体式VRGlass则是基于其自主研发的鸿蒙OS。2023年6月，苹果发布了其第一款空间计算设备AppleVisionPro，其上运行的正是苹果最新操作系统——VisionOS，苹果称其为“第一个为空间计算而设计的操作系统”。HorizonOS，允许其他公司基于其生态系统设计更多头显设备。HorizonOS是Meta公司围绕其元宇宙愿景所开发的专用操作系统平台，旨在支持元宇宙中的各种体验和应用程序。MetaHorizonOS的主要特点包括1）跨设备支持：可在Meta的XR头戴设备以及其他相关硬件上运行2）Metaverse整合：与Meta的Horizon平台深度集成，支持元宇宙中的沉浸式环境和社交应用；（3）优化性能：专为XR设备优化，提供低延迟和高效的性能表现4）新的交互方式：支持手势控制、眼球追踪等新型人机交互技术；（5）开发者生态：提供工具和API，让开发者可以构建面向元宇宙的XR应用程序。2.3开发平台2.3.1VR开发平台VR开发平台集成了VR开发环境和资源，为VR类APP开发者和内容创作者提供全面的开发工具，方便开发者获取、共享资源并可在不同VR设备上进行适配测试。目前国内外包括Valve、Oculus、Google、百度等都推出了发平台。OculusVRSDKOculusVRSDK支持OculusRift和Quest头戴式显示器，并提供高性能和逼真的图形。OculusVRSDK的主要功能包括1）头部和眼球追踪：使用摄像头和传感器来跟踪用户的头部和眼球位置，使用户能够在虚拟世界中进行自然的导航和操作；（2）手部追踪：支持手部追踪，使用户能够使用手势与虚拟世界进行交互3）空间音频：使用空间音频技术，让用户能够在虚拟世界中听到声音来自不同的方向4）渲染：提供一套强大的渲染API，可帮助开发人员创建逼真的图形效果。HTCViveSDKHTCViveSDK支持HTCVive头戴式显示器，其主要功能包括1）头显控制：提供API来控制头显的显示、位置和方向，实现头部跟踪、视角转换和场景旋转等各种VR交互2）手柄控制：提供API来控制手柄的输入和状态，实现手势识别、按键操作和触控操作等各种VR操作3）传感器数据：获取头显和手柄的传感器数据，例如位置、方向、速度和加速度，实现运动模拟、物理交互和环境感知等各种VR效果；（4）图形渲染：提供图形渲染API来渲染VR场景，支持DirectX11、DirectX12、OpenGL和Vulkan等多种图形API。（5）音频处理：提供音频处理API来处输入处理：HTCViveSDK提供了输入处理API，开发者可以使用这些API来处理VR输入。HTCViveSDK支持多种输入设备，包括键盘、鼠标、手柄和触控设备。SteamVRSDKSteamVRSDK是由Valve发布的基于OpenVR标准的虚拟现实平台。OpenVR是一个开放的API，允许开发人员为任何兼容的VR头显构建VR应用程序。SteamVRSDK支持多种VR头显，包括HTCVive、ValveIndex、OculusRift和Quest，还支持许多VR游戏和应用程序。其主要功能也包括头显控制、手柄控制、传感器数据获取、图形渲染、音频处理、输入处理等。PlayStationVRSDKPlayStationVRSDK是索尼为开发PlayStationVR游戏和应用程序而提供的软件集合，包含一系列API、工具和资源，帮助开发者访问PlayStationVR硬件和软件的功能，从而开发出高质量的VR体验。其主要功能包括1）提供访问PlayStationVR硬件和软件功能的接口，包括图形、声音、输入、追踪等方面的API2）提供调试工具，帮助开发者发现和解决游戏中的错误，包括断点、调试器、内存分析器等3）提供资源工具，辅助创建和管理游戏中的图形、声音和其他资源，包括图像编辑器、声音编辑器等4）提供测试工具，确保游戏质量，包括自动化测试和手动测试工具。DLT多维度精益孪生平台DLT是鸣启数字发布的VR开发创作平台，提供项目交付和一套覆盖全流程的工具链和资源库，以“拖、拉、拽”操作实现从模型场景、数据结构、精益计算、效果设置到数据对接全流程“0代码”配置交付，并将精益管理理念贯穿企业数字化转型全流程，解决VR制作“技术门槛高、交付周期长、使用效果差”的三大痛点问题，实现VR低门槛的创作场景及数字孪生项目零代码开发交付。该平台包含362万行基础代码，3000余个三维模型，8700条节点逻辑优化，56项精益算法内嵌，涉及20多个行业领域。2.3.2AR开发平台伴随着智能手机的大规模普及，苹果公司推出的ARKit和Google公司推出的ARCore增强现实软件平台分别支持iOS和Android操作系统，使得用户可以便地在手机等移动设备上开发增强现实应用，其它流行的平台还有Vuforia等。我国的商汤科技、华为等企业也推出了增强现实软件开发平台SenseMARS和Cyberverse（河图降低了AR应用开发门槛。ARKitARKit是苹果公司在2017年推出的增强现实开发框架，负责为iOS设备构建增强现实应用程序和游戏。它通过在设备的摄像头中捕捉和分析环境，将虚拟元素与现实场景结合起来，并显示在设备屏幕上。它支持光线估计、面部跟踪、虚拟物理效果和用户触摸交互等功能，并为开发人员提供了一组API，可帮助他们创建AR应用程序。ARKit整合了设备运动跟踪、摄像头图像采集、图像视觉处理、场景渲染等技术，通过移动设备单目摄像头采集的图像信息，实现了平面检测识别、场景几何、环境光估计、环境光反射、图像识别、3D物体识别、人脸检测、人体动作捕捉等高级功能，并为开发者提供了简单易用的API，大大降低了AR应用开发难度。ARCoreARCore是Google针对移动设备的增强现实体验构建平台，通过运动跟踪、环境理解、光估测三个主要功能将虚拟内容与通过移动设备摄像头看到的现实世界集成。借助运动跟踪功能，移动设备可以了解和跟踪自己相对于现实世界的位置；借助环境理解功能，移动设备可以检测各类表面的大小和位置；借助光估测功能，移动设备可以估算环境的当前光照条件。ARCore作为用于开发AR应用的SDK，为所有可以帮助开发者利用现有的Android设备构建增强现实应用程序。VuforiaVuforia是一个跨平台的增强现实和混合现实应用程序开发平台，可在各种硬件上运行，包括移动设备、平板电脑和混合现实头显。它使用计算机视觉技术来识别和跟踪现实世界中的对象、形状和环境。提供功能包括1）标记识别：可以识别预先印刷的或数字生成的二维或三维标记2）对象跟踪：可以跟踪现实世界中移动或旋转的物体；（3）环境理解：可以理解现实世界中的环境，并使用该信息来创建更身临其境的AR体验4）支持各类应用开发：创建逼真的AR游戏和娱乐体验；创建交互式AR教育和培训应用程序；创建AR辅助工具。商汤SenseMARS2020年，商汤科