全真互联-3d在场2023-腾讯研究院-202310

腾讯多媒体实验室腾讯研究院×腾讯多媒体实验室联合发布沉浸交互、实时孪生是能够体现全真互联的一些关键词。而信息维度的全面升级，3D化的呈现带来更为真实、生动的沉浸式体验和交互，更“真”地进行人与人、人与物、人与空间的连接。腾讯在这里的优势在于音视频能力，游戏科技赋能产业的能力，云数这其中，有很多数实结合的机会，在每个行业都会产生不同的思考。对于产业或企业来说，最重要的好处是促进更高效的产业协作，达成更优质的用户体验。从腾讯研究院的研究中可以发现全真互联已经在金融、文旅、营销等行业做出快速探索。这得益于产业底层技术、应用平台这份报告经由深入的行业调研，展现了产、学、研领域专家的见解，对技术发展趋势、应用落地方向都提出了前腾讯集团高级执行副总裁、腾讯云与智慧产业事业群总裁汤道生2023年10月全真互联，作为下一代互联网的核心发展趋势，正引领信息载体从传统图文形式向3D立体式呈现现实世界的转变。这一变革不仅体现在单向呈现，更具备双向互动的能力，让人们通过虚拟空间操作和影响真实世界，进而实现现实世界与数字世界的无缝融合。全真互联有望提升生产效率、降低成本、优我们和腾讯多媒体实验室从技术层面探索全真互联的趋势："全真"象征着信息维度的全面升级，实现对真实世界全面感知、连合与数实融合创新模式，而3D呈现形式构成全真互联中沉浸式体验的关键组成部分。以音视频领域为例，观众对视听体验的需求已超越高清或超高清二维视频，追求通过信息维度的提升获得更具沉浸感的体验。从普通高清视频的2自由度(xy轴)发展到VR全景视频的3自由度(xyz轴),如今正逐步迈向6自由度。在xyz三个坐标轴的平行运动基础上，增加三个自由旋转光场，以及压缩、处理、数据传输等方面，腾讯正持续进行探索。又比如，利用游戏科技赋能数字城市或数字工厂，不仅涉及某些单一技术的演进，更包括整体理念改变和统一规范。通过不断的创新和技术突技术上的“升维”对用户有什么影响?带着这样的问题，我们和腾讯用户研究团队对3D用户进行了调研，通过调研的数据分析，我们发现超过半数的被调研用户体验过3D内容，说明其拥有较好的用户基础。在用户场景方面，3D内容渗透至生活与办公的多场景，2C和2B2C是主流：其中2B2C以文旅体验、线上旅游、营销活动和学习/培训为典型场景。说明全真互联在行业中是先行的，比如在文旅场景中，可以通过沉浸式体验、虚拟化分技术应用的终极价值是“服务于人”。伴随着全真互联的到来，产业应用还将具有哪些可能性，技术路线会产生哪些变化?腾讯研究院、腾讯多媒体实验室联合腾讯多个部门，以及20多位行业专家，从用户研究、技术体系、行业应用等多方面进行研究分析，形成这份报告，期望能为行业带来启发。也期望未来，与更多行业伙伴一同，在全真互联时代，推动3D创新应用，更好赋能实体经济，共创美好的数字未来腾讯研究院院长司晓2023年10月全真互联需要构建与真实世界对应的高维度，多样性的数字媒体世界，并为用户提供具有沉浸式的，及时互动的真实体验。腾讯多媒体实验室一直致力于沉浸式媒体技术投入与建设，将团队在传统多媒体领域中的深厚技术积累，扩展到3D媒体技术，包括全景视频，三维重建，自由视角，虚实融合，数字孪生，6自由度全息视讯等，并构建了从前端采集到终端渲染交互的全套沉浸式媒体系统链路。这些沉浸式媒体技术的前沿技术研究和落地应用开发，为了支持更加真实多样的媒体内容表达和用户互动能力，多媒体数据形式从2D平面升维到3自由度再到6自由度，其中产生了远远大于传统媒体格式的数据量。海量的媒体数据的传输和处理能力要求是提升用户3D沉浸式体验的主要挑战之一。多媒体实验室通过推动音视频技术进步，实现了更高画质和更低延迟，优化了音视频的编码和处理的性能，并在数量级层面减少了表达高维沉浸式媒体所需要的高传输带宽，从而赋能高品质，低成本的沉浸式用户VR带我们足不出户看故宫的雪、听云南的歌、体验特斯拉的车；点云三维重建技术带你沉浸式浏览腾讯初创办公区鹅厂员工重走创业路；6DoF媒体系统为大家捕捉留存了中华珍贵文物和多样性传统文化的全方位细节。通过对一系列应用的有效支持，随着沉浸式媒体技术的不断迭代进步，数实融合的全2023年10月在数实融合的趋势下，全真互联代表着人、物、机器、空间之间的连接与交互方式将重塑和升级，这将催生更多创新场景，创造更多价值，并为解决各行各业的实际问题提供更多可能性。其中，3D技术作为全真互联的核心内容介质和载体，其沉浸性和交互性为用随着技术的日益成熟，3D用户群体逐渐壮大，技术的尝鲜者们已经发展到相当规模。然而，我们注意到，业界在创新技术的探索和突破方面投入了大量精力，而对于3D用户的研究和洞察信息则相对匮乏。为填补这一空白，我们围绕3D内容及用户议题展开了深入调研。本次调研覆盖了3D技术在各场景下的应用，深入剖析用户在3D内容体验、付费意愿，使用行为方面的需求和期望，同时对3D技术的用户秉持着“用户为本，科技向善”的使命愿景，腾讯技术公益亦一直关注与探索3D技术对于支持创新性公益议题解决方案的可能性。在过去的时间里，腾讯技术公益携手腾讯互动娱乐，在文化保育领域推出了“云游长城”等项目，充分整合前沿技术，实现长城这一文化遗产的毫米级高精度、沉浸式交互的数字重塑。该技术因广受欢迎与认可，已同步应用于敦煌、北京中轴线我们期待，这份洞察报告能为包括技术公益在内的各行业提供启示和思考，为致力于3D技术的从业者们提供有价值的支持，携手推动3D技术在各领域的腾讯技术公益发起人、腾讯设计杰出专家陈妍2023年10月感谢以下专家在此次研究中给予的指导和支持(按姓名拼音排序)艾迪普科技创始人兼CEO唐兴波VeeR(北京为快科技有限公司)联合创始人陈婧姝视辰信息科技(上海)有限公司联合创始人、COO涂意有大科技创始人兼CEO陈悦易现先进科技创始合伙人兼CTO丛林北京蓝亚盒子科技有限公司(Layabox)董事长谢成鸿世优科技CPO韩光明Multispace多元空间创始人张东方厦门雅基软件有限公司(Cocos)技术总监凌华彬北京全景声信息科技有限公司CEO潘兴德视辰信息科技(上海)有限公司CEO张小军全真互联全真互联农业时代竹筒羊皮卷口口相传传说歌谣印刷品电话规模化标准化文字书籍电报电话离线BP机手机PAD长尾效应瞬时放大互联网2D数字内容云服务XR等各类智能终端沉浸式和个性化AlGC3D全息全真基于对网民调研数据显示：50.2%网民体验过3D内容，4.7%的网民完全没听说过3D内容，45.1%的网民听过3D概念但没体验过。45.1%验3D内容(周跟随者心态验设备门槛技术成熟度内容普及度数据来源：3D内容及用户体验调研数据，2023年6月，样本量：N=7706Q1就上面介绍的各类3D内容形式和场景，请问您是否观看过/体验过3D内容?Q2:请问您听说过但没有观看/体验3D内容的原因是什么?·26-45岁居多、高学历的白领为主(专科及以上，尤其本硕比例突出)。·相比整体网民，3D内容用户生活在一二线城市、家庭收入处于中高水平(>10000元/月)的比例更突出。下上四线城市52.3%90数据来源：3D内容及用户体验调研数据，2023年6月，样本量：N=7706数据说明：TGI含义-3D内容用户与整体网民在各项指标的相对值，TGI高于100即表示3D内容用户的表现高于整体网民，TGI低于100表示3D内容用户的表现低于整体网民。TGI=3D人群指标/总体人群指标*100用户发展的时间线：2020年是突破年轻一代用户关键节点·从用户对于3D内容的接触时间来看，2020年前即有一定的存量用户积累(37.6%)。·2020年之前的存量用户中，36岁以上的人群占比更高。·2020年开始的3年多时间，新增的3D用户以年轻一代(25岁以下)比例为主。最初接触3D内容的时间·3D内容渗透至生活与办公的多场景，2C和2B2C是主流。·2C以技术体验、影音娱乐、游戏、房产家居、出行辅助等生活场景为代表。·2B2C以文旅体验、线上旅游、营销活动为典型场景。47.1%13.8%13.9%体验科研Q4:请问您在以下哪些场景中观看/体验过3D内容?80.1%67.9%2C36.2%61.7%3D内容观看/体验行为习惯线下场馆体验539641594712567922数据来源：3D内容及用户体验调研数据，2023年6月，样本量：N=7706Q7:请您回忆一下，过去6个月观看/体验3D内容的频率?说明：红色色块标注2C场景、蓝色色块标注2B2C场景。用户价值：从情绪价值[舒缓压力/情感]延展至功能价值[个人整合/认知]逃避或转移注意力工具效率价值(在生活场景/医疗培训/科学研究等应用数字化和模拟仿真技术，提高生产效率)领域领域空间音频染在追求更优质的平面视频体验方面，技术发展着重围绕三个关键维度进行优化：分辨率、亮度及色域、以及帧率。分辨率>540p1080p4K8K时间点1990年代352×240(NTSC制式)352×288(PAL制式)电视/MPEG-221世纪初720p、1080p(全高清，FullHD)电视、计算机显示器/H.264编码1080p、4K(UHD,超高清)电视、计算机显示器/H.265(HEVC)编码2018年-至今电视、计算机显示器/AV1和VWC·多媒体系统一般由业务架构和媒体架构两部分组成，负责系统功能与服务以及内容处理和传输。它们相互依赖共同构建完整的多媒体系统。·业务架构专注于系统功能与服务，提供丰富多样的多媒体体验。媒体架构则关注多媒体内容的处理与传输，确保用户顺畅观赏高质量多媒体内容。多媒体技术业务架构涉及多方面和层次，实现音频、视频、文本、图像一个完整的多媒体技术业务架构通常包括以下部分：·预处理：对音视频进行修剪并处理包括数据采集：从客户端设备(如摄像头、麦克风)和本地文件获取音视频基础数据。·编码与压缩：将各种媒体格式统一并压缩，以实现高效存储和传输。采用常见视频编码(如H.264、H.265、VP9、HEVC)及音频编码格式(如AAC、MP3、Opus),并进行多媒体封装与同步。·网络协议打包：在不同网络环境和设备间传输多媒体内容。音视频数据传输使用流媒体协议(如RTMP、HLS、MPEG-DASH)以及自适应码率技术，以保证高效音频数据处理过程渲染发送视频传输视频传输3DoF(3自由度)视频指的是一种用户可以自由调整视频观看方向(偏转、俯仰和滚动)的技术。用户在观看3DoF视频时，可以实时改变视角，但三维空间中的位置固定，仅能在空间某点观看周围不同视角的内容。3DoF视频技术使用户能够更加身临其境地观看视频内容，提升观赏体验。该技术的实现涵盖了录制、拼接、压缩、传输、分发等多个环节。总体上，3DoF视频技术为用户提供了更多角度的观看选择、改善了用户互动性。·用户端观看：用户通过终端设备(如手机或VR头显)根据头部姿态调整观看不同视角的视频内容。VR视频拍摄VR视频编辑视频编码根据映射方式进行渲染根据用户视角进行显示传输方案通过对单应性矩阵进行调整，通过网格化的扭曲使重合区域拼接的缝隙尽可能减小，该算法适合小视角变换的情况将360°环绕画面都传输给终端，当用户头部转动需要切换画面时，所有的处理都在终端本地完成网络带宽通过对图像拼接线部分的重新调整，确保拼接的自然性，该算法适合大视角变换的情况基于FOV的传输方案主要传输当前视角中的可见画面，当头部转动视角发生变化时，终端向服务器请求新视角对应的视角文件网络时延特点等距圆柱体投影(ERP)圆柱体投影不借助中间的投影几何体而直接将球面投影在平面解析变换，容易操作正六面体映射(CMP)CMP映射模型有6个映射面，分别将360°立方体模型具有极好的对称性，所以在与球面进行相互投影的过程中可以大大降低计算复杂度，且投影均匀性较ERP高(尤其顶部和底部)正八面体投影正八面体投影(Octahedronprojectionformat,OHP)是以每个面都是正三角形的八面体为投影模型的投影优点是投影均匀性高，缺点是计算复杂沉浸式媒体技术类型VRVR3603DAR播放域传输域播放域传输域多视角纹理+深度摄像机参数纹理地图深度地图元数据纹理地图深度地图元数据目标观察孔中间任意视角(纹理图集)三维重建技术是6DoF视频的核心，目前采集端用相机阵列进行采集，三维重建有深度图、点云和光场等不同方式，其中深度图的方式较为成熟。点云点云通过多角度相机/相机矩阵，从多角度对信息进行全量的采集。深度通过将纹理图和深度图两两配对及结合Multiview该方法的优势在于，其基于的图像重建技术，使得生成的效果相对自然。同时，纹理图和深度图都可以编码为图像，从而利用成熟的视频压缩标准进行处理。这种表示方法在实际应用中具有较大的优越性，便于将三维场景压缩和传输，进而进一步提高多媒体体验的真实感和质量。基于点云的表达是一个基于图形重建的技术，通过将空间中所有构建一个真实的三维模型。该方法的优势在于它能完成全面的三维重建，拥有广泛的交互自由度。这种表达允许在空间中生成一个全视角的三维模型，使得用户能够在多个角度和位置与场景互动。缺点是它在压缩传光场技术通过密集的相机采集阵列或光场相机来采集空间内非常密集的视点，从而为用户度(6DoF)体验。这使得用户得以以更自然和流畅的方式在三维环境中自由移战在于它的数据量庞大，给压缩和传输带来了困难。目前，针对光场技术的压缩标准尚不成熟普通摄像头采集双目深度摄像头采集相机矩阵采集1普通摄像头采集双目深度摄像头采集相机矩阵采集将屏幕上的像素光线偏振到空间中的多个不同位置，从而模拟真实的光场分布。这使得观众能够用单眼同时观看到两张以上的图像，从而产生立体的3D画面不同位置，模拟真实的光场分布，使得单眼能同时看到两张及以上的图像，产生3D的图像。基于光场显示屏的裸眼3D远端实时通讯媒体框架一般流程包括：媒体框架示意数据传输光场显示渲染三维数据采集数据传输光场显示渲染高倍率压缩算法高带宽需求光场实时渲染算法高算力需求多视角裸眼3D光场单视角人眼追踪裸眼3D光场光场显示屏播放光场显示屏播放裸眼3D实时视频的核心技术包括：光场采集、重建、传输和渲染等采集方案骨骼驱动视差自适应双路视频流多路视频流多路视频流三维重建空间音频空间音频1980年代·3DOF向6DOF的升级：声音可以跟随用户在自由虚拟空间任意移动；·多场景交互：包括同一场景内的多用户交互以及场景对象交互；·空间音频技术支持，如空间音频采集，静态或动态声源的辐射和在不同空间场的混响，多维度音频元数据编码，和不可察觉的低延时反馈等等。声音采集声音制作声音采集声音制作沉浸式音频技术流程3D声源、声场建模，还原真实三维声场，如通过构建不同的声源模型，可以模拟出有向声源和体积声源境重现；通过分析场景的结构和几何障碍物进而构造声音透射和衍射的障碍物效果；通过主要体现在三个方面：用于音频对象在耳机系统中重放，利用基于人头特性相关传递函数重建音频扬声器阵列渲染：息。网格的面数决定了模型的细节程度，而贴图的分辨率则体现了色彩信息的精细片、视频)。未来解析HTML、3D模型下载与流式的加载将成为成为互联网的增量形式。特点文字文字编码小小图片像素PNG等中中视频像素大大模型全量信息多种模型文件极大极大DCC工具包含3D模型的几何数据、纹理贴图、材质信息和引擎工具导入3D引擎：负责处理模型文件中的数据，并将其转换为可供GPU渲染的形式。常见的3D软件包括3ds场景设置：设置场景，包括摄像机群体和使用平Web3D或云运行端GPU根据场景设置和模型数据，通过执行特定的渲染算法(如光线追踪、光栅化等)来生成图像。点云组件集合隐式表示优势劣势技术成熟度手工建模利用建模软件建模成熟三维重建相机阵列/相机矩阵成熟结构光(相机+投射器)成熟TOF(红外发射器)成熟激光雷达+相机成熟发展中生成/建模方式精度建模/扫描时间特点手工建模月人工操作，建模时间相对较长成熟相机阵列扫描建模毫米高速，后续需要人工进一步完善模型重建数字人三维模型重建数字人纹理贴相对成熟光场扫描微米高速重建数字人三维模型、纹理贴图、法线贴图、材质贴图、动态网格落地完善中相对较高1分钟生成成本低，可定制，1分钟生成，实现千人千面，简单易用，零基础使用发展中优点包含信息高效传输格式，适用于实时3D场景和模型。支持几何形状、纹理、材质、骨骼和动画等信息文件大小较小，加载速度快。广泛应用于WebGL和VR领域。实时3D场景和模型。WebGL和VR应用。适用于需要快速加载和高效传输的场景。几何形状、顶点坐标、纹理坐标、法线、面片信息、材质、骨骼、动画。支持几何形状、纹理、材质、骨骼和动画等信息。通用性好，广泛应用于3D建模、动画和游戏开发。支持二进制和ASCII两种格式。3D建模、动画和渲染。导入游戏引擎的动画模型。跨软件之间的模型和动画数据交换。动画、材质特性、贴图、骨骼动画、灯光、摄像机等信息。支持几何形状、纹理、材质、骨骼和动画等信息。高效的场景描述和数据交换。支持层次结构和引用，便于协作和版本控制。可扩展性强，支持自定义属性和元数据。电影、动画和游戏开发。大型项目和团队协作。适用于需要高效场景描述和数据交换的场景。几何形状、顶点坐标、纹理坐标、法线、面片信息、材质、骨骼、动画、层次结构、引用、自定义属性和元数据。基于XML,易于解析和编辑。开放标准，支持几何形状、纹理、材质、骨骼和动画等信息。旨在实现不同3D软件之间的无缝数据交换。跨软件之间的模型和动画数据交换。适用于需要开放标准和易于编辑的场景。几何形状、顶点坐标、纹理坐标、法线、面片信息、材质、骨骼、动画。简单易懂，易于解析和编辑广泛支持，兼容性好。支持几何形状和纹理坐标。3D建模和渲染。静态模型导入游戏引擎。适用于不需要动画和骨骼的场景。几何形状、顶点坐标、纹理坐标、法线、面片信息。专为3D扫描数据设计，支持几何形状、顶点颜色和纹理坐标等信息。文件结构简单，易于解析。广泛应用于3D扫描和点云处理领域。3D扫描数据处理。点云处理和可视化。适用于需要顶点颜色和纹理坐标的场景。几何形状、顶点坐标、顶点颜色、纹理坐标、面片信息。每一个构建都有其独立的属性，可以和其他构建不一样有族库的概念，方便组装主要是对BIM模型的表达，通过输出ifc、FBX等格式进行数据交换主要用于大厦、园区等大型建筑的BIM建模降低人工失误成本几何信息、构建信息、构建尺寸、构建位置、规则参数支持动态加载和LOD技术灵活的结构设计和可扩展性多平台支持一种用于描述三维模型和场景数据的标准格式适用于需要对大面积三维场景数据进行传输和渲染的场景几何形状、要素的位置信息、属性信息、出场景的三维点云模型。接下来对点云模型进行曲类型特点基于2D图像信息的三维重建技术可以通过诸如StructurefromMotion(SFM)、Multi-ViewStereo(MVS)等方法实现。SFM(StructurefromMotion):SFM主要通过还原点云的方式对三维结构进行重建。这种全自动相机标定离线算法接受一系列无序的图像集作为输入，并输出相机参数矩阵与稀疏点云。SFM以一种对不同摄像角度和距离关键点特征的自动关联来分析多视角图片，从而恢复场景的几何信息。MVS(Multi-ViewStereo):由于SFM算法所得到的点云是稀疏的，点云的密度并不足以支持高质量的三维重建。为了解决这一问题，可以进一步使用MVS算法。MVS算法通过分析多视角图像间的几何关系，从而将稀疏点云转换为稠密点云。最后将稠密点云进行表面重建，从而更精确地重建物体的形状。数字人三维重建、物体三维重建结构光(相机+投射器)结构光技术是一种基于主动光源的三维重建技术，通过投射已知结构的光源到物体表面，捕获反射的光线并进行数据解析，通过对捕获的图像进行数据解析和处理，将得到的结构光信息转换为3D坐标。将这些坐标数据组合成点云数据，表示物体表面的几何形状。最后根据点云数据对物体的表面进行重建处理，得到物体的连续三维模型。这一步骤通常涉及平滑、填充孔洞和模型优化等操作，最终得到物体的三维信息。金融刷脸支付、人体\物体3D建模、空间3D建模、动作识别、动作捕捉等TOF(红外发射器)通过红外发射器发射调制过的光脉冲，遇到物体反射后，用接收器接收反射回来的光脉冲，并根据光脉冲的往返时间计算与物体之间的距离：包括红外光源调制，光脉冲接收：将反射回的光脉冲通过专用接收器进行捕获；距离计算：根据光脉冲的往返时间，利用光速和时间关系计算与反射物体之间的距离。点云生成与表面重建：根据TOF技术获得的距离数据生成点云，并对物体表面进行重建，从而得到对应的三维模型。无人机、机器人避障、游戏类动作识别、动作捕捉等激光雷达和相机分别采集场景的距离信息和颜色信息。激光雷达通过发射激光脉冲并接收反射回来的光线，计算光线往返时间，从而得到场景中物体的距离信息。相机则捕捉场景中物体的颜色和纹理信息。城市等大场景NeRF使用一个神经网络来表示整个场景的光辐射场，这使得它能够以紧凑的方式表示复杂的三维结构和纹理信息。相比于传统的基于几何的三维重建方法，NeRF可以更好地处理细节丰富和复杂的场景。虚拟现实/增强现实规则建模是以地图数据为基础，利用在地理信息图像识别方向的核心能力对建筑物的多维特征进行识别，同时对建筑物建立解构规则，实现城市级大规模建筑物的自动化三维建模，最终形成三维城市模型数据城市等大场景Nerf是近几年热度最高的3D隐式表达，技术还在不断完善中，存在多种后续变体及优化。表示分为密度(o)与颜色(RGB)。当前NeRF的缺点NeRF发展方向B:光照表达和生成算法；D:加大模型以加大泛化性；专栏：腾讯多媒体实验室聚焦点云技术实现物体和空间三维重建[1/2]物体点云重建-物体数字化非接触采集：利用手机，相机等通用设备实现采集重建点云数据压缩：对点云数据进行近无损压缩，有效的减少点云数据大智能采集：数据处理：情况下压缩至1/6,适配移动端展示。专栏：腾讯多媒体实验室聚焦点云技术实现物体和空间三维重建[2/2]全景漫游全景漫游360度展示：高清全景图的渲染展示，支持360度查看画步入式漫游：漫游中场景切换，保持视觉角度多交互模式：支持文字、图片、视频等热点展示，介绍场分发服结构化数据互联网用户A-手机用户B-PC用户C-VR云渲染节点1云渲染节点2用户D-手机用户F-VR本地渲染输出画面用户D用户E输出画面输出画面输出画面终端设备要求低目前市面上大部分手机支持H265硬解，绝大多数可以达到1080P60fps,基本上用户有手机就能使用云渲染。目前云渲染打包的应用小，用户只需要下载一个小体积客户端，甚至下载一个客户端可以尝试多个云应用。云渲染目前传输使用WebRTC技术，可以通过微信分享，手机端浏览器等打开，做到无安装使用。单场景并发用户数多生架构，支持版本快速迭代、资源弹性扩缩容、自动化运维等，提升运维效率同时保证较高的服务稳定性。上广泛应用。易于开发与更新Web3D技术与现有的Web技术(如HTML、CSS和JavaScript)紧密集成，为开发者提供便捷的构建和部署三维应用方式。此外，开发者可以轻松发布应用更新。用户使用门槛低方便应用快速复制。原生架构，支持版本快速迭代、资源弹性扩缩容、自动化运维等，提升运维效率同时保证较高的服务稳定性。专栏：腾讯多媒体室业界领先的云游戏音视频引擎[1/3]音视频技术进步，实现更高画质和更低延迟随着技术进步，实时音视频技术将实现更高画质和更低延迟，并能以能。音视频技术方向将会发展出更高效的编解码标准，提供更佳的压通过深度学习、模式识别等技术，提高压缩、编解码的性能，以及恢专栏：腾讯多媒体室业界领先的云游戏音视频引擎[2/3]采用更高效率编解码格式支持全平台全格式终端硬件解码针对不同游戏场景优化编码工具集使用软硬件编码器切换动态编码码率策略ROI编码技术网络自适应编码硬件解码渲染一体化3A游戏编码提升百毫秒级精准码控H265覆盖率提升视频质量评价·解决复杂游戏纹理(如草地、火焰)和快速视角切换的编码模糊、块效应等难题等多款3A游戏大作有明显提升·画质提升等同10-20%带宽节省降超过50%H265硬件覆盖率，降低带宽成本价模型·速度较业界主流模型VMAF提升1000倍，在云游戏场景两者准确性基本一致带宽优化性能提升画面提升硬件适配iOS/Android/Mac/Windows/TV已适配TV机型万余种专栏：腾讯多媒体室业界领先的云游戏音视频引擎[3/3]实时图像增强和风格变换实时图像增强和风格变换芯片类型型号制解码器(ms)原解码器(ms)时间-定(ms)时间-原(ms)时间-定(ms)时间-原(ms)1929345在多种传感器设备和算法的完善下，虚实融合成为3D最优的交互方式。磁力计定位结构光陀螺仪语义理解与分割微信小程序微信小程序微信小程序开发门槛相对较低，不需要单独下载，拥有庞大的用户基础、在2B2C场景中成为大多数选择2022腾讯全球2022腾讯全球“时空穿梭，游历三巴”2022年手机和XR出货量对比根据调研数据发现，高达2/3的场景主要依靠传统设备(手机/电脑/游戏机等)观看3D内容，从用户的使用场景上，2D硬件仍是用户的首选设备。市场数据显示：2022年，国内市场手机总体出货量约2.72亿，2022中国VR/AR等3D显示设备硬件出货量超过了120万台。从数量上手机为代表的2D3D设备提供沉浸式体验和6DoF交互从体验效果角度：3D设备可以提供双目更加立体沉浸式体验，包括3DoF、6DoF视频等，同·视频从平面视频到3DoF、6DoF发展过程中APP·移动研究院裸眼3D通信对网络诉求相关研究结果：如果将2K分辨率下极致体验等级速率定为峰值速率，1080P分辨率下数据来源：移动研究院相关研究3DoF视频相对成熟网络6DoF视频三维重建发展中网络和算力多视点图像合成交织/三维重建发展中网络建模、渲染等相对成熟算力业务场景峰值速率用户体验速率人、物体(稠密点云)大规模场景(稀疏点云)从2014年开始，Metal,DirectX12和Vulkan的相继推出，标志着实时渲染进入了新OpenGLWebGL已经为Web3D提供了硬件加速的能力，而新兴的WebGPU标准则进一步扩展了硬件加速和更底层的图WebGPU的计算能力和新的图形API,实现更高效的渲染和计算，从而提升图形质量和性能。单一交互方式无法满足深度沉浸的需要，未来伴随空间计算的不断完善，动作捕捉传感器：包括红外镜头和红外感应传感器等，主要用来实现动作捕捉，特别是使用者左右前后的移动。其他类型传感器：如佩戴检测用的接近传感器、眼动传感器、三维重建使用的结构光、激光雷达等摄像头，和传感器配合进行空间计算。6DoF追踪定位更自然精准的多模态交互空间音频、多模态感知高性能的传感器模组低延迟空间计算与渲染单元低功耗高精度感知传感器强大算力和端云协同·传统的3D模型需要人工进行原画设计，后根据依靠人工原画打造模型，时间周期较长。人工智能和深度学习技术在计算机图形学领域的应用逐渐增多，例如使用生成对抗网络(GAN)生成纹理和3D模型，基于NeRF真实还原拍摄场景，通过深度学习进行图像降噪和超分辨率等。这些技术有望提高图形处理的工作流、效率和质量。3D技术将与机器学习和人工智能相结合，以提供更智能化和个性化的开发体验。例如，用户可以者可以通过输入单张图片，生成对应的3d模型，或者输入自然语言描述场景，基于人工智能进行空间信息推理并生成相应的3D场景。这将大大提高场景生成的效率和准确性，为用户提供更加丰富的互动体验。文本生成文本文本生成图片生成动画生成音频生成视频生成3D模型专业生产的3D模型有较强规范限制：特征识别模型重建基于Al技术自动化生产三维精细化还原道路三维重建城市三维重建道路三维重建在行业中的应用落地较多，主要体现在提高工作协作效率和提升用户体验两个方面。智慧交通文旅2B2C提升用户体验典型方向目前产业链条已经相对成熟，基础层提供硬件、算力、渲染等；平台层提供硬件工具、软件工具、直播、小程序、数字孪生、数字人制作等平台。应用层则面向千行百业提供服务和方案。文娱领域市场营销教育培训工具层硬件工具软件工具光学器件传感器芯片行业文娱领域市场营销教育培训园区农业数据采集行业方案三维重建交付落地后期运营数字人制作数字空间制作云laaS算力云渲染服务数字孪生Al能力SaaS能力腾讯云云渲染依托腾讯丰富的边缘计算节点、灵活的GPU虚拟化技术、稳定低延时的音视频串流能力，帮助客户将应用客户端云化，使得用户无需下载应用包体，仅需通过轻量化终端即可操作云上应用。同时，应用云渲染提供云API+全端SDK,满足用户在各类终端以及业务场景下的需要。应用场景客户端云渲染低延迟音视频串流动态码率调整·多端全景支持配和需求复杂性，可覆盖边缘用户。腾讯数字孪生核心能力架构通过空间构造、物联感知、时空计算、逼真渲染、仿真推演五大核心能力，实现对物理对象的可视、分析、预测、优化以及闭环控制。行业交通孪生城市孪生园区孪生能源孪生工业孪生港口孪生海洋孪生应用层数智人平台数智人平台擎虚拟主播虚拟主播虚拟客服网点迎宾员线上导购员智能助手智能陪练品牌代言人播报数智人apaas接口交互数智人模块播报数智人模块多模交互底座驱动中枢形象工厂多模交互底座驱动中枢单目摄像头驱动XR-Frame是微信官方提供的一套XR/3D应用解决方案，基于混合方案实现，具有性能高、效果好、易用、扩展性强、渐进等特点，而且遵循小程序开发标准。该XR小程序除了支持基础图形、多光源、粒子系统、纹理、交互等技术指标之外，还囊括了相机渲染、平面识别(人脸、人手、人体AR识别)、2D平面扫描等体验功能。ECS模式设计，上手简单，上限也高。内置大量组件开箱遵循多项业界标准，支持gITF模型和标准PBR材质，配套小程序WXML小程序基础能力客户端渲染引擎解析支持数据物理驱动系统行业应用案例雅基软件打造国产自主3D引擎[0c05行业应用案例在行业由传统到数字升维，内容从2D到3D升维的浪潮中，加入的行业越来越多，新出的平台也越来越多。数字内容创作者们希望能够在一款软件中完成多个行业的内容制作，同时发布到尽可能多角色、数字文旅、线上会展、数字营销等领域的160万开发者，覆盖203个国家和地区。所制作的产品可同时发布到原生、Web和小游戏三种平台，触达超过20亿终端用户。双核引擎赋能行业升维技术先进性赋能行业能力支持数字营销微信作为国民级应用，2023年初通过使用Cocos引擎实现了表情特效的全面升级，增加了兔年新春表情、王者荣耀表情等效果。该技术方案成功通过了线上用户的大规模考验，部分特性和指标：Web3D渲染、进程分离、引擎热加载、99%高兼容完整HMI和智能座舱方案，保障低功耗和高性能表现。借助Cocos引擎的跨平台优势，创建多端互通的AR/VR线上展会并落地AR/VR硬件平台。微信小游戏：由于对微信小游戏环头部小游戏作品，头部占比80%。次神肥鹅健身房疯狂骑士团线上会展：美的TRUE大会使用Cocos制作Web端极易传播的线上大会，达到了标杆级渲染表现力。虚拟角色：兼容MetaHuman资产。蓝亚盒子打造国产自主可控的智能化3D引擎LayaAirLayaAir全平台3D引擎发布于2016年。支持2D、3D、VR与AR产品的开发，一次开发可同时发布为Web、小游戏、NativeAPP产品。拥有超百万开发者，服务众多知名企业，在Web与小游戏领域的3D市场中处于国产Web3D开源引擎龙头地位。广泛应用于游戏、广告营销、教育、动画、数字空间、数字人、数字孪生、智慧城市、工业控制、仿真模拟、国防模拟、线上展示(展览展示、地产、文旅)等众多3D数字领域。最新发布LayaAir3.0拥有完整的3D工具链，是全球前沿的AIGC3D引擎。引擎先进性国际前沿的AIGC能力3D数字技术赋能各行各业支持支持例《穿越火线-枪战王者》《王者别嚣张》《消灭病毒》《腾讯桌球》《斗罗大陆》微信小游戏轻量3D数字空间UGC创作工具Layaverse是基于LayaAir引擎研发的轻量3D数字化众创平台，该平台拥有众多商业级案例，如广州音乐节、南开大学秀山堂、国家电网廉政LAYAUERSE展厅元空间、五粮液W星球、云上国漫城等。解决方案架构成效艾迪普科技推出国产化自研“30引擎+工具+平台”解决方案架构成效随着数字经济、数字空间技术的蓬勃发展，各行业逐渐迈向核心场景的数字化和智能化运营，3D数字内容的生产及消费需求迎来爆发式增长。传统的3D数字内容制作面临需要在多个软件之间反复切换、软件之间兼容性差、软件学习门槛高、制作周期长、制作成本高、底层技术和应用软件存在“卡脖子”风险等瓶颈问题。经过平台，构建全栈式服务能力，满足从3D建模、图形编辑、虚拟合成、交互设计、可视化展现的数字内容全流程应用需求，将高质量、高效率、低成本、规模化、安全研+大量行业“Know-How”积累+开时渲染能力结合，以技术内嵌到工具艾迪普的“引擎+工具+平台”适用于虚拟现实、增强现实、虚拟仿真、数字孪生、信息三维可视化等数字内容生产场实时渲染：实现3D创作从非实时到实时渲所得”的高效创作体验。实时数据接入与可视化呈现：算，大幅提升创作效率。空间计算的核心是理解和处理三维空间信息，包括但不限于物体识别、空间定位、环境理解、深度感知等。在空间计算中，首先需要通过各种传感器(如摄像头、激光雷达、红外传感器等)收集环境信息。然后，这些信息会被送入计算平台进行处理，例如建立三维模型、识别物体、定位空间位置等。处理后的信息可以用于各种应用，如增强现实(AR)、虚拟现实(VR)、机器人导航等。2023年苹果发布MR眼镜AppleVisionPro将带我们进入空间计算时代，EasyARMega是空间计算时代的地图服务(VPS,Visual-basedPositioningSystem),与苹果、PICO、Meta等空间计算硬件平台一同为空间应用开发者服务。EasyAR自主研发的空间计算平台EasyARMega。拥有稳定的建图、定位能力和完善的工具链。EasyARMega工作流程大致·定位：通过对比实时采集的信息与已建立的地图，确定设备在环境中的·应用：根据设备的位置和姿态，以及环境的三维模型，进行各种应用。·更新：随着设备的移动和环境的变化，需要不断更新地图和设备的位置。应用载体包括：重量化深体验的APP、轻量化的小程序和AR/MR眼镜。这意味着可以处理非常大的环境，如大型建筑、公的形状、位置、大小等。这种高精度的地图可以提意味着在大多数情况下，它都能准确地确定设备在50个城市、上千个地标，是世界人工智能大会WAIC空电竞赛事VR直播需要沉浸式新体验·KPL赛事VR直播：常规赛阶段传统赛事直播内容·KPL赛事VR直播：总决赛阶段8K相机1公网公网PC1-切导播PC2-延迟虚幻内容-UE引擎推流存储(预估双目图像传感器双目图像传感器水平1/2下HDMI采样；拼接编码解码为1路SBS实高清低时延3D视频传输，端到端延时低于120ms技术大视角去畸变技术，支持120度垂直视角动态眼球跟踪渲染技术，60fps眼球跟踪成效·将远程挖机作业效率从不到50%,提高到接近90%双目相机视觉采集+裸眼3D屏幕显示在直播中，全景视频被广泛应用于各种场景，为观众提供了沉浸式的观看体验。特别是360°自由选择、8k超高清的特性，为粉丝用户提供了比观看传统导播直播，更随心所欲的互动体验。兰亭数字公司通过云直播、低延迟互动等技术，搭建3DoF互动直播平台，突破物理空间限制，提供优质的IP体验，充分释放IP生命价值。至800元/场，自动化的远程运维只需要一名监播人员维护。将应用于航天机器人的远程低延迟操作技术，民用转化。通过来实现偶像和粉丝一对一的线上“握手会”,采用专属的低延迟编码传输技术。实现实时互动。在观看直播演出时，用户可以把拥有特定“人格”的Al角色拉入到房间中，提供包括陪伴、沟通、互动等多种交互形式，打造全方位的沉浸效果。SNH48官网进行的4637份调研问卷中：星梦剧场解决的用户痛点：技术解决方案技术解决方案伴随着数字经济的蓬勃发展，科技逐渐成为赋能文旅融合发展的重要支撑手段。科技不仅能为文旅融合创新注入动力，为人们带来全新体验，而且能够创新消费场景，持续释放消费需求。其中VR、AR等新兴技术催生了“文化旅游+科技”的新业态。西顾是最早一批专注于VR内容制作与技术研发的公司，在文旅方面已经为多个企业和政府提供了完整的解决方案，积累了大量的技术和项目经验。增加CG或视频包装勘景前期准备中期拼接VR拍摄技术·高画质15K/12K全画幅超采样技术。VeeR专注于精品VR内容的出品制作与全球发行，拥有庞大的精品VR内容库、数千小时VR视频内容，是汇聚VR影视、VR动画、音乐演出、游戏和社交体验的沉浸娱等国内外头部IP合作开发VR内容，出品作品曾多次入围威尼斯、戛纳、翠贝卡等国际电影节。·拍摄方案·内容修正·动态分镜制作·剧组筹备·美术方案方案3D效果影视主创团队优势3DoF拍摄技术亮点3DoF后期制作亮点6DoF互动制作亮点技术先进性成效技术先进性成效三维全景声技术的发展是近年来音频领域的关注热点。声音在真实空间中的准确三维定位，以及“空间感”、“立体感”是空间音频技术所追求的目标，空间音频技术涉及声源的采集、混音制作、压缩编码、传输、解码、渲染和回放等技术环节。全景声科技承担起打破国际技术壁垒的责任，向行业提供可对标杜比的全景声解决方案，为国内消费电子品牌提供抗衡国际巨头的核心技术。WANOS三维全景声空间音频技术的未来市场空间巨大。WANOS全景声携手喜马拉雅在理想汽车L系列上发布了全国第一部全景声有声书，为国内全景声有声书行业制定了标准，填补了行业空白。·声音采集·音频渲染和回放声音制作渲染回放音频编码渲染回放建模方式：基于物理、延迟网络、测量的虚拟声场重构和6DoF声源对象建模；渲染方式：基于空间映射及声场合成，灵活兼容不同回放环境。右声道一些(干湿比调整),其他声道为场景声，可以技术先进性技术先进性能力。用户可以在空间中游览观看多个会场的线上直播，并可2022年腾讯数字上台大会线上会场，集合了腾讯云渲染+快直播+TRTC+Avatar能力。用户可以在空间中游览观看多个会场的线上直播，并可以分享链接组队游览。多人语音互动等基座能力进行集成和创新将UE应用程序部署至腾讯云应用云渲染成效大会两天，总计有13000多人进入了未来会场。观众累计体验时成效大会两天，总计有13000多人进入了未来会场。观众累计体验时长超20w分钟，平均每个人停留15分钟，远超于一场2B活动的直基于腾讯云应用云渲染产品，未来会场场景精细、功能丰富，但用户无需下载，无需高端的手机配置，在小程序上即可拟参会体验。3D场景可一键转发、千人同屏在线也不会卡顿!不进入未来会场，你也可以在虚拟直播间里用“上帝视角”观看专家们的精彩分享，还能多角度实时观看到未来会依托腾讯云快直播、实时音视频TRTC以及IM交互体验。会场中虚拟人的移动、场景的变换，线下好友间语音文字的沟通……所有内容都可以近乎同步地呈现在由于技术手段的局限，传统的城市规划设计与规划管理体系存在管理难度大、信息流通性低等问题。基于此，城市规划设计数字化平台通过规划设计数字管控系统、规划设计辅助决策系统、城市规划设计云坊、规划设计公众参与系统，为部门、规划管理部门搭建数字化环境，为城市规划管理从设计、电子报建、辅助决城市规划设计数字化平台型)的规划设计数字化平台，平台以城市设计业务为始点，充分梳理业务各环节间的不同用户群体需求，完成了规划设计数字管控系统、规划设计辅助决策系统、城市规划设计云坊系统、规划设计公众参与系统和项目亮点：高质量三维可视化技术为载体，基于高质量高精度的渲染效果程建设管理规程为基准，连接项目各参建方及政府监管部门，实现项目级施工管作业行为数字化，打通工程项目精细化无纸化管理的最后一公里，从而解决建筑产数据沉淀等问题。让城市基础设施在建造过程中沉淀数字资产，为智慧城市数字孪生体的构建奠定坚聚合各项目地理信息位置、项目监管信息等，能够实现重庆各地区项目分布一览统管，实时监管项目人员、设结合建筑信息模型、倾斜影像数据、工程过程行为数据、工地现场设备数据等，能够实现项目施工计划进度住宅、配套的占比为45:45:10。全岛规划建设100%绿色建筑，实现综合绿化覆盖率70%。现状，将人、物、空间、活动、服务通过数字技术形成新的交互方式，促进园区的技术融合、资源共享及业务协同，打造以人为本、以科技智慧园区：瑞泰马钢“透明工厂”腾讯以工业能源场景实时数字孪生、物联网等技术，打造了一个与工厂生产流程同步运行的“透明工厂”。在一块数字孪生大屏上，真实还原工厂五条生产线、上百台设备的生产节拍，将生产制造、订单跟做、流程管理等多个系统无缝连接。通过空间、设备、生产、人员的数据归集和在线，破除“数据孤岛”,实现事前能预防、事中能干预、事后能分析，让工厂降本、提质、增效。项目亮点利用数字孪生、动态3D大数据可视化、Al数据应用分析等新技术，工厂的生产效率提高约30%,故障率降低约25%,产品品质提升约10%。同时，精益化管理也带来了生产能耗的降低，瑞泰马钢的单位产值能耗从90kg标准煤/万吨减少至35kg标准煤/万吨，有效实现了节能减排。惠州市东江大桥是经过问卷调查当地市民反馈最拥堵的路段。腾讯基于数字孪生底座为广东惠州东江大桥及其周边区域打造城市交通实时孪通过基于数字孪生技术的数智赋能，如今的惠州东江大桥缓堵效果明显：·交通事故处置效率提升30%·交通安全治理能力提升30%·事件处置效能提升40%·监控巡检效率提升60%成都第二绕城高速数字孪生系统构建了成都第二绕城高速新津花园服务区到新津花园收费站段的数字孪生场景，并通过感知数据的接入，构建实时数字孪生世界。系统还为驾驶员提供手机端孪生，打开孪生APP可以使用导航功能，当车辆行驶到孪生路段时，会出现数字孪生三维场景，实时显示车辆周边的环境和周车运行情况，并且可以消除夜晚或恶劣天气对驾驶员视线造成的影响，提升驾驶员安全通行能力。4.8公里去往8.3公里18分钟目项目成果项目成果“云上南头古城”由万翼科技擎天柱团队和南头古城基于深圳南头古城文化背景联合开发，其底层使用了腾讯云应用云渲染产品南头古城3D应用需要高性能的硬件配置支持，对用户终端的要求较高，比较影响用户体验。通过接入腾讯云云渲PaaSGPU算节点中，仅需完成SDK对接及在微信小程序中宣发投放开发南头城3D应用对接小程序内嵌云渲染应用技术解决方案和流程控制台应用上架应用管理与数据监控智能调度就近调度实例分辨率适配Tencent-RTC智能码率控制音视频编解码项目效果好形象，可以作为深圳文化传播的"名片效应",让国内外从中一窥的自然来访量已经突破500万，累计为南头古城带来3.4万新增独立项目亮点项目亮点故宫数字信息部原有的影像采集工作室此前已使用超过20年，已很难满足当下“数字故宫”工作对于文物影响采集工作的需要。改造升级除了要翻新装修、设备、管线、功能规划，更重要的是要面向更长远的未来，为故宫打造一个全新的数字化实践基地。腾讯数字孪生团队携手故宫博物院共同打造的“数字孪生智慧管理平台”实现了建筑空间的高精度建模、物联网设备的可视化监测，以及设备数据与采集文物数据的多源数据融通等，助力创新实验室构建高效、规范、安全的文物数据采集数字化全流程。明、环境、能耗、仓储等多重设备的运行信息，通过全域感知和高精度建模还·管理平台控制实验室内多重系统，包含管线管理、能耗管理、恒湿管理、智能仓储、门禁管理、照明管理、环境管理等，除了综合态势的展现，还包括设备间的联动策略。能耗检测系统和安防系统，则通过对水、气、电情况等要素实时监测和预依托“数字孪生智慧管理平台”控制环境监测系统，工作人员可以根据预约文物类型，自动调整实验室内灯光、温湿度、二氧化碳浓度等参数，为丝绢、陶瓷、青铜、玉石等不同材质的文物提供最适宜技术先进性技术先进性第六届世界智能大会创新采用线下“现实会场”和线上“虚拟会场”以数实融合的形式打造为“线上会场”。观众在大会官方网站进入虚拟会场，注册登录后，可以自定义生成个人的虚拟形象，并以真实的主观视角，让自己的“数字分身”在虚拟世界中参加大会，聆听大会内容、参与大会互动或与其他参会者互动，获得全新的“数实”双空间融合体验感。技术解决方案基于腾讯「端云协同」技术打造2、元论坛：“线下体验无边界，虚实互动新展会”,第六届世界智能大会致力于打造体验“新”场景——线上智慧天津、数字中国的永不落幕的“线上入口”。参会观众可以跟随虚拟主持人或嘉宾虚拟化身，深度体验“元会场、元展览、元论坛”等要素构成的沉浸式线上空间，突破传统的时空障碍，能够让观众更好地感受到智能科技的无限魅力，共同探索全新的未来。大三巴牌坊(圣保禄学院天主之母教堂前壁遗址)是澳门最具代表性的文化遗产及城市重要地标，数位化复原首阶段还原教堂内部空间。参观者可通过VR虚拟实景，超越时空限制，一览四百年前圣保禄学院天主之母教堂的历史风貌，沉浸探索教堂的瑰丽场景。同时，现场引进裸眼3D技术，让观众体验这一世界遗产建筑的立体视觉乐趣。技术解决方案建模及先进性成效成效南京大报恩寺遗址博物馆以“千年遗址、报恩文化”为主线，完整展示了明代大报恩寺的宏大规制，还有地宫中出土的阿育王塔、金棺银椁等世界级国宝在馆内完整呈现。但现有遗址博物馆缺乏面向游客的自有的展示和服务门户，博物馆展陈较传统，缺乏科技化的文化展示手段。全新方式、全新视角、全新科技使用AR和VR等前沿技术技术相较于传统的数字博物馆，全真互联线上体验空间更加生动，更为贴近生活。项目实施中在大报恩寺遗址博物馆中我们设立了多个交互装置点位，以实现当游客走到一个点位时触发线上空间互动的功能，相比于传统的仅线上或者仅线下的游览方式，全真互联使得线上线下融为一体，让沉淀的数字资产更为活跃。传统游客在参观南京大报恩寺遗址博物馆时，因为自身专业知识背景的限制，对于文物了解较少，游览体验没有那么好。通过南京大报恩寺沉浸式的互动体验，让游客能在参观中自行探索，与游客建立情感连接，从中进入“报恩圣境线上空间”,便可以用自己的虚拟形象开启奇妙之旅——在实地游览场馆的同时，也在虚拟世界中同步穿梭。成效成效依托敦煌学百年的研究成果和“数字敦煌”的多年积淀，结合腾讯游戏科技等前沿技术能力，综合应用三维建模技术、游戏引擎的物理渲染超现实自由交互：超现实自由交互：漫游奇幻空间，打造写实虚拟奇观与交互体验“游戏科技+文旅”新模式展现敦煌莫高窟全新文化体验，引发游客排队热潮和自媒体传播打卡核心央党媒正向报道，宣传“敦煌VR窟火热”现象成效凭借易现自研的视觉SLAM算法、大空间建图与定位技术等核心技术，完成对胡里山炮台景区的数七大AR沉浸式互动夜游打卡体验解锁景区流量密码，成为厦门夜游的金名片，上线一周内即售出2万余张门票。建模及渲染成效技术先进性建模及渲染成效技术先进性等红色旅游场景。通过孪生、二次创作等手段，结合3D数字空间技术VR成效成效3D超写实数字人作为文化科技的前沿方向之一更可突破时空限制，提升大众的视听沉浸体验。但因涉及多技术领域写作，超写实数字人平均制作周期达3个月甚至更久。中国国家版本馆是新时代标志性重大文化传世工程，是国家版本资源总库和中华文化种子基因库。为了进一步提升数字展陈能力，国家版与腾讯NExTStudios联合打造数字员工“文涵”,并创新性地在33天内完成数字人及虚实结合的解说视频制作，为数字人领域打下新的标杆。先进性·33天，从策划、执行到交付，创下了NExT数字人制作的最快记录。·结合Al、动捕等多种高效的自研管线将产品快速落地。目前“文涵”已在国家版本馆中央总馆参与各类参观接待，娓娓道来版本馆的陈列和中华版本的文化故事，并出展2022年深圳文博会，正技术解决方案技术先进性技术解决方案技术先进性成效腾讯自2014年起，就开始积极参与和投入到长城保护项目，并在此过程中，展开了一系列有益的数字文保探索和尝试。「数字长城」项目，是在国家文化公园建设产品路径解意义启动小程序作新手引导长城修缮游览长城结束体验了解更多建模方式：结构光渲染方式：云渲染「数字长城」是全球首次通过游戏技术，实现最大规模文化遗产毫米级高精度、沉浸交互式的数字还原。为了让使用者能身临其境地云游长城、以互动体验的方式了解长城的历史文化和长城修缮知识，在“数字长城”项目中，更新使用了3A建模方式：结构光渲染方式：云渲染使用Photogrammetry重建技术和游戏引擎、云游戏等技术，高精度还原喜峰口长城的真实现状。跟随腾讯公益小红花和语音向导的语音指引，游览喜峰口长城，学习长城文化。互动体验长城修缮流程，沉浸式了解长城的建造和修缮知识。用户打开“云游长城”小程序，就可以通过手机“穿越”到「数字长城」,鸟瞰长城全景，细看长城砖纹，观赏利用腾讯游戏自研引擎“种植”的20万棵树，以及在语音导览中了解长城知识，甚至亲身体验清理、考古、砌筑、勾缝、砖墙剔补和支护加固等修缮过程。截止目前，小程序访问量已经突破4600万，项目于2022年12月，获选“全球遗产教育创新案例”,并于今年3月亮相全球游戏开发者大会GDC,通过文化研究院平台入驻香港中小学，成为教学案例。星域银都一星域银都一期内容中银金科以中国银行陆家嘴中银大厦为设计蓝本，真实还原中银大厦建筑外貌并叠加大厦周边全景要素，搭建“星域银都”数字金融生态空间，对内外企业提供统一、高效及精准的元金融线下获客难度大竞争模式同质化私域流量转化弱数字金融生态空间赋能线上化参与感元上化归属感生态银行渠道自建高层星域银都产品亮点金融服务数字展厅投屏数字捏脸传统手语解说可懂度不到60%,不同手语老师翻译的手语可能会包含不同的语义；现有手语解说的表情、口动不够明显，且窗口较小，导致非手控信息无法看清，严重影响了听障人群的理解。成效成效腾讯云智能与腾讯智影平台联合提出媒体手语数字人解决方案，打造首个聋人真正可懂的手语数字人，手语表达能力接近真人手语主播。解手语。在新媒体产品及技术上勇于创新，敢于开拓，注重实践的科技助残的公益理念和科技理念。关注残疾听障人士群体的需求，身体力行的通过人工智能等前沿高科技手段。实例关注残疾听障人士群体的需求，身体力行的通过人工智能等前沿高科技手段，在新媒体产品及技术上勇于创新，敢于开拓，注重实践的科技助残的公益理念和科技理念。·3D虚拟主播，动作更加丰富、灵活，形象效果可以长期保持完美状态。·学习了手语技能，配合手部动作、面部表情、唇语配合，为听障人士服务,解决了目前手语老师仍紧缺的问题·3D写实手语数智人聆语是腾讯云智能数智人的一员，是首位服务于国际奥运级别直播赛事的数字人。·面对突发或重大事件报道时，能够高时效的产出手语新闻。成效技术先进性成效技术先进性·全真互联技术在汽车行业能够带来很好营销价值。汽车产品的消费决策复杂，影响消费者心智是一个系统工程，·线上云展厅是一个主机厂官方的看车工具，可以让用户足不出户地在家更好地了解自家产品，相比较垂媒的车型库，云展厅可以根据主机厂自身的营销需求、产品定位丰富富媒体信息，更好地为潜在客户传递产品的品牌定位和优势，从而提升品牌宣导能力。同时是一种高价值广告曝光形态，相比较传统的图文广对话引擎、语音合成等多方面能力的赋能，帮助客户实现即开即用、快速打开、智能交互，将云数字人渲染音视频云推流多用户场景生成·支持网页、微信、小程序、视频号、广告落地页等十数个入口··支持网页、微信、小程序、视频号、广告落地页等十数个入口·实现看车、驾车、室内、室外多种与车辆交互的场景·智能会话，专属语料库企业年会、发布会、峰会论坛、营销直播等场景以为直播观众带来沉浸式直播体验。同时通过虚创建直播间选择场景模板、虚拟形象多样化场景模型+云渲染+快直播+全端SDK端到端解决方案。接入简便，SDK极致裁剪。成效直播推流至指定地址打造了行业先进的多元培训直播，形成了企培场景品牌效应。保持了企业直播行业的头部优势，在行业里的玩法持续创新领先。教育-粤港澳大湾区海洋数字孪生结合海洋观测、人工智能、大数据和高维空间可视化算法，对海洋实现真实、高分辨率、多维度、可互动的实时虚拟成效成效·全真空间、数字空间技术在教育行业有着广泛的应用前景。教育行业的特征是大部分用户是年轻人，对于新鲜事物接受度高、上手快，Z时代年轻人电子游戏的渗透率很高，对于虚拟人操控、交互天然就比较接受，所以相关产品在教育行业使用很少有用户习惯方面的障碍。·根据教育行业的场景需求，主要是分为应用和教学两方面。在应用方面，可以让全国各地的用户可以在虚拟现场共同见面，校友聚会、讲座、展览、路演、典礼等多种活动均可采用数字空间的方式来实现，同时线上的校史馆、展览馆也可以极大降低校方在线下举办类似活动的租金。另外，数字空间技术还可以在课程录制上帮助校方降本增效，不再需要特定的摄影棚和摄影团队，采用XR抠像的方式让老师在虚拟教室完成授课的录制，或是采用3D数字人老师通过合成技术完成课程录制，极大降低了教室出境录制的负担。另外，在教学方面，开放数字空间的基础能力给校方可以帮助学校产教融合，让学生学以致用，将自己所学知识实践，并通过将其发布成应用，可以“看得见”。技术解决方案成效成效ICU病房是医生与死神竞争的地方，虽配置了完备的生命支持机器，但生命支持设备的浸入、满是设备和噪声的单调环境、持续或间断的疼痛、社会-家庭联系断裂等因素也导致患者经历短时或长期的心理和认知问题。为此，北京理工大学、鹏城实验室协同北京