新型视频语义编码技术白皮书（2024年）

前 言5G视频、全景视频、自由视点视频等）相继本白皮书旨在提出视频语义编码技术架构，介绍了视频语义编码技术背景、典型应用场景和相关技术方案，总结梳理了标准化进展，并对未来技术发展趋势进行展望。目 录视频编码技术总体发展态势 2视频编码技术发展概述 5视频编码 5基于语义通信的编码传输 7视频语义编码传输关键技术 10视觉感知编码 11JND编码 12ROI编码 12生成式编码 13跨模态编码 15机器视觉编码 16编码数据传输 16媒体封装 17流媒体传输 18标准化进展及建议 20AI视频编码 21VR视频编码 22多视点视频编码 23面向机器的视频编码 23总结与展望 25缩略语列表 26参考文献 28视频编码技术总体发展态势5G5G-A50%发展更为高效智能的视频编码技术，来迎接全新的大视频时代。多元视觉指标升级，引发超高清视频编码技术需求挑战。表1-1HD、FHD及UHD视频参数特点类别高清HD全高清FHD超高清UHD分辨率720p1280*7201080p1920*10804K3840*21608K7680*4320帧率30fps不低于30fps60fps120fps色彩色域Rec.709Rec.2020动态范围SDRHDR码率4-5Mbps4-10Mbps8-80Mbps32-240Mbps从“看得清”向“看得真”转变，催生编码技术升级VR3DoF3DoF+360°×垂直360°180°×垂直180°2DU2D2D图像/VR和自由视点视频编码压缩2D多视点视频数据间的去冗余编码等升级的编码技术。视频编码不只追求人眼视觉质量，还要高效地服务于机器视觉处理任务新应用引发新需求，语义编码技术“呼之欲出”视频编码作为底层基础技术，应用广泛，从传统广电传媒可扩展覆盖至金融、互联网、工业、教育、新零售、医疗健康、交通物流、政务等行业。表1-2介绍了常见的应用场景。

表1-2具有代表性的应用场景场景 介绍需求/特点视频通话中国移动5G新通话，微信、QQ、FaceTime等OTT视频通话低延迟，低码率；人脸为主要处理对象视频会议中国移动云视讯、腾讯会议低延迟；参会人为主要处理对象视频直播游戏直播、赛事直播、购物直播低延迟，超高清；沉浸式的流畅互动体验安防监控监控视频通常是全天候无间断拍摄固定位置的场景，产生了海量的监控视频数据，亟需高效的语义视频编码技术来减轻监控视频的存储传输压力工业视觉在工业视觉任务及应用场景中，如机器大量视频数据，需要高效存储和传输需提取与机器视觉任务强相关的语义信息进行压缩，进一步提升机器视觉感知任务的性能。视频语义编码，即基于视频内容和语义特征（图视频编码方法的性能瓶颈，为视频产业注入新的活力，进一步提升产业势能，成为助推视频产业高质量发展的新动能。图1-1高-中-低级语义特征示意图视频编码技术发展概述视频编码视频编码技术历经几十年的发展，国内外视频编码标准更新迭代，如图框架制定的视频编码标准包括：MPEG-1/2/4,H.261/2/3,(AdvancedCoding),(AudioandCodingStandardinChinaH.265/HEVC(HighEfficiencyCoding)H.266/VVCCoding)等[1]。图2-1国内外视频编码标准发展历程虽然各种视频编码标准之间各有区别，但它们的编码架构都是类似的，混合编码框架基本结构如图2-2所示。图2-2传统混合编码框架VVC、基于预测/变换和熵编码的混合编码框架，但其诸多编码工具和环节与前代视频升。然而，在带来显著编码性能提升的同时，编解码的复杂度也显著增加，这对实时编码提出了巨大的挑战，同时压缩效率的进一步提升遭遇瓶颈。现更智能化、更高效的图像视频编码，以期突破传统视频编码方法的瓶颈。图2-3神经网络图像视频编码技术演进路线图2-3基于神经网络的视频编码技术。它们都经历了从单一网络建模到模块替换，再到端到端的螺旋式上升过程，技术迭代随神经网络的发展而更新。基于神经网络的视频编码技术方案可以归纳为两类[2]（1混合神经网络编2-2，蓝色部分表示可以采用神经网络进行替换[3]2-1。表2-1全神经网络编码方法和混合神经网络编码方法优缺点比较方法优点缺点全神经网络编码（AI端到端编码）突破传统编码方法的效率瓶颈；可实现超低码率编码；重建纹理更佳解码复杂度较高；不同的模型相对独立，码流不能互通（AI辅助编码）将传统混合编码框架中的主要模块替换为经离线训练过的深度学习模块，进一步提升编码效果只是替代部分模块，导致不同的模块无法共同优化以达到更高的性能目前，基于神经网络的视频编码更多的是探索网络模型的组合堆积和复杂模块的引入，未深入分析设计网络模型特性、结构特性等，如何设计并提出高效的端到端视频编码技术和解码方法是亟需解决的问题。同时，如何实现不同模型的码流互通，降低解码端模型推理的硬件要求，实现移动端的高效部署也是该技术落地的关键。视频语义编码，衍生于传统视频编码框架和基于神经网络的视频编码框架，同时也是两种框架的全新引擎，可进一步提升两种编码路线的编码效率。基于语义通信的编码传输AI相关技术，提取原始输入数据中与（关注语义层面（关注有效性层面2-42-5所示。图2-4面向语义的通信[5]图2-5面向目标的语义通信[5]需要消耗大量的计算资源[4]，特别是移动端的部署较为困难。表2-2语义通信和视频语义编码的对比分析分类处理对象常见的评价指标特点基于语义通信的编码信源信道PSNR-SNRPSNR-带宽比编码器采用神经网络，用于特征生成属于顶层架构设计，处于前沿探索阶不兼容现有的视频编码框架视频语义编码视频PSNR-BitrateBD-rate主观评价有落地应用，硬件友好可兼容现有视频编码技术编码器非必须使用神经网络面向视频编码，有具体技术方案综上，语义通信的大框架涵盖视频语义编码传输环节，但该顶层框架整体处于前沿研究与实验探索，向技术研发与落地应用过渡的早期阶段。而视频语义编码技术则是从视频编码标准框架出发，提供了一系列具体且可落地的技术方案2-2展开介绍。视频语义编码传输关键技术率。目前，主要的技术方案可分为两类：1）利用语义信息作为先验信息（语义AI或传统方法紧凑且易于压缩的特征表达，进而优化其编码性能。图3-1视频语义编码传输关键技术簇3-2AI（JustNoticeableDistortion,（Regionofinterest,AI未来演进方向。图3-2视频语义编码技术应用及产业链示意图视觉感知编码（HumanSystem,ft教授团队提出的基于感知优化的视频编码框架3-3所示。图3-3基于感知优化的视频编码框架[6]JND编码因此，引入恰可察觉失真（JustNoticeableDistortion,JND）自适应编码技术，以有效地去除视觉冗余。例如，大量的工作探索了建立像素域JND模型和DCT（DiscreteCosineTransform）域JND模型，用来指导图像或视频的感知编码，常见于自适应量化、码流控制、运动估计等环节。从机器感知出发，北京大学马思伟教授团队提出的恰可识别失真（JustRecognizableDistortion，JRD）[7]，旨在表示因数据压缩导致的最大可接受失真34JRDJRDJRDMachineMVS（MachineSystem）压缩方法相比，SMR模型更为合理且具有可扩展性。ROI编码Attention,是一种高级认知机制，它驱使视网膜中央凹（Fovea）注意到更高保真度的内容，也被称为感兴趣区域（Regionofinterest,ROI）。通常，HVS更容易被高对比度的区域所吸引，例如亮度、纹理、方向、时间运动和颜色对比度。ROIROIJPEGJPEGROIROIROIROIROI3-1ROIROIROI对整体视频的视觉质量影响较小。表3-1常见的感兴趣区域检测分类 技术中心区域视觉习惯将视频中心作为感兴趣区域，往往基于经验判断人脸区域人脸检测算法字幕区域文字识别技术（OCR）主观感兴趣区域人眼聚焦区域检测，眼球追踪（数据集一般通过眼动仪获取）静/动态物体区域如U-Net或MaskR-CNN等跟踪算法：光流法、CNN、RNNLSTM架构来跟踪视频中的对象ROIROIROIH.265/HEVC形成了视频流进行回传。在VRFOVROI平面FOV生成式编码线：一种是直接用对抗损失引导全神经网络编码的优化，以恢复高频纹理细3-4；图3-4直接用对抗损失引导全神经网络编码[9]3-2。表3-2生成式编码的代表性工作分类原理代表性工作在视频传送过程中，发送关键NVIDIA：利用面部生成模型，在视频帧传送时，仅需发送一个关键帧和其他帧的表情、H.264,90%。通过音频驱动数字人以模拟表情、动作。面部表情的运动参数，将其编码为比特流传输。接收端语义解码器根据参数驱动参考帧，合成说话人头部。帧，并通过抓取传输其他帧的人驱动脸关键点、姿态或表情，模拟面编码部姿态和表情动态。在解码端，通过生成网络合成其他面部视频帧。分层/概念编码通过处理多层次信息达到高层概念，如结构信息、纹理信息、语义信息。旨在编码图片为一个紧凑、高层可解释的表征，用于面向更高视觉质量的帧重建。:（语义分割图（隐式特下游任务和图像重建任务。评估等领域仍有较大的研究潜力[9]3-3。表3-3基于生成对抗网络的图像视频编码研究方向[9]方面背景/问题目标压缩性图像与视频资料包含了丰富的元信息在有限带宽内选择最重要的信息进行保存，增强系统效能可扩展性不同的应用环境对比特率和图像质量的要求不同根据不同需求灵活地支持任务，并在不同的带宽条件下提供适当的图像质量多功能性机器视觉任务具有多样性，人与机器的视觉需求存在差异满足机器和人的双重视觉需求，全面覆盖各种应用和用户变化泛用性编码架构可能仅适用于某一特定领域，不同数据集的语义信息存在差异在各种图像视频数据集中保持纹理和语义信息的一致性，跨领域使用质量评估模型生成对抗网络编码与传统编码在视觉感知上存在差异研究新的视觉特性评估模型，优化基于生成对抗网络的编解码架构跨模态编码（Cross-ModalCoding,CMCCMC码器、压缩域编码器和压缩域解码器四个子模块组成[10]。图3-5一种典型的跨模态编码系统[10]域解码器以无损的方式从比特流重构表征。最后，CMC保留CMC编码器和解码器中的语义信息来优化失真。机器视觉编码三只“眼”和服务于机器学习和分析的需求。[11]6G重构等[12]，从而完成一系列机器感知任务。编码数据传输G6AIvCDNVR的编码模式及数据特征。媒体封装MOV、MXF、MKV格式等。表3-4具有代表性的封装协议一览封装格式来源特点TSMPEG是一种标准容器格式，用于进一步封装PES（PacketizedElementary（传输过程中的）音频、视频和节目系统信息等，目的是作为规范化传输的最小单元，保证传输的可靠性，以适应不太可靠的传输。该协议扩展性比较友好，可以支持多种流媒体协议MP4MPEGISOMP4是高清视频存储的主流方式，主要应用在MPEG-DASH、HLS等流媒体协议中，可支持多种音视频编码类型，其fragment-MP4的封装格式可支持Low-LatencyHLS，CMAF等超低时延的流媒体协议FLVAdobe（File和文件体（FileBody）Size其封装的媒体文件具览器普遍使用FlashPlayer作为网页播放器看的显著区域、视频内容中的对象及区域等媒体描述元数据，有利于用户对数据的部分访问和处理，以提高传输处理的效率。流媒体传输UDPTCPIP层基于不同的应用场景、数据封装格式，采用不同的流媒体传输协议。表3-5具有代表性的传输协议一览传输协议来源特点MPEG-DASHMPEGHTTP的动态自适应流传输技术，它不限制编码格式协议主要应用于直VR视频等新型视频编码格式有更好的适应性。HLSAppleHTTPHLS具有跨平台HTTP的文件来下载。媒体播同样的资源，允许流媒体会话适应不同的数据速率。在web服务器和客户端广泛支持，主要应用于视频直播点播场景。RTPIETF协议将不同编码和封装格式的音视频数据进行再封装，加包进行发送。协议提供抖动补偿和数广泛应用于流媒体相关的通讯VR前，市场上大多数采用RTP来实时传输媒体数据。RTMPAdobeTCP的协议，由多个相关协议组成的协议族。传输的数据的基本单元为Message协议仅需一个会话即可相互通信，具有效率高、速度快、稳定性高等特点，广泛应用于直播、视频会议、在线教育、在线游戏等实时流媒体传输。SRTHaivisionWowzaUDTAES控系统等。MPEGDASHROIVR标准化进展及建议为了实现不同公司制造的设备和提供的服务之间的互操作性，在过去几十年，标准工作组ISO/IECJPEG(JointPhotographicExpertsGroup)MPEG(MovingPictureExpertsGroup)ITU-TVCEG(VideoCodingExpertsGroup)MPEG&VCEGJVET(JointVideoExpertsTeam)标准工作组ISO/IECJPEG(JointPhotographicExpertsGroup)MPEG(MovingPictureExpertsGroup)ITU-TVCEG(VideoCodingExpertsGroup)MPEG&VCEGJVET(JointVideoExpertsTeam)IEEEDCSC(DataCompressionStandardCommittee)全国信息技术标准化技术委员会TC28/SC29AVS(AudioVideoCodingStandardsWorkgroupofChina)MPAI(MovingPicture,AudioandDataCodingbyArtificialIntelligence)AOM(AllianceforOpenMedia)图4-1国内外视频编解码标准体系回顾视频语义编码技术框架，视觉感知编码技术涉及对应了传统视频编码、VR视频编码、多视点视频编码、AI视频编码等相关标准；生成式编码技术和跨模态编码技术目前属于前沿探索阶段，未来有望进入AI视频编码标准；针对机器视觉，国内外标准工作组开展了一系列面向机器的视频编码标准的研究制定。中国移动积极参与了ISO/IEC、ITU-T、AVS等相关标准的研制。AI视频编码AI4-2。表4-2具有代表性的基于神经网络的图像和视频编码活动组织工作组/标准内容IEEE1857.11探索基于神经网络的高效图像视频编码方法。2021年，工作组正式进入端到端图像编码标准制定进程，进一步规范了训练方HEVC的图像压缩器BPG性能提升超过50%。JPEGJPEGAI目标。MPAIEVC/EEVEnhancedCoding使用神经网络替代或提高现有编码工具。EVCMPEG-5EVCbaseline档次出发，通过训练神经网络编码工具并与混合框架进行联合EVCbaseline25%以上的率失真性能。目前EVC标准已研究了基于自编码器的方形块预测和基于卷积神经网络的帧级上-下采样编码，分别相比EVCbaseline档次在低码率下（QP32-47）提升1%5%左右EVC计划研究基于神经网络的环路滤波技术。End-to-Endcoding(EEV)：端到端全神经网络视2021月底正式启动，目前处于方案论证和参考软件开发阶段。北京大学和鹏城实验室正在领导EEV20226EEV已经完WD-0.5EEV标准参考软件。目前，在相同配置下主观编码效率超过VVC/H.266[16]，在低延迟编码配置项下与传统编码标准H.265/HEVC性能相当。JVET/MPEGNNVCITU-TVCEG(Q6/16)的联合视频专家组(JVET和ISO/IECMPEG(JTC1/SC29/WG的基于神经网络的视频编码(NNVC)201818JVET会议上启动，从效率和复杂度出发，研究基于神经网络的技术。建立了智能编码平台ModAI，现在已更新至ModAI10.0。借助ModAI平台对基于卷积神经网络的环路滤波进行了深入研究，AVS智能编码专题组以替代传统编码滤波器并具有更好的性能。在RA配置下ModAI9.0HPM13.08.69%的性能增益[17]。此外，集成了虚拟参考帧ReferenceFrame，VRF）和神经网络帧内预测两项技术，综合性能相比AVS3标准提升15%以上，相比H.266/VVC提升超过10%。目前，AI视频编码标准研究还局限于静态自然图像，在自然视频中尝试较AI编码开源框架的缺失，大大限制了标准化的发展。因此，研制出高效的端到端视频编码技术，是AI视频编码标准迈向大规模应用的关键。VR视频编码IEEE1857.9工作组致力于推动用于压缩、解压缩和重建沉浸式视觉内容的高效编码工具的标准化。该标准针对的应用场景和服务对象包括但不限于VR，例如基于无人机的VR、AR、全景视频和其他视频/音频驱动的服务，以及诸如沉浸式视频流、广播、存储和通信之类的应用。MPEGVVC/H.266360码。MPEGImmersivevideo(MIV)202110（Video-basedPointCloudCompression,MIV之间的许多技术共性，MIV规范定义了一种称为可视体积视频编码（Video-basedCoding,V3C）的通用比特流格式。然而，MIVPCC的输入和输出格式、参考编码器和参考渲染器之间仍然存在显著差异。国内数字音视频编解码技术标准工作组（简称“AVS工作组”）于2016年启动了VR编码标准的制定，即信息技术-虚拟现实内容表达第2部分：视频多视点视频编码ISO/IECMPEG20013DMVV）、多视点加深度（Multi-ViewplusDepth,MVD）和自由视点视频（Free-viewpointFVV）的技术研究和标准化制定。2012年，ISO/IECITU-T3D视频编码联合专家组HEVC3D视频编码扩展。893D立体3D3D2D广播3D成为国际标准体系中下一代视频编解码标准。表4-3代表性的多视点视频编码标准一览组织标准所属基本标准特点MVCH.264/AVCMVC编码后输出两个流：基本视点流（左眼）（右眼2D赖视点则以基本视点作为参考。ISO/IECMPEGMV-HEVCH.265/HEVC（第二版）HEVC2D视图存储在每个压缩的帧视点间参考。3D-HEVCH.265/HEVC（第三版）HEVC编码框架进行编码，输入的所有比特流复合形成3D比特流。面向机器的视频编码（MachineSystem,器视觉系统能力的变化之间存在不同的关系。些探索和尝试，并形成了一系列标准，主要包括视觉搜索紧凑描述子标准（CompactDescriptorforSearch,CDVS）、视频分析紧凑描述子标准（CompactDescriptorforAnalysis,正在探索的面向机器的视频编CodingforMachines,（DataCodingforMachines,DCM）。表4-4机器视觉编码标准一览标准组织特点20102015年正式发布。CDVS主要面向图CDVS进制码流语法格式，构建了大规模的数据集以验证特征压缩技术（下的高性能图像检索与匹配。CDVA主要面向视频分析，其特征由VGG-16模型提取。目标是定义一种在解码后可以用于一种或多种机器视觉任务的、MPEG紧凑的码流，这种码流所包含的数据可以是视频，也可以是从视VCM频上提取到的特征。相比于主要追求压缩效率的传统视频编码，VCM还需要同时追求机器视觉分析性能、计算负载节省和隐私保护。而相比于CDVS、CDVA，VCM的应用范畴不仅包含机器视觉任务，也包含人类视觉感知的；目前，VCM有两条技术路线，一条路线是面向机器视觉的特征压缩，另一条路线是面向机器视觉的图像视频压缩。后端机器视觉的三大核心任务为目标检测、实例分割、目标追踪。DCMDCM已发布《面向机器智能的数据编码白皮书》，确立了[19]VCM标准，DCMDCM所面向的DCM混合智能的数据编码，需要同时满足人类消费的需求；第三是面向机器辅助智能的数据编码，主要是为了满足人类消费，但其中会使用人工智能的手段对数据进行处理，例如视频增强、超分辨率、语音增强等。总结与展望数据编码技术带来了全新的发展机遇，促使其不断向深度和广度方向发展。6DoF动态网格等；预训练多模态大模型有望成为推动视频语义编码效率进一步提升的新引擎；AIAIGCAIGCAI输存储压力；（如隐式表征“上万倍”压缩；-现的主流方案；化升级，两者相辅相成，进一步提升视频体验；标准化研究，将进一步促进新兴视频业务的大规模应用落地。缩略语列表缩略语英文全名中文解释3DoFThreeDegreesofFreedom三自由度5G5thGenerationMobileNetworks第五代移动通信网络5G-A5G-Advanced5G演进版6DoFSixDegreesofFreedom六自由度AIArtificialIntelligence人工智能ARAugmentedReality增强现实AVSAudioVideoCodingStandard数字音视频编解码技术标准BD-rateBjontegaard’sdelta-rateBD率CDVACompactDescriptorforVideoAnalysis视频分析紧凑描述子CDVSCompactDescriptorforVisualSearch视觉搜索紧凑描述子DASHDynamicAdaptiveStreamingoverHTTP基于HTTP的动态自适应流DCMDataCodingforMachines面向机器的数据编码DCTDiscreteCosineTransform离散余弦变换EEVEnd-to-EndVideocoding端到端的视频编码EVCEnhancedVideoCoding增强视频编码FLVFlashVideo闪存视频FOVFieldofView视角GANGenerativeAdversarialNetwork生成对抗式网络HDRHigh-DynamicRange高动态范围HEVCHighEfficiencyVideoCoding高效视频编码HFRHighFrameRate高帧率HLSHTTPLiveStreamingHTTP实时流传输HTTPHyperTextTransferProtocol超文本传输协议HVSHumanVisionSystem人类视觉系统IEEEInstituteofElectricalandElectronicsEngineers电气和电子工程师协会IETFInternetEngineeringTaskForce互联网工程任务组ISO/IECInternationalOrganizationforStandardization/InternationalElectrotechnicalCommission国际标准组织/国际电工委员会JNDJustNoticeableDistortion恰可察觉失真JPEGJointPhotographicExpertsGroup联合图像专家组JRDJustRecognizableDistortion恰可识别失真JVETJointVideoExpertsTeam联合视频专家组MIVMPEGImmersiveVideoMPEG沉浸式视频MKVMatroskaVideoMatroska视频MOVMovieDigitalVideoTechnology数字电影视频技术MPAIMovingPicture,AudioandDataCodingbyArtificialIntelligence基于人工智能的运动图像、音频和数据编码MPEGMovingPictureExpertsGroup运动图像专家组MV-HEVCMulti-ViewHEVC多视图HEVCMVSMachineVisionSystem机器视觉系统MXFMaterialExchangeFormat素材交换格式PESPacketizedElementaryStream打包的基本流ROIRegionofInterest感兴趣区域RTMPReal-TimeMessagingProtocol实时消息传输协议RTPReal-timeTransportProtocol实时传输协议SDRStandardDynamicRange标准动态范围SMRSatisfiedMachineRatio机器满意率SRTSecureReliableTransport安全可靠传输TSTransportStream传输流UHDUltra-HighDefinition超高清V3CVisualVolumetricVideo-basedCoding可视体积视频编码VAVisualAttention视觉注意力VAEVariationalAutoencoder变分自编码器vCDNVirtualContentDeliveryNetwork虚拟内容分发网络VCEGVideoCodingExpertsGroup视频编码专家组VCMVideoCodingforMachines面向机器的视频编码V-PCCVideo-basedPointCloudCompression基于视频的点云编码VRVirtualReality虚拟现实VRFVirtualReferenceFrame虚拟参考帧VVCVersatileVideoCoding多功能视频编码WGRWideColorGamut广色域参考文献[1]MaS,ZhangX,JiaC,etal.Imageandvideocompressionwithneuralnetworks:Areview[J].IEEETransactionsonCircuitsandSystemsfor2019,30(6):1683-1698.[2]马思伟,贾川民,赵政辉&王苫社(2020).智能视频编码.人工智能(2)20-28.LiuD,LiLinJ,etal.Deeplearning-basedvideocoding:Areviewandacasestudy[J].ACMComputingSurveys(CSUR),2020,53(1):1-35.张平,牛凯,姚圣时,戴金晟.面向未来的语义通信：基本原理与实现方法[J].通信学报,2023,44(5):1-14.秦志金,赵菼菼,李凡,陶晓明.多模态语义通信研究综述.通信学报[J],2023,44(5):28-41.ZhangZhuL,JiangG,etal.Asurveyonperceptuallyoptimizedvideocoding[J].ACMComputingSurveys,2023,55(12):1-37.ZhangQ,S,ZhangX,etal.Justrecognizabledistortionformachinevisionorientedimageandvideocoding[J].InternationalJournalofComputer2021,129(10):2889-2906.ZhangQ,S,ZhangX,etal.SMR:SatisfiedMachineRatioModelingforMachineRecognition-OrientedImageandCompression[J].arXivpreprintarXiv:2211.06797,2022..基于生成对抗网络的图像视频编码综述[J].中国传媒大学学报（自然科学版），2022，29(06):19-28.MaS,GaoJ,R,etal.Overviewofintelligentv