SVAC视音频可信编解码技术与应用研究报告（2023年）

SVAC与应用研究报告(2023年)中国信息通信研究院泰尔终端实验室2023年12月前 言公共安全视频监控数字视音频编解码)技术作为创新的生态。本报告梳理了编解码目 录一、编解码技术的发展 1（一）适应技术重心转移，安全与数智融合应用逐趋兼顾 1（二）筑牢编解码技术基础，视频应用体系实现技术创新 2（三）开拓国内编解码技术，标准规范逐步建立完善 3（四）获得主流厂商产品支持，产业生态已初步形成 4二、编解码关键技术 5（一标准技术框架 5（二视频编解码算法 7（三）可伸缩编解码功能（SVC） 13（四）10/12bit高精视频编码 15（五）感兴趣区域（ROI）功能 16（六音频编解码算法 17（七）扩展信息功能 20（八数据可信安全技术 21三、编解码技术特点及优势 23（一）优化的视频编码工具，提升编码效率和响应性能 24（二）强化的数据安全保护能力，保障数据真实完整和流程安全 24（三）强大的数智融合能力，支持复杂场景灵活扩展 29四、编解码技术典型应用场景 32（一）智慧交通 33（二）活动安保 34（三）智慧环保 35（四）智慧城管 37（五）智慧能源 38（六）智慧金融 40（七）智慧应急 42（八）智慧化工 44（九）智慧工地 45（十）智慧人居 47五、编解码技术发展展望与建议 48（一技术演进方向 48（二应用市场前景 50（三生态发展建议 55附录缩略语表 58图目录图1标准NAL封装结构 6图2标准时频混合编码框架 7图3标准编码树 8图4标准帧内预测示意图 9图5样点滤波补偿（ALF）菱形滤波器 13图6空域可伸缩编码（SSVC）示意图 13图7空域可伸缩编码（TSVC）示意图 14图8双核音频编码器流程图 18图9双核音频解码器流程图 18图10识别特征参数编码框图 19图安全编码后的视音频码流格式 21图12数据加密原理 22图13数据签名原理 23图14视频融合数据流 30图15跨网、跨域复杂系统架构下的融合数据应用 32图162017-2025年中国城市治理市场规模预测 51图172017-2025年中国智慧商业市场规模预测 53图182017-2025年中国智慧出行市场规模预测 54表目录表1部分引用校准的国家和行业标准 4表2信源加密与其他数据加密技术对比表 28一、SVAC编解码技术的发展提供有力的技术支撑，公共安全视频监控数字视音频编解码（一）适应技术重心转移，安全与数智融合应用逐趋兼顾视音频压缩编解码的基本原理是利用视音频数据中存在的时间21H.264H.265H.266VP9（二）筑牢编解码技术基础，视频应用体系实现技术创新H.26X国际参与度待提升长期发展保障缺失标准在（三）开拓国内编解码技术，标准规范逐步建立完善国内视频频编解码技术领域已取得一定进展，出现了、虑安全防护应用中的特定需求，形成特有的编解码标准。国家标准GB/T以下简称1.0）年522017GB/T（2.0标准10217年6C20证明了表1部分引用SVAC校准的国家和行业标准序号标准号、名称标准类型1GB35114-2017《公共安全视频联网系统信息安全技术要求》国家标准2GB37300-2018《公共安全重点区域视频图像信息采集规范》国家标准3GB/T28181-2022《公共安全视频联网系统信息传输、交换、控制技术要求》国家标准4GB∕T31458-2015《医院安全技术防范系统要求》国家标准5GB/T31458-2015《医院安全技术防范要求》国家标准6DL/T5588-2021《电力系统视频监控系统设计规程》行业标准7GA1089-2013《电力设施治安风险等级和安全防范要求》行业标准8JT/T1076-2016《道路运输车辆卫星定位系统--车载终端技术要求》行业标准9GA/T1354-2018《安防视频监控车载数字录像设备技术要求》行业标准来源：中国信息通信研究院（四）获得主流厂商产品支持，产业生态已初步形成SVAC1.0标准发布后，为了有效保护国家重要视音频信息安全，年8（联盟。/采用（AIoT）二、SVAC（一）SVACC（）如图1：数据nal_unit_typeNAL单元中数据nal_unit_typeNAL单元中RBSP语法结构的内容0保留1非IDR图像的编码片tile_data_rbsp()2IDR图像的编码片tile_data_rbsp()3非IDR图像的SVC增强层编码片tile_data_rbsp()4IDR图像的SVC增强层编码片tile_data_rbsp()5监控扩展数据单元surveillance_extension_rbsp()6补充增强信息sei_rbsp()7序列参数集seq_parameter_set_rbsp()8图像参数集pic_parameter_set_rbsp()9安全参数集sec_parameter_set_rbsp()10认证数据authentication_data_rbsp()11流结尾end_of_stream_rbsp()12保留13本标准第6章使用14保留15SVC增强层图像参数集pic_parameter_set_rbsp()AI等数据视频扩展信息）IPUDPAeadRBSPNLH erPSRTPNal_unit_type为NALHeader的一部分（4bitIPUDPAeadRBSPNLH erPSRTP网络协议 视音流封协议

网络抽象单元（NAL）（SVAC编解码标准定义）来源：中国信息通信研究院图1SVAC标准NAL封装结构割为编码单元及编码单元进一步划分的方式，规定了编码比特流中NAL单元的类型以及其中各语法元素的语法格式与语义，阐述了编此外，SVAC标准的视频部分还规定了：/解密，数字签名/验签的处理流程。（二）SVAC视频编解码算法视频编码流程如图2及运动补偿、变换/反变换、量化/来源：公开资料整理图2SVAC标准时频混合编码框架编码单元（CTU）划分结构CTUU的×2N尺寸分为464和128×128两种。CTU2N×2N2N×2N、N×N2N×NN×2N64x4。64×64CTU313种尺寸；128×128的CTU1664×CTU64×CTU64horizon32×vertical32×32splitnone32×3216×168×84×4来源：GB/T25724-2017图3SVAC标准编码树编码片（Tile）每个Tile包含若干个CTU可以单独编解码。WPP模式下会传输每个CTU行的编码码字，不同CTU行的编解码可并行处理。Tile模式和WPP模式可支持多线程或多核并行化的软硬件实现设计，尤其对运算量巨大的编码器有着显著的应用价值。帧内预测帧37如图4DCTMPlanar345zone3

zone2

363435 323331 30zone1

29 28273574 911 6

25 2623 242119 221720810 12 14 1613

18DC:TM:1Plan：2图4

来源：GB/T25724-2017帧间预测标（P帧过程。SVAC标准关于参考帧和帧序管理的说明如下：运动5（B帧）63（I帧）预测。（RPS）POC）也能更好地工作，1/881/21/41/81/16（）变换编码标准通过变换编码实现能量集中，去除空间冗余。32x3216x168x8、4x4DCTDST上述量化过程主要目是在不降低重建后的视频质量前提下尽可648步长增加一倍。熵编码环路滤波失真。波后的解码图像作为参考帧。环路滤波首先是加入去块效应滤波器DBFCTU（SAO）（F图5O__C3C4C3C4C7C7C3C2C3C2C0C1C4C8C9C8C0C1C4C8C9C8C2C1C0C5C6C7C6C5图5样点滤波补偿（ALF）菱形滤波器（三）可伸缩编解码功能（SVC）SVAC标准支持空域可伸缩编码（SSVC）与时域可伸缩编码（SVC3:41:2、1:41:61:8。来源：中国信息通信研究院图6空域可伸缩编码（SSVC）示意图基本层和增强层可单独编码，与传统双码流类似，也可以支持层NAL单元（见图1，形成C码流。时域SVC通过参考帧管理实现，可支持多层次不同比例的分层结构。时域SVC可支持一个基本层（低帧率）和1个或多个增强层（lyeidSVC图7为时域SVC048lae_d为26为1级增强（lye_d为1B135B7为2（ayrd为来源：GB/T25724-2017图7空域可伸缩编码（TSVC）示意图解码播放时对不同网络环境与硬件条件的适应性与灵活性。其典型的应用如下：（/视频内容分级存储：重要视频数据采用存储基本层+（3应用；根据带宽自适应传输：带宽大时传输基本层+宽低时可以根据网络情况丢弃增强层数据或者只传输基4）1/4路画面普通速率解码时，高分辨率、高帧率的大码流画面；9路以上多画面解码或者需要高倍速快进时可以只解码基本层，适用于客户端性能受限等场景应用。（四）10/12bit高精度视频编码810128/10/12bit8/10/12bit来表达,颜色通道由浅到深的色彩级数/动态范围可从8bit的256级提高到10bit102412bit4096括：10bit/12bit的高精度码流来进行视频编码压缩，可以在同等码流下获得比8bit（或黑白）两类区域中保留更多的视频信息，获得更高质量的视频图像还原；687更多的颜色意味着视频画面能在色彩的渐进变化和呈现方（五）感兴趣区域（ROI）功能ofinterest)（8x8sgmtID（segmentID）（ROI）（Qp)。/勾勒方式：（智能动态：通过人工智能算法对脸部（或算法识别的目标）（I理如下：如果对整个画面的所有区域进行高质量的视频编码(压缩)（（/（六）SVAC音频编解码算法（ACELP）器流程图分别见图8和图9。编码器输入音频信号采样频率分为16kHz24kHz32kHzFs。同复用Fs/2。ACELP标准采TVC（背景ACELP双核解码，高频参数通过BWE复用输入信号

预处理预处理

高频编码（BWE）ACELP和TAC高频编码（BWE）ACELP和TAC双核编码

输出码流图8双核音频编码器流程图

来源：GB/T25724-2017解复用高频参数解复用

后处理高频解码（BWE）后处理高频解码（BWE）输入码流 模式 输出信号ACELP和TAC双核解码ACELP和TAC双核解码

重建低频信号图9双核音频解码器流程图

来源：GB/T25724-2017图10VAD特征提取复用特征压缩（矢量量化）16KHz音16kHz16kHzVAD特征提取复用特征压缩（矢量量化）16kHz信号

去直流偏置

噪声消除波形预处理噪声消除

倒谱计算去信道干扰倒谱计算

特征参数码流图10识别特征参数编码框图

来源：GB/T25724-2017识别特征参数解码流程如下：在解码器端，首先进行解复用以得16kHz（七）扩展信息功能NALIDNAL单元可ID/在SVAC标准中规定了绝对时间、字符叠加（屏幕字符显示）（D、智能分析信息、地理位置信息等扩展信息的具体语法。实在ID，基于扩展信息NALNAL单元封装展了（八）SVAC数据可信安全技术NAL”NAL来源：中国信息通信研究院图11SVAC安全编码后的视音频码流格式通过标准定义的完整性、真实性。数据可信安全技术原理旨在保证数据安全与可信性。iv也（VEK）NAL单元的NALVEK加密后VKEK图12

来源：中国信息通信研究院SVAC数据签名认证以帧为单位，对一帧中所有参与认证的NALNAL单独的认证数据单元传输。图13

来源：中国信息通信研究院Base64据RBSP中。三、SVAC编解码技术特点及优势SVAC编解码技术以忠实于场景的高质量视频编码、保护信息安全、支持视频数智融合和大数据应用为目标，具有优化的编码工具、强化的数据安全保护能力、强大的数智融合能力。（一）优化的视频编码工具，提升编码效率和响应性能ROI变（二）强化的数据安全保护能力，保障数据真实完整和流程安全“”1989了国际标准IO8-（I公证。2080GBSM1SM4GB标准最高安全等级C级的视时间扩展信息，保证视频真实完整NAL安全参数集，实现按需视频保护多算法支持，具备灵活性与可扩展性SM1SM2SM3SM4满信源级安全保护，保障数据全生命周期安全表2SVAC信源加密与其他数据加密技术对比表数据加密应用实现的技术手段安全防护范畴安全功能/特点数据传输加密虚拟专网网络VPN、SSL/TLS、IPsec、SSH等网络安全技术网络安全保护数据、协议通信时的安全，防止传输过程中被窃取或篡改。加密/解密复杂度相对较低，对应用系统的影响较小，容易受到基于信息量分析的安全攻击。存储加密DLP终端加密、AOE面向切面加密、数据库加密等多种加密方式数据安全解决数据在服务器或本地存储时数据的安全问题，避免数据被未经授权的人访问和窃取。存储加密涉及密文的保存时间、密文数据量和密钥的保存时间，因此需要更多的考虑软硬件和语言工具的适配、加解密对服务器的性能损耗、开发难度、实施周期和成本以及密钥管理等问题。应用加密PGP、S/MIME等数据安全、应用安全码管理和通信量的泄露的问题。数据加密应用实现的技术手段安全防护范畴安全功能/特点SVAC信源加密视频编解码、信源加密数据安全、接入认证安全、应用安全（视频采集）和认证，并以密文方式进行传频落盘存储。来源：中国信息通信研究院（三）强大的数智融合能力，支持复杂场景灵活扩展基于入到端边云适于打造多维感知融合的智能摄像机和端边云协同的视频大数据系图14

来源：中国信息通信研究院视音频与时空信息融合呈现，支撑精准快速决策/GPSGIS人工智能协同计算，提升效率和资源占用SVAC标准在视频扩展语法框架上保留扩展性，可更灵活地进行扩展，以支持端、边、云协同处理的视频智能物联应用体系。/AIOSD视频跨网、跨域复杂系统架构下，实现融合数据应用PS来源：中国信息通信研究院图15跨网、跨域复杂系统架构下的融合数据应用四、SVAC编解码技术典型应用场景/对在实际视频监控应用中的功能和性能实现具有重要意义。（一）智慧交通交通状态可视化监测重点车辆管控“”V2X取的车辆信息以控应用和可视化呈现提供多维融合数据。道路信息脱敏发布（二）活动安保SVAC作为安全多维信息采集和融合技术，可以在重大活动安保工作提供的能力包括：保障视频系统和数据安全51（C级和C各类技术手段的融合应用重大活动安保面临场馆设施和周报交通等各类复杂环境的对大视频与物联网的环境管控融合应用通过目标跟踪与传感器数据关联数据隐私保护（三）智慧环保基于空气质量监测通过部署融合了空气质量传感器的PM2.5、PM10噪音水平监测通过部署融合噪音传感器的温湿度监测通过部署融合了温湿度传感器的GIS地图，环境事件预警通过部署融合了环境监测传感器的SVAC摄像机，可以在视频画面上实时呈现环境事件预警信息。为相关部门及时采取措施通知居民，采取减少户外活动等方式规避环境事件影响。（四）智慧城管4G/5G智慧停车管理城市设施运维通过部署融合了物联网传感器的违章占用道路和公共设施通过部署融合具备智能识别算法的垃圾智能管理通过部署具备智能识别算法的智慧环卫管理（五）智慧能源部署基于安全保卫（设备监控和维护智能摄像机和物联网传感器的深度融安全巡检和巡逻过安全监测通过环境监测和保护能源行业对环境的影响非常重要。通过SVAC智能摄像机与传感助于及时发现并解决能源行业及其次生的环境污染和其他潜在的环能源效率管理通过实时数据分析和决策支持通过（六）智慧金融通过在金融视频联网系统引入公共安全GB35114通过动，更可提升业务应用能力。例如，在金融机构数据中心引入符合GB35114（C级）/GPS（（来（/GIS和级（/录像（七）智慧应急自然灾害响应发生时，通过突发事件管理GB级火灾和救援污染事件应对视技术能力。公共卫生紧急响应视人员定位与安全保障通过（八）智慧化工于环境监测和预警通过视频和物联网传感器对环境和有害气体进行监测和预警是化工设施/设备运行状态监测//设备及管道等的运安全保卫/高清智安全巡检和巡逻过（九）智慧工地通过作的高度智能化和安全化。典型应用包括：实时监控与安全管理通过在工地内部和周边重点区域部署高清智能摄像机和安全巡检和巡逻建筑设备管理利用施工进度监控利用术手段。安全巡检和巡逻材料管理与追踪利用(RFID)技术工地环境监测与管理利用工人定位与安全管理利用度。（十）智慧人居GB五、SVAC编解码技术发展展望与建议（一）SVAC技术演进方向在新一代技术浪潮中，众多厂商和用户将进一步挖掘和发挥标视频和智联数据安全级。在保障信息安全的同时，降低因视频数据密码计算所增加的延迟。人工智能和物联融合（NAL）ID为SVAC扩展信息在前后端设备上的插入、提取提供标准化接口，为基于SVAC标准的视频智能物联产品和应用研发提供便利。编解码算法能力提升提升视频压缩效率对于节省资源、提高播放性能、适应更多场景（SVC）增强鲁棒性等方面的性能。编解码算法应提升感兴趣区域增强编码（I（（二）SVAC应用市场前景城市治理应用年中国治1,591.72,500图162017-2025年中国城市治理市场规模预测

来源：赛迪顾问企业服务应用企为代表的各类企业都在探索通过生产经营相关的信息化软硬件设智慧能源ITIT1,13320272,0152022-202712.20%。并且，智能制造Frost&Sullivan“AI+制造”2022AI+2042025649亿元，2022-202547.07%在制造智慧商业306.92025规模将接近500亿元。图172017-2025年中国智慧商业市场规模预测

来源：赛迪顾问智慧出行AI等解决方案。根据赛迪顾问统计2022年中国智慧出行市场规模为131.72025年中200来源：赛迪顾问图182017-2025年中国智慧出行市场规模预测居民生活应用随着物联网和人工智能技术的提升，智能摄像机与其他家用产品AIoT20258582020~202521%。2025量将突破2亿台。（三）SVAC生态发展建议“”SDK强化标准合作与推广在国内外积极推广安防行业组织合作，促进标准的普及和应用，认同标准价值。推动推动技术优化与创新持续进行吸引更多的人才、企业和建设单位参与推进产业渗透与融合编解码技术在国内及国际上成为技术引进更新和优化，各方联合推进国内信创软件的应用体验。促进生态应用与推广加强学术交流与人才培养开展的认附录缩略语表ACELP代数码书激励线性预测AlgebraicCodeExcitedLinearPredictionAI人工智能ArtificialIntelligenceAIGC生成式人工智能ArtificialIntelligenceGeneratedContentAIoT智能物联网AIandIotALF样点滤波补偿AdaptiveLoopFitlerAR增强现实AugmentedRealityBWE带宽扩展BandwidthExtensionCABAC上下文自适应二进制算术编码ContextAdaptiveBinaryArithmeticCodingCTU树形编码单元CodingTreeUnitCU编码单元CodingUnitDBF去块效应滤波器DeblockingFilterDCT离散余弦变换DiscreteCosineTransformDLP终端加密DataLeakagePreventionDST离散正弦变换DiscreteSineTransformDVD数字化视频光盘DigitalVersatileDiscGIS地理信息系统GeographicInformationSystemGPS全球定位系统GlobalPositioningS