视频编码技术前沿与方向-

视频编码技术前沿与方向

北京大学数字媒体研究所/tutorial/FMM.htm提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准数字视频应用传统视频编码技术原理传统视频编码方法从信号处理层面入手，以像素、块为表示基础基于香农信息论，采用混合编码框架：变换+预测+熵编码视频编码的极限数学极限—熵差别感知能力—Weber定律，

心理学模型t+1t时间冗余空间冗余感知冗余DCT视频编码技术发展历程编码效率进一步提高已很艰难色彩空间和变换编码已接近最优用计算复杂度换取预测增益的空间越来越小熵编码提高增益的路也不宽1950差分预测编码调制隔行编码B帧P帧场景自适应编码块运动估计DCT宏块混合编码哈夫曼编码变换编码运动矢量预测视频对象基于对象的可分级编码容错一般的B帧高级的去块效率虑波基于位平面的可伸缩编码高精度运动补偿基于上下文的算术编码2014多视编码分布式编码1999~1985专利可免费使用专利可免费使用ISO/IECMPEGMPEG-1,MPEG-2,MPEG-4,MPEG-4AVC/H.264,MPEGHVCITU-TVCEGH.261,H.262(MPEG-2),H.263,H.264,VCEGH.NGC中国AVSAVS-P2,AVS-S下一代标准？方向、技术？

年代

MPEG-1

1993

2001

1997

2005

MPEG-4AVC/H.2641989

MPEG-2MPEG-42013AVS下一代标准20092017视频编码标准发展历程问题分析：客观指标与主观感知的差异？峰值信噪比=6.24峰值信噪比=5.98一般认为：峰值信噪比与图像质量近似成正比关系。结论：1、峰值信噪比度量与人的视觉感知并不完全一致！

2、需要寻求更加符合人类视觉感知的客观度量方法以

及相应的编码理论和方法。群组编码稀疏编码视觉注意运动感知……视觉机理视频编码稀疏编码JPEG(~50倍)JPEG(~14倍)基于视感知的压缩

(~200倍)感知图对视觉感知机理的认识逐渐深入，用于视频编码的潜力很大可能突破方向：借鉴视觉感知机理[Guo03,ICCV]提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准

视网膜侧膝体

人类“眼脑”视觉信息系统处理基本流程

下颞叶皮质区

信息论视觉信息论视频编码理论基础视频编码

框架与方法

基于数字信号处理的框架与方法基于视觉模型的框架与方法

光学刺激

像素图像块局部特征部件/物体

视觉信息表示的基本粒子结构基于视觉特性的视频编码视觉信息论——从像素到基元（熵）质量评价方法——与主观感知一致编码方法——多维度感知编码、分布式视觉编码香农信息熵视觉熵像素集基元词典扩展基于视觉特性的视频编码技术1：纹理分析合成编码**ThomasWiegand:NewTechniquesforImprovedVideoCoding基于视觉特性的视频编码*ThomasWiegand:NewTechniquesforImprovedVideoCoding纹理分析合成编码*实验结果对比基于视觉特性的视频编码技术2：基于Inpainting技术的视频编码*码率节省达18%*D.

Liu;X.Sun;F.Wu;S.Li;Y.Zhang,ImageCompressionWithEdge-BasedInpainting,IEEE-TCSVT,Vol.17,No.10,Oct.2007pp.1273–1287.基于视觉特性的视频编码技术3：视觉感知机理与编码“像素-基元/纹理-对象-场景”层次模型S.Zhu,UCLA感知图获取结构感知合成纹理原始图像合成图像纹理区域估计基于视觉特性的视频编码基于视觉特性的视频编码符合人眼特性的图像/视频质量评价标准块效应、模糊效应、振铃效应的模型表示图像/视频库主观质量评价视觉失真测度模型提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准传统可伸缩编码时域可分级空域可分级质量可分级时域可分级质量可分级传统可伸缩编码H.264SVCHierarchicalPicture编码,完全可兼容AVC的SVC编码方案,通过层次预测实现时域可分级编码传统可伸缩编码H.264SVCSNR可分级：层间预测多维度可伸缩视频编码可伸缩编码框架：融合时域、空域、质量、注意、动态范围等的多维度可伸缩编码方法注意编码：基于注意模型的感兴趣区域表达、编码及码流优化截取方法空域可伸缩时域可伸缩质量可伸缩注意可伸缩动态范围可伸缩提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准多视编码多视采集系统线阵排列多视编码多视采集系统弧形排列多视编码采集系统面阵排列多视编码多视点预测编码—H.264MVC视内预测视间预测：消除视间的冗余多视编码H.264MVC编码效率立体视频编码立体感的产生视差原理立体视频编码立体电视与自由视点电视立体视频编码立体显示戴眼镜观看：互补色、时分立体电视不戴眼镜即可观看：三维显示器立体视编码多视预测编码深度信息获取立体摄像机直接获取：成本高双目立体匹配方法：匹配点不唯一问题，遮挡问题单目单图示线索方法：可利用图示信息较少，提取深度不准确其他研究：单目多图示线索方法立体视编码纹理图深度图分块模型深度信息编码基于模型的编码，通过编码模型参数来表示深度信息对相邻帧间深度信息进行差分预测、量化编码编码过程中的率失真优化立体电视示范系统多视点

立体视频

采集装置自动立体

显示器分时立体

显示器…深度图

生成平台多视点

立体视频

编码器直播点播服务器解码

绘制

终端现有

视频节目显示

适配器网络立体视编码韩国立体电视广播示范系统2002FIFAWorldCupKorea/Japan(5games)提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准分布式编码原理Slepian-Wolf理论独立编码信源X,Y也可达到联合熵下界独立编码相关信源X,Y可在解码端通过联合解码进行重建满足条件约束[1]Slepian-Wolf,Noiselesscodingofcorrelatedinformationsources,IEEEtrans.onInf.Theory,1973.[2]Wyner-Ziv,RecentresultsintheShannontheory,IEEEtransonInf.Theory,1974.分布式编码系统StandfordDVC编码器以常规方法编码信源Y(Keyframe)以Wyner-Ziv编码信源X,通过Slephian-WolfCoder传送校验位分布式编码系统BerkeleyDVC编码器PRISM(Power-efficientRobusthIgh-compressionSyndrome-basedMultimediacoding)：将高效的预测编码模式和帧内预测编码模式有效的结合起来，相应地需要：低复杂度边信息编码高复杂度边信息解码分布式编码应用独立、低复杂度编码适合分布式监控、无线传感网络等应用上行：Wyner-Ziv编码器编码码流传送到级站下行：级站进行转码，用通用编码器编码，终端采用通用低复杂度解码器解码提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准下一代视频编码标准MPEGHVC,2009年2月需求文档w10361两大应用前景需要支持HD甚至UHD应用的家庭影院、数字相机等移动终端应用压缩效率比现有技术有显著提高图像分辨率支持4Kx2K，甚至高达8Kx4K支持采样格式YCbCr4:2:0,YCbCr/RGB4:4:4，采样精度最高达14bit典型帧率支持24~60fps，支持灵活帧率复杂度/性能较好的折中下一代视频编码标准VCEG,H.NGC,Geneva,27January-6February2009编码码率比H.264/AVC再降低50%编码复杂度低于3倍的H.264/AVC复杂度增加50%时应能提供25%的码率降低较好的容错性能支持8-bit4:2:0到12-bit4:4:4编码分辨率支持8Kx4K，帧率23.976Hz甚至更高下一代视频编码标准可选择的编码工具超宏块预测变块尺寸预测高精度运动补偿增强型帧内预测自适应插值滤波器，运动矢量预测….下一代视频编码标准“BeyondMacroblockbasedPredictiveBeyondPredictiveCodingforUltraHDVideo”,w10174_4-2,October14,2008下一代视频编码标准变块尺寸预测下一代视频编码标准变块尺寸预测TriangularSub-MacroblockPartitioningForMotionCompensatedPrediction,w10174,October14,2008.下一代视频编码标准1/8像素插值插值滤波器设计对数据存取的吞吐量、计算复杂度起着重要的影响作用，