数字视频技术5

数字视频技术第五章新型视频编码技术2010年10月视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准§5.1基于视觉特性的编码

视网膜侧膝体

人类“眼脑”视觉信息系统处理基本流程

下颞叶皮质区

信息论视觉信息论视频编码理论基础视频编码

框架与方法

基于数字信号处理的框架与方法基于视觉模型的框架与方法

光学刺激

像素图像块局部特征部件/物体

视觉信息表示的基本粒子结构§5.1基于视觉特性的编码视觉信息论——从像素到基元（熵）质量评价方法——与主观感知一致编码方法——多维度感知编码、分布式视觉编码香农信息熵视觉熵像素集基元词典扩展§5.1基于视觉特性的编码技术1：纹理分析合成编码**ThomasWiegand:NewTechniquesforImprovedVideoCoding§5.1基于视觉特性的编码技术1：纹理分析合成编码*用一个纹理分析器识别出图像中的纹理区域；再用一个纹理合成器对这些特殊的纹理区域进行合成；其余的区域则采用传统的视频编码方法进行编码；视频图像中纹理区域的检测与划分——计算各个宏块之间的距离,如果它们之间的距离小于一个给定的阈值,则认为它们的纹理特性相似,就把这两个宏块合并到同一集合中；纹理区域的合成,可以采用基于仿射模型的全局运动估计得到仿射参数,然后把仿射参数传到解码端,并在解码端对相应的纹理区域进行合成。

*ThomasWiegand:NewTechniquesforImprovedVideoCoding§5.1基于视觉特性的编码实验结果对比§5.1基于视觉特性的编码技术2：基于Inpainting技术的视频编码*码率节省达18%*D.

Liu;X.Sun;F.Wu;S.Li;Y.Zhang,ImageCompressionWithEdge-BasedInpainting,IEEE-TCSVT,Vol.17,No.10,Oct.2007pp.1273–1287.§5.1基于视觉特性的编码

Inpainting技术——图像修复技术具有广泛的应用：修复具有收藏价值的旧名画；修复具有划痕的老照片和底片；去除图像中的附加文字；去掉图像中不想要的物体；图像的放大和图像压缩编码等；老照片修复字幕移除电影特技通信中图像丢失块的修补§5.1基于视觉特性的编码集成图像修复技术的新压缩框架：编码端有意丢弃一些图像区域,同时从丢弃的区域中提取出关键视觉信息,以辅助信息的形式连同不完整图像一起编码传输;解码端得到不完整图像后,在辅助信息的帮助下,利用图像修补技术将丢弃区域填补完整,从而重建图像；该框架要求解决有辅助信息的图像修补、辅助信息的提取和编码、以及区域丢弃等若干新问题；现有的图像修补方法可分为：基于偏微分方程——边缘信息在图像修补过程中非常重要；基于纹理合成——利用图像片之间的相似性,提出将片位移信息作为图像修补的辅助信息。

§5.1基于视觉特性的编码技术3：视觉感知机理与编码视觉感知与编码是神经计算科学研究的基本问题之一,其主要任务是以神经生理学和认知科学的研究成果为基础,模拟人类视觉信息处理的神经模式,从计算的角度研究新的计算原理和视觉信息处理系统；从稀疏编码的思想出发,以自然图像或序列作为训练数据,学习初级视皮层中简单细胞和复杂细胞的时空感受野及其自组织拓扑图,进而在较高级视皮层层次构建视觉感知模型来感知外界图像刺激中的内容信息、平移、旋转、缩放等运动和变换信息；§5.1基于视觉特性的编码技术3：视觉感知机理与编码“像素-基元/纹理-对象-场景”层次模型S.Zhu,UCLA感知图获取结构感知合成纹理原始图像合成图像纹理区域估计§5.1基于视觉特性的编码符合人眼特性的图像/视频质量评价标准块效应、模糊效应、振铃效应的模型表示

图像/视频库主观质量评价视觉失真测度模型§5.2多维度可伸缩编码在目前各类通信应用中，视频编码的目标正从面向存储转向面向传输，编码的目的从产生适合存储的固定尺寸的码流发展到产生适合一定传输码率的可伸缩性码流；可伸缩编码基本思想——将视频编码成一个可单独解码的基本层码流和一个可在任何位置截断的增强层码流，其中基本层码流适应最低的网络带宽，增强层码流用来覆盖网络带宽变化的动态范围。§5.2多维度可伸缩编码可伸缩视频编码的特征有：具有“可伸缩”的视频流，能够动态的适应网络带宽的变化，重构质量与带宽成近似线性关系；具有抵抗数据丢失的鲁棒性；能够同时满足具有不同处理能力的用户终端的需求；可以在任意点截断以适应各种不同的通信环境和用户需求。§5.2多维度可伸缩编码视频编码的可伸缩特性主要包括3类：时域可伸缩性：解码视频可以具有不同的帧率，以适应不同带宽要求。最简单可通过在码流中添加B帧（双向预测帧不作为参考图像，在传输中丢弃不会影响其它帧的质量，仅会降低帧率）来实现；空域可伸缩性：解码视频可具有不同的空间分辨率，以适应不同显示能力的终端。通过为视频中的每一帧都创建多分辨率的表示（原视频通过下采样得到低分辨率的视频，编码得基本层码流，原始视频与基本层视频之差为增强层码流，即使增强层丢失，解码端也可获得一定质量视频）实现；质量可伸缩性：解码视频可具有不同的视频质量，以适应不同处理能力的终端设备。无需对原视频下采样，通过粗量化生成基本层码流，后对原视频与基本层视频之差进行细量化生成增强层码流。§5.2多维度可伸缩编码时域可伸缩空域可伸缩质量可伸缩时域可伸缩质量可伸缩传统可伸缩编码§5.2多维度可伸缩编码重点§5.2多维度可伸缩编码可伸缩编码框架：融合时域、空域、质量、注意、动态范围等的多维度可伸缩编码方法注意编码：基于注意模型的感兴趣区域表达、编码及码流优化截取方法注意可伸缩时域可伸缩质量可伸缩空域可伸缩动态范围可伸缩§5.3多视/立体视编码一、多视采集系统线阵排列§5.3多视/立体视编码弧形排列§5.3多视/立体视编码面阵排列§5.3多视/立体视编码多视点预测编码—H.264MVC视内预测视间预测：消除视间的冗余§5.3多视/立体视编码二、立体视频编码立体感的产生——视差原理§5.3多视/立体视编码立体电视与自由视点电视

会聚式多视摄像机系统：

N个摄像机有N个真实的视，在这些视之间可内插出所需质量的虚拟的视；从而观看的立体图像的视角范围可扩展至整个虚线所示的1200的扇形区域，且可通过人的头部（人眼）跟踪技术即时看到随视向改变而改变的立体图像，提高立体视频的真实感和临场感。§5.3多视/立体视编码立体显示戴眼镜观看：互补色、时分立体电视不戴眼镜即可观看：三维显示器§5.3多视/立体视编码多视预测编码深度信息获取立体摄像机直接获取：成本高双目立体匹配方法：匹配点不唯一问题，遮挡问题单目单图示线索方法：可利用图示信息较少，提取深度不准确其他研究：单目多图示线索方法

§5.3多视/立体视编码纹理图深度图分块模型深度信息编码基于模型的编码，通过编码模型参数来表示深度信息对相邻帧间深度信息进行差分预测、量化编码编码过程中的率失真优化立体电视示范系统多视点

立体视频

采集装置自动立体

显示器分时立体

显示器…深度图

生成平台多视点

立体视频

编码器直播点播服务器解码

绘制

终端现有

视频节目显示

适配器网络§5.4分布式编码传统的视频编码标准，采用的都是不对称编码方式，即编码器承担了运动估计、变换、量化、熵编码及相应解码等大量高复杂计算，使得编码复杂度是解码的5～10倍以上，它适合于一次编码多次解码的情况；大数据量的图像视频类多媒体信号在无线网络上的实时传输，要求：无线视频编码器低功耗、低复杂度；编码器具有高压缩效率；视频信号传输具备强健壮性；此时需要编码设备较简单，解码设备因拥有较多资源可以进行高复杂计算；一种全新的视频编码框架——分布式视频编码DVC实现系统；其理论基础是信息论中的Slepian-Wolf（SF）和Wyner-Ziv（WZ）两定理，多个相关信源独立编码联合解码同样可以达到联合编码联合解码的编码效率；§5.4分布式编码Slepian-Wolf理论独立编码信源X,Y也可达到联合熵下界独立编码相关信源X,Y可在解码端通过联合解码进行重建满足条件约束[1]Slepian-Wolf,Noiselesscodingofcorrelatedinformationsources,IEEEtrans.onInf.Theory,1973.[2]Wyner-Ziv,RecentresultsintheShannontheory,IEEEtransonInf.Theory,1974.§5.4分布式编码分布式视频编码非常适合于便携式、耗电低、运算能力和带宽均受限的无线视频发送终端，可为未来无线视频信号编码与传输提供具有极大竞争力的解决方案；在资源受限的分布式视频应用中，需要利用视觉特性，研究分布式多视点编码理论，提高编码效率；充分利用分布式信源之间的相关性，去除分布式信源的视间冗余，达到分布式视频信息高效编码。§5.4分布式编码StandfordDVC编码器以常规方法编码信源Y(Keyframe)以Wyner-Ziv

编码信源X,通过Slephian-WolfCoder传送校验位§5.4分布式编码BerkeleyDVC编码器PRISM(Power-efficientRobusthIgh-compressionSyndrome-basedMultimediacoding)：将高效的预测编码模式和帧内预测编码模式有效的结合起来，相应地需要：低复杂度边信息编码高复杂度边信息解码§5.4分布式编码独立、低复杂度编码适合分布式监控、无线传感网络等应用上行：Wyner-Ziv编码器编码码流传送到级站下行：级站进行转码，用通用编码器编码，终端采用通用低复杂度解码器解码§5.5下一代视频编码标准MPEGHVC,2009年2月需求文档w10361两大应用前景需要支持HD甚至UHD应用的家庭影院、数字相机等移动终端应用压缩效率比现有技术有显著提高图像分辨率支持4Kx2K，甚至高达8Kx4K支持采样格式

YCbCr4:2:0,YCbCr/RGB4:4:4，采样精度最高达14bit典型帧率支持24~60fps，支持灵活帧率复杂度/性能较好的折中§5.5下一代视频编码标准VCEG,H.NGC,Geneva,27January-6February2009编码码率比H.264/AVC再降低50%编码复杂度低于3倍的H.264/AVC复杂度增加50%时应能提供25%的码率降低较好的容错性能支持8-bit4:2:0到12-bit4:4:4编码分辨率支持8Kx4K，帧率23.976Hz甚至更高§5.5下一代视频编码标准可选择的编码工具超宏块预测变块尺寸预测高精度运动补偿增强型帧内预测自适应插值滤波器，运动矢量预测….§5.5下一代视频编码标准§5.5下一代视频编码标准变块尺寸预测§5.5下一代视频编码标准变块尺寸预测TriangularSub-MacroblockPartitioningForMotionCompensatedPrediction,w10174,October14,2008.§5.5下一代视频编码标准1/8像素插值插