电子教案第二章数字技术

数字视频技术第二章视频编码基本原理与技术2012年3月§2.1视频编码概述

一、必要性与可行性典型压缩格式的数据速率对比表格式典型数据速率DVCPRO3.6MB／秒DVCPRO507.2MB／秒MPEG2I25M3.6MB／秒MPEG2I50M7.2MB／秒非压缩标准清晰度视频24MB／秒§2.1视频编码概述

需要多大的硬盘空间视频格式1分钟素材占用的磁盘空间DVCPRO216MBDVCPRO50432MBMPEG2I25M216MBMPEG2I50M432MB非压缩标准清晰度视频1.4GB§2.1视频编码概述

按照ITU601的建议，传输1秒钟的PAL制式信号的原始数据量为

720*576*8*2*25=169Mbit=21MB/S

1GB硬盘存：1GB/21MB=49s

的节目结论：要使数字电视信号适合于实际存储和传输，必须压缩数据量，降低传输数据码率。前提：压缩后图象质量要满足视觉要求。§2.1视频编码概述

数据与信息的区别数据用来记录和传送信息，是信息的载体；数据的处理结果是信息。数据压缩的对象是数据，而不是“信息”数据压缩的目的是在传送和处理信息时，尽量减小数据量数据量与信息量的关系：数据量=信息量+冗余数据量§2.1视频编码概述冗余分类时间冗余编码冗余心理视觉冗余空间冗余§2.1视频编码概述1、空间冗余>>X=imread('D:\ProgramFiles\MATLAB\R2008a\work\images\barbara.png');>>imshow(X,[])>>A=X(1:10,1:10);181201202195189194197206213 197171198201192190193197207214 198175195 193183187192197210209 193184201 192180188195200213212 185197206194185188194201211206 176200202 190188194197204212203 167192196182187196197208 212199 158196189181189199203210 211186139203191188195203208212 209175130200193 192196204207212 201162 1252、时间冗余视频序列的相邻帧之间存在时间冗余，例如：25帧/秒，时间间隔0.04s静止场景运动场景具有相关性§2.1视频编码概述3、心理视觉冗余人眼感觉到的区域亮度不仅取决于反射光，还会受到相邻区域光强的影响。如马赫带，其原因是眼睛对各种信息感受的灵敏度不同。那些不重要的信息叫心理视觉冗余，而这种冗余可以在不削减图像感知质量的情况下消除。消除心理视觉冗余会导致信息丢失，也叫“量化”。表示从一个范围很广的值集合→有限输出值的映射；这种映射不可逆（视觉信息有损失），结果导致有损压缩。横截面主观感觉到横截面人类视觉系统不是对所有的视觉信息都具有相同的敏感度。1.对亮度信息敏感，对色度信息相对不敏感；2.自然界的光强的动态范围0～29，人眼能分辨的图像灰度等级为26，因此通常对模拟信号量化为8bit或者16bit3.对图像变换后的低频信号较敏感，高频不敏感，因此，可以去除部分高频信息；4.对静止或者运动平缓的视频信息具有较高的分辨率，对于快速运动的物体分辨能力大大下降5.视觉暂留特性4.编码冗余对图像的所有信息使用相同长度的符号表示，比特数较多按照像素信息熵的大小为其分配相应的比特数，最优在进行图像采样和量化时一般的方法是对所有的像素分配相同的比特数，此时平均比特数不能达到或者接近熵值，存在编码冗余X=imread('D:\ProgramFiles\MATLAB\R2008a\work\images\barbara.png');

[m,n]=size(X);c=zeros(1,256);fork=0:255c(k+1)=length(find(X==k))/(m*n);endbar(0:255,c,'b');title(‘图像的直方图');§2.1视频编码概述

举例：通过图像的灰度级直方图深入了解编码结构，从而减少表达图像所需的数据量。编码用于表示信息的主体或事件的集合；每个信息或事件都被赋予一个编码符号序列，称为码字；每个码字中符号的个数是这个码字的长度；若编码符号数多于实际所需符号数，存在编码冗余。§2.1视频编码概述设直方图、灰度都归一化表示rk的比特数为l(rk)，则每像素所需平均比特为：

M×N图像进行编码所需比特数MN

Lavg；用m比特自然二进制编码，则表示灰度的可减少到m。

§2.1视频编码概述

编码1：定长编码Lavg=m=3比特；编码2：变长编码Lavg=2.7比特。压缩率=3/2.7=1.11——说明使用编码1有大约10%冗余§2.1视频编码概述说明编码：

pr(rk)和l2(rk)成反比——pr(rk)减少时，l2(rk)增加；编码2最短码字赋予出现频率最高的灰度级。§2.1视频编码概述t+1t时间冗余空间冗余心理视觉冗余，感知冗余DCT编码冗余§2.1.2视频编码的发展与分类一、为在世界范围内推进视频编码压缩技术和多媒体通信技术，由以下几个组织在指定国际标准：1.国际电信联盟ITU（InternationalmunicationUnion）ITU的历史可以追溯到1865年。为了顺利实现国际电报通信，1865年5月17日，法、德、俄、意、奥等20个欧洲国家的代表在巴黎签订了《国际电报公约》，国际电报联盟（InternationalTelegraphUnion，ITU）也宣告成立。随着电话与无线电的应用与发展，ITU的职权不断扩大。1906年，德、英、法、美、日等27个国家的代表在柏林签订了《国际无线电报公约》。1932年，70多个国家的代表在西班牙马德里召开会议，将《国际电报公约》与《国际无线电报公约》合并，制定《国际电信公约》，并决定自1934年1月1日起正式改称为“国际电信联盟”（InternationalmunicationUnion）。经联合国同意，1947年10月15日国际电信联盟成为联合国的一个专门机构，其总部由瑞士伯尔尼迁至到日内瓦。ITU制定的标准主要针对实时视频通信的应用，如视频会议和可视电话等，以H.26x命名；§2.1视频编码概述2.国际标准化组织ISO(InternationalStandardizationOrganization,ISO)3.ISO和ITU的JPEG（JointPhotographicExpertsGroup，联合专家组）指定的国际标准：JPEG和JPEG2000，主要针对于静止图像的压缩4.ISO和IEC（InternationalElectrotechnicalCommission,国际电工委员会）中的MPEG组织（MovingPictureExpertGroup）制定的MPEG-x系列（MPEG-1，MPEG-2，MPEG-4，等）针对于广播电视和视频流的网络传输等§2.1视频编码概述视频编码的发展历程：第一代视频编码压缩技术：1948年，脉冲编码调制（PulseCodingModulation，PCM）1959年，Shannon确立了码率失真理论；三大经典编码方法有：预测编码、变换编码、统计编码编码效果：在中等压缩率的情况下，提供非常好的图像质量；在非常低的压缩率情况下，无法为一般序列提供满意的效果第一代编码的优缺点优点：去除客观和视觉冗余信息的能力已经接近极限；缺点：没有利用图像的结构特点，也没有考虑人类视觉系统的特性、视频信息的具体含义和重要程度。§2.1视频编码概述第二代视频编码压缩技术：1985年，Kunt等人提出了第二代视频编码技术，指出不能局限于信息论的框架，要充分利用人的视觉生理、心理、和图像信源的各种特征，实现从“波形编码”到“模型编码”的转变，以便获得更高的压缩比。主要方法：基于分形的编码、基于模型的编码、基于区域分割的编码、基于神经网络的编码等优缺点优点：压缩比高，基于分形的算法在30：1至70：1之间，有的甚至高到100：1缺点：计算复杂度大，目前尚处于理论研究阶段

目前，在实际的工业标准中使用的仍然以第一代编码技术为主，也是本书的重点“多分辨率编码”20世纪90年代出现编码方法：子带编码、塔形编码、基于小波变换的编码利用人类视觉特性，对不同频段的数据进行粗细不同的量化处理应用于：JPEG2000，§2.1视频编码概述第一代传统视频编码方法从信号处理层面入手，以像素、块为表示基础；基于香农（Shannon）信息论，采用混合编码框架：变换+预测+熵编码§2.1视频编码概述1950差分预测编码调制隔行编码B帧P帧场景自适应编码块运动估计DCT宏块混合编码哈夫曼编码变换编码运动矢量预测视频对象基于对象的可分级编码容错一般的B帧高级的去块效率虑波基于位平面的可伸缩编码高精度运动补偿基于上下文的算术编码2014多视编码分布式编码1999~1985专利可免费使用专利可免费使用二、编码方法的分类从信息在压缩过程中有否丢失来分：无损压缩压缩前和压缩后还原的数据完全一致多采用概率统计编码平均压缩比在两倍左右如winrar文档压缩有损压缩压缩过程中会丢失视频中的一些信息压缩比较大如JPEG压缩二、编码方法的分类从计算机使用软件压缩还是硬件压缩来分：单纯软件压缩（丢失大量信息）丢帧：从每秒30帧或25帧中丢掉一些帧不丢帧：在每帧中丢掉一些来不及处理的信息软件压缩，硬件辅助从压缩信号是模拟信号还是数字信号来分：模拟信号压缩缺点：大大降低了视频信号的质量数字信号压缩二、编码方法的分类从压缩算法分：帧内压缩（空间压缩）压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息一般采用有损压缩算法压缩后的视频数据仍然可以以帧为单位进行编辑压缩比较低帧间压缩（时间压缩）一般是采用无损压缩算法用帧差值算法，通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，大大减少数据量二、编码方法的分类按照描述图像或视频源的信源模型来进行分类分：基于波形编码通常是采用像素来表示图像的，像素是最基本单元，尽可能精确地用像素值表示在该像素点的光强和颜色值，不考虑一组像素可能代表一个具体物理对象这一事实情况基于内容编码信源模型的基本单元不是像素而是对象。基于对象的分析综合编码、物体基编码、模型基和语义基编码都属于这一类。显然，以对象特征信息来描述图像是一种比用像素来描述的更高层次的编码方法，可以达到更高的压缩率。三、

第二代视频编码的出现第一代编码效率进一步提高已很艰难

色彩空间和变换编码已接近最优；用计算复杂度换取预测增益的空间越来越小；熵编码提高增益的路也不宽。三、

第二代视频编码的出现峰值信噪比=6.24峰值信噪比=5.98一般认为：峰值信噪比与图像质量近似成正比关系。结论：1、峰值信噪比度量与人的视觉感知并不完全一致！

2、需要寻求更加符合人类视觉感知的客观度量方法以

及相应的编码理论和方法。三、

第二代视频编码的出现人类视觉系统的信息处理能力远远超过目前的视频处理系统，借鉴人类视觉系统的视觉信息处理基本神经机制和心理机理，构建统一的图像/视频基本结构和表示模型及其相应的视觉计算方法，发展将香农信息论与人类视觉信息处理原理相结合的高效视觉编码理论是可能突破的方向；视频编码处理的核心环节——要对视频中包含的视觉信息进行高效的表达和准确地重建；其本质是——是视觉信息的基本结构和有效表示问题。三、

第二代视频编码的出现与人类视觉系统特性相吻合的视频表示及编码的理论是什么？

香农信息论从理论上给出了编码效率的上界和失真的关系，但并未考虑编码的符号（事件）集，对视频中高阶相关缺乏有效的描述手段；视觉信息论试图借鉴神经生理学在不同感知阶段对感知对象的抽象，建立对应的符号（事件）集，使之能够方便的描述高阶相关性，体现语义结构，从而丰富信息论理论；符号（事件）是借鉴稀疏编码理论通过采用贝叶斯计算视觉感知的后验概率建立的，这将为高效视频编码提供指导性的理论基础。三、

第二代视频编码的出现

稀疏编码（SparseCoding,SC）——是一种多维数据描述方法，数据经稀疏编码后仅有少数分量同时处于明显激活状态，大致等价于编码后的分量呈现超高斯分布；优点：

编码方案