第4章视频数据的压缩编码

第4章视频数据的压缩编码第4章视频数据的压缩编码

掌握典型的视频编码器和解码器理解视频序列编码和视频播放中的随机接入

掌握压缩编码算法的性能评价

了解图像和视频压缩编码的国际标准学习目标第4章视频数据的压缩编码4.1基于帧的视频编码4.1.1典型的编码器与解码器4.1.2视频序列的编码4.1.7码流结构4.5压缩编码算法的性能评价4.6图像和视频编码的国际标准4.1基于帧的视频编码4.1.1典型的编码器与解码器一、视频图像的条（片）与宏块划分对视频图像的压缩编码，是分块进行的，一帧图像首先分成若干条（片），每条又分成许多宏块；宏块（MB）：是基本的处理单元，包含一个亮度块和两个色度块。二、编码器的工作原理1、图像信号的预处理二、编码器的工作原理

2、运动估值/补偿视频信号并不是逐帧单独压缩传送，只有其中一部分帧是这样传送，对于大多数帧，只发送实际图像和预测图像的差值（DFD）运动估值：预测精度取决于对相邻帧间运动的估值运动补偿：由于估值并不精确，需要发送额外的信息来指明运动部分的预测位置与实际位置的差别2、运动估值/补偿

说明：DFD：帧间差运动矢量的获取：当前帧在参考帧中，块匹配得到最佳匹配块，估计得到位移矢量D；参考帧的获取：由重构的DFD加上当前块预测值bk-1得来，包含两者信息；预测帧的获取：参考帧通过运动补偿，得到当前帧的预测值；帧间编码块帧内编码块带有运动估值与补偿的帧间预测编码原理3、DCT变换图像经DCT变换后，DCT系数之间相关性已经很小，而且大部分能量集中在少数的系数上。可以对整幅图像进行DCT变换，但由于图像各部位的细节不同，常采用分块DCT的办法，即将宏块再分为8X8个子块，对每个子块进行DCT变换，不同细节的子块，DCT保留的系数可不同，从而降低运算量和存储空间。4、量化量化会带来误差(信息损失)。通过量化(Q)，可以保留重要的DCT系数，并将不重要的DCT系数量化到零，这是数据压缩的重要的一步。5.从二维矩阵到一维序列的转换（游程编码）DCT系数矩阵经量化后，已经变得很稀疏，相当多的系数已经量化到零，只剩下低频系数和少量高频系数。为了进行后面的熵编码，需要将二维矩阵系数转换为一维序列，这种转换叫：游程编码。游程编码的方法：（1）对稀疏的DCT系数矩阵，进行“之”字形扫描，得到一个系数序列：5.从二维矩阵到一维序列的转换（游程编码）（2）当扫描到高频区域，遇到若干个零之后才有一个非零值时，为了记录该非零值的位置，该值前面的零的个数用游程编码来表示。（3）当剩下的系数均为零时，用符号EOB（EndofBlock）来代表序列的截止。格式为：(run,level)run：表示这个非零系数前面的零的数目Level：表示这个非零系数的数值游程编码的方法：6、熵编码格式：(last,run,level)说明：last：表示是否为游程编码非零序列的最后符号，last=1：代表“是”；run：表示这个非零系数前面的零的数目；level：表示这个非零系数的绝对值；码字后的s：0为正值，1为负值。游程编码之后，还需要使用熵编码来进一步消除冗余，压缩数据。实际设计中，是将游程编码后的组合（run，level）看成一个符号，并给予一个码字，这样的码表称为二维霍夫曼表。7、速率控制由于编码的原因，例如，熵编码产生的是变长码、帧内编码与帧间编码产生的数据量不同、视频信号的统计特性不平稳，复杂度高的图像经压缩后产生的数据量大，等等，因此，编码输出的比特流速率是变化的。为了能在恒定比特率的信道上传送，需要在进入信道之前加一个缓冲器，用以对输出的比特流速率进行平滑和控制；4.1.2视频序列的编码帧内编码：采用类似于静止的图像压缩（JPEG算法)进行编码,通常第一帧(I帧)采用帧内编码,后继帧采用帧间预测编码。帧间编码：即帧间预测压缩编码。●压缩编码的帧，一般有独立编码的帧（帧内编码），和预测编码的帧（帧间编码）两大类型。●随机接入：接收机在刚开机、改换频道、进行快进快退等操作时，需要从码流的某个中间点处开始解码，这称为随机接入。4.1.2视频序列的编码I帧：即实行帧内编码的帧。B帧：双向预测的帧间编码帧。P帧：前向预测的帧间编码帧。GOP：两个I帧之间的图像所构成的一个图像组，其中的P帧和B帧数目可以根据实际需要选择。●4.1.7码流结构

视频序列是以帧为单位进行编码，每一帧又被划分为条、宏块和块分别进行具有运动补偿的帧间预测和DCT编码，然后转换成一维的符号序列，经熵编码形成一串由0、1组成的码流。

要使解码器能够从码流恢复出原来的视频序列，必须给出码流的各段与帧、条、宏块与块之间的对应关系，通常是将码流按层次结构来组织，并在每个层次插入相应的头信息来完成。●4.1.7码流结构

码流共分为六个层次:图像序列是由数据头和若干图像组构成的。数据头中包含图像的大小，量化矩阵等信息。图像组：一个图像组是由数据头和若干图像构成。数据头中包含时间代码等信息。图像组中每一幅图像既可以是I帧，也可以是P帧或B帧。但需说明的是GOP中的第一幅图像必须是I帧，这样可以便于提供图像接入点。图像：一幅图像是由数据头和若干片构成的。其中数据头包含该图像的编码类型及码表选择信息等。它是最基本的显示单元。通常我们也称其为帧。●4.1.7码流结构

码流共分为六个层次:图像条：一个图像条是由附加数据与若干个宏块组成。附加数据包括该图像条在整个图像中的位置、默认的全局量化参数等。图像条是进行图像同步的基本单元。应该说明的是在一帧图像中，图像条越多，其编码效率越低，但处理误码的操作更容易，只需跳过出现误码的图像条即可。宏块：一个宏块是由附加数据与4个8×8亮度块和2个8×8色差块组成。其中附加数据包含宏块的编码类型、量化参数、运动矢量等。宏块是进行运动补偿运算的基本单元。块：一个块是由8×8像素构成的。亮度信号、色差信号都采用这种结构。它是DCT变换的最基本单元。4.5压缩编码算法性能的评价衡量数据压缩技术的性能主要有压缩比、重建图像质量、算法复杂性、时延等。此外，一个好的算法还要考虑多媒体技术的软硬件适应能力、应用标准、技术标准等。●数据压缩的倍数（压缩比）数据压缩倍数为压缩前后的数据量之比

衡量另一种压缩倍数是用平均像素所使用的比特数表示数据量大小。●重建图像质量的客观评价通常用重建图像与原图像之间像素值的均方误差（MSE）来衡量，将均方误差作为由数据压缩而产生的噪声能量，定义峰值信噪比为：4.5压缩编码算法性能的评价●视频压缩的率失真性能率-失真（RD）性能：综合考虑压缩后的码率和重建图像的信噪比。●重建图像的主观评价主观评价是指观察者根据自己的感觉对图像质量进行的评价，为此，国际电联无线电组在BT500-11对图像主观评价做出规定：主观评价的观察者主观评价的方法、条件和尺度（进行5星评定）计算平均评价分数：●4.6图像和视频压缩编码的国际标准1、JPEG是英文JointPhotographicExpertsGroup的缩写，即联合图像专家组。该标准是一种适用于静止图像压缩算法的国际标准。包含四种运行模式，其要点如下:4.6.1静止图像压缩标准JPEG顺序编码模式：根据DCT变换原理，从上到下，从左到右顺序地对图像数据进行压缩编码。在此过程中存在信息丢失，因此这是一种有损图像压缩编码。渐进编码模式：以DCT变换为基础，不同的是先传送部分DCT系数信息，使接收端获得一个“粗略”图像，再将剩余频带系数渐次传送，最终形成清晰图像。无损编码模式：采用帧内预测（DPCM）和熵编码以保证重建图像与原图像完全相同。分层编码模式：以图像分辨率为基准进行图像编码，首先将输入图像的分辨率逐层降低，先对低分辨率的底层图像进行编码，逐步提高分辨率，直到与源图像分辨率相同为止。2.新一代静止图像压缩标准JPEG2000JPEG2000与传统JPEG最大的不同，是放弃了以DCT变换为主的区块编码方式，而采用以小波变换为主的多解析编码方式。其主要特征如下：高效的编码方法。压缩比提高10%—30%。；支持ROI编码。支持对ROI进行比对背景质量更高的编码；可伸缩编码。支持类似于分层方式的空间分辨率可伸缩性和信噪比可伸缩性编码；

H.261是ITU-T制定的视频压缩编码标准，也是世界上第一个得到广泛承认的、针对动态图像的视频压缩标准，而且其后出现的MPEG系列标准、H.262以及H.263等数字视频压缩标准的核心都是H.261。

规定采用CIF（通用中间格式）和QCIF格式（1/4CIF）作为视频输入格式。

4.6.2视听会议压缩编码标准H.2611、H.261简介2、H.261压缩编码原理第一帧图像采用帧内预测编码。对于图像序列的第一幅图像或景物变换后的第一幅图像，采用帧内变换编码。采用具有运动补偿的帧间预测。块DCT变换和霍夫曼编码。

4.6.3数字声像压缩编码标准MPEG-1

MPEG-1是1993年8月正式通过的技术标准，其全称为“适用于约1.5Mbit/s以下数字存储媒体的运动图像及伴音的编码”。

MPEG-1标准由三个部分组成：声像同步与复用（系统）部分。描述了几种伴音和图像压缩数据的复用以及加入同步信号后的整个系统（编号为11172-1）。视频编码部分。规定了图像压缩编码方法（编号为11172-2）音频编码部分。规定了数字伴音压缩编码（11172-3）

MPEG-1可处理的图像格式为SIF（SourceInputFormat）格式。处理隔行扫描的视频信号能力。专门设置“按场扫描模式”显著提高了压缩编码效率。更高的色度信号取样模式。

规定了3种色差取样模式：4:2:0；4:2:2；4:4:4可伸缩的视频编码方式。

对码流的一部分进行解码，可以获得完整的重建图像。MPEG-2视频编码即分“范畴”又分“层次”。5种范畴包括：无B帧的简单型、允许B帧的主型、信噪比可伸缩型、空间可伸缩性和高型。（详见表4-4）层次规定了最高分辨率（详见表4-5）4.6.4通用视频及伴音压缩编码标准MPEG-2（H.262）1994年出台的MPEG-2（ISO/IEC13818）标准所追求的是针对广播电视质量的视频信号及其伴音的压缩编码标准。它是在MPEG-1的基础上进行了重大的改进和扩充，主要体现在以下几方面：H.263能够支持更多的图像模式。高效的编码模式。半像素精度的运动补偿8*8的帧间预测DCT系数的空间预测基于句法的算术编码不受限的运动矢量算法PB帧模式抗误码措施

4.6.5低比特率视听会议压缩编码标准H.263H.263是一种低比特率的视频压缩标准，主要适用于可视电话和视频会议。它是以H.261为基础的，其编码原理和数据结构都与H.261相似。4.6.6通用音视频对象压缩编码标准MPEG-4

MPEG-4是一种第二代视音频编码技术。它是一种适用于各种多媒体应用的“视音频对象编码”标准。在可视对象编码方面，MPEG-4具有以下特点：MPEG-4采用：场景二进格式BIFS来描述多媒体场景，即用BIF定义构成场景的对象之间的空间和时间关系，这些关系通常以树的结构表示。（如图4-32）对象描述符OD描述某个对象信息，通过OD可以找到对应于该对象的媒体流，媒体流中包含对象的运动、纹理和形状信息。

场景描述符流（BIF流）、对象描述符流（OD流）和媒体流复接成一个流输出，接收端首先通过一个初始OD找到BIFS流和OD流，然后通过这两个流找到构成场景的各个媒体流。基于对象的编码和场景的组合4.6.6通用音视频对象压缩编码标准MPEG-4

低码率的核心编码以H.263为基础，借鉴并改进了其中高效编码工具，同时采取多种方法提高已编码流在噪声信道上传输的鲁棒性。高效率和强鲁棒性的编码

将背景作为整体，进行编码和传输。静止背景编码

支持空间可伸缩性、时间可伸缩性、信噪比可伸缩性编码，其中支持细粒度可伸缩性FGS技术。可伸缩性编码

允许使用小波变换进行图像的编码。小波纹理编码

对二维、三维的合成图像进行编码。动画对象编码由ISOMPEG和ITU-T的视频专家组VCGE组成的联合视频组JVT于2003年制定的一个视频压缩编码标准。H.264不仅具有高压缩比，而且在恶劣的网络传输条件下，具有较高的抗误码性能。4.6.7视频压缩编码标准H.264改进情况如下：帧内预测编码。大量细节