第4章视频数据压缩编码

1、第4章 视频数据的压缩编码第4章 视频数据的压缩编码 掌握典型的视频编码器和解码器 理解视频序列编码和视频播放中的随机接入 掌握压缩编码算法的性能评价 了解图像和视频压缩编码的国际标准学习目标第4章 视频数据的压缩编码4.1 基于帧的视频编码4.1.1 典型的编码器与解码器4.1.2 视频序列的编码4.1.7 码流结构4.5 压缩编码算法的性能评价4.6 图像和视频编码的国际标准4.1 基于帧的视频编码4.1.1 典型的编码器与解码器一、视频图像的条（片）与宏块划分n 对视频图像的压缩编码，是分块进行的，一帧图像首先分成若干条（片），每条又分成许多宏块；n 宏块（MB）：是基本的处理单元，包含

2、一个亮度块和两个色度块。二、编码器的工作原理1、图像信号的预处理二、编码器的工作原理2、运动估值/补偿视频信号并不是逐帧单独压缩传送，只有其中一部分帧是这样传送，对于大多数帧，只发送实际图像和预测图像的差值（DFD）运动估值：预测精度取决于对相邻帧间运动的估值运动补偿：由于估值并不精确，需要发送额外的信息来指明运动部分的预测位置与实际位置的差别2、运动估值/补偿 说明：lDFD：帧间差l运动矢量的获取：当前帧在参考帧中，块匹配得到最佳匹配块，估计得到位移矢量D；l参考帧的获取：由重构的DFD加上当前块预测值bk-1得来，包含两者信息；l预测帧的获取：参考帧通过运动补偿，得到当前帧的预测值；l帧

3、间编码块l帧内编码块n 带有运动估值与补偿的帧间预测编码原理 图像经图像经DCTDCT变换后，变换后，DCTDCT系数之间相关性已经很小，而且大系数之间相关性已经很小，而且大部分能量集中在少数的系数上。可以对整幅图像进行部分能量集中在少数的系数上。可以对整幅图像进行DCTDCT变换，变换，但由于图像各部位的细节不同，常采用但由于图像各部位的细节不同，常采用分块分块DCTDCT的办法，即将的办法，即将宏块再分为宏块再分为8X88X8个子块，对每个子块进行个子块，对每个子块进行DCTDCT变换，不同细节的变换，不同细节的子块，子块，DCTDCT保留的系数可不同，从而降低运算量和存储空间。保留的系数

4、可不同，从而降低运算量和存储空间。 量化会带来误差量化会带来误差( (信息损失信息损失) )。通过量化。通过量化(Q)(Q)，可以保留重，可以保留重要的要的DCTDCT系数，并将不重要的系数，并将不重要的DCTDCT系数量化到零，这是数据压缩系数量化到零，这是数据压缩的重要的一步。的重要的一步。5. 从二维矩阵到一维序列的转换（游程编码）DCTDCT系数矩阵经量化后，已经变得很稀疏，相当多的系数已经量化系数矩阵经量化后，已经变得很稀疏，相当多的系数已经量化到零，只剩下低频系数和少量高频系数。为了进行后面的熵编码，到零，只剩下低频系数和少量高频系数。为了进行后面的熵编码，需要将二维矩阵系数转换为

5、一维序列，这种转换叫：游程编码。需要将二维矩阵系数转换为一维序列，这种转换叫：游程编码。（1 1）对稀疏的）对稀疏的DCTDCT系数系数矩阵，进行矩阵，进行“之之”字形字形扫描，得到一个系数序扫描，得到一个系数序列：列：5. 从二维矩阵到一维序列的转换（游程编码）（2 2）当扫描到高频区域，遇到若干个零之后才有一个非零值）当扫描到高频区域，遇到若干个零之后才有一个非零值时，为了记录该非零值的位置，该值前面的零的个数用游程编时，为了记录该非零值的位置，该值前面的零的个数用游程编码来表示。码来表示。（3 3）当剩下的系数均为零时，用符号）当剩下的系数均为零时，用符号EOBEOB（End of Bl

6、ockEnd of Block）来）来代表序列的截止。代表序列的截止。n格式为：格式为：(run , level)(run , level)runrun：表示这个非零系数前面的零的数目：表示这个非零系数前面的零的数目LevelLevel：表示这个非零系数的数值：表示这个非零系数的数值l格式：格式：(last , run , level)l说明：说明：last：表示是否为游程编码非零序列的最后符号，：表示是否为游程编码非零序列的最后符号，last=1：代表：代表“是是”；run：表示这个非零系数前面的零的数目；：表示这个非零系数前面的零的数目；level：表示这个非零系数的绝对值；：表示这个非零

7、系数的绝对值；码字后的码字后的s：0为正值，为正值，1为负值。为负值。游程编码之后，还需要使用熵编码来进一步消除冗余，压缩数据。游程编码之后，还需要使用熵编码来进一步消除冗余，压缩数据。实际设计中，是将游程编码后的组合（实际设计中，是将游程编码后的组合（runrun，levellevel）看成一个符）看成一个符号，并给予一个码字，这样的码表称为二维霍夫曼表。号，并给予一个码字，这样的码表称为二维霍夫曼表。 由于编码的原因，例如，熵编码产生的是变长码、帧内编码与帧间编码产生的数据量不同、视频信号的统计特性不平稳，复杂度高的图像经压缩后产生的数据量大，等等，因此，编码输出的比特流速率是变化的。n为

8、了能在为了能在恒定比特率恒定比特率的信道上传送，需要在进入信道之前的信道上传送，需要在进入信道之前加一个加一个缓冲器缓冲器，用以对输出的比特流速率进行平滑和控制；，用以对输出的比特流速率进行平滑和控制；4.1.2 4.1.2 视频序列的编码视频序列的编码u帧内编码：采用类似于静止的图像压缩（帧内编码：采用类似于静止的图像压缩（JPEGJPEG算法算法) )进行进行编码编码, ,通常第一帧通常第一帧(I (I 帧帧) )采用帧内编码采用帧内编码, ,后继帧采用帧间预后继帧采用帧间预测编码。测编码。u帧间编码：即帧间编码：即 帧间预测压缩编码。帧间预测压缩编码。压缩编码的帧，一般有独立编码的帧（帧

9、内编码），和预测压缩编码的帧，一般有独立编码的帧（帧内编码），和预测编码的帧（帧间编码）两大类型。编码的帧（帧间编码）两大类型。随机接入：接收机在刚开机、改换频道、进行快进快退等操随机接入：接收机在刚开机、改换频道、进行快进快退等操作时，需要从码流的某个中间点处开始解码，这称为随机接入。作时，需要从码流的某个中间点处开始解码，这称为随机接入。4.1.2 4.1.2 视频序列的编码视频序列的编码pI I帧：即实行帧内编码的帧。帧：即实行帧内编码的帧。pB B帧：双向预测的帧间编码帧。帧：双向预测的帧间编码帧。pP P帧：前向预测的帧间编码帧。帧：前向预测的帧间编码帧。pGOPGOP：两个：两个I

10、 I帧之间的图像所构成的一个图像组，其中的帧之间的图像所构成的一个图像组，其中的P P帧帧和和B B帧数目可以根据实际需要选择。帧数目可以根据实际需要选择。4.1.74.1.7码流结构码流结构 视频序列是以帧为单位进行编码，每一帧又被划分为条、视频序列是以帧为单位进行编码，每一帧又被划分为条、宏块和块分别进行具有运动补偿的帧间预测和宏块和块分别进行具有运动补偿的帧间预测和DCTDCT编码，然编码，然后转换成一维的符号序列，经熵编码形成一串由后转换成一维的符号序列，经熵编码形成一串由0 0、1 1组成的组成的码流。码流。 要使解码器能够从码流恢复出原来的视频序列，必须给要使解码器能够从码流恢复出

11、原来的视频序列，必须给出码流的各段与帧、条、宏块与块之间的对应关系，通常是出码流的各段与帧、条、宏块与块之间的对应关系，通常是将码流按层次结构来组织，并在每个层次插入相应的头信息将码流按层次结构来组织，并在每个层次插入相应的头信息来完成。来完成。4.1.74.1.7码流结构码流结构 码流共分为六个层次码流共分为六个层次: :图像序列图像序列是由数据头和若干图像组构成的。数据头中包含图像的是由数据头和若干图像组构成的。数据头中包含图像的大小，量化矩阵等信息。大小，量化矩阵等信息。图像组图像组：一个图像组是由数据头和若干图像构成。数据头中包含：一个图像组是由数据头和若干图像构成。数据头中包含时间代

12、码等信息。图像组中每一幅图像既可以是时间代码等信息。图像组中每一幅图像既可以是I帧，也可以是帧，也可以是P帧帧或或B帧。但需说明的是帧。但需说明的是GOP中的第一幅图像必须是中的第一幅图像必须是I帧，这样可以便于帧，这样可以便于提供图像接入点。提供图像接入点。图像图像：一幅图像是由数据头和若干片构成的。其中数据头包含该：一幅图像是由数据头和若干片构成的。其中数据头包含该图像的编码类型及码表选择信息等。它是最基本的显示单元。通常图像的编码类型及码表选择信息等。它是最基本的显示单元。通常我们也称其为帧。我们也称其为帧。4.1.74.1.7码流结构码流结构 码流共分为六个层次码流共分为六个层次: :

13、图像条图像条：一个图像条是由附加数据与若干个宏块组成。附加数据：一个图像条是由附加数据与若干个宏块组成。附加数据包括该图像条在整个图像中的位置、默认的全局量化参数等。图像包括该图像条在整个图像中的位置、默认的全局量化参数等。图像条是进行图像同步的基本单元。应该说明的是在一帧图像中，图像条是进行图像同步的基本单元。应该说明的是在一帧图像中，图像条越多，其编码效率越低，但处理误码的操作更容易，只需跳过出条越多，其编码效率越低，但处理误码的操作更容易，只需跳过出现误码的图像条即可。现误码的图像条即可。宏块宏块：一个宏块是由附加数据与：一个宏块是由附加数据与4个个88亮度块和亮度块和2个个88色差块色

14、差块组成。其中附加数据包含宏块的编码类型、量化参数、运动矢量等。组成。其中附加数据包含宏块的编码类型、量化参数、运动矢量等。宏块是进行运动补偿运算的基本单元。宏块是进行运动补偿运算的基本单元。块块：一个块是由：一个块是由88像素构成的。亮度信号、色差信号都采用这像素构成的。亮度信号、色差信号都采用这种结构。它是种结构。它是DCT变换的最基本单元。变换的最基本单元。4.5 4.5 压缩编码算法性能的评价压缩编码算法性能的评价衡量数据压缩技术的性能主要有压缩比、重建图像质量、算法复衡量数据压缩技术的性能主要有压缩比、重建图像质量、算法复杂性、时延等。此外，一个好的算法还要考虑多媒体技术的软硬件杂性

15、、时延等。此外，一个好的算法还要考虑多媒体技术的软硬件适应能力、应用标准、技术标准等。适应能力、应用标准、技术标准等。 数据压缩的倍数（压缩比）数据压缩的倍数（压缩比） 数据压缩倍数为压缩前后的数据量之比数据压缩倍数为压缩前后的数据量之比 衡量另一种压缩倍数是用平均像素所使用的比特数表示衡量另一种压缩倍数是用平均像素所使用的比特数表示数据量大小。数据量大小。 重建图像质量的客观评价重建图像质量的客观评价 通常用重建图像与原图像之间像素值的均方误差（通常用重建图像与原图像之间像素值的均方误差（MSEMSE）来衡量，将均方误差作为由数据压缩而产生的噪声能量，来衡量，将均方误差作为由数据压缩而产生的

16、噪声能量，定义峰值信噪比为：定义峰值信噪比为：22m ax22=110 lg()()(4107)1M SE=(x -x )NNiiixPSNRdBM SE其 中 ，4.5 4.5 压缩编码算法性能的评价压缩编码算法性能的评价 视频压缩的率失真性能视频压缩的率失真性能 率率- -失真（失真（RDRD）性能：综合考虑压缩后的码率和重建图）性能：综合考虑压缩后的码率和重建图像的信噪比。像的信噪比。 重建图像的主观评价重建图像的主观评价 主观评价是指观察者根据自己的感觉对图像质量进行主观评价是指观察者根据自己的感觉对图像质量进行的评价，为此，国际电联无线电组在的评价，为此，国际电联无线电组在BT500

17、-11BT500-11对图像对图像主观评价做出规定：主观评价做出规定：主观评价的观察者主观评价的观察者主观评价的方法、条件和尺度（进行主观评价的方法、条件和尺度（进行5 5星评定）星评定）计算平均评价分数：计算平均评价分数：11/(4110)nkniiiiiiiMOSn cnkc为类别数，即有几个分数等级， 为分数，为该类别人数4.64.6图像和视频压缩编码的国际标准图像和视频压缩编码的国际标准 1 1、JPEGJPEG是英文是英文Joint Photographic Experts GroupJoint Photographic Experts Group的的缩写，即联合图像专家组。该标准是

18、一种适用于静止图像压缩写，即联合图像专家组。该标准是一种适用于静止图像压缩算法的国际标准。包含四种运行模式，其要点如下缩算法的国际标准。包含四种运行模式，其要点如下: :4.6.1静止图像压缩标准静止图像压缩标准JPEG顺序编码模式：顺序编码模式：根据根据DCTDCT变换原理，从上到下，从左到右顺序地对变换原理，从上到下，从左到右顺序地对图像数据进行压缩编码。在此过程中存在信息丢失，因此这是一种图像数据进行压缩编码。在此过程中存在信息丢失，因此这是一种有损图像压缩编码。有损图像压缩编码。渐进编码模式：渐进编码模式：以以DCTDCT变换为基础变换为基础，不同的是先传送部分，不同的是先传送部分DC

19、TDCT系数系数信息，使接收端获得一个信息，使接收端获得一个“粗略粗略”图像，再将剩余频带系数渐次传图像，再将剩余频带系数渐次传送，最终形成清晰图像。送，最终形成清晰图像。无损编码模式：无损编码模式：采用帧内预测（采用帧内预测（DPCMDPCM）和熵编码以保证重建图像）和熵编码以保证重建图像与原图像完全相同。与原图像完全相同。分层编码模式：分层编码模式：以图像分辨率为基准进行图像编码，首先将输入以图像分辨率为基准进行图像编码，首先将输入图像的分辨率逐层降低，先对低分辨率的底层图像进行编码，逐步图像的分辨率逐层降低，先对低分辨率的底层图像进行编码，逐步提高分辨率，直到与源图像分辨率相同为止。提高

20、分辨率，直到与源图像分辨率相同为止。2.2.新一代静止图像压缩标准新一代静止图像压缩标准JPEG2000JPEG2000 JPEG2000 JPEG2000与传统与传统JPEGJPEG最大的不同，是放弃了以最大的不同，是放弃了以DCTDCT变换为变换为主的区块编码方式，而采用以小波变换为主的多解析编码方主的区块编码方式，而采用以小波变换为主的多解析编码方式。其主要特征如下：式。其主要特征如下： 高效的编码方法。高效的编码方法。压缩比提高压缩比提高10%30%10%30%。；。； 支持支持ROIROI编码。编码。支持对支持对ROIROI进行比对背景质量更高的编码；进行比对背景质量更高的编码； 可

21、伸缩编码。可伸缩编码。支持类似于分层方式的空间分辨率可伸缩支持类似于分层方式的空间分辨率可伸缩性和信噪比可伸缩性编码；性和信噪比可伸缩性编码； H.261H.261是是ITU-TITU-T制定的视频压缩编码标准，也是世界上第一制定的视频压缩编码标准，也是世界上第一个得到广泛承认的、针对动态图像的视频压缩标准，而且其后个得到广泛承认的、针对动态图像的视频压缩标准，而且其后出现的出现的MPEGMPEG系列标准、系列标准、H.262H.262以及以及H.263H.263等数字视频压缩标准的等数字视频压缩标准的核心都是核心都是H.261H.261。 规定采用规定采用CIFCIF（通用中间格式）和（通用

22、中间格式）和QCIFQCIF格式（格式（1/4CIF1/4CIF）作为）作为视频输入格式视频输入格式。4.6.2 4.6.2 视听会议压缩编码标准视听会议压缩编码标准H.2611、H.261简介简介2、H.261压缩编码原理压缩编码原理l第一帧图像采用帧内预测编码。第一帧图像采用帧内预测编码。对于图像序列的第一幅图像或景物变换后的第一幅图像，采用对于图像序列的第一幅图像或景物变换后的第一幅图像，采用帧内变换编码。帧内变换编码。l采用具有运动补偿的帧间预测。采用具有运动补偿的帧间预测。l块块DCTDCT变换和霍夫曼编码。变换和霍夫曼编码。4.6.3 4.6.3 数字声像压缩编码标准数字声像压缩编

23、码标准MPEG-1 MPEG-1MPEG-1是是19931993年年8 8月正式通过的技术标准，其全称为月正式通过的技术标准，其全称为“适用于约适用于约1.5Mbit/s1.5Mbit/s以下数字存储媒体的运动图像及伴以下数字存储媒体的运动图像及伴音的编码音的编码”。 MPEG-1MPEG-1标准由三个部分组成：标准由三个部分组成：l声像同步与复用（系统）部分。声像同步与复用（系统）部分。 描述了几种伴音和图像压缩数据的复用以及加入同步信号描述了几种伴音和图像压缩数据的复用以及加入同步信号后的整个系统（编号为后的整个系统（编号为11172-1 11172-1 ）。）。l视频编码部分。视频编码部

24、分。 规定了图像压缩编码方法（规定了图像压缩编码方法（编号为编号为11172-2 11172-2 ）l音频编码部分。音频编码部分。 规定了数字伴音压缩编码（规定了数字伴音压缩编码（ 11172-3 11172-3 ）MPEG-1MPEG-1可处理的图像格式为可处理的图像格式为SIFSIF（Source Input FormatSource Input Format）格式）格式。n 处理隔行扫描的视频信号能力。处理隔行扫描的视频信号能力。 专门设置专门设置“按场扫描模式按场扫描模式”显著提高了压缩编码效率。显著提高了压缩编码效率。n 更高的色度信号取样模式。更高的色度信号取样模式。 规定了规定了

25、3 3种色差取样模式：种色差取样模式：4:2:04:2:0；4:2:24:2:2；4:4:44:4:4n 可伸缩的视频编码方式。可伸缩的视频编码方式。 对码流的一部分进行解码，可以获得完整的重建图像。对码流的一部分进行解码，可以获得完整的重建图像。MPEG-2MPEG-2视频编码即分视频编码即分“范畴范畴”又分又分“层次层次”。5 5种范畴包括：无种范畴包括：无B B帧的简单型、允许帧的简单型、允许B B帧的主型、信噪比可帧的主型、信噪比可伸缩型、空间可伸缩性和高型。（详见表伸缩型、空间可伸缩性和高型。（详见表4-44-4） 层次规定了最高分辨率（详见表层次规定了最高分辨率（详见表4-54-5

26、）4.6.44.6.4通用视频及伴音压缩编码标准通用视频及伴音压缩编码标准MPEG-2MPEG-2（H.262H.262） 1994 1994年出台的年出台的MPEG-2MPEG-2（ISO/IEC13818ISO/IEC13818）标准所追求的）标准所追求的是针对广播电视质量的视频信号及其伴音的压缩编码标准。是针对广播电视质量的视频信号及其伴音的压缩编码标准。 它是在它是在MPEG-1MPEG-1的基础上进行了重大的改进和扩充，主的基础上进行了重大的改进和扩充，主要体现在以下几方面：要体现在以下几方面：p H.263H.263能够支持更多的图像模式。能够支持更多的图像模式。p 高效的编码模式

27、。高效的编码模式。半像素精度的运动补偿半像素精度的运动补偿8 8* *8 8的帧间预测的帧间预测DCTDCT系数的空间预测系数的空间预测基于句法的算术编码基于句法的算术编码不受限的运动矢量算法不受限的运动矢量算法p PBPB帧模式帧模式p 抗误码措施抗误码措施 4.6.5 低比特率视听会议压缩编码标准低比特率视听会议压缩编码标准H.263u H.263H.263是一种低比特率的视频压缩标准，主要适用于可视电话和是一种低比特率的视频压缩标准，主要适用于可视电话和视频会议。视频会议。u 它是以它是以H.261H.261为基础的，其编码原理和数据结构都与为基础的，其编码原理和数据结构都与H.261H

28、.261相似。相似。4.6.6 4.6.6 通用音视频对象压缩编码标准通用音视频对象压缩编码标准MPEG-4MPEG-4 MPEG-4MPEG-4是一种第二代视音频编码技术。它是一种适用于各种多是一种第二代视音频编码技术。它是一种适用于各种多媒体应用的媒体应用的“视音频对象编码视音频对象编码”标准。标准。 在可视对象编码方面，在可视对象编码方面， MPEG-4 MPEG-4具有以下特点：具有以下特点： MPEG-4 MPEG-4采用：采用： 场景二进格式场景二进格式BIFSBIFS来描述多媒体场景，即用来描述多媒体场景，即用BIFBIF定义构成场景的对象定义构成场景的对象之间的空间和时间关系，

29、这些关系通常以树的结构表示。（如图之间的空间和时间关系，这些关系通常以树的结构表示。（如图4-324-32） 对象描述符对象描述符ODOD描述某个对象信息，通过描述某个对象信息，通过ODOD可以找到对应于该对象的媒可以找到对应于该对象的媒体流，媒体流中包含对象的运动、纹理和形状信息。体流，媒体流中包含对象的运动、纹理和形状信息。 场景描述符流（场景描述符流（BIFBIF流）流）、对象描述符流（对象描述符流（ODOD流）流）和和媒体流媒体流复接成一复接成一个流输出，接收端首先通过一个初始个流输出，接收端首先通过一个初始ODOD找到找到BIFSBIFS流流和和ODOD流流，然后通过这两，然后通过这

30、两个流找到构成场景的各个媒体流。个流找到构成场景的各个媒体流。基于对象的编码和场景的组合基于对象的编码和场景的组合4.6.6 4.6.6 通用音视频对象压缩编码标准通用音视频对象压缩编码标准MPEG-4MPEG-4 低码率的核心编码以低码率的核心编码以H.263H.263为基础，借鉴并改进了其中高效编码工具，为基础，借鉴并改进了其中高效编码工具，同时采取多种方法提高已编码流在噪声信道上传输的鲁棒性。同时采取多种方法提高已编码流在噪声信道上传输的鲁棒性。高效率和强鲁棒性的编码高效率和强鲁棒性的编码 将背景作为整体，进行编码和传输。将背景作为整体，进行编码和传输。静止背景编码静止背景编码 支持空间

31、可伸缩性、时间可伸缩性、信噪比可伸缩性编码，其中支持支持空间可伸缩性、时间可伸缩性、信噪比可伸缩性编码，其中支持细粒度可伸缩性细粒度可伸缩性FGSFGS技术。技术。可伸缩性编码可伸缩性编码 允许使用小波变换进行图像的编码。允许使用小波变换进行图像的编码。小波纹理编码小波纹理编码 对二维、三维的合成图像进行编码。对二维、三维的合成图像进行编码。动画对象编码动画对象编码 由由ISO MPEGISO MPEG和和ITU-TITU-T的视频专家组的视频专家组VCGEVCGE组成的联合视组成的联合视频组频组JVTJVT于于20032003年制定的一个视频压缩编码标准。年制定的一个视频压缩编码标准。 H.264 H.264不仅具有高压缩比，而且在恶劣的网络传输条不仅具有高压缩比，而且在恶劣的网络传输条件下，具有较高的抗误码性能。件下，具有较高的抗误码性能。4.6.7 4.6.7 视频压缩编码标准视频压缩编码标准H.264 H.264 改进情况如下：改进情况如下：l帧内预测编码。帧内预测编码。大量细节的图像区域：大量细节的图像区域：4