音视频编解码技术

1、123452 21 1数据压缩的必要性数据压缩的必要性61 1789为使单位数据量为使单位数据量D接近或等于接近或等于H，应设，应设其中其中b（x i）为分配给码元）为分配给码元x i 的比特数。的比特数。理论情况下，应取理论情况下，应取101112 有些图像的纹理区有些图像的纹理区,图像的像素值存在着图像的像素值存在着明显的分布模式明显的分布模式,如方格状的地板图案等如方格状的地板图案等,我们我们称之为结构冗余称之为结构冗余 。13141516 17 1819 202122e=ExQ(x)2=22324(c)(a) (b)()25262728xixi+129) 1, 2 , 11Niyyii

2、（) 1, 2 , 11Nixxii（30yx 31 3233343536373839 客观评估客观评估 是通过一种具体的算法是通过一种具体的算法来统计多媒体数据压缩结果的评估方法来统计多媒体数据压缩结果的评估方法通常使用信噪比通常使用信噪比SNR来评价，其计算方法是来评价，其计算方法是 和和 分别是输入图像的均方差与输出分别是输入图像的均方差与输出图像的均方差。图像的均方差。404142 4344无损压缩无损压缩 是指压缩后的数据经解压缩是指压缩后的数据经解压缩还原后，得到的数据与原始数据完全相同。还原后，得到的数据与原始数据完全相同。有损压缩有损压缩 是指压缩后的数据经解压缩还是指压缩后的

3、数据经解压缩还原后，得到的数据与原数据不完全相同。原后，得到的数据与原数据不完全相同。454647484950 51 结合一个具体例子说明结合一个具体例子说明哈夫曼编码的哈夫曼编码的方法步骤方法步骤 设有信源符号集设有信源符号集a1，a2，a3，a4，a5，a6，a7，各符号对应的出现频率分别为，各符号对应的出现频率分别为0.23,0.21,0.18,0.15,0.13,0.07,0.03其哈夫曼编码过程如下其哈夫曼编码过程如下:520.440.330.560.230.10a1a2a3a4a5a6a70.230.210.180.150.130.070.031110011010001000100

4、00信源符号信源符号概率概率HuffmanHuffman码码编码过程编码过程101010101010按照上面的编按照上面的编“1”，下面的编，下面的编“0”53 下面分别计算码字的平均长度下面分别计算码字的平均长度N和和信源符号的熵值信源符号的熵值H54 55 56 5758 当输入信号当输入信号 进入时，进入时， 先与先与 相减得到相减得到预测误差值预测误差值 ，量化器对差值，量化器对差值 进行量化得到进行量化得到 ，由编码器编成二进制码通过信道发送。接，由编码器编成二进制码通过信道发送。接收端解码得到收端解码得到 ，与接收端自身形成的预测值，与接收端自身形成的预测值 相加，得到恢复后的相加

5、，得到恢复后的 。59 假设用给出的样本值序列假设用给出的样本值序列x，x，x，,x 来预测来预测x ,令预测值令预测值 为为: 预测器设计是预测编码系统的核心，预预测器设计是预测编码系统的核心，预测器的复杂程度与线性预测中使用以前的样测器的复杂程度与线性预测中使用以前的样本数有关，样本数越多，预测器越复杂。本数有关，样本数越多，预测器越复杂。60 xn的最优估计值是使误差的最优估计值是使误差dn的期望值最的期望值最小的小的 之值之值,由均方差定义由均方差定义: 要使要使 最小最小,应对应对 a i求偏导数求偏导数,并令其并令其为零为零,就可建立关于就可建立关于a1,a2,an-1的线性方程组

6、的线性方程组即即:61上式中上式中可见可见, 所有的所有的n-1个个a i都可由上述方程组解出都可由上述方程组解出整理可得整理可得 式中式中Ex i x j为为x i和和x j的协方差，可由的协方差，可由统计学方法确定统计学方法确定62 斜率过载斜率过载 颗粒噪声颗粒噪声 边缘忙乱边缘忙乱 伪轮廓伪轮廓 636465 6667 又如，设有两个相邻的数据样本又如，设有两个相邻的数据样本x1和和x2，每，每个样本个样本 采用采用3比特编码，则各有比特编码，则各有8个幅度等级，两个幅度等级，两个样本的联合事件共有个样本的联合事件共有64种可能用下图二维平面种可能用下图二维平面坐标表示。坐标表示。 考

7、虑到相邻样值考虑到相邻样值的相关性，的相关性，x1和和x2同同时出现相近幅度的可时出现相近幅度的可能性最大。能性最大。 因此因此,合成可能合成可能性往往落在阴影区内。性往往落在阴影区内。68 如果对数据进行正交变换，从几何上如果对数据进行正交变换，从几何上相当于坐标系旋转相当于坐标系旋转 450,变成变成y1、y2坐标系，坐标系，则在新坐标系下，任凭则在新坐标系下，任凭y1在较大的范围变在较大的范围变化，而化，而y2始终只在相当小的范围内变化，始终只在相当小的范围内变化，因此通过这样的变化就能得到一组去除大因此通过这样的变化就能得到一组去除大部分，甚至是全部统计相关性的另一种输部分，甚至是全部

8、统计相关性的另一种输出样本。出样本。 常用的变换编码有离散傅立叶变换常用的变换编码有离散傅立叶变换(DFT)、卡亨南、卡亨南-洛甫变换洛甫变换(KL) 、离散余、离散余弦变换弦变换(DCT)等。等。6970 7172采用子带编码采用子带编码 ，数据速率为，数据速率为224kbit/s 7374751 12 276777879801 181编码器的简单原理框图如图所示编码器的简单原理框图如图所示预测器预测器熵编码器熵编码器表说明表说明无失真编码器无失真编码器源图像数据源图像数据压缩图像数据压缩图像数据82c ba x83基于基于DCT的有失真压缩编码的有失真压缩编码 基于基于DCT的编码过程为：

9、先进行的编码过程为：先进行DCT正正变换，然后再对变换，然后再对DCT系数进行量化，并对量系数进行量化，并对量化后的直流（化后的直流（DC）系数和交流（）系数和交流（AC）系数）系数分别进行差分编码和行程编码，最后再进行分别进行差分编码和行程编码，最后再进行熵编码。编码过程的简化框图如下：熵编码。编码过程的简化框图如下：2 2 DCT 正变换正变换熵编码器熵编码器码表说明码表说明量化器量化器码表说明码表说明8 8块块84858687888990 编码编码 由于变换后的由于变换后的“直流系数直流系数”数值数值 较大，且相邻图较大，且相邻图像像块系数数值变换不大，块系数数值变换不大， 所以所以使用

10、差分脉冲编码调制对直流系数使用差分脉冲编码调制对直流系数 进行编码。进行编码。而量化的而量化的AC“交流系数的特交流系数的特 点是点是164矢量中包含有许多矢量中包含有许多0，且，且0是连是连 续的，因此续的，因此使用行程编码对交流系数进使用行程编码对交流系数进 行编码。行编码。接着根据数据符号出现的概率接着根据数据符号出现的概率 高低进行高低进行熵编码，使熵编码，使DPCM编码后的直编码后的直 流流DC系数和交流系数进一步压缩。系数和交流系数进一步压缩。91熵解码器熵解码器 DCT逆变换逆变换码表说明码表说明逆量化器逆量化器码表说明码表说明92939495 MPEG音频标准音频标准 该标准定

11、义了音频数该标准定义了音频数 据的编码和解码。据的编码和解码。标准名称：标准名称： 用于数字存储媒体运动图用于数字存储媒体运动图像像及其伴音速及其伴音速率为率为1.5MBps的压缩编码的压缩编码,简称简称MPEG-1.1 1标准的组成：标准的组成： MPEG专家组下设专家组下设3个委员会个委员会:MPEG系统委系统委员会、员会、MPEG视频委员会和视频委员会和MPEG音频委员会。这音频委员会。这三个委员会分别制定了三个标准，即三个委员会分别制定了三个标准，即MPEG系统标系统标准、准、MPEG视频标准、视频标准、MPEG 音频标准。音频标准。2 2 MPEG视频标准视频标准 该标准定义了视频数

12、该标准定义了视频数 据的编码和重建图像所需的解码过程。据的编码和重建图像所需的解码过程。 MPEG系统标准系统标准 该标准定义了多道压缩该标准定义了多道压缩 音频、视频码流的的同步和合成。音频、视频码流的的同步和合成。96标准支持的特性：标准支持的特性： MPEG算法允许用许多方法去观看数字算法允许用许多方法去观看数字存储体上的电视图存储体上的电视图像像。有许多观看方法与家。有许多观看方法与家庭用录庭用录像像机相似机相似 ，但与录，但与录像像机相比，机相比，MPEG算法支持的功能却强大得多。算法支持的功能却强大得多。MPEG电视图电视图像像可以正向顺序播放、慢放和快放，反向顺可以正向顺序播放、

13、慢放和快放，反向顺序播放时同样可以用正常的速度播放、慢放序播放时同样可以用正常的速度播放、慢放和快放。和快放。MPEG支持的特性主要有：支持的特性主要有：随机存取随机存取 快速搜索快速搜索 逆向播放逆向播放 编辑功能编辑功能3 397MPEG-1标准算法基本思想标准算法基本思想 9899MPEG-1视频压缩技术视频压缩技术 为了实现随机存取，最好要用帧内编码。为了实现随机存取，最好要用帧内编码。为了把编码电视图像的位速率限制在为了把编码电视图像的位速率限制在1.2Mbps,既要有较高的压缩率既要有较高的压缩率,又要获得高质量的图像又要获得高质量的图像,就要求在帧内和帧间编码之间进行折中。因就要

14、求在帧内和帧间编码之间进行折中。因此此,MPEG定义了定义了3种图像：种图像：I图像图像(Intra Picture帧内图像帧内图像)、P图像图像(Predicted Picture预测图像预测图像)和和B图像图像(Bidirectional Picture双向双向预测图像。预测图像。100 图像组一般由一个图像组一般由一个I-图像帧、几个图像帧、几个P-图像帧图像帧和若干个和若干个B-图像帧构成。图像帧构成。IBBPBB PB B PB IP-图像帧（图像帧（Predictive-coded picture）：预测编码图像）：预测编码图像帧，简称预测帧。此类图像帧利用最近的前一个帧，简称预测

15、帧。此类图像帧利用最近的前一个I帧或帧或P帧作为参考，采用带运动补偿的帧间预测进行编码帧作为参考，采用带运动补偿的帧间预测进行编码，此过程称为前向预测，此过程称为前向预测 B-图像帧（图像帧（Bidirectionally predictive-coded picture）：双向预测编码图像帧。此类图像帧既利用过去的图：双向预测编码图像帧。此类图像帧既利用过去的图像帧（像帧（I帧或帧或P帧），也利用后来的图像帧（帧），也利用后来的图像帧（P帧）进帧）进行带运动补偿的双向预测编码，此过程称为双向预测行带运动补偿的双向预测编码，此过程称为双向预测 1011 11022 2103时刻时刻1时刻时刻2

16、104参考图像参考图像编码图像编码图像MPIMRJ移动矢量移动矢量d(dx,dy)求差值求差值YUVDCT+DCT+量化量化+RLE+RLE霍夫曼编码霍夫曼编码编码编码1051063 3107108 典型的典型的I、P、B帧次序安排如图帧次序安排如图 MPEG MPEG编码器需对上述图像重新排序，编码器需对上述图像重新排序， 以便解码器以便解码器高效工作，高效工作， 因为参照图像必须先于因为参照图像必须先于B B图像恢复之前恢图像恢复之前恢复。上述复。上述1 17 7帧图像重排后图像组次序为：帧图像重排后图像组次序为：4213756IPBBPBB109帧改组帧改组动作动作预测预测DCTQ量量化

17、器化器Q1多路多路混合混合缓冲器缓冲器调整器调整器帧存储器帧存储器编码编码模式模式动态动态向量向量预估预估画面画面块块原理画原理画面块面块视频视频输入输入编码编码输出输出比较比较运算运算110111112113114115116117缓冲器缓冲器VLDQ1IDCT去除去除混合混合帧存帧存储器储器编码编码模式模式动态动态向量向量编码编码输入输入视频视频输出输出量化步长量化步长加法器加法器118 MPEG-2标准是一种既能兼容标准是一种既能兼容MPEG-1标准，又能满足高分辨率数字电视和高分辨标准，又能满足高分辨率数字电视和高分辨率数字卫星接收机等方面要求的技术标准，率数字卫星接收机等方面要求的技

18、术标准，它是由它是由ISO的活动图像专家组和的活动图像专家组和ITU-TS的的15研究组于研究组于1994年共同制定的，在年共同制定的，在ITU-TS的协的协议系列中，被称为议系列中，被称为H.262。 119 MPEG-2的初始设计目标是得到一个的初始设计目标是得到一个针对广播电视质量（针对广播电视质量（CCIR601格式）的视格式）的视频信号的压缩编码标准，但实际上最后得频信号的压缩编码标准，但实际上最后得到一个通用的标准，它能在很宽的范围内到一个通用的标准，它能在很宽的范围内对不同分辨率和不同输出比特率的图像信对不同分辨率和不同输出比特率的图像信号有效地进行编码。在图像格式方面，可号有效

19、地进行编码。在图像格式方面，可进行诸如标准清晰度电视、高清晰度、隔进行诸如标准清晰度电视、高清晰度、隔行扫描、顺序扫描等各种分辨率和信号形行扫描、顺序扫描等各种分辨率和信号形式的影像编码。在声音格式方面式的影像编码。在声音格式方面, 它扩充它扩充了了MPEG-1的功能的功能, 是一种多通道是一种多通道/多语言多语言的声音编码。的声音编码。120当初制定当初制定MPEG-2是针对以下目标实施的：是针对以下目标实施的： 高质量：高质量：图像质量应该高于现行图像质量应该高于现行NTSC、PAL和和SECAM广播系统。广播系统。 宽带宽宽带宽: 对对CCIR601标准格式的数字电视信号标准格式的数字电

20、视信号,压压缩后码率为缩后码率为4Mbit/s到到10Mbit/s。 灵活性灵活性: 标准需要足够的灵活性标准需要足够的灵活性,以便适用于高性以便适用于高性能、高复杂性和低性能、低复杂性编码系统。能、高复杂性和低性能、低复杂性编码系统。 兼容性兼容性: 标准应该充分重视已存在的标准，兼容标准应该充分重视已存在的标准，兼容性能保证新标准的平稳过渡，保持新旧标准设备性能保证新标准的平稳过渡，保持新旧标准设备之间的互操作性，兼容性应该保持尽可能大的范之间的互操作性，兼容性应该保持尽可能大的范围。围。121MPEG-2标准主要分为四部分。标准主要分为四部分。第一部分：系统第一部分：系统。该部分说明了该

21、部分说明了MPEG-2的系的系统编码层。它定义了视频和音频数据的复合结构统编码层。它定义了视频和音频数据的复合结构和实时实现同步的方法。和实时实现同步的方法。第二部分：视频第二部分：视频。此部分说明了视频数据的编此部分说明了视频数据的编码表示和重建图像所需要的解码处理过程。码表示和重建图像所需要的解码处理过程。第三部分：音频第三部分：音频。此部分说明了多个通道音频此部分说明了多个通道音频数据的编码表示。数据的编码表示。第四部分：一致性测试第四部分：一致性测试。此部分说明了检测此部分说明了检测编码比特流特性的过程以及测试与上述三部分所编码比特流特性的过程以及测试与上述三部分所要求的一致性。要求的

22、一致性。122图像格式图像格式 MPEG-1只能处理顺序扫描图像，只能处理顺序扫描图像，而而MPEG-2不仅能处理顺序扫描图像不仅能处理顺序扫描图像, 还能处理隔行还能处理隔行扫描图像。另外，在色差格式方面扫描图像。另外，在色差格式方面, MPEG-1只能支只能支持持4：2：0的模式，即色信号的取样模式无论在水平的模式，即色信号的取样模式无论在水平方向，还是在垂直方向上都是亮度信号样本点数的方向，还是在垂直方向上都是亮度信号样本点数的1/2。MPEG-2还可支持还可支持4：2：2和和4：4：4模式模式, 前者前者色信号的样本点数在垂直方向上与亮度信号相同色信号的样本点数在垂直方向上与亮度信号相

23、同, 只只在水平方向上是亮度信号样点数的在水平方向上是亮度信号样点数的1/2；后者的色信；后者的色信号的样本点数与亮度信号则完全相同。也就是说，号的样本点数与亮度信号则完全相同。也就是说，MPEG-2可处理几乎所有的图像格式。可处理几乎所有的图像格式。1 1123图像质量图像质量 由于能适应各种图像格式和具有高由于能适应各种图像格式和具有高质量图像编码所需的技术，质量图像编码所需的技术，MPEG-2可提供比可提供比MPEG-1更高的图像质量更高的图像质量2 2编码编码/解码的延迟解码的延迟 与与MPEG-1一样，一样，MPEG-2可提供可提供I图像帧，图像帧，P图像帧和图像帧和B图像帧。另外，

24、在原图像帧。另外，在原图像为隔行扫描情况下，还可提供以帧为编码单位图像为隔行扫描情况下，还可提供以帧为编码单位的帧构造和以场为编码单位的场构造（的帧构造和以场为编码单位的场构造（MPEG-1只只支持帧构造），即除了在低延迟模式下只取支持帧构造），即除了在低延迟模式下只取I和和B图图像帧外，在原图像为隔行扫描情况下还可用场构造像帧外，在原图像为隔行扫描情况下还可用场构造这样的小延迟方式。这样的小延迟方式。3 3124可伸缩的分层编码方式可伸缩的分层编码方式 这是这是MPEG-1所没所没有的功能。有的功能。MPEG-2提供提供4种可伸缩的分层编码方种可伸缩的分层编码方式：式：空间分层编码、时间分层编码、信噪比分层空间分层编码、时间分层编码、信噪比分层编码和数据分层编码编码和数据分层编码。这几种分层编码既可单独。这几种分层编码既可单独使用，也可组合使用使用，也可组合使用4 4灵活性灵活性