《电视原理》课件1第7章

7.1数字电视的视频编码

7.2视频图像的DCT变换编码7.3视频图像的熵编码

7.4图像的差值与矢量预测

7.5图像的运动估计与补偿

7.6音频信号的压缩编码技术

复习题

7.1.1数字电视的视频编码概述

视频编码作为多媒体数据压缩的重点与核心，其压缩本质就是在保证一定重构质量(图像不失真或少失真)的前提下，以尽量少的比特数来表征视频图像信息，从而实现最大限度地降低图像数据传输率、减小信道宽度、减少数据存储空间。7.1数字电视的视频编码1.视频压缩编码可行性分析

1)利用空间冗余度进行压缩编码

2)利用时间冗余度进行压缩编码

3)利用视觉冗余度进行压缩编码

2．视频图像的编码技术

1)视频图像预测编码技术

2)视频图像变换编码技术

3)图像熵编码

4)霍夫曼编码

5)具有运动补偿的帧间预测编码技术7.1.2数字电视视频编码的流程

视频编码作为多媒体数据压缩的重点与核心，其压缩本质就是在保证一定重构质量(图像不失真或少失真)的前提下，以尽量少的比特数来表征视频图像信息，从而实现最大限度地降低图像数据传输率、减小信道宽度、减少数据存储空间。

实现数字电视视频信号压缩编码的硬件或软件称为视频编码器，其简化的功能框图如图7.1所示。图7.1视频编码器功能框图变换编码是大多数视频编解码系统和标准的核心。空间图像数据(图像采样点或者运动补偿残余采样点)被变换成不同的表示，即变换域，这样对图像数据进行处理是有好处的。

图7.2显示了DCT的这两种变换形式。7.2视频图像的DCT变换编码图7.21-D和2-D离散余弦变换图7.3说明了DCT能量压缩属性。变换后图像的能量集中在阵列的左上角，形成了一个山峰对应着低频能量；而阵列右边的系数则迅速地减少到零(图像的高频分量)。DCT系数的去相关表面大多数价值不大的系数可以被丢掉而对图像的质量影响不大。相对于那些跟图像像素相关性很强的系数矩阵，这些紧凑的去相关的系数矩阵能够更有效地压缩。图7.3DCT能量压缩属性

DCT变换将图像采样点的每个块表示为2-D余弦函数(基本函数)的一个加权和。图7.4给出的是将函数绘制成表面图的结果，图7.5则表示为8×8像素的基础图案。最左上角的图案是最低频的部分并且只是一个相同的块。越往右，那些图案沿水平方向有了越来越多的黑白交替，这表示水平方向空间频率的增加。越往下，图案包含垂直方向空间频率的增加。往右下角，图案包含水平以及垂直的频率。这样采样点就能以这个64个样点为模板，每样点通过乘以一个权值(对应于DCT系数Fx，y)得到重建。图7.4DCT基函数(平面图形式)图7.58×8像素的基础图案图7.6(b)显示的是取自图像7.6(a)的一幅8×8的群采样点图像。这个块通过2-DDCT变换产生如图7.6(c)所示的系数。6个最重要的系数是(0，0)、(1，0)、(1，1)、(2，0)、(3，0)、(4，0)，即表格中高光显示的那些系数(表7.1)。图7.6DCT变换示例图表7.1DCT变换系数最后的结果(在图7.7的最下面的右图上显示并且只由64个系数中的6个系数产生)是原图像的一个很好的近似值。这个例子说明DCT的两个关键性质：重要的系数紧紧围着DC系数(密度)；块能用较少系数重建(去相关)。图7.7IDCT重建示意图一个视频编码器主要有两个功能：源模型编码和熵编码。

在一个典型的基于传输的视频编解码器中，使用熵编码器编码的数据有三类：变换系数(如量化过的DCT系数)、运动矢量和辅助信息(如头标记、同步标记等)。7.3视频图像的熵编码7.3.1游程编码

在基于DCT的视频编码器中，量化器的输出是一量化的变换系数矩阵。

图7.8给出了从MPEG-4“帧内”块中量化系数的典型块。量化块的结构基本具有这个特性：量化后比较少的非零系数被保持，且大部分聚集在DCT系数(0，0)点周围。

(0，0)点是“DC”系数，对于重建图像是最重要的系数。图7.8MPEG-4“帧内”块中量化系数重排量化数据的最佳方法依赖于非零系数的分布。如果原图像(或运动补偿残差值)数据均匀分布在水平或垂直方向(例如，在两个方向上都没有更强图像特征优势)，则重要系数将趋向于平均分布在矩阵的左上方(图7.9(a))。在这种情况下，像图7.9(c)那样的Z形排序模式会把非零系数更有效地排列。图7.9帧编码及Z形字重排序模式7.3.2哈夫曼编码

哈夫曼熵编码将每个输入符号映射到可变长的码字，这种类型的编码器在1952年首先被提出。变长码字的局限是：它必须包含整数位，并必须唯一地被解码。

例：用MPEG-4(短头信息模式)编码“Carphone”视频序列，表7.2列出了在编码序列中最常出现的运动矢量概率及其内容的信息量lb(1/P)。为了达到最佳的压缩，每个运动矢量值必须用精确的lb(1/P)位来表示。图7.10以图形方式说明矢量概率的分布(实线实线表示Carphone序列，虚线表示Claire序列)。表7.2“Carphone”运动矢量的出现概率图7.10运动矢量概率分布的图形表示

1.产生哈夫曼编码树

对于一个数据集合，为产生哈夫曼编码表，迭代执行下面的步骤(忽略在表7.2中没有出现的任何矢量值)：

(1)以概率增加方式排序数据。

(2)把概率最低的两个数据项合并成一个节点，把数据项的联合概率分配给此节点。

(3)重复步骤(2)，以概率递增方式重排剩下的数据项和节点。

反复执行这个过程，直到一个单独的根节点出现，这个根节点包括了其他所有的节点和列在其下的数据项，图7.11说明了这个过程。图7.11“Carphone”运动矢量的霍夫曼编码树

2.编码

二叉树的每个叶子被映射为一个VLC，为了找到这个节点，从根节点(这里是F)一直到子节点(数据项)遍历二叉树，对于每一个分支，设置0或1。0是上分支，1是下分支(如图7.11所示最终二叉树)。这样就得到如表7.3所示的编码集。表7.3“Carphone”运动矢量的霍夫曼编码

3.解码

为了对数据解码，解码器必须对哈夫曼树(或查找表)进行本地备份。为实现这个功能，要传输查找表本身，或者发生数据列表及其概率，其次才发送已编码的数据，这样才能保证每个可被唯一解码的码值可以被阅读及转化回原数据。视频信号由一系列单独的帧组成。每一帧可以单独地被前面描述的图像编解码器压缩，这称为帧内编码(Intra-frameCoding)，每一帧在“内部”进行编码而没有参考其他的帧。而消除视频序列中的冗余信息(连续视频帧中的相似性)，可以达到更好的压缩效果，这可通过给图像编解码器增加一个“前后帧”来实现，如图7.12所示。7.4图像的差值与矢量预测图7.12视频预测编码7.4.1图像的差值

最简单的预测器就是采用前一个传输的帧作参考。图7.13显示了在一个视频序列中用当前帧减去前一帧得到的残差帧。在残差帧中，中等灰度区域的数据都是零，浅色和黑色区域分别表示正的和负的残差数据。很明显，大部分的残差数据都是零，因而，不压缩当前帧而压缩残差帧可以提高压缩效率。图7.13原帧图像、当前帧图像以及残差帧图像7.4.2图像的矢量预测

下面举例说明解码器处理帧间预测可能存在的问题。表7.4表示了采用帧间残差编码和解码序列视频帧所需要的一系列操作。表7.4预测漂移这个问题的解决方法是编码器采用解码的帧来形成预测。因而上面例子中的编码器解码(或重建)帧1来形成对帧2的预测。编码器和解码器采用相同的预测，漂移就可以减少或消除。图7.14显示了一个完整的编码器，为了重建它的预测参考帧，它包含了一个解码的“环”。重建帧(或参考帧)在编码器和解码器中被存储，用于形成下一编码帧的预测。图7.14具有解码环的编码图7.15显示了一个采用运动补偿预测的视频编解码器。

在编码器中必须增加两个新的步骤：

(1)运动估计。

(2)运动补偿。7.5图像的运动估计与补偿图7.15视频编解码器的运动估计和补偿图7.16显示了一个残差帧，它是通过将当前帧(图7.13)减去前一帧的运动补偿来得到的。这个残差帧比图7.13中的残差帧明显包含更少的数据。压缩率的提高并不是没有代价的：运动估计可能需要很大的计算量。运动估计算法的设计对视频编解码器的压缩效果和计算复杂度具有很重要的影响。图7.16残差帧运动估计是根据先前编码的一帧或者多帧(参考帧)数据产生了当前帧的一个模型。在图7.17中，运动估计模块通过修改一个或者多个参考帧建立一个当前帧的模型，通过对当前帧进行运动补偿，以达到尽可能逼近匹配当前帧(依据一个匹配原则)。同时，编码后的残差数据被解码并加到这个模型上，从而产生当前帧的一个解码版本(它不一定与原始帧完全相同，因为存在编码损失)。这个重建帧在编码端被存储起来以用于将来作预测用的参考帧。图7.17运动估计和补偿的框图残差帧(或者称移位帧差值，DFD)被编码和传输，一起编码和传输的还有其他的额外信息(例如运动矢量)，解码器重建模型时需要这些信息。当编码的DFD的大小和编码的辅助信息尺寸最小时，就达到了最好的压缩性能。运动补偿之后的DFD大小与DFD中的残余能量有关。图7.18显示了一个原帧、一个当前帧和一个没有经过运动补偿的残差帧(DFD)图像。图7.18原帧、当前帧及没有经过运动补偿的残差帧图像图7.19解释了块匹配的过程。当前块(图中是3×3个像素)如左边所示，这个块与参考帧中相同位置的块(如中心的黑线所示)和紧接着的临近位置(每个方向正负一个像素)作比较。

表7.5中列出了每个搜索位置的MSE值，而图7.20则以图像的形式表示了这些差值。在9个候选位置中，(-1，-1)的MSE最小，因此这个位置是最好的匹配。在这个例子中，当前块的最好模型(就是最好预测)是以位置(-1，-1)为中心的3×3区域。图7.19当前3×3块以及5×5参考区域表7.5块匹配例子的MSE计算数值图7.20块匹配例子MSE的图形例子图7.21显示了对图7.18中图像帧的每个16×16块(宏块)进行运动估计之后产生的运动矢量。多少矢量对应于运动，女孩和自行车向左移，所以运动矢量指向右(也就是物体移来的区域)。在中心有一个反常的矢量(它大于其他的矢量，沿对角线指向上)。这个矢量不对应真实的运动，它只表示在这个位置上有最佳的匹配。图7.21

16×16块的运动矢量

1．比较原则

2．参考帧的选择

3．前向预测

4．后向预测

5．双向预测

6．多个参考帧

图7.22揭示了上面讲到的各种预测方法，包括应用过去帧和将来帧进行前向预测和后向预测。图