内大数字电视课件第4章

1、 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理第四章第四章 数字视音频压缩编码原理数字视音频压缩编码原理 本章主要内容：本章主要内容：数字视频压缩的基本原理数字视频压缩的基本原理数字音频压缩的基本原理数字音频压缩的基本原理数字电视中常用的压缩编码方法数字电视中常用的压缩编码方法 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理4.1 数字视频压缩编码概述数字视频压缩编码概述一、压缩的必要性一、压缩的必要性4：2：2格式，格式，10bit编码的编码的SDI信号数据量：信号数据量：SDSDI： 270Mbit/s 135MHzHDSDI：1.485Gbit/s 742.5MHz

2、二、图像数据压缩机理二、图像数据压缩机理利用图象数据中的大量冗余实现压缩利用图象数据中的大量冗余实现压缩 电视信号在相邻行、相邻帧存在很强的相关性。电视信号在相邻行、相邻帧存在很强的相关性。利用人眼的视觉特性实现压缩利用人眼的视觉特性实现压缩l空间冗余空间冗余l时间冗余时间冗余l视觉空间分辨力视觉空间分辨力l亮度辨别阈值亮度辨别阈值l视觉阈值视觉阈值 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理三、数据压缩编码方法的分类三、数据压缩编码方法的分类分类分类举例举例无损编码无损编码熵编码熵编码游程编码、游程编码、HuffmanHuffman编码、编码、LZWLZW编码编码有损编码有损编

3、码内插法内插法低抽样率法，行、场亚抽样法，帧亚抽样法低抽样率法，行、场亚抽样法，帧亚抽样法预测编码预测编码一维预测，二维预测，三维预测一维预测，二维预测，三维预测变换编码变换编码DCTDCT变换，整数变换等变换，整数变换等其他其他矢量量化，子带编码等矢量量化，子带编码等 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理4.2 预测编码预测编码预测编码预测编码：基于图像数据的空间和时间冗余特性，：基于图像数据的空间和时间冗余特性，用相邻已知像素（图像块）来预测当前像素（图像块）用相邻已知像素（图像块）来预测当前像素（图像块）的取值，然后再对误差进行量化、编码和传输。的取值，然后再对误差进

4、行量化、编码和传输。意义意义：如果预测模型足够好，则预测误差信号比原：如果预测模型足够好，则预测误差信号比原始信号小的多，从而用较小的电平等级对预测误差信始信号小的多，从而用较小的电平等级对预测误差信号进行量化，可以大大的号进行量化，可以大大的 减少传输的数据量。减少传输的数据量。数字电视中常用数字电视中常用的编码方法的编码方法预测编码的分类：预测编码的分类：帧内编码帧内编码、帧间编码帧间编码利用空利用空间冗余间冗余利用时利用时间冗余间冗余 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理一、预测编码的基本原理（一、预测编码的基本原理（DPCM）输入信输入信号样值号样值预测值预测值预测

5、预测误差误差样值的样值的重建值重建值预测编码的误差分析：预测编码的误差分析：()nnnnnnnnnnxxxxexxeee量化量化误差误差11122111.nnnniiixa xa xaxa xl 预测系数预测系数l xi n时刻之前时刻之前的样值的样值ia 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理二、预测方法二、预测方法前值预测前值预测1 1nxa x1、帧内预测、帧内预测1 155nxa xa x一维预测一维预测二维预测二维预测1 12233.nxa xa xa x 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理2、帧间预测（三维预测）、帧间预测（三维预测） 利用图

6、像序列在时间上的相关性来压缩图像序利用图像序列在时间上的相关性来压缩图像序列的时间冗余。用前一帧图像的像素预测当前帧列的时间冗余。用前一帧图像的像素预测当前帧图像的像素。图像的像素。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理3、 预测系数的选择预测系数的选择nenx1anx2a1na.DPCM 预测器预测器 为预测系数。为预测系数。121,.na aa 为延迟元件，用来存储样值。为延迟元件，用来存储样值。121,.nD DD 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理最优线性预测法：最优线性预测法：按照某种按照某种准则准则选择预测系数，使选择预测系数，使 最小。最

7、小。nnnexx准则：准则：均方误差（均方误差（MSE)准则，使准则，使 为最小。为最小。22 enE e对对 内的信号内的信号求统计平均值求统计平均值22() 0enniiExxaa对其求解可得预测系数对其求解可得预测系数ia111niia 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理三、预测量化器三、预测量化器1、预测误差的统计特性、预测误差的统计特性 试验表明，试验表明，8bit量化时，量化时，预测误差的绝对值在预测误差的绝对值在16-18等级之内的像素占等级之内的像素占80%-90%。2、量化器设计、量化器设计 根据人眼的视觉特性，根据人眼的视觉特性，采用非均匀量化。采用非

8、均匀量化。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理四、四、 图像帧间编码中的运动处理图像帧间编码中的运动处理1、运动处理原理、运动处理原理运动估计运动估计(ME)，通过匹配搜索产生，通过匹配搜索产生运动矢量运动矢量MV。运动补偿运动补偿(MC)，根据，根据MV产生当前帧的估计值。产生当前帧的估计值。接收端通过接收端通过MV和和en(x,y)由前一帧重建当前帧。由前一帧重建当前帧。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理2、运动估计的方法、运动估计的方法帧间运动像素的位移：帧间运动像素的位移：1010 xxxyyy运动位移运动位移矢量矢量运动估计的方法：运动估

9、计的方法：块匹配法块匹配法、像素递推法、相位、像素递推法、相位相关法等。相关法等。数字视频压缩国数字视频压缩国际标准中常用际标准中常用 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理前一帧前一帧中的搜中的搜索范围索范围N+2MMMN+2M3、块匹配法、块匹配法宏块（宏块（MB）：）：每个宏块由每个宏块由N*N个像素组成；个像素组成；宏块内的像素作一致的平移运动；宏块内的像素作一致的平移运动；当前帧的像块：当前帧的像块：和前一帧内的像块作最佳匹配；和前一帧内的像块作最佳匹配；搜索范围（窗口）搜索范围（窗口）(N+2M)*(N+2M)；NN 数字电视技术数字电视技术第 4章 数字视音频压

10、缩编码原理估值块的大小（估值块的大小（N*N）考虑的因素：图像细节构成和计算量的大小。考虑的因素：图像细节构成和计算量的大小。视频压缩编码中宏块的大小通常取视频压缩编码中宏块的大小通常取16*16像素。像素。SDTV信号：分解力为信号：分解力为720*576/帧帧 Y：45*36=1620宏块宏块/帧帧 Cr，Cb直接用直接用Y信号的位移矢量信号的位移矢量最佳匹配准则：判断两个宏块的最佳匹配最佳匹配准则：判断两个宏块的最佳匹配l最小均方差（最小均方差（MSE）准则）准则2i，j为水平、垂直为水平、垂直方向的位移量方向的位移量当前帧当前帧像素值像素值 数字电视技术数字电视技术第 4章 数字视音频

11、压缩编码原理l最小平均绝对帧差（最小平均绝对帧差（MAD）准则）准则MSE准则运算量大，准则运算量大，MAD运算量小，实现简单常用。运算量小，实现简单常用。搜索窗口大小（搜索窗口大小（M）考虑的因素：帧间运动位移的大小和计算量。考虑的因素：帧间运动位移的大小和计算量。全搜索法全搜索法:当当M=16时，时，SDTV信号的计算速度：信号的计算速度： 1089162025/6（次）（块）帧/秒=44 10 次 秒2max(21)nM最大搜索次数：最大搜索次数： 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理4、快速搜索法、快速搜索法二维对数搜索法：二维对数搜索法：最大搜索次数：最大搜索次数

12、：max227log ()nm 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理搜索方法比较搜索方法比较搜索法搜索法最大搜索次数最大搜索次数m m4 48 81616全搜索全搜索818128928910891089二维对数法二维对数法161623233030三步法三步法171725253333共轭方向法共轭方向法111119193535正交搜索法正交搜索法9 9131317172(21)m227log ()m21 8log ()m32 m 214log ()m 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理5、分级搜索、分级搜索 数字电视技术数字电视技术第 4章 数字视音频压

13、缩编码原理离散傅里叶变换（离散傅里叶变换（DFT） 最佳变换（最佳变换（KL）离散余弦变换（离散余弦变换（DCT） 沃尔什变换（沃尔什变换（WH）4.3 正交变换编码正交变换编码一、正交变换的物理意义一、正交变换的物理意义空间域描空间域描述的图像述的图像信号信号变换域描变换域描述的图像述的图像信号信号N*N像块像块N*N变换变换系数块系数块很强的相关很强的相关性，能量分性，能量分布均匀布均匀相关性基本相关性基本解除，能量解除，能量分布集中分布集中 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理变换编码系统框图：变换编码系统框图：8*8或或4*4像块像块 数字电视技术数字电视技术第 4

14、章 数字视音频压缩编码原理二、一维离散余弦变换（二、一维离散余弦变换（DCT）1、离散余弦变换定义、离散余弦变换定义0,1,.,1uN( )0,1,.,1f xxN，输入序列输入序列102(21)( )( )( )cos2NxxuF uC uf xNN正变换：正变换：102(21)( )( )( )cos2Nuxuf xC uF uNN反变换：反变换：0,1,.,1xN系数：系数：核函数：核函数：(21)( , )( )cos2xua u xC uN,0,1,.,1u xN 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理102( )( ) ( , )NXF uf x a u xN0,

15、1,.,1uN102( )( ) ( , )Nuf xF u a u xN0,1,.,1xNDCT变换可以写成：变换可以写成：序列序列 可以看成是核函数可以看成是核函数 和系数和系数 加权加权和组成。和组成。( )f x( , )a u x( )F u核函数核函数 展开是一组余弦函数，展开是一组余弦函数，又称为又称为基波向量基波向量。(21)( , )( )cos2xua u xC uN 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理2、DCT基波向量基波向量例：例：N=8(21)( , )( )cos16xua u xC u,0,1,.,7u x 1( ) (0) (0, )(1)

16、 (1, ).(7) (7, )2f xFaxFaxFax 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理三、二维三、二维DCT变换变换1、二维、二维DCT变换的定义变换的定义 为为N*N像块，像块，( , )f x y,0,1,2,.,1x yN正变换：正变换：反变换：反变换：,0,1, 2,.,1u vN系数：系数： 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理定义核函数：定义核函数：二维二维DCT变换公式：变换公式：像块像块 可以看成是核函数可以看成是核函数 和系数和系数 加权和组成。加权和组成。( , )f x y( , , , )a x y u v( , )F

17、u v 展开是展开是N*N个个N*N点的像块组（基像图）。点的像块组（基像图）。( , , , )a x y u v 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理2、DCT基图像基图像垂直方向垂直方向空间频率空间频率N=8时，时， 展开展开为为8*8DCT基像图。基像图。( , , , )a x y u v8*8点的像块（空间几何分布）变换成由点的像块（空间几何分布）变换成由8*8基图基图像（空间频率分布）和系数像（空间频率分布）和系数 加权和构成。加权和构成。( , )F u v( , )(0,0) ( , ,0,0)(0,1) ( , ,0,1) .(1,1) ( , ,7,7

18、),0,1,.,7f x yFa x yFa x yFa x yx y水平方向水平方向空间频率空间频率 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理AC系数系数3、计算举例、计算举例uv8*8点原始图像数据块点原始图像数据块( , )f x yDCT变换后系数块变换后系数块( , )F u vF(0,0)DC系数系数7700( , )( , ) ( , , , ),xyF u vf x y a x y u vu v；=0,1,.7可以分解成级联的两次一维可以分解成级联的两次一维DCT变换计算。变换计算。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理四、量化器四、量化器方

19、法：方法：根据图像信号在变换域中的统计特性，在根据图像信号在变换域中的统计特性，在不降低预定的图像主观评价条件下，通过降低变换不降低预定的图像主观评价条件下，通过降低变换系数的精度或消除不必要的变换系数，实现压缩码系数的精度或消除不必要的变换系数，实现压缩码率。率。举例：举例：JPEG压缩方法压缩方法量化：量化：( , ) ( , )( , )QF u vF u vQ u v取整根据人眼的视觉特性给定一个亮度信号根据人眼的视觉特性给定一个亮度信号量化矩阵量化矩阵：( , )Q u v量化矩阵量化矩阵根据人眼的视觉根据人眼的视觉阈值确定其中的阈值确定其中的量化因子；量化因子；低频区细量化，低频区

20、细量化，高频区粗量化。高频区粗量化。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理量化量化因子因子uv8*8点原始图像数据块点原始图像数据块( ,)fx yDCT变换后系数块变换后系数块( , )F u v 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理DCT编码中，图像失真的原因：编码中，图像失真的原因：由于量化舍去了许多高频系数使图像产生模糊；由于量化舍去了许多高频系数使图像产生模糊；对某些系数采用粗量化而产生颗粒状结构；对某些系数采用粗量化而产生颗粒状结构；像块的划分使相邻块的亮度不连续，即块效应。像块的划分使相邻块的亮度不连续，即块效应。 数字电视技术数字电视技术

21、第 4章 数字视音频压缩编码原理4.4 统计编码统计编码一、信息量和信息熵一、信息量和信息熵1、信息量、信息量2( )log (1( )iiI xp x 是离散无记忆信源是离散无记忆信源X的符号集，的符号集，i=1,2,Nix符号出现符号出现的概率的概率 2、信息熵：信源中每个符号的平均信息量。、信息熵：信源中每个符号的平均信息量。bit/符号符号 是编码是编码 所需要的位数所需要的位数(bit) 对一个信源进行编码时最小平均码长的理论值。对一个信源进行编码时最小平均码长的理论值。信息熵是测试无失真编码性能的标准。信息熵是测试无失真编码性能的标准。( )iI xixH 数字电视技术数字电视技术

22、第 4章 数字视音频压缩编码原理熵编码的基本原理：熵编码的基本原理： 对于一个信源对于一个信源X，给出现概率较大的符号一个短，给出现概率较大的符号一个短码字，出现概率小的符号给一个长码字，使平均码码字，出现概率小的符号给一个长码字，使平均码长最小。它是基于信号统计特性的编码技术，属于长最小。它是基于信号统计特性的编码技术，属于无损编码。无损编码。熵编码的方法：熵编码的方法： 哈夫曼编码（哈夫曼编码（Huffman) 算术编码（算术编码（Arithmetic Coding) 游程编码游程编码 用于预测编码、变换编码之后的图像系数作进一用于预测编码、变换编码之后的图像系数作进一步编码。步编码。 数

23、字电视技术数字电视技术第 4章 数字视音频压缩编码原理二、哈夫曼编码二、哈夫曼编码例：信源例：信源X，N=812345678 ,0.18,0.2,0.19,0.005,0.17,0.15,0.10,0.005x x x x x x xx出现出现概率概率信源信源符号符号新符号新符号的概率的概率 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理讨论：讨论：信源信源X的信息熵：的信息熵：821()( ) log( )2.61/iiiH Xp xp xbit 码字信源信源X的平均码长：的平均码长：81( )2.73/iiiNp xnbit码字()0.12/NH Xbit码字编码效编码效率高率高

24、Huffman方法构造出的码不是唯一的。方法构造出的码不是唯一的。Huffman编码对不同信源的编码效率不一样。编码对不同信源的编码效率不一样。没有一个码字是另一个码字的前缀。没有一个码字是另一个码字的前缀。应用到各种静止和活动图像压缩编码标准中。应用到各种静止和活动图像压缩编码标准中。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理三、算术编码三、算术编码符号概率符号概率 符号符号 概率概率信源原始区间信源原始区间初始初始0 0 ， 1 1）0.10.10 0 ，0.10.1）0.40.40.10.1，0.50.5）0.20.20.50.5，0.70.7）0.30.30.70.7，

25、 1 1）( )ip x例：信源例：信源X，N=4，每个符号的概率为，每个符号的概率为41()1iip x1x2x3x4xix( )ip x1,)iipp根据根据概率概率分配分配区间区间 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理1、编码方法：、编码方法：输入信息为：输入信息为：3141342x x x x x x x区间定义：区间定义：)nnnnnlrdrl，；被编码的第被编码的第n个符号的区间：个符号的区间：11111 ,),)nnninninl rlp dlp d被编码的第一个符号被编码的第一个符号 的区间：的区间：3x111 ,)0.5,0.7);0.2l rd信息序列信

26、息序列 区间区间初始初始0,1)x305,0.7)x10.5,0.52)x40.514,0.52)x10.514,0.5146)x30.5143,0.51442)x40.514384,0.51442)x20.5143876,0.514402) ,)nnl r 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理 二进二进制编码制编码并发送并发送7l 算术编码器对整个消息只产生一个码字，它是算术编码器对整个消息只产生一个码字，它是0，1)之间的一个实数。之间的一个实数。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理2、解码、解码接收接收 0.51438767l第一字符第一字符为为

27、0.5,0.7)3x判断判断所有符号所有符号的的 ,)nnl r计算计算是否包含是否包含0.5143876确定确定1x3 141342x x x x x x x实际应用中采用实际应用中采用自适应模式自适应模式计算各符号的概率。计算各符号的概率。当信源符号概率接近时，算术编码效率高。当信源符号概率接近时，算术编码效率高。缺点：编码方法复杂。缺点：编码方法复杂。JPEG2000，MPEG-4，H.264压缩标准中应用。压缩标准中应用。11111 ,),)nnninninl rlp dlp d 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理4.5 子带编码子带编码基本思想：基本思想：利用带

28、通滤波器组将信道频带分割成若利用带通滤波器组将信道频带分割成若干个子频带干个子频带(Subband)，将子频带搬移至零频处进，将子频带搬移至零频处进行子带取样，再对每一个子带用一个与其统计特性行子带取样，再对每一个子带用一个与其统计特性相适配的编码器进行图像数据压缩。相适配的编码器进行图像数据压缩。隔点隔点采样采样隔点插入隔点插入零样值零样值 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理图像的二维子带分解：图像的二维子带分解：水平方水平方向滤波向滤波垂直方垂直方向滤波向滤波LL子图像子图像LH子图像子图像HL子图像子图像HH子图像子图像每个子图像可以用最适合的概率和视觉特性来分每个

29、子图像可以用最适合的概率和视觉特性来分配比特率。配比特率。LL频段分配较多的比特，其它频段分频段分配较多的比特，其它频段分配较少的比特。配较少的比特。适合于分辨率可分级的视频编码。适合于分辨率可分级的视频编码。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理4.6 小波变换编码小波变换编码小波变换：小波变换：近十几年发展起来并在图像处理和语音分近十几年发展起来并在图像处理和语音分析等众多领域得到广泛应用的一种数学工具。析等众多领域得到广泛应用的一种数学工具。一、小波变换的数学基础一、小波变换的数学基础1、傅里叶变换、傅里叶变换()( )( )()jtjtFf t edtf tFed正

30、变换：正变换：反变换：反变换： 傅立叶变换是把信号分解成各种不同频率的正弦傅立叶变换是把信号分解成各种不同频率的正弦波，正弦波是傅立叶变换的基函数。波，正弦波是傅立叶变换的基函数。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理2、小波变换、小波变换,20( , )( )( )1( )( , )( )fa bfa bWa bf xx dxdadbf xWa bxCa正变换：正变换：反变换：反变换：直流分直流分量为零量为零 的傅里的傅里叶变换叶变换( )x 基本小波函数（母小波），满足：基本小波函数（母小波），满足：2( )( )0 x dxCd ；( ) x,1( )()a bxbx

31、aa由基本小波函数通过由基本小波函数通过伸缩、平移后派生出伸缩、平移后派生出来的函数族来的函数族a:尺度因子，尺度因子，a0，实数。，实数。b:为位移因子，实数。为位移因子，实数。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理小波变换把信号分解成由基本小波经过移位和缩放小波变换把信号分解成由基本小波经过移位和缩放后的一系列小波，小波函数是小波变换的基函数。后的一系列小波，小波函数是小波变换的基函数。小波变换结果得到的是信号不同部分、在不同伸缩小波变换结果得到的是信号不同部分、在不同伸缩尺度上的一族小波系数尺度上的一族小波系数Wf(a,b)。11( , )( )()( )*()fxb

32、bWa bf xdxf baaaa卷积卷积运算运算 小波变换可以看成是原始信号与一组线性带通滤小波变换可以看成是原始信号与一组线性带通滤波器进行卷积运算，从而把信号分解到一系列频带波器进行卷积运算，从而把信号分解到一系列频带上进行分析处理。上进行分析处理。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理二、二维图像信号的小波分解二、二维图像信号的小波分解LHLL1HL1LH1HH1LL2HL2LH2 HH2HL1LH1HH1原图像原图像（水平分解）（水平分解）（垂直分解）（垂直分解）一级小波分解一级小波分解二级小波分解二级小波分解子带子带 对于不同子图像根据统计特性和人眼的视觉特性对

33、于不同子图像根据统计特性和人眼的视觉特性进行不同的编码传输，以压缩图像。进行不同的编码传输，以压缩图像。 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理4.7 数字声频压缩编码基础数字声频压缩编码基础一、概论一、概论1、压缩的必要性、压缩的必要性 对一套立体声信号数字化，若采样频率为对一套立体声信号数字化，若采样频率为48KHZ,量化比特数为量化比特数为20bit，则数据串行比特率为：，则数据串行比特率为：32 48 10201.920/Mbit s2、压缩的途径、压缩的途径除去声音信号中的除去声音信号中的“冗余冗余”根据人耳的听觉特性，去根据人耳的听觉特性，去除声音信号中的除声音信号中的“不相关不相关”时域冗余时域冗余频域冗余频域冗余不相关：不相关：人耳不能感知的部分人耳不能感知的部分 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理二、人耳的听觉特性二、人耳的听觉特性1、人耳的听觉阈与频率的关系、人耳的听觉阈与频率的关系听觉阈听觉阈 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理2、掩蔽效应、掩蔽效应掩蔽阈值和掩蔽阈值和掩蔽声音的掩蔽声音的频率及强度频率及强度有关系有关系 数字电视技术数字电视技术第 4章 数字视音频压缩编码原理3、临界频带、临界频带人耳听觉阈范围内临界频带人耳听觉阈范围内临界频