多媒体数据压缩编码技术

1、第四章 多媒体数据压缩编码技术考核目的:考核学生对多媒体数据压缩编码的基本原理和算法、数据压缩编码的分类和方法、多媒体 数据压缩编码的国际标准等内容的理解和掌握。考核的知识点:什么是多媒体数据压缩、为什么信息能被压缩、常用的压缩编码和算法(统计编码、预测 编码、变换编码 、多媒体数据压缩编码的国际标准 JPEG 、 MPEG-1等内容。考核要求:掌握:数据压缩编码的方法、常用的压缩编码和算法、 JPEG 的原理和实现技术。理解:量化的原理和量化器的设计、 MPEG-1的原理和实现技术。了解:其它的国际标准等。4.1 多媒体数据压缩编码的重要性和分类一.多媒体数据压缩编码的重要性多媒体信息传送面

2、临的最大难题是海量数据存储与传送电视信号数字化后的数据量问题, 数据压缩是解决问题的重要途径。二.多媒体数据压缩的可能性1. 空间冗余2. 时间冗余3. 信息熵冗余信息量:指从 N 个相等的可能事件中选出一个事件所需要的信息度量和含量。信息熵:指一团数据所带的信息量,平均信息量就是信息熵(entropy 。4. 结构冗余图象有非常强的纹理结构。5. 知识冗余图像的理解与某些基础知识有关。6. 视觉冗余视觉冗余是非均匀、非线性的。三. 多媒体数据压缩方法的分类1.按压缩方法分 :(1. 有失真压缩(2. 无失真压缩2. 编码算法原理分 :(1预测编码:PCM 、 DPCM 、 ADPCM 等(2

3、变换编码:傅里叶(DFT 、离散余弦(DCT 、离散正弦(DST 等(3统计编码:哈夫曼、算术等(4静图像编码:方块、逐渐浮现等(5 电视编码:幀内预测、幀间编码等(6 其他编码:矢量量化、子带编码等4.2量化一.量化原理量化处理是使数据比特率下降的一个强有力的措施。数据压缩编码中的量化处理,不是指 A/D变换后的量化,而是指以 PCM 码作为输入,经正 交变换、差分、或预测处理后,熵编码之前,对正交变换系数、差值或预测误差的量化处理。 量化输入值的动态范围很大,需要以多的比特数表示一个数值,量化输出只能取有限个整 数,称作量化级,希望量化后的数值用较少的比特数便可表示。每个量化输入被强行归一

4、到与 其接近的某个输出,即量化到某个级。量化处理总是把一批输入, 量化到一个输出级上, 所以量化处理是一个多对一的处理过程, 是个不可逆过程,量化处理中有信息丢失,或者说,会引起量化误差(量化噪声 。二.标量量化器的设计1.量化器的设计要求给定量化分层级数,满足量化误差最小。限定量化误差,确定分层级数,满足以尽量小的平均比特数,表示量化输出。三.量化方法:标量量化:对于 PCM 数据,一个数一个数地进行量化叫标量量化。分为:均匀量化、非均匀量化和自适应量化。四.矢量量化1.矢量量化概念:对 PCM 数据分组,每组 K 个数构成一个 K 维矢量,然后以矢量为单元,逐个矢量进行量化, 称矢量量化。

5、矢量量化编码方法是有失真编码方法。4.3 统计编码一.统计编码原理信息量和信息熵1. 概念 :(1信息 :是用不确定性的量度定义的。(2信息量 :从 N 个相等可能事件中选出一个事件所需要的信息度量或含量。(3熵 :如果将信源所有可能事件信息量进行平均就得到信息的熵 (熵就是平均信息量 。(4信源均含有的平均信息量 (熵 , 就是进行无失真编码的理论极限。(5信源中或多或少的含有自然冗余。(6信息源 X 的熵为 H (X :式(4. 2二.哈夫曼编码1.变字长编码定理 :最佳编码定理在变字长编码中,对于出现概率大的信息符号,编以短字长的码 , 对于出现概率小的信息符号编以长字长的码,如果码字长

6、度严格按照符号概率的大小的相反顺序排列,则平均码字长一定小于按任何其他符号顺序排列方式得到的码字长度。证明 :(P1082. Huffman 编码方法用变字长最佳编码定理(1. 把信源符号按概率大小顺序排列,设法按逆次序分配码字的长度。(2. 在分配码字长度时,将出现概率最小的两个符号的概率相加合成一个概率。(3.把这个合成概率看成是一个新组合符号地概率,重复上述做法直到最后只剩下两个符号概率为止。(4. 完成以上概率顺序排列后,再反过来逐步向前进行编码,每一次有三个分支各赋予 一个二进制码,对概率大的赋为零,概率小的赋为 1。3. Huffman 编码步骤(1信源符号按概率大小顺序排列,按逆

7、次序分配码字的长度。(2 出现概率最小的两个符号概率相加合成一个新概率。(3 将合成概率看成一个新组合符号概率,重复上述做法,直到最后只剩下两个符号概率为止。(4 反过来逐步向前编码,每层有两个分支,分别赋予 0和 1,构成 Huffman 码字。总结:Huffman 编码构造出的码不唯一Huffman 编码字长参差不齐Huffman 编码在信源编码概率分布不均匀时效率高,效率比较均匀时,效率低,不用 Huffman 编码。对出现频率较高的码分配短码字;对出现频率较低的码分配长码字。三.算术编码1.原理:算术编码方法是将被编码的信息表示成实数 0和 1之间的一个间隔。信息越长编码表示它的间隙就

8、越小,表示这一间隙所须二进位就越多,大概率符号出现的概率越大对应于区间愈宽,可用长度较短的码字表示;小概率符号出现的概率越小对应于层间愈窄,需要长度较长的码字表示。信息源中连续的符号根据某一模式生成概率的大小来减少间隔。可能出现的符号要比不太可能 出现的符号减少范围少,因此只增加了较少的比特位2. 自适应二进制算术编码(1编码算法举例设编码初始化子区间为 0, 1 设 大概率 MPS , Pe 小概率 LPS QePe=1-Qe编码时,设置两个专用寄存器(C , A 初始时:令C 寄存器的值为子区域的起始位置A 寄存器的值为子区域的宽度(该宽度恰好是已输入符号串的概率 初始化时:C=0 A=1

9、随着被编码数据源输入, C 和 A 的内容按以下规律修正:当低概率符号 LPS 到来时:C=CA=AQe当高概率符号 MPS 到来时:C=C+AQeA=APe=A(1-Qe (2解码算法举例解码:按 Qe Pe 分成两个子区间,判断被解码的码字落在哪个区间,并赋予对应符号:设 c=(0.0101 b 是被解码的值初始值:A=1 Qe=0.001当 c落在 0-QeA 之间,解码符号为 D=0;C=CA=QeA ;当 c落在 Qe A -A之间,解码符号为 D=1;C=C -QeA ;A=A(1-Qe 算术解码原理图 P114算术编码的特点:(1. 不需要码表;(2. 当信源概率比较接近时,建议

10、使用算术编码。(3. JPEG成员对多幅图进行算术编码效率可以提高 5%。JPEG 扩展系统用算术编码代替 Huffman 。4.4 预测编码一.预测编码的基本概念预测编码是统计冗余数据压缩理论的三个重要分支之一,用预测编码减少数据时间和空间的相关性。预测编码基本原理预测编码方法分类线性预测编码:DPCM 非线性预测编码1. DPCM 差分脉冲编码调制DPCM 编 /解码原理图 P1162. ADPCM自适应预测编码这种编码方法中,量化器的步长和预测器的参数均能根据图象的局部特征作自适应的调整。ADPCM 分成两类1 . 线性自适应预测器2 非线性自适应预测器引进几个和临近象素有关的值,入 i

11、 和 di 非线性改变预测的数。所以,叫非线性的自 适应预测。采用四点预测三.帧间预测编码对于序列图象,把几帧的图象存起来 (大规模集成电路技术的发展 使用帧间相关性进一步消除图象信号的冗余度,提高压缩比。帧间压缩方法:条件补充法条件次取样法。运动补偿帧间预测1. 条件补充法条件象素补充法规定:6若帧间各对应象素的亮度差超过阈值,则把这些象素存到缓存区中,并以恒定传输速度传输,而阈值以下的象素则不传送,在接收端中用上一帧相应的象素代替。 在可视电话中用条件补充法传送的象素只占全部象素的 6%左右。2. 条件次取样法条件补充法和内插法相结合叫条件次取样法。具体做法:在时间轴采用次取样 (两个取一

12、 个就是次取样 对于未取样的当前场的某点可以采用隔场的四邻点亮度的均值,作为该点亮度的预测值。条件补充:S0=1/4(SA+SB+SC+SD内插预测值与实际值之差小于阈值后就不传。3. 运动补偿(1运动估计有下述三种方法:块匹配法 : 以象素块为准进行运动估计。象素递归法 :以象素为准进行递归的运动估计。傅立叶变换法1 块匹配法将图象分成 M*N个矩形块。在(M+2Wx *(N+2Wy范围内进行搜索以求得最优匹配,从而求得运动矢量估值(dx , dy A. 匹配算法归一化相关函数 NCCF均方误差 MSE帧间绝对差 MADB. 搜索方法:穷尽搜索法二维对数法 (TDL三步搜索法 (TTS交叉搜

13、索法(CSA 4. 帧间预测,采用 DPCM7(YmnN和 (YmnN-1 变化很小。统计结果表明:广播电视节目只有 10%以内的象素有变化。Y有 2%的变化; UV有千分之十以内的变化。Xmn-Xmn=emn 只传差值4.5 变换编码一 . 变换编码的特点利用预测编码可以去除图象数据的时间和空间的冗余。它的优点是直观、简捷、易于实现,特别是用于硬件实现。但压缩能力有限, DPCM 一般只能压缩到 24bit/像素。 变换编码是进行一种函数变换,映射变换从信号域变换到另一个信号域。例:有两个相邻采样值 X1和 X2,每一采样值用 3bit 编码,因此有 8个幅度等级,两个为: 8*8=64种。

14、见 P122(b 变换编码的系统构成:二.变换种类 K-L 变换 离散傅立叶变换 离余弦变换 WALSH 变换 Har 它是以统计特性为基础的,也称为特征向量变换。 最优的正交变换:特征向量矩阵向量指向数据变化最大的方向。 缺点:计算过程复杂,变换速度慢。一 . 协方差矩阵(4.18(4.22(4.238二 . 离散 K-L 变换表达式特征值和特征向量定义:设 A 是 n 阶方矩,如果有数入和 n 维非零向量 x ,使得:AX=入 x则称:入为 A 的特征值;x为 A 对应于特征值入的特征向量。(4.29(4.32(4.38结论:Y 向量的平均向量为 0,直流分量为 0。Y 的协方差矩阵:协方

15、差等于 0方差对角线按减序排列一 . 二维离散傅立叶变换 正变换(4.56逆变换(4.574、 6 视频图像压缩编码的国际标准:JPEG 标准H.261标准MPEG 标准1. 1986年成立了联合图片专家组。JPEG Joint Photographic Experts Group主要制定静态图像帧内压缩编码2. CCITT 第 XV 研究所1984年成立了可视电话编码专家组。1988年,提出了 H.261标准视频编码器的建议。9满足 ISDN 日益增长的需要可适用于可视电视和视频电话会议。3. 1988年成立了 MPEG-MOVING PICTURE EXPERT GROUP 。JPEG 标

16、准定义了两种基本压缩算法:(1. 基于 DCT 变换有失真的压缩算法。(2. 基于空间预测编码 DPCM 的无失真压缩算法。一 . 无失真的预测编码无失真编码器(1. 预测器(2. 熵编码器二 . 基于 DCT 的有失真压缩编码两种不同性能的层次基本系统增强系统自适应算法编码框图 :P136-4.25P136-4.261. 离散余弦变换 (DCTJPEG 采用 8*8二维离散余弦变换。DCT 分成 8*8小块。8*8 FDCT 和 IDCT表达式如下 :P136-(4.58、(4.592.量化:均衡量化器 其量化间隔是等长的非均衡量化器 其量化间隔是不等长的自适应量化器 其量化间隔是随传送数据

17、而变为了达到压缩的目的,对 DCT 系数进行量化处理, JPEG 利用线性均匀量化器 , 多到10一的映射产生误差。FQ (u,v = Integer Round ( F(u,v/Q(u,vQ(u,v是量化器步长,随位量和彩色分量不同。FQ (u,v= FQ (u,v*Q(u,v量化特性 P137-4.27量度量化表色度量化表3.熵编码对于 DC 和 AC 行程码,再作基于统计特性的熵编码。分两步进行:1把 DC 码和 AC 行程码转换成中间符号序列。2对这些符号序列赋以变长的码字。(1中间格式由两个符号组成:符号 1,行程,尺寸 (分组 符号 2,幅值(2可变长熵变码63个 AC 系数表示符

18、号 1符号 2零行程长度超过 15,有多个符号 1块结束 EOB 只有符号 1 (00P140-表 4.5例题 :设某亮度子块的序列如下 zz(kK 0 1 2 3 4 5-7 8 9-30 31 32-63 系数 12 5 -2 0 2 0 1 0 -1 0按 JPEG 基本系统编码给出该子块的编码。符号 2的编码规则 :正数负数结论 :1. 零不需编码。2. 正数编码为原码 , 且高位为“1”(码长为最高位为 1 。3. 负数为该数绝对值的反码 , 且高位为“0” (码长同其绝对值码长一致 。在由程序实现时 , 负数的编码只须“负数 =负数 -1”,然后直接取低位。一 . 引言1988-1

19、992 提出标准化方案。 1991年 11月提出草案, 1992年通过 ISO/SEC 11172 JPEG 和 MPEG 同属于一个工作组。1993年 11月通过 ISO/IEC 13818 1995年 5月 15日正式通过。1. MPEG-1和 MPEG-2特点:1 MPEG-1:三百多线 *´三百多线,适合家庭或终端用,标准不太高,演播级。传输率 1.5M bit/sMPEG-2:最高两千多线 *两千多线,可适合 HDTV ,共有 15个标准,我国采用了四个。 传输率 1.5 M bit/s -100 M bit/s2. MPEG 标准包括四个部分:MPEG系统MPEG视频MP

20、EG音频MPEG测试(检测二 .MPEG 数据流结构数据流视频流(运动序列有:序列头、一组或多组图像序列、 序列尾。1. 序列头序列头码 32bit水平大小 12bit垂直大小 12bit像素的长宽比 4bit图像速率(传输率 4bit位码率 4bit结束码 32bit2. 一组或多组图像序列图像组:由一系列图像组成 , 这些图像可以从运动序列中随机抽取。图像:一个图像 (静止 图像 由三个部分组成一个亮度信号 Y两个色差信号 UV图像切片:一个或多个宏块组成。切片中宏块的 顺序由左到右,由上到下,如果有误差跳 到下一个切片位置,使用越多的切片,误差的隐蔽性就越好。宏块:一个宏块由四个亮度块,

21、 两个色度块组成 ( U一个, V 一个 。一个 16*16亮度信息, 8*8色度信息。块:8*8亮度, 8*8色度MPEG 视频位流分层图结构 P157图 4.37三 . 帧间编码技术MPEG 将图像分成三种类型 :1. I 图像(Intra PictureI 图像( I帧就是静态图像,用 JPEG 帧内压缩的方法得到,压缩比适度。2. P 图像 (Predicted Picture 预测图P 图像( P帧由最近的 I 帧或 P 帧经过预测编码得到。称为前向预测,可以作为下一个 B 或 P 参照图像。3. B 图像 (Bidirectional Picture 双向预测图B 图像(B 帧可以

22、使用前一个和后一个图像作参考图像,也可以使用前后两个参考图像。 (双向预测帧间编码前向编码后向编码双向预测帧 . 运动视频流的组成四 . 运动补偿技术主要用于消除 P.B 图像在时间上的冗余,提高压缩效率是在宏块一级。 1.四种类型的宏块I 块 帧内宏块F 块 前向预测宏块B 块 后向预测宏块 A 块 平均宏块 (内插宏块、双向预测宏块2.三种类型的图像:I 图像B 图像P 图像3. 求运动矢量要解决两个问题1 匹配算法:归一化函数(4.15均方误差(4.16帧间绝对差(4.172 搜索方法穷尽搜索法 MAD二维对数法 TDL 采用 MSE 均方误差三步搜索法 9个点 /步 MSE均方误差采用

23、绕参考点逐渐向外生长的方式 :五 . 帧内编码技术帧内编码技术与 JPEG 相同。4. 6. 3 MPEG-2国际标准1. MPEG-2与 MPEG-1的区别:可支持多种采样格式 : 逐行 , 隔行。支持恒速率和变速率两种格式。支持对比特流的编辑。MPEG -2是 MPEG -1的扩展 , 丰富 , 完善。MPEG-2从 1.5M 100M 分成了很多的 Profile, 具有可扩充性(Scalable .2.MPEG II 视频数据流采用分层编码技术 :每个视频节目接不同的空间分辨率和帧速率; MPEG 采用可扩展性编码的办法逐步嵌入若干层结构,解码时可以得到不同时间、空间分辨率的视频信号。

24、3.MPEG2提供四种工具 :1 空间可扩展性金字塔编码技术低通滤波器 基本层比特流 STV预测层 HDTV2 时间可扩充性可以跨过某些帧,形成基本图象与 MPEG-1兼容。隔行 15帧 /秒逐行 60帧 /秒3 信噪比可扩展性量化第一次量化第二次量化4:2:0 4:2:24 数据划分优先级不同的比特流(1. 头信息 , 运动矢量,量化参数,低频 DCT 系数放到高优先级(2. 将高频 DCT 级数转到低优先级1. MPEG-4主要特点:(1 MPEG-4的编码是基于对象的,这样就便于操作和控制对象;可以实现许多基于内容的交互性功能,主要用于基于内容的多媒体数据存取、游戏或多媒体 家庭编辑、网上购物和电子商店、远程监控、医疗和教学等。(2 MPEG-4 在扩展性上具有很好的灵活性, 可进行时域和空域的扩展 (兼容 MP