第六章图像编码技术

1、1Digital Image Processing 数字图像处理数字图像处理张张 鑫鑫2第六章第六章 图像编码图像编码技术技术 n主要内容：n数据冗余和压缩n图像保真度n编码方法34n图像编码又称为图像压缩n一幅512x512像素，8b/像素的黑白图像256KBn一幅512x512像素，每分量8b/像素的彩色静止图像3x256=768KBn如果每秒24帧（1帧即1幅图像）传送上述彩色图像，则一秒钟的数据量为24X768=18.5MBn一张容量为680MB的CD-ROM存储30多秒的数据5n目的：目的：节省图像存储容量；减少传输信道容量；缩短图像加工处理时间。n原因：原因：n图像像素之间、行之间

2、、帧之间有较强的相图像像素之间、行之间、帧之间有较强的相关性。关性。n从统计的观点，某点像素的灰度与其邻域灰从统计的观点，某点像素的灰度与其邻域灰度有密切关系；度有密切关系；n从信息论关系，减少图像信息中冗余信息。从信息论关系，减少图像信息中冗余信息。6压缩率压缩率9.27压缩率压缩率18.48压缩率压缩率51.6n6.1 数据冗余和压缩9第10页n图像压缩方法的分类 ：信息保存型：在压缩和解压缩过程中没有信息损失压缩率一般在2 10之间信息损失型：常能取得较高的压缩率（几十几百）压缩后并不能经解压缩恢复原状11n数据冗余的概念n数据是用来表示信息的。n如果不同的方法为表示给定量的信息使用了不

3、同的数据量，那么使用较多数据量的方法中，有些数据必然是代表了无用的信息，或者是重复地表示了其它数据已表示的信息，这就是数据冗余的概念。12n三种数据冗余：1、像素相关冗余2、编码冗余3、心理视觉冗余13n1. 像素相关冗余（空间冗余、几何冗余）n 由于任何给定的像素值，原理上都可以通过它的邻域预测到，单个像素携带的信息相对是小的。n 对于一个图像，很多单个像素对视觉的贡献是冗余的。这是建立在对邻居值预测的基础上。n例：原图像数据：234 223 231 238 235n 压缩后数据：234 -11 8 7 -3第14页第9章 图像编码 直接与像素间相关性联系00.20.40.60.810510

4、15202500.20.40.60.810510152025规则 冗余大不规则冗余小152、编码冗余： 为表达图像数据需要使用一系列符号，用这些符号根据一定的规则来表达图像就是对图像编码。码字：对每个信息或事件所赋的符号序列码字的长度：每个码字里的符号个数162、编码冗余： 如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余。例：如果用8位表示该图像的像素，我们就说该图像存在着编码冗余，因为该图像的像素只有两个灰度，用1位即可表示。P148 例6.1.2173.心理视觉冗余：18感到他像窗帘边或者凹格 心理学家马赫（mach）注意到，人类感知两个区域之间的边缘时，

5、就好像把边缘拉出来夸大亮度的差异，如图所示。马赫带效应能改变连接面的感知形状 193.心理视觉冗余：第20页n图像编解码系统模型 两个通过信道级连的结构模块 输出图是输入图的精确复制？ 信息保持型：是，无失真 信息损失型：不是，有一定的失真信源 编码器信道 编码器信道信源 解码器信道 解码器编码器解码器输入图输出图第21页n信源编码器和信源解码器 无失真信源编码器不需要量化器n映射器：通过将输入数据变换以减少像素相关冗余；n量化器：通过减少映射器输出的精度来减少心里视觉冗余；n符号编码器：通过将最短的码赋给最频繁出现的量化器输出值以减少编码冗余。n6.2 图像保真度2324客观保真度准则客观保

6、真度准则所损失的信息量可用编码输入图与解码输出图的某个确定函数表示均方根（rms）误差： 6.2 图像保真度图像保真度客观保真度准则客观保真度准则压缩解压缩图的均方信噪比（signal-to-noise ratio，SNR） ： 6.2 图像保真度图像保真度n实际使用时，常将实际使用时，常将SNR归一化并用分贝（归一化并用分贝（DB）表示）表示n峰值信噪比PSNRn令fmax=maxf(x,y),x=0,1,M-1,y=0,1,N-1,图像中的灰度最大值。27),(),(1lg10101022maxMxNyyxfyxfMNfSNR主观保真度准则主观保真度准则6.2 图像保真度图像保真度29ki

7、ikiiinCnMOS1130图像的编码质量评价图像的编码质量评价 则压缩则压缩比比p147p147： 21nnCR设设n1为原始图像每个像素的平均比特数为原始图像每个像素的平均比特数 n2为编码后每个像素的平均比特数为编码后每个像素的平均比特数 31相对数据冗余：RD = 1 1/CR3233什么是图像压缩的最终极限（熵）什么是图像压缩的最终极限（熵）34n信息理论是图像编码的主要理论依据之一，它给出无失真编码所需比特数的下限，为了逼近这个下限而提出了一系列熵编码算法。35离散信源的熵表示离散信源的熵表示 ),(21Nxxx,21NpppNiip11信源的当前输出与以前的输出是无关的36离散

8、信源的熵表示离散信源的熵表示 )(log)(1log)(EpEpEI如果P(E)=1,那么I(E)=0一般底数是2，这样得到的信息单位就是bit（比特）37离散信源的熵表示离散信源的熵表示 )(log)(jjbpbIJjjjbpbpuH1)(log)()(一幅图像可以看做一个具有随机离散输出的信源，这个信源可以由信源符号集合组成，信源集合中的符号称为信源符号。信源符号集合B=b1,b2,bJJjjbp11)(单个符号bj的自信息量概率矢量u = P(b1) P(b2) P(bJ )T 第38页根据信息论信源编码理论，可以证明：（1） ，总可以设计出某种无失真编码方法；（2） ，表明这种方法效率

9、很低，占用比特数太多；（3） ，称为最佳编码；（4） ，丢失信息，图像失真。编码效率：)(avguHL%100)(n avgLH u)(avguHL)(avguHL)(avguHL39离散信源的熵表示离散信源的熵表示 ,dcbaX 4/1)()()()(dpcpbpap24log)()()()(2dIcIbIaI22*4/12*4/12*4/12*4/1)(XH40离散信源的熵表示离散信源的熵表示 ,dcbaX , 8/1)(, 4/1)(, 2/1)(cpbpap8/1)(dp38log)()(, 24log)(, 12log)(222dIcIbIaI75. 13*8/13*8/12*4/1

10、1*2/1)(XH41离散信源的熵表示离散信源的熵表示 75. 13*8/13*8/12*4/11*2/1avgl22*8/12*8/12*4/12*2/1avgl42离散信源的熵表示离散信源的熵表示 ,dcbaX ,25. 0)(,45. 0)(bpap12. 0)(,18. 0)(dpcp1.152,)(aI, 2)(bI,4739. 2)(cI0589. 3)(dI8308. 10589. 3*12. 04739. 2*18. 02*25. 0152. 1*45. 0)(XH85. 13*12. 03*18. 02*25. 01*45. 0avgl43离散信源的熵表示离散信源的熵表示 n

11、P152，二元信源的熵44无失真编码定理无失真编码定理(香农第一定理香农第一定理) 确定了对零记忆信源的每个信源符号编码可达到的最小平均码字长度6.3 无失真编码定理无失真编码定理46n把信息论中熵值的概念应用到图像信息源。以灰度级为【1，L】的图像为例，可以通过直方图得到各灰度级概率ps(sk),k=1,2,L,这时图像的熵为：LiisisspspH12)(log)(47n信息无损熵编码方法哈夫曼编码（赫夫曼编码）香农-范诺编码算术编码行程编码位平面编码哈夫曼编码哈夫曼编码哈夫曼编码过程可分为2个步骤，第1步是消减信源符号数量，第2步是对每个信源符号赋值先将信源符号按它们的概率从大到小排列，

12、然后将概率最小的2个符号结合得到1个组合符号，将这个组合符号与其他尚没有组合的符号一起仍按概率从大到小排列 0.380.300.100.220.380.320.300.620.3812b32b4b1b初始信源信源的消减步骤符号概率哈夫曼编码哈夫曼编码先从上述消减到最小的信源开始，逐步赋值回到初始信源这里赋0或1可以随意，不影响编码效率这组码字的平均长度为Lavg = 0.38 + 0.3 2 + 0.22 3 + 0.1 3 = 1.94比特/符号 0.380.300.100.220.380.320.300.620.3812b32b4b1b初始信源对消减信源的赋值符号概率10001011010

13、00001码字第50页哈夫曼编码哈夫曼编码步骤(1) 缩减信源符号数量将信源符号按出现概率从大到小排列，然后选2个最小的结合0.40.30.10.10.060.040.40.30.10.10.10.40.30.10.20.40.30.30.40.61234a12a5a3a6a4a初始信源信源的消减步骤符号概率第51页第9章 图像编码哈夫曼编码哈夫曼编码步骤 (2) 对每个信源符号赋值从（消减到）最小的信源开始，逐步回到初始信源0.40.30.10.10.060.040.40.30.10.10.10.40.30.10.20.40.30.30.40.61234a12a5a3a6a4a初始信源对消减

14、信源的赋值符号概率10001101000101100010011100010110001101000101001011码字第52页哈夫曼编码哈夫曼编码结果平均长度信源熵 编码效率2 . 2)543(1 . 023 . 014 . 0)()(10LkkskavgspslL142)()log()(1.uJjjjaPaPH973. 02 . 214. 21)( avgLHnu53HuffmanHuffman编码编码 n根据根据变长最佳编码定理变长最佳编码定理，HuffmanHuffman编码编码步骤如下：步骤如下：n（1 1）对出现概率大的信息符号赋予短码字，对于出现概率小的信息符号赋予长码字。哈夫

15、曼码特点哈夫曼码特点它是1种块（组）码，因为各个信源符号都被 映射成1组固定次序的码符号它是1种即时码。解码即时性解码即时性是指对任意一个有限长的码符号串，可以对每个码字分别解码，即读完一个码字就将其对应的信源符号确定下来，不需要考虑其后的码字它是1种可唯一解开的码，或者说具有解码唯一性55HuffmanHuffman编码编码 56HuffmanHuffman编码编码 57HuffmanHuffman编码编码 哈夫曼码的改型哈夫曼码的改型59n香农-范诺编码是另一种基于统计的变长编码算法，与Huffman编码没有本质上的差别，采用从上到下的方法。60Shannon-Shannon-FanoFa

16、no编码编码 变长编码技术，其码字中的0和1是独立的，并且基本上等概率出现.主要步骤为：(1) 将信源符号依其概率从大到小排列(2) 将信源符号分成概率和接近的两部分(3) 分别给两部分的信源符号组合赋值(4) 如果两部分均只有一个信源符号，编码结束，否则返回(2)继续进行香农-法诺编码0101010105.010.015.020.025.025.0543210uuuuuuX10%98)()(45. 2)(42. 2)(dRdHdRdH灰度概率u00.25u10.25u20.2u30.15u40.1u50.0562Shannon-Shannon-FanoFano编码编码 S=s1,s2,s3,

17、s4,s5S=0.4,0.175,0.15,0.15,0.12563Shannon-Shannon-FanoFano编码编码 s10.4002S20.175012S30,15102S40.151103S50.1251113275. 2)(51ilisipL64知识回顾图像编码的目的数据冗余n1、编码冗余n2、像素间冗余n3、心理视觉冗余65kkkppxIlog1log)(NiiippXH12log)(知识回顾66知识回顾n信息无损熵编码方法哈夫曼编码（赫夫曼编码）香农-范诺编码n像素灰度值 =7 编码:10001000000100n像素灰度值 =8 编码:0101100n像素灰度值 =9 编码

18、:00001n像素灰度值 =10 编码:110010n像素灰度值 =11 编码:101011n像素灰度值 =12 编码:00000n像素灰度值 =13 编码:00100n像素灰度值 =14 编码:01010n像素灰度值 =15 编码:111000n像素灰度值 =16 编码:011111n像素灰度值 =17 编码:0111010n像素灰度值 =18 编码:10001001n像素灰度值 =19 编码:00010011n像素灰度值 =20 编码:111010101n像素灰度值 =21 编码:101000001n像素灰度值 =22 编码:010110100n像素灰度值 =23 编码:010110111

19、n像素灰度值 =24 编码:010011000n像素灰度值 =25 编码:001010100n平均码字长度 =7.0448n压缩比 =1.135668算术编码算术编码 n方法特点n算术编码是一种从整个符号序列出发，采用递推形式连续编码的方法n算术编码过程中，只用到加法和移位运算n算术编码中，源符号和码字间的一一对应关系并不存在n算法分析n设要编码的符号序列为：c1c2c3c4=b1b2b3b4nP=0.1,0.38,0.22,0.30初始编码间隔初始编码间隔 (00.1,0.10.48,0.480.7,0.71)算术编码算术编码算术编码过程图解100.1编码序列1c = b1b12b3b4b0

20、b12b3b4b0.0480.01b12b3b4b0.0282b12b3b4b0.03660.03412c = b23c = b34c = b4初始编码间隔初始编码间隔 (00.1,0.10.48,0.480.7,0.71)nP6.5.2 例题6.5 算术编码算术编码算术算术解码解码算术解码算术解码 p160信源符号信源符号a1,a2,a3,a4,a5,a6概率概率0.2,0.3,0.1,0.2,0.1,0.1间隔间隔(左闭右开左闭右开)0-0.2,0.2-0.5,0.5-0.6,0.6-0.8,0.8-0.9,0.9-1算术编码后的码字为算术编码后的码字为0.233550.23355属于区间

21、属于区间0.2-0.5，所以解出的第一个码，所以解出的第一个码字为字为a2;之后解码过程按照公式：之后解码过程按照公式：0.23355-0.2/(0.5-0.2)=0.1118 a1.7576预测编码n1）基本思想n图像相邻像素间存在很强的相关性 预测。n预测值和实际值存在误差，称为预测误差。n对预测误差进行编码的技术称为预测编码。77预测编码n2）方法分类nA、无损预测编码nB、有损预测编码78无损预测编码无损预测编码 由于预测误差的动态范围小于输入序列的动态范围，实现数据的压缩。第10章无损预测编码当输入图像的像素序列fn (n = 1, 2, )逐个进入编码器时，预测器会根据若干个过去的

22、输入数据计算产生对当前输入像素的预测（估计）值 预测误差解压图像的像素序列 nnneffnnnfef第10章无损预测编码线性预测器对当前像素值的预测设扫描沿行进行最简单的1-D线性预测编码是一阶的 1round mnin iifa f 1( , )round (, )mniifx ya f xi y( , )round (1, )f x yaf xy81无损预测编码无损预测编码 n在在图像数据压缩中，常用如下几种线性预测方案：图像数据压缩中，常用如下几种线性预测方案：n（1 1）前值预测，即）前值预测，即n（2 2）一维预测，即用同一扫描行的前面几个采样值预测。一维预测，即用同一扫描行的前面几

23、个采样值预测。n（3 3）二维预测，即不但用同一扫描行的前面几个采样值，）二维预测，即不但用同一扫描行的前面几个采样值，还要用前几行中的采样值一起来预测。还要用前几行中的采样值一起来预测。1nnaff82 无损预测编码无损预测编码 83 无损预测编码无损预测编码 nP166例6.7.18485一、预测编码n有损预测编码86878889预测编码n有损压缩方法的压缩比：n在图像压缩比大于30:1时，仍然能够重构图像n在图像压缩比为10:1到20:1时，重构图像与原图几乎没有差别n无损压缩的压缩比很少有能超过3:1的n这两种压缩方法的根本差别在于有没有量化模块90n源数据编码与解码的模型n源数据编码

24、的模型n源数据解码的模型符号符号解码器解码器反向反向映射器映射器映射器映射器量化器量化器符号符号编码器编码器91n量化器基本思想：n减少图像的灰度级n这种量化是不可逆的，因而解码时图像有损失sts1s2s3t1t2t3 如果输入是256 个灰度级，对灰度级量化后输出，只剩下4个层次，数据量被大大减少。92 有损预测编码有损预测编码 93n有损预测的基本思想 对无损预测压缩的误差进行量化，通过消除视觉心理冗余，达到对图像进一步压缩的目的。94无损预测编码系统推导出有损预测编码系统 n有损预测编码 )(nnnffQe+ -符号符号编码编码预测器预测器压缩图像输入图像enfn fn量化器量化器ne

25、95 n有损预测解码 nf+ +符号符号解码解码预测预测器器解压缩图像压缩图像 fnne nnnfef 96n有损预测编码nf预测预测器器预测预测器器编码fn解码nnnfef 97n修改后的有损预测编码 ne 符号符号编码编码压缩图像+ -en输入图像fn量化量化器器预测预测器器 fn+ + nfnnnfef 98 有损预测编码有损预测编码 99德尔塔调制（德尔塔调制（DMDM编码）编码） 1nnf af他其当cecenn0C为常数，编码长度为1比特，因为误差量化后输出只有2个值nP168 例6.8.1n a=1和c=5。n输入序列12，16，12，14，20，32，46，52，50，51，5

26、0100nDM(Delta modulation)有损预测编码n算法分析（p169） 102德尔塔调制德尔塔调制 103nDM(Delta modulation)有损预测编码n算法分析n在所有有损预测压缩中都会出现误差。n误差的严重程度取决于使用的量化方法和预测方法之间的相互作用n尽管存在这种相互作用n定义预测函数时仍然假定没有量化误差n定义量化函数时仅是尽可能地降低它自身的误差n即量化函数和预测函数是分别定义的104最佳线性预测器基础最佳线性预测器基础 n一个线性预测系统的数据压缩率大小取决于预测器性一个线性预测系统的数据压缩率大小取决于预测器性能的好坏。最佳线性预测就是选择合适的系数使得误

27、能的好坏。最佳线性预测就是选择合适的系数使得误差信号的均方误差最小。差信号的均方误差最小。n信号的均方误差（即方差）为：信号的均方误差（即方差）为：22nnnffEeE（一般了解）第10章有损预测编码最优预测器：4个例子1( , )0.97 ( ,1)fx yf x y40.97 ( ,1) (1, )(1,1)( ,1)(1,1)( , )0.97 (1, )f x yf xyf xyf x yf xyfx yf xy如其他3( , )0.75 ( ,1)0.75 (1, )0.5 (1,1)fx yf x yf xyf xy2( , )0.5 ( ,1)0.5 (1, )fx yf x y

28、f xynP170 例6.8.2106107最优量化器最优量化器 （一般了解）静止图像压缩国际标准静止图像压缩国际标准JPEG由ISO和原CCITT两个组织1986年成立的联合图像专家组（joint picture expert group）所制定的静止灰度或彩色图像的压缩标准(1)基于DCT的有损编码基本系统，可用于绝大多数压缩应用场合(2)基于分层递增模式的扩展/增强编码系统，用于高压缩比、高精确度或渐进重建应用场合(3)基于预测编码中DPCM方法的无损系统，用于无失真应用的场合静止图像压缩国际标准静止图像压缩国际标准JPEG2000由ISO和原CCITT两个组织的联合图像专家组于1997

29、年开始征集提案，于2000年问世运用新标准将不仅能提高对图像的压缩质量，尤其是低码率时的压缩质量，而且还将得到许多增加了的功能，包括根据图像质量、视觉感受和分辨率进行渐进压缩传输，对码流的随机存取和处理（可以便捷、快速地访问压缩码流的不同点或不同部分），在解压缩的同时解码器可以缩放、旋转和裁剪图像，开放结构，向下兼容等 第10章运动图像压缩国际标准运动图像压缩国际标准Motion JPEG用JPEG的方法对运动视频/电视信号进行编码，这也称为运动JPEG这样使用的一个限制是由于它对每一帧独立工作，所以它并不能减少各帧之间的冗余JPEG仅进行帧内压缩也可以是个优点，因为这样就提供了一个快速访问视

30、频中任意帧的方法。使用JPEG时，人们只需要等待对一帧的解码时间，即0.04 s 运动图像压缩国际标准运动图像压缩国际标准H.261运动灰度图像压缩标准。它主要为电视会议和可视电话等应用而制定H.261将一个图像序列分成许多组对每组的第一帧图进行帧内编码，得到的编码帧称为初始帧I-frame对每组的剩余帧图进行帧间编码，得到的编码帧称为预测帧P-frame对I-帧独立编码，对P-帧则参照上一帧编码 运动图像压缩国际标准运动图像压缩国际标准MPEG-1运动图像专家组（MPEG）制定的第1个运动图像压缩标准。它是一种娱乐质量的视频压缩标准，主要用于数字媒体上压缩视频数据的存储和提取标准包括3部分：系统；视频；音频所压缩的码流基本上可达1.5到2 M bit/s分别采用3种不同的方式对3种类型的图像进行编码，I图像，P图像 ，B图像 运动图像压缩国际标准运动图像压缩国际标准MPEG-2运动图像专家组（MPEG）制定的第2个运动图像压缩标准，是用于视频传输的压缩标