第六章图像编码技术

1DigitalImageProcessing

数字图像处理张鑫2第六章图像编码技术主要内容：数据冗余和压缩图像保真度编码方法34图像编码又称为图像压缩一幅512x512像素，8b/像素的黑白图像——256KB一幅512x512像素，每分量8b/像素的彩色静止图像——3x256=768KB如果每秒24帧（1帧即1幅图像）传送上述彩色图像，则一秒钟的数据量为24X768=18.5MB一张容量为680MB的CD-ROM——存储30多秒的数据5目的：节省图像存储容量；减少传输信道容量；缩短图像加工处理时间。原因：图像像素之间、行之间、帧之间有较强的相关性。从统计的观点，某点像素的灰度与其邻域灰度有密切关系；从信息论关系，减少图像信息中冗余信息。6压缩率9.27压缩率18.48压缩率51.66.1数据冗余和压缩9第10页图像压缩方法的分类： 信息保存型： 在压缩和解压缩过程中没有信息损失 压缩率一般在2~10之间 信息损失型： 常能取得较高的压缩率（几十~几百） 压缩后并不能经解压缩恢复原状11数据冗余的概念数据是用来表示信息的。如果不同的方法为表示给定量的信息使用了不同的数据量，那么使用较多数据量的方法中，有些数据必然是代表了无用的信息，或者是重复地表示了其它数据已表示的信息，这就是数据冗余的概念。12三种数据冗余：1、像素相关冗余2、编码冗余3、心理视觉冗余131.

像素相关冗余（空间冗余、几何冗余）由于任何给定的像素值，原理上都可以通过它的邻域预测到，单个像素携带的信息相对是小的。 对于一个图像，很多单个像素对视觉的贡献是冗余的。这是建立在对邻居值预测的基础上。例：原图像数据：234223231238235 压缩后数据：234-1187-3第14页第9章图像编码 直接与像素间相关性联系规则冗余大不规则冗余小152、编码冗余：

为表达图像数据需要使用一系列符号，用这些符号根据一定的规则来表达图像就是对图像编码。码字：对每个信息或事件所赋的符号序列码字的长度：每个码字里的符号个数162、编码冗余：如果一个图像的灰度级编码，使用了多于实际需要的编码符号，就称该图像包含了编码冗余。例：如果用8位表示该图像的像素，我们就说该图像存在着编码冗余，因为该图像的像素只有两个灰度，用1位即可表示。P148例6.1.2173.心理视觉冗余：18感到他像窗帘边或者凹格心理学家马赫（mach）注意到，人类感知两个区域之间的边缘时，就好像把边缘拉出来夸大亮度的差异，如图所示。马赫带效应能改变连接面的感知形状193.心理视觉冗余：第20页图像编解码系统模型 两个通过信道级连的结构模块 输出图是输入图的精确复制？ 信息保持型：是，无失真 信息损失型：不是，有一定的失真第21页信源编码器和信源解码器无失真信源编码器不需要量化器映射器：通过将输入数据变换以减少像素相关冗余；量化器：通过减少映射器输出的精度来减少心里视觉冗余；符号编码器：通过将最短的码赋给最频繁出现的量化器输出值以减少编码冗余。6.2图像保真度2324

客观保真度准则 所损失的信息量可用编码输入图与解码输出图的某个确定函数表示

均方根（rms）误差：

6.2 图像保真度

客观保真度准则

压缩―解压缩图的均方信噪比（signal-to-noiseratio，SNR）：

6.2 图像保真度实际使用时，常将SNR归一化并用分贝（DB）表示峰值信噪比PSNR令fmax=max{f(x,y),x=0,1,…,M-1,y=0,1,…,N-1},图像中的灰度最大值。27

主观保真度准则6.2 图像保真度29设每一种得分为Ci，每一种得分的评分人数为ni平均感觉分MOS的主观评价可定义主观评价准则MOS得分越高，解码后图像的主观评价好30图像的编码质量评价则压缩比p147：压缩比设n1为原始图像每个像素的平均比特数

n2为编码后每个像素的平均比特数压缩比越大压缩效果越好31相对数据冗余： RD=1–1/CR326.3无失真编码定理33什么是图像压缩的最终极限（熵）34信息理论是图像编码的主要理论依据之一，它给出无失真编码所需比特数的下限，为了逼近这个下限而提出了一系列熵编码算法。35离散信源的熵表示设一个离散信源X：满足其概率分布：离散信源类型无记忆信源

有记忆信源

信源的当前输出与以前的输出是无关的36离散信源的熵表示1个随机事件E,如果它的出现概率是P(E)，那么它包含的信息E的自信息量如果P(E)=1,那么I(E)=0一般底数是2，这样得到的信息单位就是bit（比特）37离散信源的熵表示信源熵H(X)（平均信息量）（零阶熵）

一幅图像可以看做一个具有随机离散输出的信源，这个信源可以由信源符号集合组成，信源集合中的符号称为信源符号。信源符号集合B={b1,b2,…,bJ}单个符号bj的自信息量概率矢量u=[P(b1)P(b2)…P(bJ)]T第38页根据信息论信源编码理论，可以证明：（1），总可以设计出某种无失真编码方法；（2），表明这种方法效率很低，占用比特数太多；（3），称为最佳编码；（4），丢失信息，图像失真。编码效率：39离散信源的熵表示设信源熵则，各信源符号自信息量：例编码方法：a,b,c,d用码字00,01,10,11来编码,每个符号用2个比特。平均码长也是2比特。

40离散信源的熵表示设信源熵则，各信源符号自信息量：例41离散信源的熵表示例

两种编码方法：

2、a,b,c,d分别用码字0,10,110,111来编码

1、a,b,c,d用码字00,01,10,11来编码

平均码长：平均码长大于信源的熵

平均码长：平均码长等于信源的熵

42离散信源的熵表示设信源熵则，各信源符号自信息量：例

用第二种编码方法，平均码长1.85大于信源熵43离散信源的熵表示可得到几点提示：信源的平均码长lavg>=H(X)；也就是说熵是无失真编码的下界。如果所有I(xk)都是整数，且l(xk)=I(xk),可以使平均码长等于熵。对非等概率分布的信源，采用不等长编码其平均码长小于等长编码的平均码长。如果信源中各符号的出现概率相等，信源熵值达到最大，这就是重要的最大离散熵定理。

P152，二元信源的熵44

无失真编码定理(香农第一定理) 确定了对零记忆信源的每个信源符号编码可达到的最小平均码字长度6.3 无失真编码定理46把信息论中熵值的概念应用到图像信息源。以灰度级为【1，L】的图像为例，可以通过直方图得到各灰度级概率ps(sk),k=1,2,…,L,这时图像的熵为：47信息无损熵编码方法哈夫曼编码（赫夫曼编码）香农-范诺编码算术编码行程编码位平面编码哈夫曼编码

哈夫曼编码过程可分为2个步骤，第1步是消减信源符号数量，第2步是对每个信源符号赋值 先将信源符号按它们的概率从大到小排列，然后将概率最小的2个符号结合得到1个组合符号，将这个组合符号与其他尚没有组合的符号一起仍按概率从大到小排列

哈夫曼编码

先从上述消减到最小的信源开始，逐步赋值回到初始信源 这里赋0或1可以随意，不影响编码效率 这组码字的平均长度为L'avg=0.38+0.32+0.223+0.13=1.94比特/符号

第50页哈夫曼编码哈夫曼编码步骤(1)缩减信源符号数量 将信源符号按出现概率从大到小排列，然后选2个最小的结合第51页第9章图像编码哈夫曼编码哈夫曼编码步骤

(2) 对每个信源符号赋值 从（消减到）最小的信源开始，逐步回到初始信源第52页哈夫曼编码哈夫曼编码结果

平均长度 信源熵

编码效率53Huffman编码根据变长最佳编码定理，Huffman编码步骤如下：（1）将信源符号xi按其出现的概率，由大到小顺序排列；（2）将两个最小的概率的信源符号进行组合相加，并重复这一步骤，始终将较大的概率分支放在上部，直到只剩下一个信源符号且概率达到1.0为止；（3）对每对组合的上边一个指定为0，下边一个指定为1（或相反：对上边一个指定为0，下边一个指定为1）；（4）画出由每个信源符号到概率1.0处的路径，记下沿路径的1和0；（5）对于每个信源符号都写出1、0序列，则从右到左就得到非等长的Huffman码。对出现概率大的信息符号赋予短码字，对于出现概率小的信息符号赋予长码字。哈夫曼码特点①它是1种块（组）码，因为各个信源符号都被 映射成1组固定次序的码符号②它是1种即时码。解码即时性是指对任意一个 有限长的码符号串，可以对每个码字分别解 码，即读完一个码字就将其对应的信源符号 确定下来，不需要考虑其后的码字③它是1种可唯一解开的码，或者说具有解码唯 一性55Huffman编码特点Huffman编码的特点是：（1）Huffman编码构造程序是明确的，但编出的码不是唯一的，其原因之一是两个概率分配码字“0”和“1”是任意选择的（大概率为“0”，小概率为“1”，或者反之）。第二原因是在排序过程中两个概率相等，谁前谁后也是随机的。这样编出的码字就不是唯一的。（2）Huffman编码结果，码字不等长，平均码字最短，效率最高，但码字长短不一，实时硬件实现很复杂（特别是译码），而且在抗误码能力方面也比较差。56Huffman编码特点（3）Huffman编码的信源概率是2的负幂时，效率达100%，但是对等概率分布的信源，产生定长码，效率最低，因此编码效率与信源符号概率分布相关，故Huffman编码依赖于信源统计特性，编码前必须有信源这方面的先验知识，这往往限制了哈夫曼编码的应用。（4）Huffman编码只能用近似的整数位来表示单个符号，而不是理想的小数，这也是Huffman编码无法达到最理想的压缩效果的原因。57Huffman编码特点（5）是一种可唯一解开的码。001100001解码串：b1b2b3b4010001001解码串：b4b3b2b1P156例题6.4.1（6）如果信源有N个符号，则所需的信源消减次数为N-2，所需的码赋值次数也为N-2。当需要对大量符号编码时，构造最优哈夫曼的计算量会很大。可以通过牺牲编码效率来换取编码计算量的减少。两种最常用的方法是截断方法和平移方法。P157例题。哈夫曼码的改型59香农-范诺编码是另一种基于统计的变长编码算法，与Huffman编码没有本质上的差别，采用从上到下的方法。60Shannon-Fano编码变长编码技术，其码字中的0和1是独立的，并且基本上等概率出现.主要步骤为：(1)将信源符号依其概率从大到小排列(2)将信源符号分成概率和接近的两部分(3)分别给两部分的信源符号组合赋值(4)如果两部分均只有一个信源符号，编码结束，否则返回(2)继续进行 香农-法诺编码0101010110灰度概率u00.25u10.25u20.2u30.15u40.1u50.0562Shannon-Fano编码Shannon-Fano编码过程示意图

S={s1,s2,s3,s4,s5}S={0.4,0.175,0.15,0.15,0.125}63Shannon-Fano编码结果编码后均码长

灰度级出现概率码字码长s10.4002S20.175012S30,15102S40.151103S50.125111364知识回顾图像编码的目的数据冗余1、编码冗余2、像素间冗余3、心理视觉冗余65考虑无记忆信源X

，某个信源符号xk，如果它出现的概率是pk

信源熵H(X)（平均自信息量）（零阶熵）

xk的自信息量知识回顾66知识回顾信息无损熵编码方法哈夫曼编码（赫夫曼编码）香农-范诺编码像素灰度值=7编码:10001000000100像素灰度值=8编码:0101100像素灰度值=9编码:00001像素灰度值=10编码:110010像素灰度值=11编码:101011像素灰度值=12编码:00000像素灰度值=13编码:00100像素灰度值=14编码:01010像素灰度值=15编码:111000像素灰度值=16编码:011111像素灰度值=17编码:0111010像素灰度值=18编码:10001001像素灰度值=19编码:00010011像素灰度值=20编码:111010101像素灰度值=21编码:101000001像素灰度值=22编码:010110100像素灰度值=23编码:010110111像素灰度值=24编码:010011000像素灰度值=25编码:001010100……平均码字长度=7.0448压缩比=1.135668算术编码算术编码不是将单个信源符号映射成一个码字，而是把整个信源表示为实数线上的0到1之间的一个区间（Interval），其长度等于该序列的概率，再在该区间内选择一个代表性的小数，转化为二进制作为实际的编码输出。消息序列中的每个元素都要缩短为一个区间。消息序列中元素越多，所得到的区间就越小，当区间变小时，就需要更多的数位来表示这个区间。采用算术编码每个符号的平均编码长度可以为小数。方法特点算术编码是一种从整个符号序列出发，采用递推形式连续编码的方法算术编码过程中，只用到加法和移位运算算术编码中，源符号和码字间的一一对应关系并不存在算法分析设要编码的符号序列为：c1c2c3c4=b1b2b3b4P={0.1,0.38,0.22,0.30}初始编码间隔(0~0.1,0.1~0.48,0.48~0.7,0.7~1)算术编码

算术编码过程图解初始编码间隔(0~0.1,0.1~0.48,0.48~0.7,0.7~1)P6.5.2例题6.5 算术编码

算术解码算术解码p160信源符号{a1,a2,a3,a4,a5,a6}概率{0.2,0.3,0.1,0.2,0.1,0.1}间隔(左闭右开)0-0.2,0.2-0.5,0.5-0.6,0.6-0.8,0.8-0.9,0.9-1算术编码后的码字为0.233550.23355属于区间0.2-0.5，所以解出的第一个码字为a2;之后解码过程按照公式：0.23355-0.2/(0.5-0.2)=0.1118a1…….

75预测编码76预测编码1）基本思想图像相邻像素间存在很强的相关性预测。预测值和实际值存在误差，称为预测误差。对预测误差进行编码的技术称为预测编码。77预测编码2）方法分类A、无损预测编码B、有损预测编码78无损预测编码无损预测编码系统

由于预测误差的动态范围小于输入序列的动态范围，实现数据的压缩。第10章无损预测编码 当输入图像的像素序列fn

(n=1,2,…)逐个进入编码器时，预测器会根据若干个过去的输入数据计算产生对当前输入像素的预测（估计）值 预测误差

解压图像的像素序列第10章无损预测编码 线性预测器

对当前像素值的预测

设扫描沿行进行 最简单的1-D线性预测编码是一阶的81无损预测编码在图像数据压缩中，常用如下几种线性预测方案：（1）前值预测，即（2）一维预测，即用同一扫描行的前面几个采样值预测。（3）二维预测，即不但用同一扫描行的前面几个采样值，还要用前几行中的采样值一起来预测。82

无损预测编码对Lena图像进行无损的一阶预测编码和解码预测误差图像83

无损预测编码（b)原图直方图（c）预测误差直方图

P166例6.7.18485一、预测编码有损预测编码86878889预测编码有损压缩方法的压缩比：在图像压缩比大于30:1时，仍然能够重构图像在图像压缩比为10:1到20:1时，重构图像与原图几乎没有差别无损压缩的压缩比很少有能超过3:1的这两种压缩方法的根本差别在于有没有量化模块90源数据编码与解码的模型源数据编码的模型源数据解码的模型符号解码器反向映射器映射器量化器符号编码器91量化器基本思想：减少图像的灰度级这种量化是不可逆的，因而解码时图像有损失sts1s2s3t1t2t3

如果输入是256个灰度级，对灰度级量化后输出，只剩下4个层次，数据量被大大减少。92

有损预测编码有损预测编码系统

93有损预测的基本思想

对无损预测压缩的误差进行量化，通过消除视觉心理冗余，达到对图像进一步压缩的目的。94

无损预测编码系统推导出有损预测编码系统

有损预测编码

+-符号编码预测器压缩图像输入图像enfn

fn量化器95

有损预测解码

++符号解码预测器解压缩图像压缩图像

fn96有损预测编码预测器预测器编码fn解码97修改后的有损预测编码

符号编码压缩图像+-en输入图像fn量化器预测器

fn++

98

有损预测编码有损预测编码系统

99德尔塔调制（DM编码）德尔塔调制是一种简单的有损预测编码方法，其预测器和量化器定义如下：

C为常数，编码长度为1比特，因为误差量化后输出只有2个值P168例6.8.1a=1和c=5。输入序列{12，16，12，14，20，32，46，52，50，51，50}100DM(Deltamodulation)有损预测编码算法分析（p169）

102德尔塔调制预测误差图像解码后图像103DM(Deltamodulation)有损预测编码算法分析在所有有损预测压缩中都会出现误差。误差的严重程度取决于使用的量化方法和预测方法之间的相互作用尽管存在这种相互作用定义预测函数时仍然假定没有量化误差定义量化函数时仅是尽可能地降低它自身的误差即量化函数和预测函数是分别定义的104最佳线性预测器基础一个线性预测系统的数据压缩率大小取决于预测器性能的好坏。最佳线性预测就是选择合适的系数使得误差信号的均方误差最小。信号的均方误差（即方差）为：（一般了解）第10章有损预测编码 最优预测器：4个例子P170例6.8.2106107最优量化器三种量化器的效果比较

预测编码的效果图预测误差图预测编码的误差图（一般了解）静止图像压缩国际标准JPEG

由ISO和原CCITT两个组织1986年成立的联合图像专家组（jointpictureexpertgroup）所制定的静止灰度或彩色图像的压缩标准(1)基于DCT的有损编码基本系统，可用于绝大多数压缩应用场合(2)基于分层递增模式的扩展/增强编码系统，用于高压缩比、高精确度或渐进重建应用场合(3)基于预测编码中DPCM方法的无损系统，用 于无失真应用的场合静止图像压缩国际标准JPEG2000

由ISO和原CCITT两个组织的联合图像专家组于1997年开始征集提案，于2000年问世 运用新标准将不仅能提高对图像的压缩质量，尤其是低码率时的压缩质量，而且还将得到许多增加了的功能，包括根据图像质量、视觉感受和分辨率进行渐进压缩传输，对码流的随机存取和处理（可以便捷、快速地访问压缩码流的不同点或不同部分），在解压缩的同时解码器可以缩放、旋转和裁剪图像，开放结构，向下兼容等第10章运动图像压缩国际标准MotionJPEG

用JPEG的方法对运动视频/电视信号进行编码，这也称为运动JPEG 这样使用的一个限制是由于它对每一帧独立工作，所以它并不能减少各帧之间的冗余 JPEG仅进行帧内压缩也可以是个优点，因为这样就提供了一个快速访问视频中任意帧的方法。使用JPEG时，人们只需要等待对一帧的解码时间，即0.04s

运动图像压缩国际标准H.261 运动灰度图像压缩标准。它主要为电视会议和可视电话等应用而制定 H.261将一个图像序列分成许多组 对每组的第一帧图进行帧内编码，得到的编码帧称为初始帧I-frame 对每组的剩余帧图进行帧间编码，得到的编码帧称为预测帧P-frame 对I-帧独立编码，对P-帧则参照上一帧编码运动图像压缩国际标准MPEG-1 运动图像专家组（MPEG）制定的第1个运动图像压缩标准。它是一种娱乐质量的视频压缩标准，主要用于数字媒体上压缩视频数据的存储和提取 标准包括3部分：①系统；②视频；③音频 所压缩的码流基本上可达1.5到2Mbit/s 分别采用3种不同的方式对3种类型的图像进行编码，I图像，P