压缩理论极限与基本途径5

第三章

理论极限与基本途径

课前回顾什么是离散平稳信源？任意两个不同时刻，离散信源发出的符号的概率分布完全相同，与时间起点无关。对于一般平稳信源，各阶熵之间的关系？课前回顾对于熵来讲，是否阶越高越好？但计算量却增加很快在实际分析性能时,以求能看到

Hn(X)~n曲线出现平稳即可。对于实际的图像信号:2阶熵比1阶熵小得多3阶熵比2阶熵小

更高阶的熵减小得就不明显了

基本途径之四—利用联合概率数据压缩的途径之四

对于离散平稳信源，

1)理论上，可通过联合概率计算极限熵；

2)实践中，可将多个符号合并成向量，利用其联合概率进行编码，符号越多越有利。

在一定条件下，利用联合概率进行编码的思想，也适用于离散无记忆信源。变换编码利用M阶的最佳变换得到HM，并获得I=H0-HM的信息变差例如5/3小波，9/7小波

基本途径之四—利用联合概率

基本途径之五

—对平稳子信源进行编码语音、图像等信源的统计特性一般是非平稳的计算H∞的前提不成立解决办法：在一段时间内作为平稳信源对待，

即将非平稳信源S看成多个平稳子

信源Si

(i=1,2,…,L)构成的组合信源。非平稳信源S多路选择平稳信源S1平稳信源S2平稳信源SL输出图3.3

非平稳信源的组合平稳模型

基本途径之五

—对平稳子信源进行编码组合信源中的L个子信源的符号集相同，为Am={a1,a2,…,am}，设各子信源在S中的出现概率为Pi，组合信源模型可描述为：Si(Pi;P(a1|i),P(a2|i),…,P(am|i))(3.3-7)常把实际信源近似看成平稳信源,统计是上述模型的平均:SM(P(a1),P(a2),…,P(am))(3.3-8)可以证明:(3.3-7)复合信源的熵HC≤

(3.3-8)平均混合信源的熵HM该子信源出现的概率；该子信源中每个符号的概率

基本途径之五

—对平稳子信源进行编码定理3.2(信源的自适应编码)一个信源复合模型的熵HC小于混合模型的熵HM数据压缩的途径之五

对于离散非平稳信源，

1)设法将其划分成若干个近似平稳的子信源分别编码；

2)提高编码效率的关键是对平稳子信源的自适应识别。

基本途径之五

—对平稳子信源进行编码例3-4预测编码:使预测误差为最小的维纳预测过程即使采用最佳的不定长编码，也不过是趋近于把预测信号作为混合平稳信源看待时的熵HM；只有把预测误差信号按照组合信源看待并做自适应编码，才可能达到更低的组合信源熵HC；

基本途径之五

—对平稳子信源进行编码3.4率失真理论限失真编码（失真不超过某给定条件下的编码）率失真理论研究的问题：最佳编码：使限失真条件下比特数最少的编码

1959年，Shannon又进一步确立了率失真理论，

从而奠定了信源编码的理论基础；

1948年，Shannon在“通信的数学原理”中首次

提到信息率—失真函数的概念；

T.Berger等人接着进行了深入的研究。

率失真函数的基本含义信源编码的过程：输入符号集：Am={a1,a2,…,am}输出符号集：Bn={b1,b2,…,bn}编码器映射互信息量概念：I(aj|bk)

和I(bk|aj)例3-5设信源编码器是一个简单的一一对应的关系，即m=n，且：aj=bj，j=1,2,3,…,m用概率表示：P(ak|bk)=1或P(bj|aj)=1I(ak|bk)=0或I(bj|aj)=0也就是说：此时：bj提供了aj

全部信息，或者说解除了aj的全部不确定性。I(aj;