信息率失真理论及其应用

信息率失真理论及其应用1第一页，共二十五页，2022年，8月28日选择失真函数为

d(好，好)=0d(废，废)=0

d(好，废)=100d(废，好)=10000将产品检验分成4种情况：全部产品都当合格品，全部产品都当废品，完美的检验和允许出错的检验。情况1全部产品不经检验而出厂——都当合格品把这一过程看作是一个“信道”，其“传递概率”为

P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0

信道矩阵为信息率失真函数与信息价值2第二页，共二十五页，2022年，8月28日这种情况的平均损失，即平均失真度，为

=P(好)P(好/好)d(好,好)+P(好)P(废/好)d(好,废)+P(废)P(好/废话)d(废,好)+P(废)P(废/废)d(废,废)=0.02110000=200元/块即这种情况每销售出去一块PCB板，加工厂将要另外承担可能损失200元的风险。考虑到每块销售100元，实际上是每卖出一块可能要实际净损失100元。情况2全部产品不经检验全部报废——都当废品信道传输概率为P(好/好)=0 P(废/好)=1P(好/废)=0P(废/废)=1

信道矩阵为信息率失真函数与信息价值3第三页，共二十五页，2022年，8月28日平均失真度为

=P(好)P(好/好)d(好,好)+P(好)P(废/好)d(好,废)+P(废)P(好/废)d(废,好)+P(废)P(废/废)d(废,废)=0.981100=98元/块即每生产一块PCB板，加工厂将有损失98元的风险。因为把98％本来可以卖100元一块的板子也报废了。比较情况1、2可知，做出全部报废决定造成的损失，要小于做出全部出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废两者之间抉择，选择后者的损失反而小。因此，有；产品未进行质量管理，相当于信源没有输出任何信息量。信息率失真函数与信息价值4第四页，共二十五页，2022年，8月28日情况3正确无误地判断合格品和废品——完美的检验相当于无噪信道情况，信道矩阵平均失真度为即这种情况不会另外造成损失。下面探讨每一比特信息量的价值。为此先求该信源的熵，有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142比特/块该式说明，如果从每块PCB板上获取0.142比特的信息量，就可以避免一切细小的损失。可能造成的最大损失为98元/块，所以0.142比特信息量的最大价值为98元，则每一比特信息的最大价值为信息率失真函数与信息价值5第五页，共二十五页，2022年，8月28日情况4

检测时允许有一定的错误——非完美的检验依题意检验的正确率约为95%，则信道的传输概率为

P(好/好)=0.95P(废/好)=0.05P(好/废)=0.05 P(废/废)=0.95信道矩阵为平均失真度

=P(好)P(废/好)d(好,废)+P(废)P(好/废)d(废,好)=0.980.05100+0.020.0510000=14.9元/块即这种情况每销售出去一块PCB板，加工厂将要另外承担可能损失14.9元的风险。考虑到每块销售100元，实际上是每卖出一块实际收益至少是85.1元。信息率失真函数与信息价值6第六页，共二十五页，2022年，8月28日从可能带来的另外损失角度考虑，这种情况和最大损失（98元）相比，其减少量为98–14.9=83.1(元)减少的原因是由于从检验的过程中获取了信息量，如前所述，检验的过程好比“信道”，获取的信息量也就是平均互信息量I(X;Y)，可用I(X;Y)=H(X)–H(Y|X)求得。现在来求H(Y/X)，为此先求H(Y)。设出厂产品为信宿Y，则有

PY(好)=P(好)P(好/好)+P(废)P(好/废)

=0.980.95+0.020.05=0.932PY(废)=0.068则信宿熵为

H(Y)=H[0.932,0.068]=0.358比特/每一出厂产品信息率失真函数与信息价值7第七页，共二十五页，2022年，8月28日每生产一个产品，对应于是废品还是合格品的平均不确定度为

=0.287比特/每一出厂产品

I(X;Y)=0.358–0.287=0.071比特/每一出厂产品通过允许有错的检验，平均而言从对每块PCB板的检验中只获取了0.071比特的信息量，但是其损失比不检验时减少了83.1元，也就是说0.071比特信息量价值为83.1元，故每比特价值为

而情况3每比特信息量的价值为690.14元。比较而言，第4种情况的信息价格最高，是最合算的检验准则。信息率失真函数与信息价值8第八页，共二十五页，2022年，8月28日把上述概念一般化，有：（1）信息率R的价值在保真度准则下，信息速率R是设计时允许失真D的函数，R(D)与D的一般关系如图8.8所示。但也可以求出R(D)的反函数D=D(R)，同样，给出一个R值，就有一个D与之对应。定义8.6

信息率R的价值用V表示，定义为

V=Dmax–D(R) （8.164）它的含义是当获取关于信源X某一信息率R(D)时，平均损失从Dmax降低到D所具有的差值。例如，图8.8中对应于R1，V1=Dmax–D1；对应于R2，

V2=Dmax–D2。信息率失真函数与信息价值9第九页，共二十五页，2022年，8月28日图8.8信息率失真函数图10第十页，共二十五页，2022年，8月28日

（2）信息率R的价值率定义8.7

信息率R的价值率用v表示，定义为每比特信息量的价值，即信息率R的价值率为（8.165）例8.7

设某地区的天气状况可简单地用好天气和坏天气来表示，据长期统计，它们的概率分别为P(好)=4/5和P(坏)=1/5。假如对某种生产，把次日是好天气当坏天气来准备和把坏天气当好天气来准备都会损失a元，否则无损失。（1）试求完全正确预报的信息率价值V及信息价值率v；（2）若气象台的误报概率为10%，再求V及v。信息率失真函数与信息价值11第十一页，共二十五页，2022年，8月28日解（1）

V=Dmax–0=a/5元

R(D1)=-0.8lb0.8–0.2lb0.20.722

（2）

=P(好)P(坏/好)d(好,坏)+P(坏)P(好/坏)d(坏,好)=0.80.05a+0.20.05a=a/20元/比特

信息率失真函数与信息价值12第十二页，共二十五页，2022年，8月28日(续)V=Dmax–D2=a/10–a/20=a/20P2(好)=P(好)P(好/好)+P(坏)P(坏)=0.80.95+0.20.05=0.77P2(坏)=0.23H(Y)=0.77lb0.77+0.23lb0.230.778I(X;Y)=0.778–0.286=0.492信息率失真函数与信息价值13第十三页，共二十五页，2022年，8月28日本章小结本章讨论了离散消息的失真函数和信息率失真函数，同时对连续消息也做了相应的讨论。限失真信源编码定理是本章的重点，由此引出了信息价值这一具有实际意义的概念。但该定理只是一个存在性定理。在实际应用中，该理论主要存在着两大类问题。第一类问题是符合实际信源的R(D)函数的计算相当困难。首先，需要对实际信源的统计特性有确切的数学描述；其次，需要对符合主、客观实际的失真给予正确的度量，否则不能求得符合主、客观实际的R(D)函数。第2类问题是即便求得了符合实际的信息率失真函数，还需要研究采取何种最佳编码方法才能达到极限值。尽管如此，限失真信源编码定理仍为信源的压缩编码指明了方向，是各种信源压缩编码的理论基础。14第十四页，共二十五页，2022年，8月28日本章总结问题：在允许一定程度的失真条件下，信源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？香农信息率失真理论指出：

在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。15第十五页，共二十五页，2022年，8月28日本章总结定义失真函数：16第十六页，共二十五页，2022年，8月28日本章总结失真矩阵失真度还可表示成矩阵的形式称d为失真矩阵。它是n×m阶矩阵。17第十七页，共二十五页，2022年，8月28日本章总结18第十八页，共二十五页，2022年，8月28日本章总结平均失真定义：平均失真为失真函数的数学期望，19第十九页，共二十五页，2022年，8月28日保真度准则人们所允许的失真指的都是平均意义上的失真。规定平均失真度不能超过某一限定的值D，即，则D就是允许失真的上界。该式称为保真度准则。本章总结20第二十页，共二十五页，2022年，8月28日信源编码器输入X∈{x1,x2,…,xi,…,xn}输出Y∈{y1,y2,…,yj,…,ym}假想信道图4－2将信源编码器看作信道这样就可以用分析信道传输的方法来研究限失真信源编码问题。本章总结21第二十一页，共二十五页，2022年，8月28日试验信道

平均失真是信源统计特性p(xi)、信道统计特性p(yj/xi)和失真度d(xi,yj)的函数。当p(xi)和d(xi,yj)给定后，则可以求出满足保真度准则下的所有转移概率