信息率失真理论及其应用

信息率失真理论及其应用1第1页，共14页，2023年，2月20日，星期日选择失真函数为

d(好，好)=0d(废，废)=0

d(好，废)=100d(废，好)=10000将产品检验分成4种情况：全部产品都当合格品，全部产品都当废品，完美的检验和允许出错的检验。情况1全部产品不经检验而出厂——都当合格品把这一过程看作是一个“信道”，其“传递概率”为P(好/好)=1 P(废/好)=0 P(好/废)=1 P(废/废)=0信道矩阵为信息率失真函数与信息价值2第2页，共14页，2023年，2月20日，星期日这种情况的平均损失，即平均失真度，为

=P(好)P(好/好)d(好,好)+P(好)P(废/好)d(好,废)+P(废)P(好/废话)d(废,好)+P(废)P(废/废)d(废,废)=0.02110000=200元/块即这种情况每销售出去一块PCB板，加工厂将要另外承担可能损失200元的风险。考虑到每块销售100元，实际上是每卖出一块可能要实际净损失100元。情况2全部产品不经检验全部报废——都当废品信道传输概率为P(好/好)=0 P(废/好)=1P(好/废)=0P(废/废)=1信道矩阵为信息率失真函数与信息价值3第3页，共14页，2023年，2月20日，星期日平均失真度为

=P(好)P(好/好)d(好,好)+P(好)P(废/好)d(好,废)+P(废)P(好/废)d(废,好)+P(废)P(废/废)d(废,废)=0.981100=98元/块即每生产一块PCB板，加工厂将有损失98元的风险。因为把98％本来可以卖100元一块的板子也报废了。比较情况1、2可知，做出全部报废决定造成的损失，要小于做出全部出厂决定所造成的损失。不做任何检验，在全部出厂和全部报废两者之间抉择，选择后者的损失反而小。因此，有；产品未进行质量管理，相当于信源没有输出任何信息量。信息率失真函数与信息价值4第4页，共14页，2023年，2月20日，星期日情况3正确无误地判断合格品和废品——完美的检验相当于无噪信道情况，信道矩阵平均失真度为即这种情况不会另外造成损失。下面探讨每一比特信息量的价值。为此先求该信源的熵，有：H(X)=R(0)=0.98lb20.98–0.02lb20.02=0.142比特/块该式说明，如果从每块PCB板上获取0.142比特的信息量，就可以避免一切细小的损失。可能造成的最大损失为98元/块，所以0.142比特信息量的最大价值为98元，则每一比特信息的最大价值为信息率失真函数与信息价值5第5页，共14页，2023年，2月20日，星期日情况4检测时允许有一定的错误——非完美的检验依题意检验的正确率约为95%，则信道的传输概率为

P(好/好)=0.95P(废/好)=0.05P(好/废)=0.05 P(废/废)=0.95信道矩阵为平均失真度

=P(好)P(废/好)d(好,废)+P(废)P(好/废)d(废,好)=0.980.05100+0.020.0510000=14.9元/块即这种情况每销售出去一块PCB板，加工厂将要另外承担可能损失14.9元的风险。考虑到每块销售100元，实际上是每卖出一块实际收益至少是85.1元。信息率失真函数与信息价值6第6页，共14页，2023年，2月20日，星期日从可能带来的另外损失角度考虑，这种情况和最大损失（98元）相比，其减少量为98–14.9=83.1(元)减少的原因是由于从检验的过程中获取了信息量，如前所述，检验的过程好比“信道”，获取的信息量也就是平均互信息量I(X;Y)，可用I(X;Y)=H(X)–H(Y|X)求得。现在来求H(Y/X)，为此先求H(Y)。设出厂产品为信宿Y，则有

PY(好)=P(好)P(好/好)+P(废)P(好/废)=0.980.95+0.020.05=0.932PY(废)=0.068则信宿熵为

H(Y)=H[0.932,0.068]=0.358比特/每一出厂产品信息率失真函数与信息价值7第7页，共14页，2023年，2月20日，星期日每生产一个产品，对应于是废品还是合格品的平均不确定度为

=0.287比特/每一出厂产品I(X;Y)=0.358–0.287=0.071比特/每一出厂产品通过允许有错的检验，平均而言从对每块PCB板的检验中只获取了0.071比特的信息量，但是其损失比不检验时减少了83.1元，也就是说0.071比特信息量价值为83.1元，故每比特价值为

而情况3每比特信息量的价值为690.14元。比较而言，第4种情况的信息价格最高，是最合算的检验准则。信息率失真函数与信息价值8第8页，共14页，2023年，2月20日，星期日把上述概念一般化，有：（1）信息率R的价值在保真度准则下，信息速率R是设计时允许失真D的函数，R(D)与D的一般关系如图8.8所示。但也可以求出R(D)的反函数D=D(R)，同样，给出一个R值，就有一个D与之对应。定义8.6

信息率R的价值用V表示，定义为V=Dmax–D(R) （8.164）它的含义是当获取关于信源X某一信息率R(D)时，平均损失从Dmax降低到D所具有的差值。例如，图8.8中对应于R1，V1=Dmax–D1；对应于R2，V2=Dmax–D2。信息率失真函数与信息价值9第9页，共14页，2023年，2月20日，星期日图8.8信息率失真函数图10第10页，共14页，2023年，2月20日，星期日

（2）信息率R的价值率定义8.7

信息率R的价值率用v表示，定义为每比特信息量的价值，即信息率R的价值率为（8.165）例8.7设某地区的天气状况可简单地用好天气和坏天气来表示，据长期统计，它们的概率分别为P(好)=4/5和P(坏)=1/5。假如对某种生产，把次日是好天气当坏天气来准备和把坏天气当好天气来准备都会损失a元，否则无损失。（1）试求完全正确预报的信息率价值V及信息价值率v；（2）若气象台的误报概率为10%，再求V及v。信息率失真函数与信息价值11第11页，共14页，2023年，2月20日，星期日解（1）V=Dmax–0=a/5元R(D1)=-0.8lb0.8–0.2lb0.20.722

（2）

=P(好)P(坏/好)d(好,坏)+P(坏)P(好/坏)d(坏,好)=0.80.05a+0.20.05a=a/20元/比特

信息率失真函数与信息价值12第12页，共14页，2023年，2月20日，星期日(续)V=Dmax–D2=a/10–a/20=a/20P2(好)=P(好)P(好/好)+P(坏)P(坏)=0.80.95+0.20.05=0.77P2(坏)=0.23H(Y)=0.77lb0.77+0.23lb0.230.778I(X;Y)=0.778–0.286=0.492信息率失真函数与信息价值13第13页，共14页，2023年，2月20日，星期日本章小结本章讨论了离散消息的失真函数和信息率失真函数，同时对连续消息也做了相应的讨论。限失真信源编码定理是本章的重点，由此引出了信息价值这一具有实际意义的概念。但该定理只是一个存在性定理。在实际应用中，该理论主要存在着两大类问题。第一类问题是符合