信息率失真理论及其应用 11.1课件

1、东南大学移动通信国家重点实验室1 信息率失真理论不仅被应用于信息传输来解决信源的压信息率失真理论不仅被应用于信息传输来解决信源的压缩编码问题，也被应用于缩编码问题，也被应用于质量检测和科学管理质量检测和科学管理中。中。 例例4.6某印刷电路板（某印刷电路板（PCB）加工厂的产品合格率约为）加工厂的产品合格率约为98%。一块好的。一块好的PCB板出厂价约为板出厂价约为100元，但如果客户元，但如果客户发现一块不合格的板子可向厂方索赔发现一块不合格的板子可向厂方索赔10 000元。已知厂元。已知厂方检验员检验的正确率约为方检验员检验的正确率约为95%，试用信息率失真理论，试用信息率失真理论来分析检

2、验的作用并作比较。假设合格品出厂、废品报来分析检验的作用并作比较。假设合格品出厂、废品报废都不造成损失。废都不造成损失。解解根据题意，可将根据题意，可将PCB产品作为一信源，且有产品作为一信源，且有 信源空间：信源空间： 好（合格）好（合格） 废（废品）废（废品） P(好好)=0.98 P(废废)=0.024.3信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室2 选择失真函数选择失真函数为为 d(好，好好，好)=0 d(废，废废，废)=0 d(好，废好，废)=100 d(废，好废，好)=10 000 将产品检验分成将产品检验分成4种情况种情况：全部产品都当合格品，

3、全部：全部产品都当合格品，全部产品都当废品，完美的检验和允许出错的检验。产品都当废品，完美的检验和允许出错的检验。 情况情况1全部产品不经检验而出厂全部产品不经检验而出厂都当合格品都当合格品 把这一过程看作是一个把这一过程看作是一个“信道信道”，其，其“传递概率传递概率”为为 P(好好/好好)=1 P(废废/好好)=0P(好好/废废)=1P(废废/废废)=0 信道矩阵为信道矩阵为废好废好0101 信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室3 这种情况的平均损失，即平均失真度，为这种情况的平均损失，即平均失真度，为 =P(好好) P(好好/好好) d(好好,好

4、好)+ P(好好) P(废废/好好) d(好好,废废) +P(废废) P(好好/废话废话) d(废废,好好)+ P(废废) P(废废/废废) d(废废, 废废) =0.02 1 10 000=200元元/块块 即这种情况即这种情况每销售出去一块每销售出去一块PCB板板，加工厂，加工厂将要另外承担将要另外承担可能损失可能损失200元的风险元的风险。考虑到每块销售。考虑到每块销售100元，实际上是元，实际上是每卖出一块可能要实际净损失每卖出一块可能要实际净损失100元元。 情况情况2全部产品不经检验全部报废全部产品不经检验全部报废都当废品都当废品 信道传输概率为信道传输概率为P(好好/好好)=0

5、P(废废/好好)=1 P (好好/废废)=0 P (废废/废废)=1 信道矩阵为信道矩阵为),b)d(aaP(b)P(aDjiijiji/废好废好1010信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室4 平均失真度为平均失真度为 =P(好好) P(好好/好好) d(好好,好好)+ P(好好) P(废废/好好) d(好好,废废) +P(废废) P(好好/废废) d(废废,好好)+ P(废废) P(废废/废废) d(废废, 废废) =0.98 1 10 0=98元元/块块 即即每生产一块每生产一块PCB板，加工厂将有损失板，加工厂将有损失98元的风险元的风险。因。因

6、为把为把98本来可以卖本来可以卖100元一块的板子也报废了。元一块的板子也报废了。 比较情况比较情况1、2可知，可知，做出全部报废决定造成的损失，要做出全部报废决定造成的损失，要小于做出全部出厂决定所造成的损失小于做出全部出厂决定所造成的损失。不做任何检验，。不做任何检验，在全部出厂和全部报废两者之间抉择，选择后者的损失在全部出厂和全部报废两者之间抉择，选择后者的损失反而小。因此，有反而小。因此，有 ； 产品未进行质量管理，相当于信源没有输出任何信息量。产品未进行质量管理，相当于信源没有输出任何信息量。),b)d(aaP(b)P(aDjiijiji/max98D0)(maxDR信息率失真函数与

7、信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室5 情况情况3正确无误地判断合格品和废品正确无误地判断合格品和废品完美的检验完美的检验 相当于相当于无噪信道无噪信道情况，信道矩阵情况，信道矩阵 平均失真度为平均失真度为 即这种情况即这种情况不会另外造成损失不会另外造成损失。 下面探讨每一比特信息量的价值。为此先求该信源的熵，下面探讨每一比特信息量的价值。为此先求该信源的熵，有：有：H(X)=R(0)=0.98lb20.980.02lb20.02=0.142 比特比特/块块 该式说明，如果从每块该式说明，如果从每块PCB板上获取板上获取0.142比特的信息比特的信息量，就可以避免一

8、切细小的损失。量，就可以避免一切细小的损失。 可能造成的最大损失为可能造成的最大损失为 98元元/块，所以块，所以0.142比特信息量比特信息量的最大价值为的最大价值为98元，则每一比特信息的最大价值为元，则每一比特信息的最大价值为废好废好10010D 比特元/ 14.690142. 098 信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室6 情况情况4 检测时允许有一定的错误检测时允许有一定的错误非完美的检验非完美的检验 依题意检验的依题意检验的正确率约为正确率约为95%，则信道的传输概率为，则信道的传输概率为 P(好好/好好)=0.95 P(废废/好好)=0.

9、05 P(好好/废废)=0.05 P(废废/废废)=0.95 信道矩阵为信道矩阵为 平均失真度平均失真度 =P(好好) P(废废/好好) d(好好, 废废)+P(废废) P(好好/废废) d(废废,好好) =0.98 0.05 10 0+0.02 0.05 10 000 = 14.9元元/块块 即这种情况每销售出去一块即这种情况每销售出去一块PCB板，加工厂将要另外承板，加工厂将要另外承担可能损失担可能损失14.9元的风险。考虑到每块销售元的风险。考虑到每块销售100元，实际元，实际上是每卖出一块实际收益至少是上是每卖出一块实际收益至少是85.1元。元。废好废好0.950.050.050.95

10、),b)d(aaP(b)P(aDjiijiji/ 信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室7 从从可能带来的另外损失角度可能带来的另外损失角度考虑，这种情况和最大损考虑，这种情况和最大损失（失（98元）相比，其减少量为元）相比，其减少量为98 14.9 = 83.1 (元元) 减少的原因是由于从检验的过程中获取了信息量，如减少的原因是由于从检验的过程中获取了信息量，如前所述，前所述，检验的过程好比检验的过程好比“信道信道”，获取的信息量也，获取的信息量也就是平均互信息量就是平均互信息量I(X;Y)，可用，可用I(X;Y)=H(X) H(Y|X)求得。现在来

11、求求得。现在来求H(Y/X)，为此先求，为此先求H(Y)。 设出厂产品为信宿设出厂产品为信宿Y，则有，则有 PY(好好)=P(好好) P(好好/好好)+ P(废废) P(好好/废废) =0.98 0.95+0.02 0.05=0.932 PY(废废)=0.068 则信宿熵为则信宿熵为 H(Y)=H0.932, 0.068=0.358 比特比特/每一出厂产品每一出厂产品 信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室8 每生产一个产品，每生产一个产品，对应于是废品还是合格品的平均不确对应于是废品还是合格品的平均不确定度定度为为 =0.287 比特比特/每一出厂产品

12、每一出厂产品 I(X;Y)=0.358 0.287=0.071比特比特/每一出厂产品每一出厂产品 通过允许有错的检验，平均而言从对每块通过允许有错的检验，平均而言从对每块PCB板的检验板的检验中只获取了中只获取了0.071比特的信息量比特的信息量，但是其损失比不检验时，但是其损失比不检验时减少了减少了83.1元，也就是说元，也就是说 0.071比特信息量价值为比特信息量价值为83.1元，元，故每比特价值为故每比特价值为 而情况而情况3每比特信息量的价值为每比特信息量的价值为690.14元。元。比较而言，第比较而言，第4种情况的信息价格最高，是最合算的检验准则种情况的信息价格最高，是最合算的检验

13、准则。)aP(b)aP(b)P(aHijijiji|lb|)|(XY比特元/ 4 .1170071. 01 .83 信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室9把上述概念一般化，有：把上述概念一般化，有：（1）信息率）信息率R的价值的价值 在保真度准则下，信息速率在保真度准则下，信息速率R是设计时允许失真是设计时允许失真D的函数，的函数，R(D)与与D的一般关系如图的一般关系如图8.8所示。但也可以求出所示。但也可以求出R(D)的的反函数反函数D =D(R)，同样，给出一个，同样，给出一个R值，就有一个值，就有一个D与之与之对应。对应。 定义定义8.6 信息

14、率信息率R的价值用的价值用V表示表示，定义为，定义为 V = Dmax D(R) （8.164） 它的含义是当获取关于信源它的含义是当获取关于信源X某一信息率某一信息率R(D)时，平均时，平均损失从损失从Dmax降低到降低到D所具有的差值。所具有的差值。 例如，图例如，图8.8中对应于中对应于R1，V1=DmaxD1；对应于；对应于R2， V2=DmaxD2。信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室10DR(D)( )H x1RR2R1DD2DmaxD图8.8信息率失真函数图东南大学移动通信国家重点实验室11 （2）信息率）信息率R的价值率的价值率 定义定

15、义8.7 信息率信息率R的价值率用的价值率用v表示，定义为每比特信息表示，定义为每比特信息量的价值量的价值，即信息率，即信息率R的价值率为的价值率为（8.165） 例例8.7 设某地区的天气状况可简单地用好天气和坏天气设某地区的天气状况可简单地用好天气和坏天气来表示，据长期统计，它们的概率分别为来表示，据长期统计，它们的概率分别为P(好好) = 4/5和和P(坏坏) = 1/5。假如对某种生产，把次日是好天气当坏天。假如对某种生产，把次日是好天气当坏天气来准备和把坏天气当好天气来准备都会损失气来准备和把坏天气当好天气来准备都会损失a元，否元，否则无损失。（则无损失。（1）试求完全正确预报的信息

16、率价值）试求完全正确预报的信息率价值V及信及信息价值率息价值率v；（；（2）若气象台的误报概率为）若气象台的误报概率为10%，再求，再求V及及v。max( )()()DD RVvR DR D 信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室12解解（1） V=Dmax 0 = a /5 元元 R(D1) = -0.8 lb0.8 0.2 lb0.2 0.722 （2） =P(好好) P(坏坏/好好) d(好好, 坏坏)+P(坏坏) P(好好/坏坏) d(坏坏,好好) =0.8 0.05 a+0.2 0.05 a = a /20 1444. 0722. 05/)(1

17、aaDRVv元/比特 坏好好坏0.80.20.20.8),b)d(aaP(b)P(aDjiijiji/2 信息率失真函数与信息价值信息率失真函数与信息价值2max14min( )min,555iijjia aaDp a d东南大学移动通信国家重点实验室13(续续) V = Dmax D2 = a /10 a /20 = a /20 P2 (好好)=P(好好) P(好好/好好) +P(坏坏) P(坏坏) =0.8 0.95+0.2 0.05=0.77 P2 (坏坏)=0.23 H(Y) = 0.77lb0.77+0.23lb0.23 0.778 I(X;Y) = 0.778 0.286 = 0.

18、492286. 0|lb|)|()aP(b)aP(b)P(aHijijijiXY比特元/ 102. 0492. 020/)(2aaDRVv信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室14本章小结本章小结 本章讨论了离散消息的失真函数和信息率失真函数，同本章讨论了离散消息的失真函数和信息率失真函数，同时对连续消息也做了相应的讨论。时对连续消息也做了相应的讨论。限失真信源编码定理限失真信源编码定理是本章的重点是本章的重点，由此引出了信息价值这一具有实际意义，由此引出了信息价值这一具有实际意义的概念。但的概念。但该定理只是一个存在性定理该定理只是一个存在性定理。在实际应用中，。在实际应用中，该理论主要存在着两大类问题。第一类问题是符合实际该理论主要存在着两大类问题。第一类问题是符合实际信源的信源的R(D)函数的计算相当困难。首先，需要对实际信函数的计算相当困难。首先，需要对实际信源的统计特性有确切的数学