《信息论与编码》ppt课件

1、信息论与编码根底信息论与编码根底信息论与编码根底离散信道信息论与编码根底离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码根底离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码根底离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码根底离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道离散信道a、根据输入、输出信号的时间特性和取值特性离散信道延续信道半离散或半延续信道波形信道信息论与

2、编码根底1、信道的分类数字信道b、根据输入集合与输出集合的个数单用户信道多用户信道一对多、多对一多对多信息论与编码根底离散信道c、根据信道转移概率的性质无噪信道有噪信道1、信道的分类实践的通讯信道几乎都是有扰信道无记忆信道有记忆信道实践信道普通都是有记忆的，信道中的记忆景象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落景象等。d、按信道统计特性恒参信道变参信道卫星信道短波信道e、根据信道噪声的性质高斯噪声信道非高斯噪声信道信息论与编码根底离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码根底离散信道2、离散信道的数学模型信道X1212(,.,

3、): ( , ,., )NirXX XXXa aaY1212( ,.,): ( ,.,)NisYY YYYb bb( | )P y x ,( | ), X P y x Y 无扰无噪信道有扰信道1,( )( | )0,( )yf xP y xyf x 无记忆信道有记忆信道111( | )(.|.)(|)NNNiiiP y xP yyxxP yx 信息论与编码根底离散信道1、信道的分类2、离散信道的数学模型3、单符号离散信道信息论与编码根底离散信道信道X12: ( ,., )rXa aaY12: ( ,.,)sYb bb( | )P y x3、单符号离散信道例1 BSC信道BSC(p)信道是实践中

4、几乎一切重要的二进制脉冲传输系统的模型p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码根底离散信道1条件转移概率ijijijPabPaxbyPxyP)|()|()|(),.,2 , 1;,.,2 , 1(sjri2转移矩阵rsrrssPPPPPPPPPP.2122221112113转移概率图),.2 , 1( 10riPsjij3、单符号离散信道XY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息论与编码根底离散信道一定比例的bit被删除，并且接纳者知道是那些bit曾经被删除。例2 二进制删除信道3、单符号离散信道1001ppPqq信息论

5、与编码根底离散信道一、信道模型及分类二、信道疑义度与平均互信息三、平均互信息的性质四、离散无记忆的扩展信道五、信道容量六、信源与信道的匹配信息论与编码根底离散信道1、信道疑义度XriiiaPaPxPxPXH1)(1log)()(log)()(先验熵rijijijbaPbaPbXH1)|(log)|()|(后验熵假设信道中存在干扰时sjjjjbXHbPbXHEYXH1)|()()|()|(rijijisjjbaPbaPbP11)|(1log)|()(risjjijibaPbaP11)|(1log)(信道疑义度0H(X|Y)H(X)损失熵2 、互信息量和条件互信息量、互信息量和条件互信息量 互信息

6、量互信息量 互信息的性质互信息的性质 条件互信息量条件互信息量信息论与编码根底离散信道 互信息量互信息量n互信息量定义互信息量定义n举例举例n互信息量的三种不同表达式互信息量的三种不同表达式信息论与编码根底离散信道n 互信息量定义X信源发出的离散音讯集合；信源发出的离散音讯集合； Y信宿收到的离散音讯集合；信宿收到的离散音讯集合；信源经过有干扰的信道发出音讯传送给信宿；信源经过有干扰的信道发出音讯传送给信宿；信宿事先不知道某一时辰发出的是哪一个音讯，所以每个音讯是随机事件的一信宿事先不知道某一时辰发出的是哪一个音讯，所以每个音讯是随机事件的一个结果；个结果；最简单的通讯系统模型：最简单的通讯系

7、统模型：信源信源X、信宿、信宿Y的数学模型为的数学模型为niiininixpxpxpxpxpxpxxxxXPX121211)(, 1)(0)(,)(,),(),(,)(，njjinjnjypypypypypypyyyyYPY121211)(, 1)(0)(,)(,),(),(,)(，信息论与编码根底离散信道先验概率：信源发出音讯先验概率：信源发出音讯xi的概率的概率p(xi )。后验概率：信宿收到后验概率：信宿收到yj后推测信源发出后推测信源发出xi的概率的概率p(xi / yj )。互信息量：互信息量： yj对对xi的互信息量定义为后验概率与先的互信息量定义为后验概率与先验概验概 率比值的对

8、数。率比值的对数。)/()(loglog), 2 , 1;, 2 , 1(log);()/(12)(12)()/(2jiiyxpxpxpyxpjiyxIxImjniyxIjiiiii信息论与编码根底离散信道n 举举 例例某地二月份天气构成的信源为某地二月份天气构成的信源为收到音讯收到音讯y1：“今天不是晴天今天不是晴天收到收到y1后：后：p(x1/y1)=0， p(x2/y1)=1/2， p(x3/y1)=1/4，p(x4/y1)=1/4818141214321)()()()()(，雪，雨，阴，晴xxxxXPX信息论与编码根底离散信道计算计算y1与各种天气之间的互信息量与各种天气之间的互信息量

9、对天气对天气x1，不用再思索，不用再思索对天气对天气x2，对天气对天气x3,对天气对天气x4结果阐明从结果阐明从y1分别得到了各分别得到了各1比特的信息量；比特的信息量；或者说或者说y1 使使x2，x3，x4的不确定度各减少量的不确定度各减少量1比特。比特。)( 1loglog);(8/14/12)()/(213313比特xpyxpyxI)( 1loglog);(4/12/12)()/(212212比特xpyxpyxI)( 1loglog);(8/14/12)()/(214414比特xpyxpyxI信息论与编码根底离散信道n 互信息量的三种不同表达式互信息量的三种不同表达式察看者站在输出端察看

10、者站在输出端)/()(loglog);()/(12)(12jiiyxpxpjiyxIxIyxIjii信息论与编码根底离散信道发发送送接接纳纳？?,jixyij理想情况：)();(ijixIyxIn 互信息量的三种不同表达式互信息量的三种不同表达式察看者站在输出端察看者站在输出端自信息量：对自信息量：对yj一无所知的情况下一无所知的情况下xi存在的不确定度；存在的不确定度；条件自信息量：知条件自信息量：知yj 的条件下的条件下xi 依然存在的不确定度；依然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，互信息量：两个不确定度之差是不确定度被消除的部分， 即等于自信息量减去条件自

11、信息量。实践是即等于自信息量减去条件自信息量。实践是 从从yj得到的关于得到的关于xi的信息量。的信息量。)/()(loglog);()/(12)(12jiiyxpxpjiyxIxIyxIjii信息论与编码根底离散信道察看者站在输入端察看者站在输入端 )/()(loglog);()/(12)(12ijjxypypijxyIyIxyIijj信息论与编码根底离散信道发发送送接接纳纳？?,jiyxji理想情况：)()();(ijijxIyIxyI察看者站在输入端察看者站在输入端 站在输入端察看，察看者在输入端出现站在输入端察看，察看者在输入端出现xi前、后对输出前、后对输出端出现端出现yj的不确定度

12、有变化，即从的不确定度有变化，即从xi中也可提取关于中也可提取关于yj的的信息量。察看者得知输入端发出信息量。察看者得知输入端发出xi前、后对输出端出现前、后对输出端出现yj的不确定度的差。的不确定度的差。)/()(loglog);()/(12)(12ijjxypypijxyIyIxyIijj信息论与编码根底离散信道察看者站在通讯系统总体立场上察看者站在通讯系统总体立场上1122() ()()( ;)loglog()()( )()()ijijijijijijijp xp yp x yI x yI x yI x yI xI yI x y信息论与编码根底离散信道通讯前发送发送接纳接纳察看通讯系统：

13、察看通讯系统：察看者站在通讯系统总体立场上察看者站在通讯系统总体立场上1122() ()()( ;)loglog()()( )()()ijijijijijijijp xp yp x yI x yI x yI x yI xI yI x y信息论与编码根底离散信道通讯后发送发送接纳接纳察看者站在通讯系统总体立场上察看者站在通讯系统总体立场上通讯前：输入随机变量通讯前：输入随机变量X和输出随机变量和输出随机变量Y之间没有任何关之间没有任何关联关系，即联关系，即X，Y统计独立：统计独立：p(xi yj)=p(xi)p(yj) 先验不确定度先验不确定度通讯后：输入随机变量通讯后：输入随机变量X和输出随机

14、变量和输出随机变量Y之间由信道的统之间由信道的统计特性相联络，其结合概率密度：计特性相联络，其结合概率密度： p(xi yj)=p(xi)p(yj /xi )= p(yj)p(xi / yj) 后验不确定度后验不确定度通讯后的互信息量，等于前后不确定度的差通讯后的互信息量，等于前后不确定度的差这三种表达式实践上是等效的，在实践运用中可根据详细这三种表达式实践上是等效的，在实践运用中可根据详细情况选用一种较为方便的表达式。情况选用一种较为方便的表达式。)()(12log)(jiypxpjiyxI)(12 log)(jiyxpjiyxI1122() ()()( ;)loglog()()( )()(

15、)ijijijijijijijp xp yp x yI x yI x yI x yI xI yI x y信息论与编码根底离散信道互信息的引出，使信息流通问题进入了定量分互信息的引出，使信息流通问题进入了定量分析的范畴，为信息流通的定量丈量打下了坚实析的范畴，为信息流通的定量丈量打下了坚实的根底，把信息实际开展到了一个更深的层次的根底，把信息实际开展到了一个更深的层次，可以以为是信息论开展的又一个里程碑。，可以以为是信息论开展的又一个里程碑。=log后验概率先验概率互信息量信息论与编码根底离散信道 互信息的性质互信息的性质n对称性对称性n相互独立时的相互独立时的X和和Yn互信息量可为正值或负值互

16、信息量可为正值或负值n不大于其中任一事件的自信息量不大于其中任一事件的自信息量信息论与编码根底离散信道n 对称性对称性I(xi;yj)=I(yj; xi)推导过程推导过程互信息量的对称性阐明：互信息量的对称性阐明：两个随机事件的能够结果两个随机事件的能够结果xi和和yj之间的统计约束程之间的统计约束程度；度；从从yj得到的关于得到的关于xi的信息量的信息量I(xi;yj)与从与从xi得到的关于得到的关于yj的信息量的信息量I(yj; xi)是一样的，只是察看的角度不是一样的，只是察看的角度不同而已。同而已。互信息量描画了两个随机事件互信息量描画了两个随机事件xixi、yj yj 之间的统计约束

17、程度，假设之间的统计约束程度，假设先验概率确定了，其后验概率就决议了信息的流通。先验概率确定了，其后验概率就决议了信息的流通。(/)(/) ()()loglog( )( ) ()()/( )(/) log log() ()()ijijjijiijijijijijjp xyp xyp yI xyp xp x p yp x yp xp yxI yxp yp y；信息论与编码根底离散信道n 相互独立时的相互独立时的X和和Y这时这时 p(xi yj)=p(xi)p(yj)互信息量为互信息量为阐明阐明xi和和yj之间不存在统计约束关系，从之间不存在统计约束关系，从yj得不到关于得不到关于xi的的任何信息

18、，反之亦然。任何信息，反之亦然。1122()()()( ;)loglog0(1,2,1,2,)ijijijp xp yp x yI x yinjm信息论与编码根底离散信道n 互信息量可为正值或负值互信息量可为正值或负值当后验概率大于先验概率时，互信息量为正。当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负。当后验概率小于先验概率时，互信息量为负。 阐明收信者未收到阐明收信者未收到yj以前，对音讯以前，对音讯xi的能否出的能否出现的猜测难疑程度较小，但由于噪声的存在，接现的猜测难疑程度较小，但由于噪声的存在，接纳到音讯纳到音讯yj后对后对xi能否出现的猜测的难疑程度

19、添能否出现的猜测的难疑程度添加了，也就是收信者接纳到音讯加了，也就是收信者接纳到音讯yj后对后对xi出现的出现的不确定性反而添加，所以获得的信息量为负值。不确定性反而添加，所以获得的信息量为负值。当后验概率与先验概率相等时，互信息量为零。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。这就是两个随机事件相互独立的情况。信息论与编码根底离散信道n 互信息量可为正值或负值互信息量可为正值或负值值域为实数值域为实数互信息量的值可为正数、负数或者互信息量的值可为正数、负数或者0，取决于后，取决于后验概率和先验概率的比值。验概率和先验概率的比值。思索以下几种情况。思索以下几种

20、情况。1p(xi /yj )=1，I (xi； yj ) = I(xi)。后验概率为后验概率为1，阐明收到，阐明收到yj后即可以完全消除对后即可以完全消除对信源能否发信源能否发xi的不确定度。的不确定度。其物理含义是信宿获取了信源发出的全部信息其物理含义是信宿获取了信源发出的全部信息量，这等效为信道没有干扰。量，这等效为信道没有干扰。信息论与编码根底离散信道n 互信息量可为正值或负值互信息量可为正值或负值2p(xi) p(xi/yj ) I(xi/yj)，I(xi；yj) 0后验概率大于先验概率，阐明收到后验概率大于先验概率，阐明收到yj后对信源能否发后对信源能否发xi所进展判别的正确程度，要

21、大于所进展判别的正确程度，要大于xi在信源集合中在信源集合中的概率的概率.或者说收到或者说收到yj后多少还能消除一些对信源能否发后多少还能消除一些对信源能否发xi的的不确定度，因此不确定度，因此yj获取了关于获取了关于xi的信息量。的信息量。I(xi；yj) 越大，这种获取就越多。越大，这种获取就越多。这正是实践通讯时遇到的大多数情况，它对应着信道这正是实践通讯时遇到的大多数情况，它对应着信道存在干扰，但信宿仍能从信源中获取信息量。存在干扰，但信宿仍能从信源中获取信息量。从这里隐约可以看到，只需从这里隐约可以看到，只需I(xi；yj) 0，就存在着可，就存在着可以通讯的能够性，在后面的章节将会

22、进一步讨论进以通讯的能够性，在后面的章节将会进一步讨论进展可靠通讯的极限条件。展可靠通讯的极限条件。信息论与编码根底离散信道n 互信息量可为正值或负值互信息量可为正值或负值3p(xi /yj)=p(xi )，即，即 I(xi ) = I(xi / yj)，I(xi ; yj) = 0后验概率与先验概率相等，阐明收到后验概率与先验概率相等，阐明收到yj后对信源能后对信源能否发否发xi所进展判别的正确程度，和所进展判别的正确程度，和xi在信源集合在信源集合中的概率是一样的；中的概率是一样的；因此，它一点也不能消除对信源能否发因此，它一点也不能消除对信源能否发xi的不确定的不确定度，也就是说从度，也

23、就是说从yj中获取不到关于中获取不到关于xi的信息量；的信息量；现实上，假假设现实上，假假设xi 和和yj 统计无关，即统计无关，即p(xi , yj)=p(xi )p(yj)，由贝叶斯公式容易推得，由贝叶斯公式容易推得I(xi ； yj) = 0；这种情况实践上是事件这种情况实践上是事件xi和事件和事件yj统计无关，或者统计无关，或者说信道使得事件说信道使得事件xi和事件和事件yj变成了两码事，信宿变成了两码事，信宿得到的信息仅仅是由信道特性给出的，与信源得到的信息仅仅是由信道特性给出的，与信源实践发出什么符号无关，因此完全没有信息的实践发出什么符号无关，因此完全没有信息的流通。流通。信息论

24、与编码根底离散信道n 互信息量可为正值或负值互信息量可为正值或负值40p(xi /yj) p(xi)，即，即 I(xi)I(xi/ yj)，I(xi; yj)0后验概率小于先验概率，阐明收到后验概率小于先验概率，阐明收到yj后后对信源能否发对信源能否发xi所进展判别的正确程所进展判别的正确程度，比度，比xi在信源集合中的概率还要小，在信源集合中的概率还要小，这时判别信源没有发这时判别信源没有发xi似乎更合理些，似乎更合理些，但不能判别信源究竟发了什么特别但不能判别信源究竟发了什么特别是对应于信源有多个符号时。是对应于信源有多个符号时。这种情况现实上给出了信息量，但流通这种情况现实上给出了信息量

25、，但流通的不是关于的不是关于xi的信息量，而是的信息量，而是xi以外的以外的事件的信息量。事件的信息量。 综上所述，只需综上所述，只需p(xi /yj)=p(xi )，即，即I(xi ; yj) = 0 时，才没有信息的流通。时，才没有信息的流通。信息论与编码根底离散信道n 不大于其中任一事件的信息量不大于其中任一事件的信息量由于由于p(xi /yj)1，有，有I(xi； yj) log1/ p(xi)= I(xi) 同理，由同理，由p(yj /xi)1，有，有I(yj ；xi)log1/ P(yj)= I(yj)这一性质清楚地阐明了互信息量是描画信息流这一性质清楚地阐明了互信息量是描画信息流

26、通特性的物理量，流通量的数值当然不能大于通特性的物理量，流通量的数值当然不能大于被流通量的数值。被流通量的数值。某一事件的自信息量是任何其他事件所能提供某一事件的自信息量是任何其他事件所能提供的关于该事件的最大信息量。的关于该事件的最大信息量。(/)(/)()loglog() ( )()ijjiijjiijp xyp yxI xyI yxp xp y；信息论与编码根底离散信道 条件互信息量条件互信息量n定义：定义： 音讯音讯xi与音讯对与音讯对yj zk之间的互信息量为之间的互信息量为n条件互信息量定义：在给定条件互信息量定义：在给定zk条件下，条件下，xi与与yj之间的互信息之间的互信息量。

27、量。nxi与与yj zk的互信息量的互信息量n上式阐明：一个结合事件上式阐明：一个结合事件yj zk发生后所提供的有关发生后所提供的有关xi的信息的信息量量I(xi; yj zk)，等于，等于zk发生后提供的有关发生后提供的有关xi的信息量的信息量I(xi; zk)与给定与给定zk条件下再出现条件下再出现yj后所提供的有关后所提供的有关xi的信息量的信息量I(xi; yj /zk)之和。之和。)/(12)/(12)/()/(2logloglog)/;(kjikikikjizyxpzxpzxpzyxpkjizyxI)/(12)(12)()/(2logloglog);(kjiiikjizyxpxp

28、xpzyxpkjizyxI)/;();();(kjikikjizyxIzxIzyxI信息论与编码根底离散信道信息论与编码根底离散信道互信息)|(1log)(1logjiibaPaP);(jibaI自信息条件自信息1log( )iP a1log(|)ijP a b由于条件引入获得的信息量(|)( ;)log( )ijijiP a bI a bP a1对称性I(ai;bj) = I(bj;ai)2事件统计独立时I(ai;bj) = 03可正、可负4I(ai;bj) I(ai)信息论与编码根底离散信道2、平均互信息定义3.2 令)|()();(YXHXHYXI为信道输入X与输出Y之间的平均互信息接纳

29、到每个输出符号后获得的关于X的平均信息量bit/sign11(; )( )log()log( )( | )XXYI X YP xP xyP xP x y11()log()log( )( | )XYXYP xyP xyP xP x y( | )()log( )XYP x yP xyP x互信息n平均互信息量自信息量自信息量熵熵互信息量互信息量平均互信息量平均互信息量定义定义- - 两个离散随机事件集合两个离散随机事件集合X X和和Y Y，假设其恣，假设其恣意两事件间的互信息量为意两事件间的互信息量为I(xiI(xi；yj)yj)，那么其，那么其结合概率加权的统计平均值，称为两集合的平结合概率加权

30、的统计平均值，称为两集合的平均互信息量，用均互信息量，用I(XI(X；Y)Y)表示。表示。信息论与编码根底离散信道(1) 平均互信息量的定义平均互信息量的定义n平均互信息量定义：互信息量平均互信息量定义：互信息量I(xi;yj)在结合概率空间在结合概率空间P(XY)中的统计平均值。中的统计平均值。n称称I(X;Y)是是Y对对X的平均互信息量简称平均互信息的平均互信息量简称平均互信息/平均交平均交互信息量互信息量/交互熵。交互熵。nX对对Y的平均互信息定义为的平均互信息定义为nimjxpyxpjinimjjijiijiyxpyxIyxpYXI11)()/(211log)();()();(nimj

31、ypxypjinimjijjijijyxpxyIyxpXYI11)()/(211log)();()();(信息论与编码根底离散信道n平均互信息的第三种定义平均互信息的第三种定义n平均互信息平均互信息I(X;Y)抑制了互信息量抑制了互信息量I(xi;yj)的随机性，成为的随机性，成为一个确定的量。一个确定的量。)()()()()(211)/(log)();(jjijijiypyxpjiypxpyxpnimjjiyxpyxpYXI其中信息论与编码根底离散信道(2) 平均互信息量的物理含义平均互信息量的物理含义 察看者站在输出端察看者站在输出端 察看者站在输入端察看者站在输入端 察看者站在通讯系统总

32、体立场上察看者站在通讯系统总体立场上信息论与编码根底离散信道 察看者站在输出端察看者站在输出端nH(X/Y) 信道疑义度信道疑义度/损失熵。损失熵。 Y关关于于X的后验不确定度。表示收到变量的后验不确定度。表示收到变量Y后，对随机变量后，对随机变量X依然存在的不确依然存在的不确定度。代表了在信道中损失的信息。定度。代表了在信道中损失的信息。nH(X) X的先验不确定度的先验不确定度/无条件熵。无条件熵。nI(X;Y)收到收到Y前、后关于前、后关于X的不确定的不确定度减少的量。从度减少的量。从Y获得的关于获得的关于X的平的平均信息量。均信息量。)/()(log)(log)(log)();(11)

33、/(1211)(1211)()/(2YXHXHyxpyxpyxpYXInimjyxpjinimjxpjinimjxpyxpjijiiiji信息论与编码根底离散信道nI(X; Y) = H(X) H(X/Y) n平均互信息量为信源熵减掉一个条件熵。n阐明：以发送端信源的熵为参考，在接纳端平均每收到一个符号所获得的信息量。n信道上没有任何干扰或噪声：I(X; Y) = H(X)；n信道存在干扰和噪声n干扰和噪声“污染被传输的信息n到达接纳端的平均信息量比信源熵少了一些n少掉的部分就是条件熵H(X/Y)n因此平均互信息量表征了对接纳的每一个符号的正确性所产生疑心的程度，故条件熵H(X/Y)又称之为疑

34、义度。 察看者站在输出端信息论与编码根底离散信道 察看者站在输入端察看者站在输入端nH(Y/X)噪声熵。表示发出随机变量X后，对随机变量Y依然存在的平均不确定度。假设信道中不存在任何噪声，发送端和接纳端必存在确定的对应关系，发出X后必能确定对应的Y，而如今不能完全确定对应的Y，这显然是由信道噪声所引起的。nI(Y;X) 发出X前、后关于Y的先验不确定度减少的量。)/()(log)(log)(log)();(11)/(1211)(1211)()/(2XYHYHyxpyxpyxpXYInimjxypjinimjypjinimjypxypjiijjjij信息论与编码根底离散信道 察看者站在输入端察看

35、者站在输入端nI (Y; X) = H (Y) H (Y/X)n阐明平均互信息量也可以用接纳端信宿阐明平均互信息量也可以用接纳端信宿的熵为参考，且等于信宿熵减掉一个条件的熵为参考，且等于信宿熵减掉一个条件熵熵n同样表征接纳端平均每收到一个符号所获同样表征接纳端平均每收到一个符号所获得的信息量。得的信息量。n假设信道上没有任何干扰或噪声，那么平假设信道上没有任何干扰或噪声，那么平均每收到一个符号所获得的信息量即是信均每收到一个符号所获得的信息量即是信宿熵，即宿熵，即I (X; Y) = H (Y)；n但是，假设信道上存在着干扰或噪声，那但是，假设信道上存在着干扰或噪声，那么平均每收到一个符号所获

36、得的信息量，么平均每收到一个符号所获得的信息量，它比起信宿熵小了一个条件熵，这个条件它比起信宿熵小了一个条件熵，这个条件熵熵H (Y/X)是由于信道的干扰或噪声给出的，是由于信道的干扰或噪声给出的，因此它是独一地确定信道噪声和干扰所需因此它是独一地确定信道噪声和干扰所需的平均信息量，故称之为噪声熵，也称为的平均信息量，故称之为噪声熵，也称为分布度分布度Degree of Diffusiveness。信息论与编码根底离散信道 察看者站在通讯系统总体立场上察看者站在通讯系统总体立场上nH(XY)结合熵。表示输入随机变量结合熵。表示输入随机变量X，经信道传输到达信宿，输出随机变量，经信道传输到达信宿

37、，输出随机变量Y。即收、发双方通讯后，。即收、发双方通讯后，整个系统依然存在的不确定度。整个系统依然存在的不确定度。nI(X;Y) 通讯前、后整个系统不确定度减少量。在通讯前把通讯前、后整个系统不确定度减少量。在通讯前把X和和Y看成两个相互独立的随机变量，整个看成两个相互独立的随机变量，整个系统的先验不确定度为系统的先验不确定度为X和和Y的结合熵的结合熵H(X)+H(Y)；通讯后把信道两端出现；通讯后把信道两端出现X和和Y看成是由信道的传送看成是由信道的传送统计特性联络起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由统计特性联络起来的、具有一定统计关联关系的两个随机变量

38、，这时整个系统的后验不确定度由H(XY)描画。描画。)()()(log)(log)(log)(log)();(11)(1211)(1211)(1211)()()(2XYHYHXHyxpyxpyxpyxpYXInimjyxpjinimjypjinimjxpjinimjypxpyxpjijijijiji信息论与编码根底离散信道nI (X; Y) = H(X) + H(Y) H(XY)n根据各种熵的定义，从该式可以清楚看根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的出平均互信息量是一个表征信息流通的量，量，n其物理意义就是信源端的信息经过信道其物理意义就是信源端的信息经过信道后传输到信宿端的平均信息量。后传输到信宿端的平均信息量。 察看者站在通讯系统总体立场上察看者站在通讯系统总体立场上信息论与编码根底离散信道结 论n以上三种不同的角度阐明：从一个事件获得另一以上三种不同的角度阐明：从一个事件获得另一个事件的平均互信息需求消除不确定度，一旦消个事件的平均互信息需求消除不确定度，一旦消除了不确定度，就获得了信息。除了不确定度，就获得了信息。I (X; Y) = H (X) H(X/Y) I(Y; X) = H(Y)