信息论 互信息量

1、1. 互信息量互信息量niiixpxp11)(, 1)(0由前可知，由前可知， 离散信源离散信源X的数学模型为的数学模型为12.1.4 互信息量互信息量 )(,),(,),(),( , , , , ,)( 2121ninixpxpxpxpxxxxXPX信宿信宿Y Y的数学模型为的数学模型为 信源信源X信宿信宿Y有扰信道有扰信道C C干扰源干扰源N Nmjjjypyp11)(, 1)(0 )y(,),(,),(),(y , ,y , ,y ,)( 2121mjmjpypypypyYPY)()/(log)/()();(2ijijiijixpyxpyxIxIyxI互信息互信息为一个事件为一个事件yj

2、所给出关于另一个事件所给出关于另一个事件xi的信息，用的信息，用I(xi; yj)表表示，定义为示，定义为xi的后验概率与先验概率比值的对数，即的后验概率与先验概率比值的对数，即)()/(log)/()();(2jijijjijypxypxyIyIxyI同理，可以定义同理，可以定义xi对对yj的互信息量为的互信息量为)()()()(log)(log)(log)()()(log)()()()/(log)()/(log);(222222jiiijiiijijijijjiijijiyxIxIxIyxpxpxpypxpyxpypxpypyxpxpyxpyxI );();();(kjikikjizyxI

3、zxIzyxI );();();(jkijijkiyzxIyxIyzxI是，也是的已知条件。 kzixjy条件互信息量条件互信息量 )()(log);( kikjikjizxpzyxpzyxI2 )()(log)(11nimjijijixpyxpyxpY对对X的的);();(jiyxIEYXInimjjijiyxIyxp11);()(1) 定义定义同理，同理，X对对Y的平均互信息的平均互信息nimjjijjiypxypyxpXYI11)()(log)();()()()(jijjiyxpypyxpnimjjijijiypxpyxpyxpYXI11)()()(log)();(nimjijijixp

4、yxpyxpYXI11)(log)(log)( );( )()(YXHXH1(2) 物理意义物理意义)()();(XYHYHXYI);(XYInimjjijijiypxpyxpyxp11)(log)(log)(log)()()()(XYHYHXH23)()(YHXHXYH）（通信前：)()(XYHXHXYH）（通通信信后后：例例信源信源X X接入图示信道接入图示信道5 . 05 . 0)(21xxXPX98. 0)(11xyp02. 0)(12xyp2 . 0)(21xyp8 . 0)(22xyp0.980. 80. 20. 021x2x1y2y求在该信道上传输的平均互信息量求在该信道上传输的

5、平均互信息量I(X；Y)、疑义度、疑义度H(X/Y)、噪声熵噪声熵H(Y/X)和联合熵和联合熵H(XY)。 3. 平均互信息的性质平均互信息的性质);();(XYIYXI对称性对称性1);()()/(log)()()()(log)()()/(log)();(211211211XYIypxypyxpypxpyxpyxpxpyxpyxpYXIjijnimjjijijinimjjiijinimjji0);(YXI非负性非负性2当且仅当当且仅当X和和Y相互独立时，即相互独立时，即 对所有对所有i,j都成立都成立时，式中等号成立。时，式中等号成立。)()()(jijiypxpyxp证明：证明：上面由定义

6、式推出上面由定义式推出由香农辅助定理推出由香农辅助定理推出H(X/Y)H(X)，当，当X和和Y相互独立相互独立时，等号成立。所以时，等号成立。所以I(X;Y)0)/()();(YXHXHYXI)();(XHYXI)();(YHXYI极值性极值性3证明：由于证明：由于根据根据H(X/Y)定义式，得定义式，得H(X/Y)0，同理，同理H(Y/X)0，而，而I(X;Y)，H(X)，H(Y)，是非负的，又，是非负的，又I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)，所以，所以I(X;Y)H(X)，I(X;Y)H(Y)。当随机变量当随机变量X和和Y是确定的意义对应关系时，即是确定的意义对应

7、关系时，即平均互信息量取得最大值。平均互信息量取得最大值。 0)/(1logyxpjijiyxpji, 0, 1)/(nimjjijjiypxypyxpYXI11)()(log)();(nimjniijiijijixypxpxypxypxpYXI111)()()(log)()();(凸函数性凸函数性4)(),();(ijixypxpfYXI)();(ixpfYXI)/();(ijxypfYXI 若若信道信道固定，则固定，则 若若信源信源固定，则固定，则 ?)();(ixpYXI10 设)()1 ()(21iixpxpI)()1 ()(211ixpIxpI1是是10令)()1 ()(21ijijxypxypI)()1 ()(21ijijxypIxypI?)( );(ijxypYXI2是是相互独立、条件下假定ZXY);();(ZYIZXI);();(YXIZXI模型模型数据处理定理数据处理定理X )(1ijxypY)(2ijxypZ5数据处理后会损失一数据处理后会损失一部分信息，最多保持部分信息，最多保持原来的信息原来的信息定义定义)()(log)();(ikjiijkkjixpzyxpzyxpYZXI)(log)(kjiijkkjizyxpzyx