第2章信息论本概念2

1、(四）四） 平均互信息（平均互信息（平均交互信息熵平均交互信息熵/交互熵交互熵） 前面所述熵为单符号信源情况，是最简单的离散前面所述熵为单符号信源情况，是最简单的离散信源。事务是普遍联系的，两个随机变量信源。事务是普遍联系的，两个随机变量x，y之间之间在某种程度上在某种程度上 也是相互联系的，比如：也是相互联系的，比如：信源x信宿y有扰信道干扰源一、定义一、定义 1.y对对x：2.x对对y：3.合写：合写：【含义】【含义】 信道中流通信息量的整体测度信道中流通信息量的整体测度【注】由定义可看到，当【注】由定义可看到，当x,y各变量相互独立时，平均互信息为各变量相互独立时，平均互信息为0。【附】

2、贝叶斯公式：【附】贝叶斯公式：p(xi,yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)2(/)(;)( ,) ( ;)( ,)log( )ijijijijijijip xyip x y i x yp x yp xx y2(/)()( ,) (;)( ,)log()jiijjiijijijjp yxip x y i yxp x yp yy;x2( ,)(;)( ,)log()( ) ()ijijijijp x yip x yip x p yx yy;x 证明：证明： 首先讨论互信息量在首先讨论互信息量在x x集合上的统计平均值集合上的统计平均值 i(xi(x；yj) ) p(p(

3、xi|yj)i)i（xi ；yj） p(p(xi|yj)log)log2 2p(p(xi|yj)/p()/p(xi) ) 平均互信息量平均互信息量i i（x x；y y）为）为i(xi(x；yj) )上述在上述在y y集合上的概率集合上的概率加权统计平均值，即加权统计平均值，即i i（x x；y y）为）为 i i（x x；y y） p(p(yj)i)i（x ；yj） p(p(yj)p()p(xi|yj)log)log2 2p(p(xi|yj)/p()/p(xi) ) p(p(xi，yj)log)log2 2p(p(xi|yj)/p()/p(xi) )iijij2(/)(;)() ( ;)()

4、log( )ijijijijijijip xyip x y i x yp x yp xx yij二、物理意义二、物理意义1. i(x;y)= h(x) h(x/y)（可由定义直接推导！）（可由定义直接推导！） (1) h(x)信源熵：信源熵：x的不确定度的不确定度 h(x/y)已知已知y时，对时，对x仍剩的不确定度仍剩的不确定度(疑义度疑义度） 结论结论 i(x;y) “y已知已知”，x的不确定度的减少的不确定度的减少了了, 即即获得了获得了i(x;y) 的信息量的信息量 (2) h(x)信源含有的平均信息量信源含有的平均信息量(总，有用总，有用) i(x;y)信宿收到的平均信息量信宿收到的平

5、均信息量(有用部分有用部分)结论结论 h(x/y)因信道有扰而丢失的平均信息量，故称因信道有扰而丢失的平均信息量，故称损失熵损失熵2. i(y;x)= h(y) h(y/x)= i(x;y) (1) h(y)信宿收到的平均信息量信宿收到的平均信息量 i(x;y)信道传输的平均信息量信道传输的平均信息量 结论结论 h(y/x)因信道有扰而产生的假平均信息量，因信道有扰而产生的假平均信息量，称称噪声熵噪声熵、散布度、扩散度散布度、扩散度 (2) h(y)y的先验不定度的先验不定度 h(y/x)发出发出x后，关于后，关于y的后验不定度的后验不定度结论结论 i(y;x)发发x前后前后，y不定度的减少量

6、不定度的减少量3. i(x;y) = h(x) + h(y) h(xy)h(x) +h(y)通信前，整个系统的先验不定度通信前，整个系统的先验不定度h(xy) 通信后，整个系统仍剩的不定度通信后，整个系统仍剩的不定度i(x;y) 通信前后通信前后，整个系统不确定度的减少量整个系统不确定度的减少量，即，即传输的互信息传输的互信息结论结论 i(x;y)平均每传送一个信源符号时，平均每传送一个信源符号时， 流经信道的平均流经信道的平均(有用有用)信息量信息量h(x) i(x;y)h(y) h(x/y) h(y/x) 例例 已知一个二元信源连接一个二元信道，如图给出。求已知一个二元信源连接一个二元信道

7、，如图给出。求i(x；y)，h(xy)，h(x/y)和和h(y/x)。12( 1)1/ 2( 2)1/ 2xxxpp xp xi(x;y) = h(x) + h(y) h(xy)i(x;y)= h(x) h(x/y)i(y;x)= h(y) h(y/x)信源熵：信源熵：h(x)=1 bit/符号符号(1)求联合概率求联合概率 p(xi，yj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)共熵：共熵：h(xy)=1.43 bit/符号符号11122122( ,)0.5 0.980.49( ,)0.5 0.020.01(,)0.5 0.800.40(,)0.5 0.200.10p x y

8、p x yp xyp xy(2)求求 信宿收到的平均信息量：信宿收到的平均信息量：h(y)=0.98 bit/符号符号12(), () ( ()( ,)jijip yp yp yp x y1112121222()( ,)(,)0.490.400.89()( ,)(,)0.01 0.100.11p yp x yp xyp yp x yp xy(3)求熵求熵 h(x)=1 bit/符号符号 h(y)=0.98 bit/符号符号 h(xy)=1.43 bit/符号符号 i(x；y)=h(x)+h(y)-h(x y)=0.55bit/符号符号 h(x/y)=0.45 bit/符号符号 h(y/x)=0

9、.43 bit/符号符号三三 、平均互信息的性质、平均互信息的性质 1.非负性非负性i(x;y) 0， 尽管尽管i(xi;yj) 的某些元素可为负的某些元素可为负 2.对称性对称性i(x;y) = i(y;x) 3.极值性极值性 i(x;y) h(x) i(x;y) h(y) 特例特例 i(x;y)= h(x) h(x/y) 当当 h(x/y) = 0 时，时， i(x;y)= h(x) 信道无噪（信道无噪（x、y一一对应）一一对应） 当当 i(x;y) = 0 时，时， h(x/y) = h(x) 信道中断（信道中断（x、y独立）独立） 4. 凸函数性凸函数性 (1) i(x;y) 是是信源

10、概率分布信源概率分布p(x) 和信道传递概率和信道传递概率p(x/y)的的上凸上凸函数函数 （最大值）（最大值）信道容量信道容量的基础的基础 (2) i(x;y) 是是信道转移概率信道转移概率p(y/x) 的的下凸下凸函数函数 （最小值）（最小值）失真函数失真函数的基础的基础例例 二进制对称信道二进制对称信道q不变时不变时, i(x;y)为上凸曲线。为上凸曲线。p=0.5时有最大值时有最大值p不变时不变时, i(x;y)为下凸曲线。为下凸曲线。q=0.5时有最小值时有最小值()( )loglogh xh ppppp ( /)( )loglogh yxh qqqqq ( )()h yh pqpq

11、(; )( )( /)()( )i x yh yh yxh pqpqh qqq10qq1( )p0( )pyx0 0.5 1 qh(p)i(x;y)1-h(q)0 0.5 1 pi(x;y) 5. 数据处理定理数据处理定理 i(x;z) i(x;y) i(x;z) i(y;z)意义意义 信息不增信息不增原理原理 每经一次每经一次 处理，可能丢失一部分信息处理，可能丢失一部分信息p(y/x)p(z/y)xyz6.各种熵的关系各种熵的关系 i(x;y) = h(x) h(x/y) = h(y) h(y/x) h(xy) = h(x) + h(y/x) = h(y) + h(x/y)i(x;y) =

12、 h(x) + h(y) h(xy) h(x/y)h(y/x)h(y)h(x)i(x;y)h(xy)h(x) i(x;y)h(y) h(x/y) h(y/x) 文氏图文氏图(五）五） 离散信源熵离散信源熵单符号离散信源熵：单符号离散信源熵：h(x)= p(xi)log2p(xi)一、单符号离散信源一、单符号离散信源1212,( )1(), (), ( ), ()()iniiinxxxxp xp xp xp xp xpxx二、多符号离散信源二、多符号离散信源(离散序列信源离散序列信源)u离散无记忆信源离散无记忆信源符号序列中符号之间符号序列中符号之间统计独立统计独立。u离散有记忆信源离散有记忆信

13、源符号序列中符号之间符号序列中符号之间有相关性有相关性，利用，利用联联合概率分布函数合概率分布函数或或条件概率分布函数条件概率分布函数描述符号间关系。描述符号间关系。 （离散平稳信源离散平稳信源、马尔可夫信源马尔可夫信源） 每次发送一个每次发送一个符号序列符号序列，用随机矢量描述。，用随机矢量描述。1、 离散无记忆信源离散无记忆信源(扩展信源扩展信源)（1）定义：若单符号离散信源）定义：若单符号离散信源x概率空间：概率空间： 考虑任意考虑任意n个相邻时刻的输出随机变量个相邻时刻的输出随机变量把把xn 看成是一个新的离散无记忆信源的输出（输出看成是一个新的离散无记忆信源的输出（输出符号序列），成

14、为符号序列），成为x的的n次扩展信源次扩展信源xn，其概率，其概率空间：空间： 1212,( )1(), (), ( ), ()()iqiiiqaaaap ap ap ap ap apxx1212,( ), (), ( ), ()()nnniqniqbbbbp bp bp bp bpxx12.,nnxx xx【注】【注】新信源新信源xn每个符号 对应于某一个有n个 组成的序列串。信源x无记忆，所以：12(.)niiiiba aaia121212121111( )() (). (), , .,1,2,.,( )()().()1 ()nnnniiiinqqqqniiiiiiiip bp ap ap

15、 ai iiqp bp ap ap ax扩展信源是完备集举例：举例：离散无记忆信源离散无记忆信源x概率空间：概率空间： 则则x的的2次、次、3次扩展信源次扩展信源x2、x3： 121212,1,()a apppppxx21 112212222211 11 11,()a aa aa aa app qp qqpxx31 1 11 1212112221 121222122232222223311111 1111 11 11,()a a aa a aa a aa a aa a aa a aa a aa a app qp qp qp qp qp qqpxx【说明说明】u xn信源集中，共有信源集中，共有

16、qn个元素个元素(序列种类序列种类)u 每个元素每个元素bi 由由 n 个个ai组成的某一序列组成的某一序列 (两者两者i不等不等)u 无记忆，无记忆， 故故u x和和xn是两种不同的模型，描述的却是同一信源。是两种不同的模型，描述的却是同一信源。x描述信源单个符号的统计特性，描述信源描述信源单个符号的统计特性，描述信源n长符长符号串的统计特性。号串的统计特性。12( )() (). ()niiiip bp ap ap a（2）n次扩展信源熵次扩展信源熵 h(xn)=nh(x) 证明：证明：123(,)niiiiibaaaaqiiin，21211212()(,)()()()nniiiiiiip

17、 bp aaap ap ap a 1212121212121121121()( )log ( )() ()()log() ()()() ()() log ()log ()log ()nnnnnnnqniiiqqqiiiiiiiiiqqqiiiiiiiiih xp bp bp ap ap ap ap ap ap ap ap ap ap ap a 11212221321311111111111111() log()()()() log()()()()() log()()()()()()nnnnnnnnnqqqiiiiiiiqqqqiiiiiiiiiqqqiiiiiiip ap ap ap ap a

18、p ap ap ap ap ap ap ap ahxhxnnhx （ 共 有项 ）证 毕（3）举例）举例123111( )244aaaxp x31()1iip a()h x2()h x3111()()log()log22log41.5/24iiih xp ap a 比特 符号21 112132122233132332111111111()4888161681616a aa aa aa aa aa aa aa aa axp x121212332111()()log ()() ()log () ()111log44log84log163/4816nqiiiiiiiiih xppp ap ap ap

19、 a 比特 符号2()2()h xh x（也可直接根据该公式计算！）（也可直接根据该公式计算！）试求：试求：（1）数学定义）数学定义用随机矢量描述：用随机矢量描述：2、 离散有记忆信源离散平稳信源离散有记忆信源离散平稳信源12(.,.,.),iixx xxxti表示信源在时刻所发出的符号一般情况下：一般情况下：1212( )()(/)(/),ijiiii njjjj np xp xp xxxxp xxxxij ij、 为任意整数111111111212( )()()()()()()( ) (/)(/)(/)(/)ijiijjiii njjj niii niiii niii niiii njjj

20、j np xp xp x xp x xp x xxp x xxnp x xxp x p xxp xxxxp xxxxp xxxx， 一维平稳分布， 二维平稳分布， 维平稳分布因为：即各维条件概率同样与时间起点无关，只与关联长度n有关离散平稳信源各维概率分布与时间起点无关：离散平稳信源各维概率分布与时间起点无关：（2）二维离散平稳信源）二维离散平稳信源 信源符号序列之间信源符号序列之间只是前后两个符号只是前后两个符号之间有关联。之间有关联。 设有一个离散二维平稳信源，其概率空间为：设有一个离散二维平稳信源，其概率空间为：12121111()()()( )()( )1()1(/)(/)1( )qq

21、qqqqijiijjijiiijjiaaaxp ap ap ap xp a ap ap a ap aap aap a，1 11 212 1121112( ,) 1( , )( ,)( ) (/ )qqqq qijijijijiaaaaaaa aa ax xp a ap x xp a ap a p a a，且有 将信源将信源x输出随机序列分成两个符号一组，输出随机序列分成两个符号一组，且假设组与且假设组与组之间统计无关组之间统计无关，可得一个新信源，可得一个新信源x1x2：新信源新信源x1x2的熵为：的熵为：1211()()log ()qqijijijh x xp a ap a a 称为信源的称

22、为信源的联合熵联合熵表示原来信源表示原来信源x输出每一对可能的符输出每一对可能的符号的平均不确定性。号的平均不确定性。 二维信源的二维信源的平均符号熵平均符号熵：2121()()2hxh x x 联合熵、信息熵及平均符号熵之间的关系：联合熵、信息熵及平均符号熵之间的关系：121211212212211212121121()()(/)()()()(/)()()()(),()/()()2()1()(2h x xh xh xxh x xh xh xh xxh xh xh xh xxxh x xh xh xxh xh xh xh xh x x，前后符号无依赖关系，信息熵等于独立熵之和；，条件熵小于非条

23、件熵；前后符号无依赖关系时，等号成立；， 由于均属于同一个信源，且信源平稳；因此：；总之推得：2212212121221)()()2()()(/)()(/)()(/)hxh x xhxh xh xxh xh xxhxh xx 212(/)()()h xxhxh x 【说明】【说明】u 有记忆信源的条件熵有记忆信源的条件熵平均符号熵平均符号熵无记忆信源熵无记忆信源熵u 当前后符号之间无依赖关系，新信源当前后符号之间无依赖关系，新信源x1x2就是就是无记忆的二无记忆的二次扩展信源次扩展信源。u 一般情况下，输出符号之间有依赖关系，意味着在前一个一般情况下，输出符号之间有依赖关系，意味着在前一个符号

24、发生的条件下，其后面接着发生什么符号符号发生的条件下，其后面接着发生什么符号不是完全不不是完全不确定的确定的，而是有的符号发生的可能性大，有的符号发生的，而是有的符号发生的可能性大，有的符号发生的可能性小，从而导致可能性小，从而导致平均不确定程度减少平均不确定程度减少。例例: 设有离散二维平稳信源设有离散二维平稳信源x，概率空间及二维联合概率分，概率空间及二维联合概率分别为别为: 31012()1111( )236iixp ap x，根据信源概率空间和二维联合概率分布，求得条件概率：根据信源概率空间和二维联合概率分布，求得条件概率： 因此：因此： 31332111331211212()()lo

25、g ()1.452 (/(/)( ,)log (/)0.994 (/()( ,)log ( ,)2.446 (/1()()1.223(/2(iiiijjiijijijijh xp ap abith xxp a ap aabith x xp a ap a abithxh x xbith 独立熵：符号)条件熵：符号)联合熵：二个符号)平均符号熵：符号)可见：212/)0.994()1.223()1.452xxhxh x 【问题】二维平稳信源二维平稳信源x的信息熵是等于的信息熵是等于221()(/)hxh xx ，？答： 都不是！都不是！ 条件熵和平均符号熵只能作为信源条件熵和平均符号熵只能作为信源

26、x的的信息熵的近似值。信息熵的近似值。 新信源新信源x1x2中假设组与组之间是统计独立的，但实际上中假设组与组之间是统计独立的，但实际上它们之间是有一定联系的。虽然信源它们之间是有一定联系的。虽然信源x发出的随机序列中每发出的随机序列中每个符号只与前面一个有直接联系，但在平稳序列中，个符号只与前面一个有直接联系，但在平稳序列中，每一时每一时刻的符号都通过前一个符号与更前一个符号联系起来刻的符号都通过前一个符号与更前一个符号联系起来，因此，因此序列的关联是序列的关联是引申到无穷的引申到无穷的。 下面讲述，哪一个更接近二维平稳信源的信息熵？下面讲述，哪一个更接近二维平稳信源的信息熵？（3）一般离散

27、平稳信源）一般离散平稳信源 设离散平稳信源：设离散平稳信源：12112()1()()()( )qqiiqaaaxp ap ap ap ap x，且1212121121212121212121,12,()()1 2(/)()log (/)()()log ()(nnnnnnnnniiinnniiiiiiiiiiniiiiiiiiinnp x xxp a aaiiiqh xx xxp a aap aa aah x xxp a aap a aahx , ，, ，设信源的符号间依赖长度为 ，联合概率为：， ， ， ， ，条件熵为：联合熵为：平均符号熵为：121)()nh x xxn a. 条件熵条件熵h(xn/x1x2xn-1)是是n的的不增函数不增函数: h(xn/x1x2xn-1) h(xn-1/x1x2xn-2) h(x3/x1x2) h(x2/x1) h(x1) 证明证明: h(xn/x1x2xn-1)h(xn/x2x3xn-1) (条件较多的熵小于或等于减少一些条件的熵条件较多的熵小于或等于减少一些条件的熵) =h(xn-1/x1x2xn-2)（平稳性）平稳性） h(xn-1/x2x3xn-2) (条件较多的熵小于或等于减少一些条件的熵条件较多的熵小于或等于减少一些条件的熵) =h(xn-2/x1x2xn-3) （平稳性）