平均互信息的凸性课件

1、平均互信息 定义及含义 信息/数据处理定理Review 性质： 对称性、非负性、极值性山农信息论： 为设计有效而可靠的通信系统提供理论依据 2.给定信道，实现可靠通信的最大的传输速率即信道容量？ 信源编码定理：RR(D)信道编码定理：RC 问题：对应互信息的最大值和最小值是否存在？互信息凸性回答2个问题：有效性，可靠性1.给定信源，保精度信源编码所需最小编码速率？凸集若集合（n维欧氏空间），有 且对任意实数，有显然，n维欧氏空间 为一凸集合。01则称为C为凸集合。概率矢量构成集合为凸集定义 若一个K维矢量 =(1, 2, , K)的所有分量为非负的，且和为1，即就称为概率矢量。引理 概率矢量全

2、体所构成的区域R是凸的。证：若,R，对01构造矢量=(1-)因此 是概率矢量，仍属于R，所以R是凸的。凸函数定义定义在凸集R上的一个实函数f，若它对所有，R和01满足 f()+(1 ) f ()f ( (1 ) 就称函数f为R上的凸函数。若式中不等号的方向相反，就称f为凸函数。若等号仅当=0或1时成立，就称f为严格凸或严格凸的。在a,b上定义的上凸函数在a,b上定义的下凸函数凸函数性质1) 若f()是凸的，则-f()是凸的，反过来也成立。 2) 若f1(), f2(), fL()是R上的凸函数，c1,c2,cL是正数，则 为R上的凸函数，若其中任一个是严格凸的，则和式也是严格凸的。 3) (J

3、ensen不等式) 若f()是R上的凸函数，则Ef() f (E ()Jensen不等式: 若f()是R上的凸函数，则 E f() f (E () 其中，E表示数学期望。证明：只对离散情况证明。 对于离散变量，令 ，则E f() f (E () 可写成可用归纳法进行证明。对两点分布，根据凸函数的定义有假设当分布点个数为n时不等式成立，考察分布点个数为n+1时的情况。对 ，令 则有 定理: 如果函数f(x)在某个区间上存在非负(正)的二阶导数，则 f(x)为该区间上的凸函数(严格凸函数)。 证明：利用函数f(x)在x0点的泰勒级数展开:其中x*位于x0和x之间。根据假设 ，因此，对任意的x，最后

4、一项总是非负。设 ，01取 ，可得类似地，取 ，可得因此，得 证毕 同理可证：如果函数f(x)在某个区间上存在的二阶导数0（ 0 对所有k = 0 其中为一常数。证：首先证明充分性。设函数f在点满足KT条件，今证明 为极大值，即对任意 ，恒有 。由于f是凸函数，所以 f ()(1 ) f ()f (1 ) 0 1即f ()f ()f (1 )f ()/ 01因上式对任意 (0 1)成立，可令 0，得由KT条件有将其代入上式得从而证明 为极大值。现在证明必要性。令 使f 达到极大值，并假定偏导数在 处连续。则对任意 ,有式中01。以除两边并令0 得即因 为是概率矢量，所以至少有一个分量，例如i是

5、严格正的，即i0。选择另一概率矢量满足式中 。于是有对于 也可选负值和正数，有 和即对 ，因为概率矢量的关系只能选择 ，由此, 得证毕熵的凸性证明：令则由于当且仅当 时等号成立平均互信息量凸性由互信息的定义式：可知，它是输入分布 及转移概率分布 的函数。可以记为： 如果转移概率分布固定，I(X,Y)就是先验概率Q(X)的函数； 如果信源先验概率固定，I(X,Y)就是转移概率P(Y/X)的函数。例 设二元对称信道(BSC)的信源空间为：X=0,1; Q(X)=, 1-;求I(X;Y) 0 1-p 0 p p 1 1-p 1 因为已知转移概率，所以利用公式I(X,Y)=H(Y)-H(Y/X) 。

6、H(Y/X)=-q(xi) p(yj/xi) log p(yj/xi) =q(xi) -plog p+(1-p) log (1-p) =H(p) 其中：H(p)= -plog p+(1-p) log (1-p) 另外：为了求H(Y)，利用w(yj)= q(xi) p(yj/xi)；可得： w(y=0)=(1-p)+(1-)p w(y=1)=p+(1-)(1-p)H(Y)=-(1-p)+(1-)plog(1-p)+(1-)p+p+(1-)(1-p)logp+(1-)(1-p) =H(1-p)+(1-)p) 可得平均互信息量为： I(X,Y)=H(1-p)+(1-)p)-H(p)当固定信源先验概率

7、分布时，I(X,Y)是信道转移概率p的下凸函数，如图所示。 0 1/2 1 p从图中可知，当信源固定后，存在一种BSC信道，p=1/2，使在信道输出端获得信息量最小，即等于0。 I(X,Y) H() 根据这个关系，当p值一定，即固定信道，可知I(X,Y)是的上凸函数，其曲线如图： I(X,Y) 1-H(p) 0 1/2 1 从图中可知，当BSC信道的信道矩阵固定后，若输入符号集X的概率分布不同，在接收端平均每个符号获得的信息量就不同。只有当输入为等概分布时即，p(0)=p(1)=1/2时，接收端的信息量才为最大值1-H(p)。定理2.5.2 当条件分布 p(y/x)给定时，平均互信息I(X;Y

8、)是输入分布q(x)的凸函数。证明：令q1和q2是输入集X上的任意两个概率矢量，相应的互信息为I1和I2，令满足01，q=q1(1)q2是合成概率矢量，此时输入X和输出Y之间的互信息为I。 今需要证明: . 令p1(xy)=q1(x)p(y/x), p2(xy)=q2(x)p(y/x), 有 p(xy)= q(x)p(y/x)=p1(xy) (1) p2(xy) 根据平均互信息的定义，得 因为 log x 是严格凸函数， 利用Jensen不等式， 所以 当信道一定时，平均互信息是信源先验概率的上凸函数对于一定的信道转移概率分布，总可以找到一个先验概率分布为P的信源X，使平均互信息达到相应的最大

9、值Imax，这时称这个信源为该信道的匹配信源。不同的信道转移概率对应不同的Imax，或者说Imax是P(Y/X)的函数。 平均互信息的凸性定理2.5.3 当集X的概率分布保持不变时，平均互信息量是转移概率分布p(y/x)的下凸函数。证明：令p1和p2是两个任意转移概率分布，相应的平均互信息为I1和I2，令满足01,p=p1(1)p2是合成条件概率分布，此时输入X和输出Y之间的互信息为I。今需要证明 . 令 根据平均互信息的定义，得因为logx是严格凸函数，利用Jensen不等式，所以 证毕 当信源一定，平均互信息是信道转移概率的下凸函数对于一个已知先验概率为P的离散信源，总可以找到一个转移概率分布为P(Y/X)的信道，使平均互信息达到相应的最小