离散型随机变量的平均自信息量熵讲义

1、2020/1/11,1,第二章,信息量和熵,2.1,离散型随机变量的非平均信息量,事件的信息量,2.2,离散型随机变量的平均自信息量,熵,2.4,离散型随机变量的平均互信息量,2.5,连续型随机变量的平均互信息量和,相对熵,2.6,凸函数与,离散型随机变量的,平均,互信息量的凸性,2020/1/11,2,2.2,离散型随机变量的平均,自信息量（熵,定义,2.2.1,平均自信息量,熵,离散型随机变量,X,x,k,q,k,k,1,K,的平均自信息量（又称为熵）定义为如下的,H,X,其中底数,a,是大于,1,的常数,K,k,k,a,k,q,q,X,H,1,1,log,2020/1/11,3,2.2,

2、离散型随机变量的平均,自信息量（熵,注意,1,事件,x,k,的自信息量值为,h,x,k,log,a,1,q,k,因此,H,X,是随机,变量,X,的各事件自信息量值的“数学期望,2,定义,H,X,时，允许某个,q,k,0,此时将,q,k,log,a,1,q,k,通盘,考虑）此时补充定义,q,k,log,a,1,q,k,0,这个定义是合理的，因,为,0,1,log,lim,0,q,q,a,q,2020/1/11,4,2.2,离散型随机变量的平均,自信息量（熵,例,2.2.1,离散型随机变量,X,有两个事件,x,1,和,x,2,P,X,x,1,p,P,X,x,2,1,p,则,X,的平均自信息量（熵）

3、为,H,X,p,log,a,1,p,(1,p,log,a,1/(1,p,观察,H,X,它是,p,的函数，图,2.2.1,给出了函数图象，该图象具,有某种对称性），有,当,p,0,或,p,1,时,H,X,0,随机变量,X,退化为常数时，熵为,0,当,0,p,1,时,H,X,0,p,越靠近,1/2,H,X,越大,X,是真正的,随机变量时，总有正的熵。随机性越大，熵越大,当,p,1/2,时,H,X,达到最大。（随机变量,X,的随机性最大时,熵最大。特别如果底数,a,2,则,H,X,1,比特,2020/1/11,5,2.2,离散型随机变量的平均,自信息量（熵,定义,2.2.2,条件熵,给定一个二维离散

4、型随机变量,X,Y,x,k,y,j,r,kj,k,1,K,j,1,J,称如下定义的,H,X,Y,为,X,相对于,Y,的条件熵,K,k,J,j,kj,j,a,kj,K,k,J,j,j,k,a,kj,r,w,r,y,Y,x,X,P,r,Y,X,H,1,1,1,1,log,1,log,J,j,j,j,j,k,J,j,K,k,j,k,j,y,Y,X,H,w,y,Y,x,X,P,y,Y,x,X,P,w,Y,X,H,1,1,1,1,log,2,2,2,的注解,关于定义,2020/1/11,6,2.2,离散型随机变量的平均,自信息量（熵,定义,2.2.3,联合熵,二维离散型随机变量,X,Y,x,k,y,j,

5、r,kj,k,1,K,j,1,J,的联合熵定义为,K,k,J,j,kj,a,kj,r,r,XY,H,1,1,1,log,2020/1/11,7,2.2,离散型随机变量的平均,自信息量（熵,熵、条件熵、联合熵之间的关系,1,H,XY,H,X,H,Y,X,H,Y,H,X,Y,由定义容易证明,2,当,X,与,Y,相互独立时,H,Y,X,H,Y,因此此时,H,XY,H,X,H,Y,证明,此时,K,k,k,a,k,K,k,J,j,kj,k,a,K,k,J,j,k,a,kj,K,k,J,j,j,k,a,kj,q,q,r,q,q,r,y,Y,x,X,P,r,Y,X,H,1,1,1,1,1,1,1,1,log

6、,1,log,1,log,1,log,2020/1/11,8,2.2,离散型随机变量的平均,自信息量（熵,熵的性质,对于随机变量,X,x,k,q,k,k,1,K,的熵,H,X,k,q,k,log,a,1,q,k,有,以下的性质,1,H,X,与事件,x,k,k,1,K,的具体形式无关，仅仅依赖于概,率向量,q,k,k,1,K,而且,H,X,与概率向量,q,k,k,1,K,的,分量排列顺序无关,2,H,X,0,完全同理,H,X,Y,0,H,Y,X,0,H,XY,0,3,确定性：当概率向量,q,k,k,1,K,的一个分量为,1,时（此时,其它分量均为,0,H,X,0,这就是说，当随机变量,X,实际上

7、是个常量时，不含有任何信息量,2020/1/11,9,2.2,离散型随机变量的平均,自信息量（熵,4,可忽略性：当随机变量,X,的某个事件的概率很小时，该,事件对熵的贡献可以忽略不计。（虽然小概率事件的自,信息量很大。这是因为当,q,k,0,时,q,k,log,a,1,q,k,0,5,可加性,H,XY,H,X,H,Y,X,H,Y,H,X,Y,因此,H,XY,H,X,H,XY,H,Y,性质,5,有一个隐含的结论：设,X,的概率向量为,q,1,q,2,q,K,Y,的概率向量为,q,1,q,2,q,K,2,q,K,1,q,K,其中,q,K,1,q,K,0,则,H,X,H,Y,2020/1/11,10

8、,2.2,离散型随机变量的平均,自信息量（熵,6,极值性,H,X,log,a,K,当,q,1,q,2,q,K,1,K,时，才有,H,X,log,a,K,以下是极值性的证明过程,引理,1,对任何,x,0,总有,ln,x,x,1,证明,令,f,x,ln,x,x,1,则,f,x,1,x,1,因此,当,0,x,1,时,f,x,0,当,x,1,时,f,x,0,换句话说,当,0,x,1,时,f,x,的值严格单调增,当,x,1,时,f,x,的值严格单调减,注意到,f,1)=0,所以对任何,x,0,总有,f,x,f,1)=0,得证,2020/1/11,11,2.2,离散型随机变量的平均,自信息量（熵,引理,2

9、,设有两个,K,维概率向量（什么叫概率向量,q,k,k,1,K,和,p,k,k,1,K,则总满足,K,k,k,a,k,K,k,k,a,k,p,q,q,q,1,1,1,log,1,log,2020/1/11,12,2.2,离散型随机变量的平均,自信息量（熵,证明,注意到引理,1,0,log,1,log,ln,log,log,1,log,1,log,1,1,1,1,1,1,K,k,k,k,a,K,k,k,k,k,a,K,k,k,k,k,a,K,k,k,k,a,k,K,k,k,a,k,K,k,k,a,k,p,q,e,q,p,q,e,q,p,q,e,q,p,q,p,q,q,q,2020/1/11,13,2.2,离散型随机变量的平均,自信息量（熵,引理,2,得证。（注意：此证明过程省略了若干细节，比如当,概率向量