第二章 信息的统计度量

第二章信息的统计度量第1页，课件共51页，创作于2023年2月第一节自信息量与条件自信息量自信息量与条件自信息量通过一定的过程或手段,对随机信息源进行了解,从信息源获得信息.获得信息的同时减少了不确定性,信息源所包含的信息与随机信源存在的不确定性有关.问题:随机事件包含信息,那么信息的多少称为信息量,如何度量呢?2.1.1自信息定义2.1.1任意随机事件所包含的信息多少称为自信息量,定义为该事件发生概率的对数的负值.第2页，课件共51页，创作于2023年2月自信息量与条件自信息量其中:1)2)I(ai)非负?{{若事件集合X中的事件的自信息：

★本书(以及通信理论中)当中,如无特殊说明,信息量的单位均默认为比特.第3页，课件共51页，创作于2023年2月自信息量与条件自信息量例2.1.1甲袋中有n个不同阻值的电阻，从中随机取出一个，猜测所取得的是何种阻值的困难程度是多少？解：这相当于求事件的不确定性事件等概例2.1.2甲袋中有n(n+1)/2个不同阻值的电阻，其中1Ω的1个，2Ω的2个，……，nΩ的n个，从中随机取出一个，求“取出阻值为i（0≤i≤n）的电阻”所获得的信息量。解：“取出阻值为i的电阻”的概率是多少？第4页，课件共51页，创作于2023年2月自信息量与条件自信息量定义2.1.2二维联合集XY上的元素()的联合自信息量为:式中:为积事件,为积事件或者元素的二维联合概率.其中:第5页，课件共51页，创作于2023年2月自信息量与条件自信息量例2.1.3箱中有90个红球，10个白球，现从箱中随机取出两个球；求:(1)事件“两个球中有红、白球各一个”的不确定性；(2)事件“两个球都是白球”所提供的信息量；(3)事件“两个球都是白球”和“两个球都是红球”的发生，哪个事件更难猜测？解:三种情况都是求联合自信息，分别设为，其中x为红球数，y为白球数(1)第6页，课件共51页，创作于2023年2月自信息量与条件自信息量(2)事件“两个球都是白球”所提供的信息量；(3)事件“两个球都是白球”和“两个球都是红球”的发生，哪个事件更难猜测？因为,所以事件”俩个都是白球”的可能性更小,其发生更难猜测.第7页，课件共51页，创作于2023年2月自信息量与条件自信息量2.1.2条件自信息量(随机变量)定义2.1.3二维联合集XY中,对事件xi和yj,事件xi在事件yj给定的条件下的条件自信息量为:简记同样p(x|y)要满足非负和归一化条件,可以证明,无条件的自信息量总比条件的自信息量大,即:第8页，课件共51页，创作于2023年2月自信息量与条件自信息量例2.1.4箱中有90个红球，10个白球，现从箱中随机取出两个球，现从箱中先拿出一球，再拿出一球，求(1)事件“在第一个是红球，第二个是白球”的不确定性；(2)事件“在第一个是红球，第二个是红球”的不确定性；(3)事件“在第一个是白球，第二个是白球”的不确定性；(4)事件“在第一个是白球，第二个是红球”的不确定性。解:设x表示红球事件,y表示白球事件:(1)p(y|x)=10/99→I(y|x)=-logp(y|x)=-log(10/99)=3.3074(比特)(2)p(y|x)=89/99→I(y|x)=-logp(y|x)=-log(89/99)=0.1536(比特)(3)p(y|x)=9/99→I(y|x)=-logp(y|x)=-log(9/99)=?(4)p(y|x)=90/99→I(y|x)=-logp(y|x)=-log(90/99)=?第9页，课件共51页，创作于2023年2月例2.1.5有8×8=64个方格,甲将一棋子放入方格中,求让乙猜顺序号的困难程度：1）方格按顺序编号,让乙猜测棋子所在的方格序号;2）方格按行和列编号,且告诉乙方格的行号,让乙猜测棋子所在的方格序号.自信息量与条件自信息量解：1）多少种可能性？642）多少种可能性？8第10页，课件共51页，创作于2023年2月互信息量与条件互信息量第二节互信息量与条件互信息量互信息是指俩个不同的事件XY相互从对方能够获得信息,把这类信息称为互信息,大小称为互信息量.其大小与俩事件之间的联系有关,如果俩者之间联系越大,及相关性越大,则互信息量越大,反之越小,如果俩者相互独立,则互信息量为零,这种情况可以解释成为,当俩者没有任何联系时,不可能从对方那里获得任何信息.这种度量方式也用于其他学科里用来代替事件的相关性.互信息量是从通信过程当中定义出来的.第11页，课件共51页，创作于2023年2月互信息量与条件互信息量上图所示为简化的通信系统模型图,其中假设发送端(信源)为离散符号集合X,接受端(信宿)为离散符号集合Y.现代通信系统一般为数字双工通信模型.第12页，课件共51页，创作于2023年2月互信息量与条件互信息量2.2.1互信息量定义2.2.1俩个离散随机事件集X与Y,对事件yj的出现给出关于xi的信息量(或者说xi从yj中获得了信息量),定义为互信息量.其定义式为:第13页，课件共51页，创作于2023年2月例2.2.1e表示“降雨”，f表示“空中有乌云”，且P(e)=0.125，P(e|f)=0.8.互信息量与条件互信息量解：求：1）“降雨”的自信息2）“空中有乌云”条件下“降雨”的自信息3）“无雨”的自信息4）“空中有乌云”条件下“无雨”的自信息5）“降雨”与“空中有乌云”的互信息6）“无雨”与“空中有乌云”的互信息1)3bit2)0.322bit3)0.193bit4)2.322bit5)2.678bit6)-2.129bit第14页，课件共51页，创作于2023年2月互信息量与条件互信息量2.2.2互信息量的性质互信息量具有下述的性质1互信息量的互易性x与y的互信息等于x的自信息减去在y条件下x的自信息。I(x)表示x的不确定性，I(x|y)表示在y发生条件下x的不确定性；因此I(x；y)表示当y发生后x不确定性的变化。这种变化，反映了由y发生所得到的关于x的信息量第15页，课件共51页，创作于2023年2月互信息量与条件互信息量证明:第16页，课件共51页，创作于2023年2月互信息量与条件互信息量2当事件x,y统计独立时,互信息为0,即I(x;y)=0;3互信息可正可负;4任何两事件之间的互信息不可能大于其中任一事件的自信息.证明:第17页，课件共51页，创作于2023年2月2.2.3条件互信息定义2.2.2设联合集XYZ，在给定z∈Z条件下x(∈X)与y(∈Y)之间的互信息定义为：互信息量与条件互信息量

除条件外，条件互信息的含义与互信息的含义与性质都相同.第18页，课件共51页，创作于2023年2月联合集XYZ上还存在x与yz之间的互信息量,其定义式为:进一步表示为:互信息量与条件互信息量可见一对事件yz出现后所提供的关于x的信息量I(x;yz),等于事件y出现后提供的有关x的信息量I(x;y)加上给定事件y的条件下再出现事件z所提供的关于x的信息量.第19页，课件共51页，创作于2023年2月第三节离散集的平均自信息量离散集的平均自信息量现代通信技术是数字通信技术,在通信的信源部分是用离散符号集合来表示的.通信的实质是传输交换信息,信息的多少取决于信源,本节主要探讨离散符号集合的信息度量.2.3.1平均自信息量(信源熵)通常离散信息源的离散符号集合用下面所示的符号集合和概率空间描述:第20页，课件共51页，创作于2023年2月离散集的平均自信息量定义2.3.1离散信源符号集合X上,随机变量I(xi)的数学期望定义为平均自信息量.用H(X)表示,也称为信息(源)熵.信源熵的的单位是哈特\比特\奈特/(信源)符号,如果对数符号的底数取2的话,单位是比特/符号.这也是最常用的单位符号,本书中如无特别强调,都采用此符号.例2.3.1一个信源X的符号集为{0，1}，其中“0”符号出现的概率为p，求信源的熵?解：出现“1”的概率是多少？（1-p）那么：第21页，课件共51页，创作于2023年2月离散集的平均自信息量例2.3.2一电视屏幕的格点数为500×600=300000,每点有10个灰度等级,若每幅画面等概率出现,求每幅画面平均所包含的信息量?解：可能的画面数是多少？代入公式：第22页，课件共51页，创作于2023年2月离散集的平均自信息量例2.3.3A、B两城市天气情况概率分布如下表：晴阴雨A城0.80.150.05B城0.40.30.3问哪个城市的天气具有更大的不确定性？解:A、

B城市天气情况的平均不确定性如下:所以，B城市的天气具有更大的不确定性。第23页，课件共51页，创作于2023年2月离散集的平均自信息量例2．3．4有甲、乙两箱球，甲箱中有红球50、白球20、黑球30；乙箱中有红球90、白球10。现做从两箱中分别随机取一球的实验，问从哪箱中取球的结果随机性更大？。解:设甲、乙分别用AB代表所以，从甲箱中取球的结果随机性更大。第24页，课件共51页，创作于2023年2月2.3.2熵函数的性质熵函数具有如下性质,对称性、非负性、扩展性、可加性、极值性、确定性、上凸性等。我们先看一个定义：定义2.3.2设f(X)=f(x1,x2,…,xn)为一多元函数.若对于任意一个小于1的正数a(0<a<1)以及函数f(X)定义域内的任意俩个矢量X1,X2有:

f[aX1+(1-a)X2]≥af(X1)+(1-a)f(X2)则称f(X)为定义域上的上凸函数(Cap型函数).若:

f[aX1+(1-a)X2]＞af(X1)+(1-a)f(X2)则称f(X)为定义域上的严格上凸函数.反之:离散集的平均自信息量第25页，课件共51页，创作于2023年2月离散集的平均自信息量若:f[aX1+(1-a)X2]≤af(X1)+(1-a)f(X2)则称f(X)为定义域上的下凸函数(Cup型函数).若:f[aX1+(1-a)X2]＜af(X1)+(1-a)f(X2)则称f(X)为定义域上的严格下凸函数.证明:本定义的证明相对比较复杂,我们只对f(x)为实连续函数,x为随机变量的情况进行证明.在区间[x1x2]上取值x,且x1≤x≤x2,令:a=x2-x/x2-x1则1-a=x-x1/x2-x1∴x=ax1+(1-a)x2∴f(x)=f[ax1+(1-a)x2]第26页，课件共51页，创作于2023年2月离散集的平均自信息量如右图所示,只需要求出h(x)的值,就可以得出我们想要的结论:h(x)=f(x1)+△x再由相似三角形定理有:上凸下凸第27页，课件共51页，创作于2023年2月引理2.3.1若f(x)是定义在[a、b]上的实值连续上凸函数,则对于任意一组x1,x2,…,xq∈[a、b]和任意一组非负实数λ1,λ2,…λq且满足:离散集的平均自信息量则有:称此为詹森不等式此引理的证明比较简单,用数学归纳法即可证明,这是一个在本课程里很重要的引理,我们对它做一个简单的推广:也可以简写成:第28页，课件共51页，创作于2023年2月离散集的平均自信息量1对称性概率空间当中,P=[p1,p2,…,pr]中各概率分量的次序任意变更时,其熵值不变.2非负性当且仅当概率空间中有一个符号的概率为”1”,其他所有概率为”0”时,等号成立.或者说成确定概率空间的熵为”0”.第29页，课件共51页，创作于2023年2月离散集的平均自信息量3扩展性这个性质的含义是,若符号集合X有q个事件,如果将这个符号集合扩展成为有q+1个事件的符号集合,这第(q+1)个事件可以看作是在第q个事件分离出来的概率为ε→0的事件,这样扩展后的集合的熵值不会发生变化.或者说,一个事件集合中如果某事件的概率和其它事件概率相比很小时,它对整个集合熵值的影响可以忽略不计.第30页，课件共51页，创作于2023年2月离散集的平均自信息量4可加性随机变量X、Y构成联合事件集合XY,则二维随机变量（X,Y）的熵等于其中一个变量X(或者Y)的无条件熵加上一个变量Y(或者X)给定时的另一个变量X(或者Y)的条件熵.或者:多变量时:当各个变量相互独立时有:第31页，课件共51页，创作于2023年2月离散集的平均自信息量证明:联合集概率空间为:其中:

第32页，课件共51页，创作于2023年2月离散集的平均自信息量第33页，课件共51页，创作于2023年2月离散集的平均自信息量5极值性离散集的熵值具有最大值:利用前面的詹森公式可以很简单的证明这个性质:条件(1)(2)λk为非负实数(3)f(x)为上凸函数.第34页，课件共51页，创作于2023年2月离散集的平均自信息量即可得:当且仅当每个事件等概率出现时等号成立.6确定性

当事件集合中只有一个事件为必然事件,其余全为不可能事件,则此时事件集合的熵为零.第35页，课件共51页，创作于2023年2月离散集的平均自信息量7上凸性H(p)=H(p1,p2,…,pn)是(p1,p2,…,pn)的严格的上凸函数证明:设是俩个概率矢量,且取0<a<1,则:第36页，课件共51页，创作于2023年2月离散集的平均自信息量第四节离散集的其它熵及其关系2.4.1条件熵定义2.4.1联合集XY上,条件自信息I(yj|xi)的概率加权平均值定义为条件熵值.定义式如下:第37页，课件共51页，创作于2023年2月2.4.2联合熵(或称共熵)定义2.4.2联合集XY上,每对元素xiyj的自信息量的统计平均(加权平均)定义为联合熵.定义式如下:2.4.3各种熵值的关系1联合熵与信息熵、条件熵的关系离散集的平均自信息量当各个变量相互独立时有:第38页，课件共51页，创作于2023年2月离散集的平均自信息量2联合熵与信息熵的关系第39页，课件共51页，创作于2023年2月离散集的平均自信息量可以得出:推论:3条件熵与信息熵的关系(见P28-31例2.3.4)

熵的不增原理(条件熵不大于信息熵)证明思路：试证明H(Y)-H(Y|X)≥0推论:联合熵不大于各信息熵的和：第40页，课件共51页，创作于2023年2月离散集的平均自信息量第五节离散集的平均互信息量互信息是通信问题中一个很重要的概念,通信(特别是数字通信)系统的输入和输出都可以看作离散符号集合,输入与输出之间的关联程度用互信息来衡量.联合集XY={xiyj;xi∈X,yj∈Y,i=1,2,···m;j=1,2,···,n}二维联合概率为p(xiyj),且第41页，课件共51页，创作于2023年2月离散集的平均自信息量2.5.1平均互信息量定义2.5.1互信息在XY联合空间上的统计平均值定义为平均互信息量.定义式如下:其中:或者:第42页，课件共51页，创作于2023年2月简单说明:离散集的平均自信息量从通信的角度来看这个定义式,其中H(X)由概率p(xi)得出,可以看作是通信信源的不确定性,H(X|Y)由条件概率p(xi|yj)得出,可以看作是通信后在知道输出信号集合Y的情况下对信源X仍存在的不确定性,俩这之差就是通信过程中平均每个符号所获得的不确定性.第43页，课件共51页，创作于2023年2月离散集的平均自信息量2.5.2平均互信息量的性质1非负性当且仅当X与Y统计独立时,等号成立,因为统计独立时,俩这之