信息的统计度量

信息的统计度量第一页，共八十二页，2022年，8月28日2023/1/181本章内容、基本要求、重点与难点1.内容：离散信源的数学模型。自信息量；互信息量等。离散信源熵和平均互信息量及其性质。

2.基本要求：掌握信源的分类及对应的数学模型。掌握熵和（平均）互信息量的定义、定义式、性质。

3.重点与难点：离散信源熵的含义。离散信源的互信息量的含义。

第二页，共八十二页，2022年，8月28日2023/1/182

样本空间：把某事物可能出现的不同状态，即所有可能选择的消息的集合，成为样本空间。

概率测度：对离散消息的集合而言，对每一个可能选择的消息指定一个概率（非负，总和为1）。

概率空间：一个样本空间和它的概率测度称为一个概率空间。第三页，共八十二页，2022年，8月28日2023/1/183一个概率空间用[X,P]表示。离散型的概率空间：X代表随机变量xi代表随机事件的某一结果或某个元素p(xi)=P(X=xi)，表示随机事件X发生某一结果xi的概率。n是有限正整数或可数无限大第四页，共八十二页，2022年，8月28日2023/1/184先验概率：p(xi);后验概率：发送xi，收到yj，yj可能与xi相同也可能与xi不同，p(xi|yj)称为后验概率。

第五页，共八十二页，2022年，8月28日2023/1/1852.1自信息量和条件自信息量

一、自信息量已知道，信息是对不确定性的描述，而不确定性取决于事件发生的概率。因此，某事件发生所含有的信息量应该是该事件发生的先验概率的函数。

I(ai)=f[p(ai)]第六页，共八十二页，2022年，8月28日2023/1/186该函数应满足以下条件：1I(ai)应是概率p(ai)的单调递减函数，即：当p(a1)>p(a2)时有I(a1)<

I(a2)；2当p(ai)＝1时I(ai)＝0；3当p(ai)＝0时I(ai)→∞；4两个独立事件的联合信息量应等于它们分别信息量之和，即：若:p(aiaj)＝p(ai)p(aj)，则：I(aiaj)=I(ai)+I(aj)。第七页，共八十二页，2022年，8月28日2023/1/187

根据上述条件，可以从数学上证明这种函数形式是对数形式。第八页，共八十二页，2022年，8月28日2023/1/188定义：设离散信源X，其概率空间为如果知道事件xi已发生，则该事件所含有的自信息定义为第九页，共八十二页，2022年，8月28日2023/1/189取值：由于p(xi)∈[0,1],I(xi)为非负。单位：对数的底决定了信息量的单位：

2—bit，e—nat，10—Hartley。I(xi)是随机变量。单位之间的换算关系：

1奈特=log2

e比特=1.443比特

1哈特=log210比特=3.322比特第十页，共八十二页，2022年，8月28日2023/1/1810含义：当事件xi发生以前：表示事件xi发生的不确定性。当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。第十一页，共八十二页，2022年，8月28日2023/1/1811例：设在A袋放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。在B袋中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j”时获得的信息量。在C袋中放入n种不同阻值，而每种阻值又有m种不同功率的电阻，即共有nm个电阻，随意选取一个，被告知“取出的电阻阻值为i，功率为j”时获得的信息量。

第十二页，共八十二页，2022年，8月28日2023/1/1812I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi

yj)=–logp(xi

yj)=log(n

m)

=I(xi)+I(yj)比特解：对应A,B,C三袋，随意取出一个电阻事件的概率分别为：因此第十三页，共八十二页，2022年，8月28日2023/1/1813二、联合自信息量定义：信源模型为其中0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)则联合自信息量为当X和Y相互独立时，p(xiyj)=p(xi)p(yj)两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。第十四页，共八十二页，2022年，8月28日2023/1/1814三、条件自信息量定义：设yj条件下，发生xi的条件概率为p(xi/yj)，那么它的条件自信息量I(xi/yj)定义为自信息量、条件自信息量和联合自信息量之间的关系第十五页，共八十二页，2022年，8月28日2023/1/1815

例：设在一正方形棋盘上共有64个方格,如果甲将一粒棋子随意地放在棋盘中的某方格内,让乙猜测棋子所在的位置:(1)将方格按顺序编号,令乙猜测棋子所在方格的顺序号;(2)将方格按行和列编号,甲将棋子所在的方格的行(或列)编号告诉乙,再令乙猜测棋子所在列(或行)的位置。第十六页，共八十二页，2022年，8月28日2023/1/1816解：二维联合集XY上元素xi

yj，p(xi

yj)=1/64

i=1,2,…,8;j=1,2,…,8（1）

I(xi

yj)=–logp(xi

yj)=6比特

（2）I(xi|yj)=–logp(xi|yj)=–log[p(xi

yj)/p(yj)]=3比特

I(xi)=–logp(xi)=3比特

I(yj)=3比特

第十七页，共八十二页，2022年，8月28日2023/1/1817最简单的通信系统模型：X—信源发出的离散消息集合；Y—信宿收到的离散消息集合；信源X、信宿Y的数学模型为2.2互信息量和条件互信息量第十八页，共八十二页，2022年，8月28日2023/1/1818一、互信息量定义：对两个离散随机事件集X和Y,事件yj的出现给出关于事件xi的信息量定义为互信息量。第十九页，共八十二页，2022年，8月28日2023/1/1819互信息量：yj对xi的互信息量定义为后验概率与先验概率比值的对数。先验概率：信源发出消息xi的概率p(xi

)。后验概率：信宿收到yj后推测信源发出xi的概率p(xi

/yj)。第二十页，共八十二页，2022年，8月28日2023/1/1820互信息有两方面的含义：表示事件yj出现前后关于事件xi

的不确定性减少的量；事件yj出现以后信宿获得的关于事件xi的信息量。第二十一页，共八十二页，2022年，8月28日2023/1/18211)互信息的对称性2)互信息可为零3)互信息可为正值或负值4)任何两个事件之间的互信息不可能大于其中任一事件的自信息互信息量的性质第二十二页，共八十二页，2022年，8月28日2023/1/1822xiyj观察者站在输出端

I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

：对yj一无所知的情况下xi存在的不确定性；：收到yj

后xi

仍然存在的不确定性；互信息：收到yj

前和收到yj后不确定度被消除的部分。第二十三页，共八十二页，2022年，8月28日2023/1/1823观察者站在输入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。xiyjI(yj;

xi)=I(xi;yj)?第二十四页，共八十二页，2022年，8月28日2023/1/1824用公式表示为：

互信息的对称性表明：从yj得到的关于xi的信息量

与从xi

得到的关于yj的信息量

是一样的，只是观察的角度不同而已。1)互信息的对称性第二十五页，共八十二页，2022年，8月28日2023/1/1825证明：

第二十六页，共八十二页，2022年，8月28日2023/1/1826xi和yj相互独立,互信息为0。表明xi和yj之间不存在统计约束关系，从yj得不到关于的xi的任何信息，反之亦然。2)互信息可为零第二十七页，共八十二页，2022年，8月28日2023/1/1827当后验概率大于先验概率时，互信息为正。

说明事件yj的出现有助于消除事件xi的不确定度。当后验概率小于先验概率时，互信息为负。

说明收信者未收到yj以前，对消息xi是否出现的猜测难度较小，但由于噪声的存在，接收到消息yj后对xi是否出现的猜测的难度增加了，也就是收信者接收到消息yj后对xi出现的不确定性反而增加，所以获得的信息量为负值。当后验概率与先验概率相等时，互信息为零。

这就是两个随机事件相互独立的情况。3)互信息可正可负第二十八页，共八十二页，2022年，8月28日2023/1/18284)任何两个事件之间的互信息不可能大于其中任一事件的自信息证明：第二十九页，共八十二页，2022年，8月28日2023/1/1829例：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？第三十页，共八十二页，2022年，8月28日2023/1/1830解：x=某女孩是大学生；y=某女孩身高1米6以上。则有“身高1米6以上的某女孩是女大学生”为事件第三十一页，共八十二页，2022年，8月28日2023/1/1831例：已知信源发出和两种消息，且。此消息在二进制对称信道上传输，信道传输特性为。求互信息量和。

第三十二页，共八十二页，2022年，8月28日2023/1/1832解：由已知可得第三十三页，共八十二页，2022年，8月28日2023/1/1833第三十四页，共八十二页，2022年，8月28日2023/1/1834二、条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。定义式：联合集XYZ上消息xi与消息对yjzk之间的互信息量为第三十五页，共八十二页，2022年，8月28日2023/1/18352.3平均自信息量—熵

一、平均自信息量定义：熵（信息熵）：自信息的数学期望。信息熵的单位：取决于对数的底，一般以2为底，其单位为比特/符号。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。第三十六页，共八十二页，2022年，8月28日2023/1/1836

规定：0.log0=0

即：0概率事件对于集X熵的贡献为0。第三十七页，共八十二页，2022年，8月28日2023/1/1837

信源熵有以下二种物理含义。H(X)是表示每个事件出现所提供的平均信息量；H(X)是表示集X中事件出现的平均不确定性；若X表示信源，则H(X)称为信源熵。

平均自信息量的称谓：信息熵/信源熵/香农熵/无条件熵/熵函数/熵第三十八页，共八十二页，2022年，8月28日2023/1/1838举例例：有两个信源，其概率空间分别为信息熵分别为H(X)=-0.99log0.99-0.01log0.01=0.08比特/符号

H(Y)=-0.5log0.5-0.5log0.5=1比特/符号

可见

H(y)>H(x)本例结论信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大；信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，所以信源X的不确定性要小；信息熵反映的就是信源输出前平均不确定程度的大小。第三十九页，共八十二页，2022年，8月28日2023/1/1839例：一信源有6种输出符号，概率分别为P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。计算H(X)。

解：

由信息熵定义，该信源输出的信息熵为

第四十页，共八十二页，2022年，8月28日2023/1/1840二、熵的基本性质和定理熵函数H(X)：熵H是p(x1),p(x2),…,p(xn)的n元函数（实际上，因Σp(xi)=1，独立变量只有n-1个，H是(n-1)元函数）:第四十一页，共八十二页，2022年，8月28日2023/1/1841定义：设f(x)=f(x1,x2,…,xn)为一多元函数。若对于任意一个小于1的正数α(0<α<1)以及函数f(x)定义域内的任意两个矢量X1,X2，有则称f(x)为定义域上的上凸函数；若则称f(x)为定义域上的严格上凸函数。第四十二页，共八十二页，2022年，8月28日2023/1/1842

反之，若则称f(x)为定义域上的下凸函数；若则称f(x)为定义域上的严格下凸函数。第四十三页，共八十二页，2022年，8月28日2023/1/1843上凸性的几何意义：

在上凸函数的任两点之间画一条割线，函数总在割线的上方.上凸函数在定义域内的极值必为最大值，这对求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)第四十四页，共八十二页，2022年，8月28日2023/1/1844

詹森不等式

引理：若f(x)是定义在区间[a,b]上的连续上凸函数，则对于任意一组x1，x2，….，xq∈[a,b]和任意一组非负实数λ1，λ2…λq满足有第四十五页，共八十二页，2022年，8月28日2023/1/1845第四十六页，共八十二页，2022年，8月28日2023/1/1846

取xk为一个离散集的事件，λk为相应的概率。

若：f(.)为对数函数，詹森不等式为

E[logx]≤log(E[x])

f(.)为一般凸函数

E[f(x)]≤f(E[x])第四十七页，共八十二页，2022年，8月28日2023/1/1847熵函数的基本性质(1)非负性(2)对称性(3)最大离散熵定理(4)扩展性(5)确定性(6)可加性(7)极值性(8)上凸性第四十八页，共八十二页，2022年，8月28日2023/1/1848(1)非负性即：H(X)≥0因为随机变量X的所有取值的概率分布满足0≤p(xi)≤1；当取对数的底大于1时logp(xi)≤0，而-

p(xi)

logp(xi)≥0，所以熵H(X)≥0；第四十九页，共八十二页，2022年，8月28日2023/1/1849(2)

对称性①定义：当变量p(x1),p(x2),…,p(xn)

的顺序任意互换时，熵函数的值不变，即②含义：该性质说明熵只与随机变量的总体结构有关，与信源的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。第五十页，共八十二页，2022年，8月28日2023/1/1850例：三个信源分别为：①X与Z信源的差别：具体消息其含义不同；②X与Y信源的差别：同一消息的概率不同；③但它们的信息熵是相同的。第五十一页，共八十二页，2022年，8月28日2023/1/1851(3)最大离散熵定理(极值性)定理：

离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即p(xi)=1/n)，熵最大。H[p(x1),p(x2),…,p(xn)]≤H(1/n,1/n,…,1/n)=log2n

出现任何符号的可能性相等时，不确定性最大。第五十二页，共八十二页，2022年，8月28日2023/1/1852扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。（4）扩展性第五十三页，共八十二页，2022年，8月28日2023/1/1853

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

含义：在概率空间中，只要有一个事件是必然事件，那么其它事件一定是不可能事件，因此信源没有不确定性，熵必为0。(5)

确定性第五十四页，共八十二页，2022年，8月28日2023/1/1854(6)

可加性H(XY)=H(X)+H(Y/X)H(XY)=H(Y)+H(X/Y)

第五十五页，共八十二页，2022年，8月28日2023/1/1855（7）极值性（最大离散熵定理）定理：

离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即

)，熵最大，即

第五十六页，共八十二页，2022年，8月28日2023/1/1856第五十七页，共八十二页，2022年，8月28日2023/1/1857

再令x=1/y，便得到(1-1/y)≤lny，于是有

1-1/x≤lnx第五十八页，共八十二页，2022年，8月28日2023/1/1858第五十九页，共八十二页，2022年，8月28日2023/1/1859

证极值性：令qi=1/n1，根据以上引理，有

Hn(p1,p2,…,pn)≤-∑pilog1/n=∑pilogn=logn当前仅当pi=1/n，i=1,2,….,n时，等号成立。表明：等概率场的平均不确定性最大，具有最大熵。第六十页，共八十二页，2022年，8月28日2023/1/1860可以被看做是一种新的概率分布。

是概率分布的严格上凸函数，即证明：（8）上凸性第六十一页，共八十二页，2022年，8月28日2023/1/1861三、条件熵定义：条件熵是在联合符号集合XY上的条件自信息的数学期望。在已知Y时，X的条件熵为已知X时，Y的条件熵为条件熵是一个确定的值第六十二页，共八十二页，2022年，8月28日2023/1/1862

表示在已知的情况下,Y的平均不确定性。对于不同的xi

，是变化的。因此，是一个随机变量。第六十三页，共八十二页，2022年，8月28日2023/1/1863四.联合熵定义随机变量X和Y的联合分布为p(xiyj)，则这两个随机变量的联合熵定义为：

联合熵表示对于二维随机变量的平均不确定性。第六十四页，共八十二页，2022年，8月28日2023/1/1864例：已知联合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。第六十五页，共八十二页，2022年，8月28日2023/1/18651)H(XY)=

-[0.25*log2(0.25)+3*0.1*log2(0.1)+0.3*log2(0.3)+3*0.05*log2(0.05)]=2.665解：H(X)=2.0662)3)

H(Y)=1.856第六十六页，共八十二页，2022年，8月28日2023/1/18664)5)

H(X|Y)=0.809H(Y|X)=0.600第六十七页，共八十二页，2022年，8月28日2023/1/1867五、各种熵之间的关系

1)H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)2)H(X|Y)H(X)，H(Y|X)H(Y)3)H(XY)H(X)+H(Y)

若X与Y统计独立，则H(XY)=H(X)+H(Y)可推广到多个随机变量的情况：第六十八页，共八十二页，2022年，8月28日2023/1/18683)式的证明：第六十九页，共八十二页，2022年，8月28日2023/1/1869故H(XY)H(X)+H(Y)

证毕第七十页，共八十二页，2022年，8月28日2023/1/18702.4平均互信息量一、平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。

称I(X;Y)是Y对X的平均互信息量（简称平均互信息/交互熵）。X对Y的平均互信息定义为平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。第七十一页，共八十二页，2022年，8月28日2023/1/1871性质：I(X;yj)≥0二、平均条件互信息量定义：联合集XY上，有yj提供的关于集X的平均条件互信息量等于由yj所提供的互信息量I(xi,yj)在整个X中以后验概率加权的平均值。定义式：第七十二页，共八十二页，2022年，8月28日2023/1/1872则，平均互信息量的又一定义：定义：互信息量I(X;yj)在整个集Y上的概率加权平均值。定义式：当xi和yj相互独立时，为0；第七十三页，共八十二页，2022年，8月28日2023/1/1873三、平均互信息量的物理含义①观察者站在输出端②观察者站在输入端