信息与编码理论 第2版 课件 2.5 平均自信息量

2.5平均自信息量1.平均自信息/信源熵的概念自信息是一个随机变量：

自信息是指信源发出的某一消息所含有的信息量。不同的消息，它们所含有的信息量也就不同。不同的信源其总体不确定度是不同的。信源1：消息随机变量X=“中国足球队与巴西足球队比赛的结果”信源2：消息随机变量Y=“意大利足球队与德国足球队比赛的结果”如何衡量信源的总体不确定度23信源的概率空间设信源输出消息集合为X,每个符号出现的概率记作：则其数学模型可以表示为概率空间：大写字母：表示随机变量，指信源整体小写字母加下标：表示随机变量的某一取值（样本），即信源的某个消息。且满足3信源的概率空间通常把一个随机变量的样本空间和样本空间中的元素对应的概率称为概率空间。离散随机变量的概率空间为：4例1掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机试验的结果，并把试验结果看作一个信源的输出，试建立数学模型。信源的输出：离散随机变量XX：{1，2，3，4，5，6}——样本空间P（X）：{P(X=1)=1/6，P(X=2)=1/6，…，P(X=6)=1/6}解：

——概率空间51.平均自信息（信源熵）的概念平均自信息（信源熵）是自信息的统计平均，即数学期望。自信息是指收信者对信源发某一消息的不确定度。也指收信者准确无误收到该消息后获得的信息量。

不同的消息，它们的自信息量是不同的。自信息是一个随机变量。6信源熵的单位，取决于对数选取的底：以2为底，单位为比特/消息符号以e为底，单位为奈特/消息符号以10为底，单位为哈特莱/消息符号。信源熵的意义：信源每发一个消息（符号），所能提供的平均信息量；收信者在收到消息符号前，对信源X存在的平均不确定度。

信源熵是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的随机性/不确定度的。1.平均自信息的概念71.平均自信息的概念（续4）例：一信源有6种输出符号，概率分别为P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。计算H(X)。

解：

由信息熵定义，该信源输出的信息熵为

8例：三个信源X1，X2，X3，它们的概率空间分别为三个信源的信源熵分别为：H(X1)=-0.5log0.5-0.5log0.5=1比特/消息符号H(X2)=-0.7log0.7-0.3log0.3=0.88比特/消息符号H(X3)=-0.99log0.99-0.01log0.01=0.08比特/消息符号可见：H(X1)>H(X2)>H(X3)9信源熵的表示方法离散随机变量X的概率空间为记pi=p(xi)，则

由于概率的完备性，即，所以实际上是元函数。10信源熵的表示方法

当n=2

时，112.熵函数的性质熵函数的数学特性包括:(1)对称性(2)确定性(3)非负性(4)扩展性(5)连续性(6)递增性(7)上凸性(8)极值性122.熵函数的性质当概率矢量中各分量的次序任意变更时，熵函数的值不变，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…该性质说明：熵只与随机变量(信源)的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。（1）对称性132.熵函数的性质例3：三个信源分别为：①X与Z信源的差别：具体消息其含义不同；②X与Y信源的差别：同一消息的概率不同；③但它们的信息熵是相同的。142.熵函数的性质 H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空间中，只要有一个事件是必然事件，那么其它事件一定是不可能事件，因此信源没有不确定性，熵必为0。确定性表明，当信源某一符号几乎必然出现时，其它符号均

几乎不可能出现，这个信源就是一个确知信源。在发符号前，不存在确定性；在发符号后，不提供任何信息量。（2）确定性152.熵函数的性质只有当随机变量是一确知量时，熵H(X)=0。离散信源的熵满足非负性，而连续信源的熵可能为负。（3）非负性162.熵函数的性质扩展性说明，增加一个概率接近于零的消息时，信源熵保持不变。虽然小概率消息出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的消息几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。（4）扩展性172.熵函数的性质（5）连续性连续性表明，信源空间中概率分量的微小波动，不会引起信源总体信息熵的巨大变化。18（6）递增性（递推性)2.熵函数的性质192.熵函数的性质例4：利用递推性计算熵函数H(1/3，1/3，1/6，1/6)的值。解：bit/符号20例：三个信源X1，X2，X3，它们的概率空间分别为三个信源的信源熵分别为：H(X1)=-0.5log0.5-0.5log0.5=1比特/消息符号H(X2)=-0.7log0.7-0.3log0.3=0.88比特/消息符号H(X3)=-0.99log0.99-0.01log0.01=0.08比特/消息符号可见：H(X1)>H(X2)>H(X3)212.熵函数的性质（7）极值性（最大离散熵定理）定理：

离散无记忆信源输出n个不同的消息符号，当且仅当各个符号出现概率相等时(即

)，熵最大，即

222.熵函数的性质

例5：以二进制信源为例，信源的概率空间为二进制信源的信息熵为这时信息熵H(X)是p的函数，熵函数H(p)的曲线如图所示：23从图中可以得出熵函数的一些性质：如果二进制信源的输出是确定的(p=0或p=1)，则该信源不提供任何信息；当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特/符号;在等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量小于1比特。这也进一步说明了计算机术语中的“比特”与信息量单位“比特”的关系。2.熵函数的性质24上凸性的几何意义：

在上凸函数的任两点之间画一条割线，函数总在割线的上方.f(x)

x1x2

f(x1)

f(x2)上凸函数的定义上凸函数定义域内两个变量算术平均值的函数值，大于等于两个变量各自函数值的算术平均值25可以被看做是一种新的概率分布。

是概率分布的严格上凸函数，即证明：（8）上凸性等号成立条件26但是所以等号不成立。2.熵函数的性质27上凸性的几何意义：

在上凸函数的任两点之间画一条割线，函数总在割线的上方.上凸函数在定义域内的极值必为最大值，这对求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)2.熵函数的性质28293条件熵随机变量X和Y的条件熵定义为条件自信息量的数学期望表示：收到Y后，信源X仍具有的平均不确定度。

性质：X、Y独立，则H(X/Y)达到最大，且H(X/Y)max=H(X)说明：29等号成立的条件是

，也即随机变量X和Y统计独立时30H(X/Y)max=H(X)说明：X、Y独立时，信宿收到的符号集合中不含任何有关信源的信息，此时信源的平均不确定度最大。故H(X/Y)叫信道疑义度。同理：说明：信宿收到Y后，若Y=X，则信源也就完全确定了，不再有任何平均不确定度。31联合熵def：联合自信息量的数学期望。意义：联合熵H(XY)是二维随机变量XY不确定性的度量。32联合熵的可加性证明：33联合熵的可加性可以推广到N个随机变量的情况如果N个随机变量相互统计独立，则有343.联合熵和条