离散信源的信息熵

离散信源的信息熵2.2.1自信息2.2.2信息熵2/20课程回顾绪论：抽象的通信系统信源的数学模型及分类概率空间描述信源一维信源：离散、连续多维信源：离散、连续；平稳信源、非平稳信源；有记忆信源、无记忆信源随机波形信源3/20一维离散信源1.该信源能输出多少信息？2.每个消息的出现携带多少信息量？自信息4/20信息量与不确定性信源中某一消息发生的不确定性越大，一旦它发生，并为收信者收到后，消除的不确定性就越大，获得的信息量也就越大。由于种种原因（例如噪声太大），收信者接收到受干扰的消息后，对某消息发生的不确定性依然存在或者一点也未消除时，则收信者获得较少的信息或者说一点也没有获得信息。自信息5/20信息量与不确定性

信息量的直观定义：收到某消息获得的信息量＝不确定性减少的量＝(收到此消息前关于某事件发生的不确定性)

－(收到此消息后关于某事件发生的不确定性)在无噪声时，通过信道的传输，可以完全不失真地收到所发的消息，收到此消息后关于某事件发生的不确定性完全消除，此项为零。因此：

收到某消息获得的信息量＝收到此消息前关于某事件发生的不确定性＝信源输出的某消息中所含有的信息量自信息6/20信息量、不确定性与发生概率事件发生的概率越小，我们猜测它有没有发生的困难程度就越大，不确定性就越大。事件发生的概率越大，我们猜测这件事发生的可能性就越大，不确定性就越小。概率等于1的必然事件，就不存在不确定性。某事件发生所含有的信息量应该是该事件发生的先验概率的函数

f[p(xi)]

。自信息7/20信息量与发生概率函数f[p(xi)]

应满足以下4个条件：

f[p(xi)]应是p(xi)的单调递减函数当p(x1)>p(x2)时，f[p(x1)]<f[p(x2)]

当p(xi)=1时，f[p(xi)]=0

当p(xi)=0时，f[p(xi)]=∞

两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。自信息8/20信息量与发生概率根据上述条件可以从数学上证明这种函数形式是对数形式。自信息9/20自信息用概率测度定义信息量：设离散信源X，其概率空间为：如果知道事件xi已发生，则该事件所含有的信息量称为自信息，定义为：X，Y，Z代表随机变量，指的是信源整体；xi,yj,zk

代表随机事件的某一结果或信源的某个元素。不可混淆!自信息10/20自信息的物理意义当事件发生以前，表示事件发生的不确定性；当事件发生以后，表示事件所含有(提供)的信息量；自信息单位：1奈特=log2e=1.443比特1哈特=log210=3.322比特自信息11/20自信息获得的信息量的大小与不确定性消除的多少有关12/20概率知识回顾13/20概率知识回顾14/20

1）自信息含义

当事件xi发生以前：表示事件xi发生的不确定性。

当事件xi发生以后：表示事件xi所含有（或所提供）的信息量。在无噪信道中，事件xi发生后，能正确无误地传输到收信者，所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性，才获得这么大小的信息量。自信息15/202）联合自信息信源模型为：其中:0≤p(xiyj)≤1(i=1,2,…,n;j=1,2,…,m)，则联合自信息为：自信息16/202）联合自信息当X和Y相互独立时，p(xiyj)=p(xi)p(yj)两个随机事件相互独立时，同时发生得到的信息量，等于各自自信息量之和。自信息17/20

3）条件自信息设yj条件下，发生xi的条件概率为p(xi/yj)，那么它的条件自信息量I(xi/yj)定义为：表示在特定条件下（yj已定）随机事件xi

所带来的信息量同理，xi已知时发生yj的条件自信息量为：自信息18/203）条件自信息自信息量、条件自信息量和联合自信息量之间的关系自信息19/20信息熵—平均信息量信息熵的三种物理含义信息熵与平均获得的信息量信息熵（1）信息熵—平均自信息量自信息是一个随机变量：自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。平均自信息量—信息熵：自信息的数学期望。也称为信源的信息熵／信源熵／香农熵／无条件熵／熵函数／熵。信息熵(1)信息熵①信息熵—平均信息量信息熵的单位：取决于对数选取的底。一般选用以2为底，其单位为比特/符号。信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。信息熵(1)信息熵信息熵的三种物理含义：信息熵是从平均意义上来表征信源的总体特性的一个量。因此信息熵有以下三种物理含义。信息熵H(X)是表示信源输出后每个消息（符号）所提供的平均信息量；信息熵H(X)是表示信源输出前，信源的平均不确定性；用信息熵H(X)来表征变量X的随机性。信息熵信息熵的三种物理含义：[举例]：有两个信源，其概率空间分别为：信息熵分别为：

H(X)=－0.99log0.99－0.01log0.01=0.08

比特/符号

H(Y)=－0.5log0.5－0.5log0.5=1比特/符号可见：H(Y)>H(X)信息熵(1)信息熵信息熵的三种物理含义：本例结论：信源Y的二个输出消息是等可能性的，所以在信源没有输出消息以前，事先猜测哪一个消息出现的不确定性要大；信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，因为x1出现的概率大。所以信源X的不确定性要小；信源Y比信源X的平均不确定性大；信息熵本例结论(续)信息熵反映的就是信源输出前平均不确定程度的大小。变量Y取y1

和y2

是等概率的，所以其随机性大。而变量X取x1

的概率比取x2的概率大很多，这时变量X的随机性就小。因此H(X)反映了变量的随机性。信息熵(1)信息熵信息熵与平均获得的信息量信息熵是信源的平均不确定性的描述。在一般情况下它并不等于平均获得的信息量。只有在无噪情况下，接收者才能正确无误地接收到信源所发出的消息，消除H(X)

大小的平均不确定性，所以获得的平均信息量就等于H(X)。在一般情况下获得的信息量是两熵之差，并不是信源熵本身。信息熵(2)联合熵两个随机变量X,Y:H(XY)—联合熵：表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。信息熵(3)条件熵条件熵定义：条件熵是在联合符号集合

X