信息论与编码信息的度量

信息论与编码信息的度量1第1页，课件共65页，创作于2023年2月2.5联合熵和条件熵

联合熵：联合自信息量的统计平均。条件熵：条件自信息量的统计平均各类熵之间的关系：与各类自信息量之间的关系对应。2第2页，课件共65页，创作于2023年2月1联合熵设联合概率空间为联合符号的先验不确定性称为联合自信息量:统计平均联合熵熵的物理意义:信源的平均不确定性。3第3页，课件共65页，创作于2023年2月2条件熵设联合概率空间为条件自信息量:统计平均条件熵4第4页，课件共65页，创作于2023年2月3各类熵之间的关系同理总之熵的强可加性推广5第5页，课件共65页，创作于2023年2月各类熵之间的关系(续)于是因此，熵之间的关系简化：熵的可加性推广：当与相互独立，则统计独立时，有6第6页，课件共65页，创作于2023年2月X01P2/31/3例已知某离散信源如下，且其符号转移概率如右下所示，求H(X)、H(Y|X)和H(X,Y)7第7页，课件共65页，创作于2023年2月解：8第8页，课件共65页，创作于2023年2月另一方面：后验概率可以求出：可以求出条件熵：同样可以求出联合熵：9第9页，课件共65页，创作于2023年2月例

已知一离散二维平稳信源一维概率分布二维概率分布表2.2

ajai01201/41/18011/181/31/18201/187/36求两种熵。

10第10页，课件共65页，创作于2023年2月解:(1)计算条件概率二维条件概率分布表2.3

ajai01209/111/8012/113/42/9201/87/911第11页，课件共65页，创作于2023年2月(2)

(3)另12第12页，课件共65页，创作于2023年2月2.6平均互信息量及其性质平均互信息量平均互信息量的基本性质13第13页，课件共65页，创作于2023年2月

互信息量互信息量表示先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量；互信息量可能为正数、负数、0；对于无干扰信道，I(xi;yj)=I(xi)xiyj信道p(xi):发送端发送xi的概率；P(xi|yj):接收端收到yj后，发送端发送xi的概率定义:14第14页，课件共65页，创作于2023年2月为什么需要定义平均互信息量？互信息量是定量地研究信息流通问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息，输出变量出现某一个具体消息时，流经信道的信息量；此外还是随和变化而变化的随机变量。互信息量不能从整体上作为信道中信息流通的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。15第15页，课件共65页，创作于2023年2月

平均互信息量：与之间的平均互信息量是统计平均意义下的先验不确定性与后验不确定性之差，也是互信息量的统计平均：16第16页，课件共65页，创作于2023年2月

1.对称性根据互信息量的对称性，容易推得 I(X;Y)=I(Y;X) 说明从集合Y中获取X的信息量，等于从集合X中获取Y的信息量。

17第17页，课件共65页，创作于2023年2月

2.与各种熵的关系I(X;Y)=H(X)–H(X|Y) I(Y;X)=H(Y)–H(Y|X) I(X;Y)=H(X)+H(Y)–H(XY) H(XY)为X集合和Y集合的共熵，或称联合熵。共熵应该是联合符号集合XY上的每个元素对xy的自信息量的概率加权统计平均值。18第18页，课件共65页，创作于2023年2月I(X;Y)=H(X)+H(Y)–H(XY)根据各种熵的定义，从该式可以清楚看出平均互信息量是一个表征信息流通的量其物理意义就是信源端的信息通过信道后传输到信宿端的平均信息量。19第19页，课件共65页，创作于2023年2月3有界性各种熵以及平均互信息量之间的关系可用以下文氏图表示。

熵、平均互信息量关系图20第20页，课件共65页，创作于2023年2月例

已知信源空间 信道特性如图所示，求在该信道上传输的平均互信息量I(X;Y)。

图信道特性21第21页，课件共65页，创作于2023年2月解（1）根据P(xiyj)=P(xi)P(yj

|xi)，求各联合概率，得 P(x1y1)=P(x1)P(y1|x1)=0.5×0.98=0.49 P(x1y2)=P(x1)P(y2|x1)=0.5×0.02=0.01 P(x2y1)=P(x2)P(y1|x2)=0.5×0.20=0.10 P(x2y2)=P(x2)P(y2|x2)=0.5×0.80=0.40（2）根据，求Y集合中各符号的概率，得 P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.5×0.98＋0.5×0.2=0.59 P(y2)=1–0.59=0.4122第22页，课件共65页，创作于2023年2月（3）根据P(xi|yj)=P(xiyj)/P(yj)，求各后验概率，得 P(x1|y1)=P(x1y1)/P(y1)=0.49/0.59=0.831 P(x2|y1)=P(x2y1)/P(y1)=0.10/0.59=0.169 P(x1|y2)=P(x1y2)/P(y2)=0.01/0.41=0.024

P(x2|y2)=P(x2y2)/P(y2)=0.40/0.41=0.97623第23页，课件共65页，创作于2023年2月（4）求熵，有

I(X;Y)=H(X)+H(Y)–H(XY)=1+0.98-1.43=0.55比特/信符24第24页，课件共65页，创作于2023年2月2.7离散无记忆信源的扩展DMSDMSDMS研究信源输出的单个符号的统计特性研究信源输出的符号串的统计特性单符号信源的次扩展信源多符号信源??25第25页，课件共65页，创作于2023年2月输出的消息序列中各符号之间无相互依赖关系的信源。亦称为单符号离散平稳无记忆信源的扩展信源。序列长度就是扩展次数。单符号信源{0，1}经过扩展，变成了：{00，01，10，11}例2.2.126第26页，课件共65页，创作于2023年2月27第27页，课件共65页，创作于2023年2月

N次扩展信源：离散无记忆信源，考虑任意N个相邻时刻的输出随机变量把看成是一个新的离散无记忆信源的输出，称为的N次扩展信源。扩展信源的熵：

bit/N元符号28第28页，课件共65页，创作于2023年2月扩展信源的熵DMSDMS?因为是DMS，故独立同分布，所以29第29页，课件共65页，创作于2023年2月单符号信源如下,求二次扩展信源熵扩展信源：例30第30页，课件共65页，创作于2023年2月31第31页，课件共65页，创作于2023年2月扩展信源模型的求法例设有离散无记忆信源。（1）求和；（2）当时，计算。解（1）求2次和3次扩展信源的符号表:32第32页，课件共65页，创作于2023年2月扩展信源模型的求法(续一)求概率：

根据信源的无记忆特性，有

同理可得：

33第33页，课件共65页，创作于2023年2月扩展信源模型的求法(续二)（2）当时，计算。有两种求法。方法一：Bit/符号Bit/三元符号方法二：Bit/三元符号34第34页，课件共65页，创作于2023年2月2.8离散有记忆信源的熵N阶平稳信源的联合熵

bit/N长符号串或

bit/符号一般离散有记忆信源的极限熵：考虑，

bit/符号进一步推导可得出

35第35页，课件共65页，创作于2023年2月如果是无记忆的，则有

于是

bit/符号36第36页，课件共65页，创作于2023年2月2.10离散信源的信息（速）率和信息含量效率信息率

信息速率信息含量效率相对冗余度37第37页，课件共65页，创作于2023年2月

信息率用来衡量信源发出信息的能力。定义为平均一个符号所携带的信息量，即信源的实在信息，在数值上等于信源的极限熵。

bit/符号信息速率

信源单位时间内发出的平均信息量。如果信源平均秒发出一个符号，则

bit/秒38第38页，课件共65页，创作于2023年2月

信息含量效率

定义为实际的实在信息与最大的实在信息之比。显然当且仅当是DMS且等概率分布（）时，。39第39页，课件共65页，创作于2023年2月

相对冗余度表示信源含无效成份的程度。定义为当然也有当且仅当，。对于DMS，只须把公式中的极限熵换成普通熵即可。40第40页，课件共65页，创作于2023年2月信源的信息含量效率：信源的相对冗余度：当且仅当信源是DMS且等概率分布（）时

例设DMS为。求信源的信息含量效率和相对冗余度。解：41第41页，课件共65页，创作于2023年2月作业:PP.2.6;2.10(1);2.11;42第42页，课件共65页，创作于2023年2月2.11连续随机变量下的熵和平均互信息量2.11.1连续随机变量下的熵2.11.2连续随机变量下的平均互信息量2.11.3微分熵的极大化问题2.11.4连续信源的熵功率43第43页，课件共65页，创作于2023年2月作业：P.502.62.1144第44页，课件共65页，创作于2023年2月2.11.1连续随机变量下的熵连续信源的数学模型连续随机变量的微分熵45第45页，课件共65页，创作于2023年2月连续信源

的数学模型是连续随机变量，其取值集合是连续区间，概率密度函数是，连续信源的数学模型为：46第46页，课件共65页，创作于2023年2月连续随机变量的微分熵把连续熵看成离散熵的极限情况，将的值域等分为K个子区间：，，第k个子区间内的概率为，这样得到一个离散随机变量，其概率空间为47第47页，课件共65页，创作于2023年2月且概率空间是完备的：根据离散熵公式，有48第48页，课件共65页，创作于2023年2月将区间无限细分，即，，对离散熵取极限即可得连续熵的实际值：第二项为无穷大，因此，连续熵为无穷大，失去意义。第一项表示连续熵的相对值，称其为连续随机变量的微分熵，记为。49第49页，课件共65页，创作于2023年2月微分熵的更一般的定义式为微分熵就不当作连续随机变量的真正测度。在考虑熵的变化时，微分熵仍具相对意义。微分熵是去掉无穷大项后剩下的有限项，因此失去作为不确定性度量的某些重要性质，如：不具备非负性，可能出现负值；在随机变量的一一变换之下，微分熵可能改变。50第50页，课件共65页，创作于2023年2月连续随机变量和之间的平均互信息量51第51页，课件共65页，创作于2023年2月平均互信息量与微分熵之间的关系即连续情况下的平均互信息量有实际的物理意义，仍具有互易性和非负性，即

52第52页，课件共65页，创作于2023年2月求均匀分布的连续信源熵例2.3.153第53页，课件共65页，创作于2023年2月2平均互信息量的物理解释信源观察过程

从中获得的关于的信息＝的先验(平均)不确定性－的后验(平均)不确定性54第54页，课件共65页，创作于2023年2月3公式推导?推导:55第55页，课件共65页，创作于2023年2月4平均互信息量的性质（1）互易性:说明:56第56页，课件共65页，创作于2023年2月（2）非负性：注意：可正可负。条件熵不会大于无条件熵，增加条件只可能使不确定性减小，不会增大不确定性推广：条件多的熵不会大于条件少的熵。即57第57页，课件共65页，创作于2023年2月（3）有界性：简证：58第58页，课件共65页，创作于2023年2月例均匀分布随机变量的熵设连续随机变量服从均匀分布，即概率密度函数为