信息论第2章(2014蒋华)1(看)

1、信信 息息 论论 基基 础础通信工程系通信工程系主讲：蒋华主讲：蒋华20142014年年9 9月月第二章第二章 基本信息论基本信息论基本信息论基本信息论-Shannon信息论信息论内容提要：内容提要：信息度量信息度量 熵速率熵速率 信息容量信息容量 编码定理编码定理 有效性编码有效性编码 首先介绍信息的度量首先介绍信息的度量熵熵 一、信息度量一、信息度量1、信源的不肯定度、信源的不肯定度 研究信息度量的必要性：必要性： 衡量通信系统的好坏要有一些标准： 如 传信率：通信传递速率 误码率：每秒误码的个数 研究信源不肯定性的目的目的 听老师讲授新课（获得知识） 听熟悉的音乐 （消遣目的） 研究信息

2、的度量就变成了研究信源的不肯定性不肯定性问题。不肯定程度（不肯定性）不肯定程度（不肯定性） 不肯定程度可以直观地看成是猜测某种随机事件是否会发生的难易程度难易程度。 信源信源信道信道信宿信宿noise一、信息度量一、信息度量- 1、信源的不肯定度、信源的不肯定度不肯定程度比较： 口袋 球100个情况情况1： 红球红球9999个、白球个、白球1 1个个情况情况2 2：红球：红球5050个、白球个、白球5050个个情况情况3 3： 红、白、蓝、黑球各红、白、蓝、黑球各25个个情况情况4：红球：红球1个、白球个、白球99个个 “情况1”与“情况4”的不肯定程度相同。一、信息度量一、信息度量- 1、信

3、源的不肯定度、信源的不肯定度直观地直观地认识信息和信息量认识信息和信息量 第一个重要概念：第一个重要概念：信道上传送的是随机变量的值。注意：（1）这就是说，我们在收到消息之前，并不知道消息的内 容。否则消息是没有必要发送的。（2）消息随机变量有一个概率分布。（3）消息随机变量的一个可能取值就称为一个事件。 一、信息度量一、信息度量- 1、信源的不肯定度、信源的不肯定度第二个重要概念：第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊）例：事件“中国足球队3：0力克韩国足球队”含有的信息量大。（小概率事件发生了，事件信息量大）（小概率事件发生了

4、，事件信息量大）例：事件“中国足球队0：1负于韩国足球队”含有的信息量小。（大概率事件发生了，事件信息量小）（大概率事件发生了，事件信息量小）一、信息度量一、信息度量- 1、信源的不肯定度、信源的不肯定度第三个重要概念：第三个重要概念：消息随机变量的随机性越大，此消息随机 变量含有的信息量就越大。例 消息随机变量X=“中国足球队与韩国足球队比赛的结果”， 则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的信（随机性小，可预见性大，因此该消息随机变量含有的信 息量小。）息量小。）例 消息随机变量X=“意大利足球队与德国足球队比赛的结果”， 则消息随机变量X含有的信

5、息量大。 （随机性大，可预见性小，因此该消息随机变量含有的信（随机性大，可预见性小，因此该消息随机变量含有的信 息量大。）息量大。） 一、信息度量一、信息度量- 1、信源的不肯定度、信源的不肯定度第四个重要概念：第四个重要概念：两个消息随机变量的相互依赖性越大， 它们的互信息量互信息量就越大（这里指的是绝 对值大）。例 X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明 日平均气温，W=纽约明日平均气温。则 X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。 一、信息度量一、信息度量- 1、信源的不肯定度、信源的不肯定度性质：性质： 信源的不肯定程度与随机事件的状状态数

6、态数以及各个状态的概率概率有关。表示：表示： 不肯定程度用不肯定程度用H（）来表示，所以有（）来表示，所以有 H（情况（情况1）H（情况（情况4）H(情况情况2)H2(1/2,1/2)H1(0.99,0.01)=H4(0.01,0.99) 一、信息度量一、信息度量- 2 2、不肯定程度、不肯定程度H( )H( )的基本性质的基本性质3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)从个别事件入手理解：从个别事件入手理解： H（p）是p的非递增函数非递增函数且具有可加性可加性非递增函数非递增函数: 对个别事件 p小H(p)大 p大H(p)小 可加性：可加性： 1分钟电话分钟电话

7、 2分钟电话分钟电话 N信息量信息量 2N信息量信息量 1页报文页报文 n页报文页报文 N1信息量信息量 nN1信息量信息量 一、信息度量一、信息度量由此可知：Hartley指出 H(p)H(p)形式形式 log1/plog1/p（可加性是一个非常重要的性质，在数学上可证明不肯（可加性是一个非常重要的性质，在数学上可证明不肯定程度的定量形式必然是上边的对数形式。）定程度的定量形式必然是上边的对数形式。）1）对个别事件，如X2 事件（个别事件的自信息） H（X2）=log1/p(X2) 一、信息度量一、信息度量- 3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)2)对于整个空

8、间：总集的（期望概率公式）XiiiniiippppppppppXHloglog1log1log1log)(12211一、信息度量一、信息度量- 3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)(,),(),(,)(2121nnxpxpxpxxxxPX 以2为底：单位bit （binary unit）以e为底：单位nat （natural unit）以10为底：单位hat （Hartley）1 hat=3.32bit1 nat=1.44bit 一般计算都采用以一般计算都采用以“2”为底的对数，为了书写为底的对数，为了书写简洁，常把底数简洁，常把底数“2”略去不写略去不写一、信

9、息度量一、信息度量- 3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)一、信息度量一、信息度量- 3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)可加性解释举例可加性解释举例: P14 从从1000个字中选择个字中选择200个字组成一页文稿，可有多少页个字组成一页文稿，可有多少页不同的文稿？不同的文稿？ (1000)200页页 假设每页等概出现假设每页等概出现 每页文稿的不肯定程度为：每页文稿的不肯定程度为：log 1/(1000)200 如果如果n页文稿组成一篇报文，可组成多少篇不同的报文？页文稿组成一篇报文，可组成多少篇不同的报文？(1000)200

10、n 篇篇 每篇报文的不肯定程度为：每篇报文的不肯定程度为： log 1/(1000)200n=n log 1/(1000)200 即：即：n页文稿的不肯定程度是一页文稿的页文稿的不肯定程度是一页文稿的n倍倍一、信息度量一、信息度量- 3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)计算举例：计算举例： 情况情况1： 情况情况2： 情况情况3：特殊事件：特殊事件： 必然事件必然事件bitH08. 001. 0log01. 099. 0log99. 0)01. 0 ,99. 0(bitH15 . 0log5 . 05 . 0log5 . 0)5 . 0 , 5 . 0(bitH

11、225. 0log)25. 0 ,25. 0 ,25. 0 ,25. 0(00log01log)0 , 1 (H例：天气预报，有两个信源一、信息度量一、信息度量- 3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)1,21( )1/4,3/4aaXp x1,22( )1/2,1/2aaXp x则：1134()log4log0.809443H X211()log2log2122H X说明第二个信源的平均不确定性更大一些小结：小结：概念： 对信源猜测的难易程度-不肯定度-信源的熵 个别事件的不肯定度和整个信源的不肯定的区别一、信息度量一、信息度量- 3 3、不肯定程度的定量计算、

12、不肯定程度的定量计算 H(x)H(x)个别事件： H（X2）=log1/p(X2)整个信源：一、信息度量一、信息度量- 3 3、不肯定程度的定量计算、不肯定程度的定量计算 H(x)H(x)XiiiniiippppppppppXHloglog1log1log1log)(122114、信息量的定义、信息量的定义定义：信息量=不肯定程度减少的量例例 8个串联的灯泡个串联的灯泡x1，x2，x8，其损坏的，其损坏的可能性是等概率的，现假设其中有一个灯泡已损可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和

13、确定哪个灯泡已损坏需要多少次测量才能获知和确定哪个灯泡已损坏。 一、信息度量一、信息度量- 4、信息量的定义、信息量的定义1x2x1y2y信源：信源：已知已知8个灯泡等概率损坏，所以先验概率个灯泡等概率损坏，所以先验概率P (x1)1/8 ，即，即 第二次测量获得的信息量第二次测量获得的信息量= I P (x2) - I P (x3)=1(bit) 第三次测量获得的信息量第三次测量获得的信息量= I P (x3) =1(bit) 即，经过即，经过3次测量，不肯定程度减小到次测量，不肯定程度减小到0。)(3)(1log)(121bitxPxPI第一次测量获得的信息量第一次测量获得的信息量= I

14、P (x1) - I P (x2)=1(bit)二次测量后，剩二次测量后，剩2个灯泡，等概率损坏，个灯泡，等概率损坏，P (x3)1/2一次测量后，剩一次测量后，剩4个灯泡，等概率损坏，个灯泡，等概率损坏，P (x2)1/4)(2)(1log)(222bitxPxPI)(1)(1log)(323bitxPxPI一、信息度量一、信息度量- 4、信息量的定义、信息量的定义对信源的个别消息：对信源的个别消息：先验概率后验概率后验概率先验概率log1log1log)/(1log)(1logjiijyxpxpI一、信息度量一、信息度量- 4、信息量的定义、信息量的定义第二种测量法：第二种测量法： 先量先

15、量1、2，出现两种情况：，出现两种情况：1）1、2不通的情况：不通的情况： 减少了减少了2bit2）1、2通的情况：通的情况： 减少了减少了0.42bit获得的平均信息量：获得的平均信息量： 信息量信息量=不肯定程度不肯定程度平均平均减少的量减少的量bitH1)21,21(bitH58. 26log)61,61,61,61,61,61(bitIC811. 042. 086282 )(YXHXHIc一、信息度量一、信息度量- 4、信息量的定义、信息量的定义81,81,81,)(821xxxxPX41,41,41,41,)(4321xxxxxPX概率空间的变化表示了信息量的获得。概率空间的变化表示

16、了信息量的获得。解释：解释：一、信息度量一、信息度量- 4、信息量的定义、信息量的定义概率复习mjjijiijnijijijijijiijijijjijijijimjijinijjimjnijimjijnijimjjniijiijjijiminiyxpyxpxypyxpyxpyxpypxpyxpxpyxpypxypYXyxpypxypxpyxpxpyxpypyxpyxpxypyxpypxpyxpxypyxpypxpyyyyxxxxYX11111111112121)()()/(,)()()/()6()()()(),()/(),()/(,)5()/()()/()()()4()()(),()()3(

17、1)(, 1)/(, 1)/(, 1)(, 1)()2(1)(),/(),/(),(, )(0) 1 (:,相互独立时与当和分别取值于集合随机变量 1、定义、定义 什么是什么是离散信源离散信源：只能输出有限数量的消息（符号）的信源。：只能输出有限数量的消息（符号）的信源。 例如：抛硬币，英文字母例如：抛硬币，英文字母communication system，数字，数字1，0等等等等2、离散信源提供的、离散信源提供的平均平均信息量信息量-熵熵二、离散信源熵二、离散信源熵)(,),(),(,)(2121nnxpxpxpxxxxPX 消息状态数消息状态数=n 据定义据定义 因为因为 即即 即后验不肯

18、定度为即后验不肯定度为0 所以所以 -熵（信源提供熵（信源提供的不肯定程度）的不肯定程度） CIHH2102H0）（YXHXcppHIlog()11x2x1y2y熵的含义 熵是从整个集合的统计特性来考虑的，它是从平均意熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征信源的总体特征的。义上来表征信源的总体特征的。 在信源输出后，信息熵在信源输出后，信息熵H(X)表示每个消息提供的平均表示每个消息提供的平均信息量；信息量； 在信源输出前，信息熵在信源输出前，信息熵H(X) 表示信源的平均不确定性；表示信源的平均不确定性； 信息熵信息熵H(X) 表征了变量表征了变量X的随机性。的随机性。注意

19、：注意：信源熵又称为信息熵，是信源本身的属性信源熵又称为信息熵，是信源本身的属性 （不肯定程度）（不肯定程度）或解释为或解释为: :此种情况是在收信者能完全接收信息发出者所此种情况是在收信者能完全接收信息发出者所 发出的信息，没有干扰。发出的信息，没有干扰。信源本身的特性信源本身的特性 01. 099. 0: )(.21xpxxX：5 . 05 . 0: )(.:21ypyyY符号bitXH08. 0)(符号）（bityH11）输出符号前，信源的不肯定程度输出符号前，信源的不肯定程度 即平均平均输出每个符号的不肯定程度。输出每个符号的不肯定程度。bitxpIx0145. 099. 0log)(

20、log111bitxpIx64. 601. 0log)(log222nIxnpIxnpI2211)()(平均)(log)()(log)(2211xpxpxpxp21)(log)(iiixpxp2）输出符号后输出符号后, 每个消息所能提供的平均信息量每个消息所能提供的平均信息量个别事件的自不肯定程度个别事件的自不肯定程度。统计平均的解释：统计平均的解释：输出n个符号 bitHxPxpxPxp00)(1)(1)(0)(21210.511例：例：当p=0.5 H最大H=1bit当p=0 H最小H=0bit 必然事件当p=1时 H最小H=0bit 必然事件 )1log()1 (log)(ppppXHp

21、pxpxxX1,: )(,:21p)(xH0例；例； 英文信源英文信源 A Z，空格，空格等概出现，且互不相关情况下：等概出现，且互不相关情况下：字母（）bitHi7 . 4271log271271实际上不是等概的：实际上不是等概的： 例如：例如：e、t出现的概率大，出现的概率大， z、q出现的概率小出现的概率小 所以，所以，一次不均匀性一次不均匀性的概率空间为：的概率空间为：p38 表2-5 实际上：H（x）=4.065bit/符号)(.)()()(zpcpbpapzcba.英文中字母出现的概率英文中字母出现的概率符号概率符号概率符号概率空隙0.2 s0.052 y, w0.012 e0.1

22、05 h0.047 g0.011 t0.072 d0.035 b0.0105 o0.065 i0.029 v0.008 a0.062 c0.023 k0.003 n0.058 f, u0.0225 x0.002 l0.054 m0.021 j, q, z0.001 r0.053 p0.0175小计0.669小计0.2695小计0.0615也是有关联的：也是有关联的： 如不多出现aa，而必有qu ，实际上熵是还要进一实际上熵是还要进一步减小。步减小。 ，种情况使熵减小 （联合信源里进一步阐述）三、联合信源的共熵和条件熵三、联合信源的共熵和条件熵 有两个信源有两个信源X，Y分布如下：分布如下： )

23、(.)()()(:)(.321321nnxpxPxpxpxpxxxxX：)(.)()()()(.:321321mypypypypypyyyyYm则联合信源： )()()(: )(.:221112221212111mnmnnmmyxpyxpyxpxypyxyxyxyxyxyxyxyxXYniiippXH1log)(根据熵的定义：根据熵的定义： 所以联合信源的熵为所以联合信源的熵为 :称为称为共熵共熵 nimjjijiyxpyxpXYH11)(log)()(niir11niiq11niniiiiiqrrr11loglogiiqr 性质：性质： H（XY）H（X）+H（Y） 证明：证明： 引理：引理

24、：设设 ，有式：有式：（只有在（只有在时，上面等式成立）时，上面等式成立）rrnnrrnrqrqrq)(.)()(212211nnnnrrrrqrrqrrqr.)(.)()(21222111证明引理：证明引理：几何平均：几何平均：算术平均：算术平均：nnnrqrrqrrqr个个个取.,2221111r1q1)(.)()(212211rrqrrqrrqnnn0log.loglog222111nnnrqrrqrrqr因为因为 由数学手册得知：由数学手册得知： 算术平均算术平均几何平均几何平均上式为：上式为：两边取对数：两边取对数：0log1iiniirqrniiiiniirrqr110loglog

25、iniiiniirrqrloglog11或写成：或写成：引理证明完毕引理证明完毕yxypxp)()(xxypyp)()(因为：因为： 贝叶斯公式：贝叶斯公式：)()()()()(yxpypxypxpxyp所以所以 )(XHXxyxpxypxpxp)(log)()(log)()(YHxyyypxypypyp)(log)()(log)( 概率公式：概率公式：xyxyp1)( 相当于引理中的相当于引理中的 irxyypxp1)()(相当于引理中的相当于引理中的 iq所以共熵： xyxypxypXYH)(log)()(用引理用引理 XYypxpxyp)()(log)( XYXYypxypxpxyp)(

26、log)()(log)( )()(YHXH定理证毕定理证毕 独立信源：独立信源： H（XY）H（X）+H（Y） 等式成立等式成立 同一信源：同一信源： H（XX）=H（） （每次两个符号）（每次两个符号）称为同一信源的称为同一信源的二次延长二次延长 ）（）（）（）（XHXHXHXH22推广到一般性：推广到一般性：K次延长次延长 ）（）（XKHXHK)()()(ypxpxyp启示：启示：数码压缩的原理：数码压缩的原理：K个符号单独考虑，比K个符号一起考虑的熵大，反过来讲，K个符号一起考虑比K个符号单独考虑熵要小一些。 ）（）（XKHXHK意味着：意味着：平均到单个符号的效率降低（实际情况）。问题

27、：问题：单个符号的熵能否提高？提高到什么程度？ 结论：结论：符号的单独考虑所具有的效率（熵）是其固有特性，这就是目标。上式给出了可能性，但未指出方法。（信源编码，第三章） 解释：解释：）（）（XHXH22英文字母独立 4.7 bit一次不均匀性一次不均匀性 4.06 bit 相关性：相关性：收到第一个X之后，第二个X就容易推测即： a_ 后的这一位一定小于27种状态。对英文信源：对英文信源：X2 与与X的区别是，的区别是， X2的的概率空间概率空间是是272 种状态，而种状态，而X只有只有27种（种（26个字母、空格），个字母、空格），概率概率空间的改变导致熵的改变。空间的改变导致熵的改变。一

28、般来讲，信源熵的变化是由于：一般来讲，信源熵的变化是由于： 1. 单信源分布的不均匀单信源分布的不均匀2. 符号之间有联系（不独立）符号之间有联系（不独立）3. 多符号组合成一个大符号为多符号组合成一个大符号为 压缩的前提。压缩的前提。 由于由于)()()(xypxpxyp)()(log)()(XYxypxpxypXYH)(log)()(log)(XYXYxypxypxpxypXXYxypxypxpxp)(log)()(log)()()(XYHXH条件熵条件熵思考：求条件熵时为什么要用联合概率加权？条件熵解释：条件熵解释：ix的情况下，求的不肯定度。YijijixypxypxYH)(log)(

29、)()/(XYH已知：已知：)/(log)()/(log)/()()/()(ijXYjiYijijXiXiixypyxpxypxypxpxYHxpH(Y/X)很容易证明：很容易证明：)()(YHXYHY关于X的条件熵)()()(XYHXHXYH )()(YXHYH 又因为：)()()(YHXHXYH 比较上边的式子，所以：)()(XHYXH证明：证明：因为因为启示：启示：预测编码的基础：预测编码的基础：收到收到Y后后 对对 X的推测容易些。发信端与收信的推测容易些。发信端与收信端可以根据前边的码序列预测后边的码字。而实际发送的码字端可以根据前边的码序列预测后边的码字。而实际发送的码字序列为实际

30、的码字之差，这样在信道上传递的码字效率高。序列为实际的码字之差，这样在信道上传递的码字效率高。例如：例如：DPCM调制技术调制技术计算举例计算举例例1：X ,Y两个信源，其概率分布如下：10120120721012072011321,xxyyyyxpji求：H(X)、 H(Y)、 H(XY)解：因为解：因为 jjjiiyxpxp1iijijyxpyp1所以所以 212121xpxxx 515252321jjypyyyy10120120721012072011321,xxyyyyxpji单独信源：H(X)=1bit/符号 H(Y)=1.5219bit/符号每对/1568. 2logbitxypx

31、ypXYHXY而：而： H(X)+H(Y)=2.5219bit/每对 所以有关联的情况下所以有关联的情况下H(XY)H(X)+H(Y)例2：有两个信源 X:A, B, C Y:D, E, F, G概率如下： X: A B C P(X): 1/2 1/3 1/661103416151412151416110341GFEDCBApxy xy由由 P(XY)=P(X)P(Y/X)，得，得36110181361151811211518136110181GFEDCBAXYpbitxypxypXYHXY414. 3logxy bitxpxpXHX4591. 1log xyijXYpxypHlog1）、（两

32、种计算方法）bitXYH9557. 1)/(用公式计算用公式计算)()(2XHXYHHXY）、思考题：思考题：求：求：H(Y)=?Xxypyp)()(先求：)()()/()(贝叶斯公式再求：xypyxpyp例例3：同一信源连续输出符号之间的相关性：同一信源连续输出符号之间的相关性41943611321210 xxx 978192431128111902100210ijp 符号/5426. 1log31bitppXHiii367181181311811814102100210jip 符号/8717. 0logbitpijpHijijXX所以，熵下降（因为相关性）所以，熵下降（因为相关性）0.87

33、171.542 即即 )/()()(:ijpipijp因为)(XHHXX四、消息的剩余度四、消息的剩余度1、什么是剩余度？、什么是剩余度？ 在例3中，当3个事件为等概出现时，p(x)=1/3且 无关联时： 符号/585. 13logmaxbitXH而例3实际计算出1.542bit/符号解释：解释：对信源 4321xxxx同表示同表示12bit 的信息的信息熵熵max是：是：2bit/符号符号-6个符号个符号非非max是：是：1.2bit/符号符号-10个符号个符号（由于不等概或有关联，（由于不等概或有关联，H（X）下降）下降）所以信源每个符号所以信源每个符号没有物尽其用。没有物尽其用。等概：等

34、概：H（X）=2 bit2、剩余的定义：、剩余的定义：相对熵： XHXHmax最大熵实际熵多余度：多余度： XHXHEmax11例：以符号是英文字母的信源为例，英文字母加上空格共 有27个，则最大熵为符号/76. 427log)(2maxbitXH但实际上，用英文字母组成单词，再由单词组成句子时，英文字母并不是等概率出现，比如我们知道在英语中E出现的概率大于Q出现的概率。对在英文书中各符号的概率加以统计，可以得出各个字母出现的概率，由此得出第一级近似为无记忆信源的熵：2711/03. 41logiiibitppH符号 再考察英语的结构得知，要组成有意义的单再考察英语的结构得知，要组成有意义的单

35、词，英文字母的前后出现是有依赖关系的，当前词，英文字母的前后出现是有依赖关系的，当前面某个字母出现后，后面将出现什么字母，并不面某个字母出现后，后面将出现什么字母，并不是完全不确定的，而是有一定的概率分布。例如是完全不确定的，而是有一定的概率分布。例如字母字母T后面出现后面出现H、R的可能性较大，出现的可能性较大，出现J、K、L、M、N的可能性极小，而根本不会出现的可能性极小，而根本不会出现Q、F、X。 考虑到字母之间的依赖性，可以把英语信源考虑到字母之间的依赖性，可以把英语信源做进一步精确的近似，做进一步精确的近似，看作一阶或二阶马尔可夫看作一阶或二阶马尔可夫信源，这样可以求得：信源，这样可

36、以求得：因此可知，在信源所输出的序列中依赖关系越复杂，信息熵就因此可知，在信源所输出的序列中依赖关系越复杂，信息熵就越小。实际上，英文信源的信息熵比还要小得多，一般认为，越小。实际上，英文信源的信息熵比还要小得多，一般认为， 。 因此，信息效率和冗余度为因此，信息效率和冗余度为符号符号/1 . 3/32. 332bitHbitH71. 01,29. 0maxEHHbitXH1)( 这说明用英文字母写成文章时，有这说明用英文字母写成文章时，有71%是由语言结构、是由语言结构、实际意义等确定，而剩下只有实际意义等确定，而剩下只有29%是写文字的人可以是写文字的人可以自由选择的。这也就意味着在传递或

37、存储英语信息时，自由选择的。这也就意味着在传递或存储英语信息时，只需要传送或存储那些必要的信息，而有关联的则可只需要传送或存储那些必要的信息，而有关联的则可以大幅度地压缩。例如以大幅度地压缩。例如100页的英文书，大约只要存储页的英文书，大约只要存储29页就可以了，其中的页就可以了，其中的71页可以压缩掉，这压缩掉的页可以压缩掉，这压缩掉的文字完全可以根据英文的统计特性来恢复。信源的文字完全可以根据英文的统计特性来恢复。信源的冗余度冗余度正是表示这种信源可压缩的程度的。正是表示这种信源可压缩的程度的。 从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。如发中文电报时，为了经济和节省时间，

38、总希望在原意不变的情况下，尽可能地把电文写得简洁些。也就是说，实际的通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，这就是所谓的信源编码。信源编码。 但是，冗余度也有它的用处，因为冗余度大的消息具有强的抗干扰能力。当干扰使消息在传输过程中出现错误时，我们能从上下关联中纠正错误。例如我们收到“中中X人民人民X和和国国”时，我们很容易把它纠正为“中华人民共和国”。 但若我们收到的是压缩后的“中国”，而出现了错误变成了“X国”，就很难肯定发出的是“中国”、“美国”，由此将会造成很大的错误。所以，从提高抗干扰能力的角度来看，总是希望增加或者保留信源的冗余度，或者是传输之前在信源编码后去

39、除冗余的符号序列里加入某些特殊的冗余度，以达到通信系统理想的传输有效性和可靠性，这就是所谓的信道编码。信道编码。思考题：思考题： XHXXH)/()/(21XXHXXH XH）（）（XKHXHKK 大大）（KXHK1汉字信源：汉字信源：常用10000个 符号/288.1310000logmaxbitxH760003.0177510.048535.01405 .0760017754851404321现概率每字出字数：分组： 符号/77448. 9log1000011bitppXHiii实际上 符号/472. 91bitXH所以，%30288.13472. 91E结论：由此可见，汉字的效率高。 举

40、例：多余度的利用：从信源讲压缩多余度从接收讲利用多余度小结：本节重点小结：本节重点1.独立信源的熵：（个别事件、信源平均）独立信源的熵：（个别事件、信源平均）niippxHlog)(2、联合信源的共熵为：（相关性）联合信源的共熵为：（相关性）nimjjijiyxpyxpxyH11)(log)()( 3、条件熵：（相关性）、条件熵：（相关性）XYxypxypxyH)(log)()/(4、共熵与条件熵之间的关系、共熵与条件熵之间的关系)()()(YHXHXYH)()()(XYHXHXYH)()(YXHYH5、剩余的概念：、剩余的概念： xHxHEmax11作业：作业：2-5、2-6、2-7我们将讨

41、论信源编码和信道编码，通过讨论，可以进一步理解：信源编码就是通过减少或消除信源的冗余度来提高传输效率；信源编码就是通过减少或消除信源的冗余度来提高传输效率；而信道编码则是通过增加信源的冗余度来提高抗干扰能力。而信道编码则是通过增加信源的冗余度来提高抗干扰能力。举例：多余度的利用：从信源讲压缩多余度从接收讲利用多余度 名称 符号 关 系 图 示 无 条 件 熵 条 件 熵 条 件 熵 联 合 熵 交 互 熵)/()()();()/()/()(XYHXYHXHYXIYXHYXHXH)(XH)(YH)/(YXH)/(XYH)()(YXHXYH);();(XYIYXI)/()()();()/()/()

42、(YXHXYHYHYXIXYHXYHYH);()()()()/(YXIXHYHXYHYXH);()()()()/(YXIYHXHXYHXYH);()/()/();()()()/()()/()()(YXIXYHYXHYXIYHXHYXHYHXYHXHXYH)()()()/()/()()/()()/()();(XYHYHXHYXHXYHXYHXYHYHYXHXHYXIYXYXYXYXYXYX各种熵之间的关系各种熵之间的关系 五、连续信源的熵五、连续信源的熵 1、定义： 语言，电视信号均为连续的模拟信号连续的模拟信号，当然也是随机的，当然也是随机的， 为连续的随机过程。为连续的随机过程。 实际某些信

43、源的输出常常是时间和取值都是连续的消息。 例如语音信号、电视信号。这样的信源成为随机波形信源，其 输出消息可以用随机过程x(t)来表示。 随机过程x(t)可以看成由一族时间函数组成称为样本函数。 每个样本函数是随机过程的一个实现。 1）随机波形信源中消息数是无限的。 2）随机波形信源可用有限维概率密度函数族以及与各维 概率密度函数有关的统计量来描述。随机过程x(t) 随机过程随机过程x(t) ：是时间的函数，发生前：是时间的函数，发生前不可预测。不可预测。 可以看成由一族时间函数可以看成由一族时间函数xi(t) 所组成，其中所组成，其中i1，2，3，并称，并称xi(t)为样本函数，如下图所示。

44、为样本函数，如下图所示。随机过程x(t) 输出之前不可预测；存在上图多条（实际上是无数条）曲线的可能。 输出之后是一个实现； 随机过程x(t)可以看成由一族时间函数组成称为样本函数。 每个样本函数是随机过程的一个实现。 1）随机波形信源中消息数是无限的。 2）随机波形信源可用有限维概率密度函数族以及与各维 概率密度函数有关的统计量来描述。随机波形信源的特点(1) 无数个样本 随机波形信源中消息数是无限的。(2) 可用有限维概率密度函数概率密度函数族以及与各维概率密度函数有关的统计量来描述。 随机过程x(t)随机变量：在某一固定的瞬时时刻t = tk ，各个样本函数的取值：xi(tk) ，成为一

45、个连续型的随机变量Xtk。 （上图横向纵向均连续）（上图横向纵向均连续） 描述：用有限维概率密度函数族以及与各维概率密度函数有关的统计量来描述其统计特性：p1(x1, t1) (在t1时刻，上图x1(t1)值的概率分布)p2(x1, x2, t1, t2) pn(x1, x2, , xn, t1, t2, , tn )n 描述越精确对于带宽受限的连续信号，没有必要传输的全部样值。数字化的过程：抽样、量化、编码数字化的过程：抽样、量化、编码 1）根据奈奎斯特取样定理，以 2w速率取样，样值能代 表原信号。)(tft1x2x3x4x5xnx取样过程：信号带宽为取样过程：信号带宽为 w如果信号持续时

46、间长度为：如果信号持续时间长度为：T，样值点为：样值点为：n=n=2wT 取样间隔取样间隔: : w21 2） 概率分布密度函数概率分布密度函数)(xpxabi第第i个区间的概率为：个区间的概率为： dxxppiaiai)()1(将取值范围量化： nab在第在第 i个个区间区间 离散信源的熵值：离散信源的熵值： ippxHlog)( 此时，连续变量X就可以用取值为 的离散变量 来近似。连续信源X被量化为离散信源：且ix), 2 , 1(ninX)(,)(,)(,2211nnnxpxxpxxpxPX1)()()(1) 1(1baniiaianiidxxpdxxpxp这时离散信源 的熵是：当 时，

47、离散随机变量 趋于连续随机变量X，而离散信源 的熵 的极限值就是连续信源的信息熵。nXiiiiiiiiiiinxpxpxpxpxpPPXHlog()(log)()(log)(log)(）0,nnXnX)(nXH一般情况下，上式的第一项是定值，而当时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵连续信源的熵为：baniiniiinnndxxpxpxpxpxpXHXHloglim)(log)()(loglim)(log)(lim)(lim)(0RdxxpxpXh)(log)()(相对熵相对熵绝绝绝（HdvHdvHvHdv1loglim)loglim)(00dv由上式可知，所定义的连续

48、信源的熵并不是实际信源输出的绝对熵绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。这一点可以这样理解： 因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。 既然如此，那么为什么还要那样来定义连续信源的熵呢？ 一方面，因为这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）； 另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵 称为差熵，以区别于原来的绝对熵。)(Xh连续信源的

49、熵是一个比无穷大( )大多少的相对量相对量，不是绝对量，而离散信源定义的，不是绝对量，而离散信源定义的熵是一个绝对熵，二者不同。熵是一个绝对熵，二者不同。传信率，信道容量都指的是熵的差。无穷大项相互抵消。 例：同一信源，幅度放大两倍例：同一信源，幅度放大两倍 )(vp)(vp21412613vvbitdvvHbitdvvH241log41)(121log21)(26221311101020dv12loglim1)log2(loglim)loglim)(2dvHdvHdvHvHdvdvdvdv（绝绝绝必须小心使用必须小心使用连续熵的定连续熵的定义公式义公式结果不正确结果不正确2、连续信源的最大熵

50、、连续信源的最大熵问题的提出：对离散信源，最大熵的条件是等概率分布情况。问题的提出：对离散信源，最大熵的条件是等概率分布情况。 对连续信源，对连续信源， 为什么样的函数时，为什么样的函数时， 信源的信源的熵最大熵最大？用泛函推出：（泛函：函数的函数）用泛函推出：（泛函：函数的函数）求条件极值：采用求条件极值：采用变分法变分法归纳如下：归纳如下：在若干限制条件下：在若干限制条件下：mbambaKdxpxKdxpx),(),(11求积分（泛函）求积分（泛函） ：badxpxFg),( 为为极值时极值时的的 这一函数，式中，这一函数，式中， 为常数为常数MKKK21,)(xpp )(xp对积分求对积

51、分求极值极值，只要保证满足给定的约束条件，只要保证满足给定的约束条件，可以构造一个函数：可以构造一个函数：dxpxdxpxdxpxFbammbaba),(),(),(11其中，其中， 为待定系数为待定系数 m,21求求 的极值相当于求的极值相当于求 的极值的极值 badxpxFg),(对对 求导，求导，0 p0)(11dxpppFmmba011pppFmm)(log)(),(xpxppxF找出找出: 相对熵定义相对熵定义 )(xp讨论两种情况：讨论两种情况：1. 信源输出幅度即峰值功率受限信源输出幅度即峰值功率受限2. 信源输出平均功率受限信源输出平均功率受限这里设：这里设：1、信源输出幅度即

52、峰值功率受限、信源输出幅度即峰值功率受限)(xpvvvv)(xft)(log)(),()(),(1)(|1xpxppxFxppxdxxpVxVV约束条件)(log1 xppF因为：约束条件约束条件1：11),(Kdxpxba11p)(),(1xppx即：111)(0)(log1 expxp可得：所以有： 011pppFmm取以取以e为底为底1211Ve111dxeVV代入限定条件（代入限定条件（1）VxpVe21)(2111约束条件约束条件1：VVdxxp1)(11)(exp均匀分布均匀分布 )(xpxvv相当于等概分布相当于等概分布 Vxp21)(VVdxxpxpXH)(log)()(VVd

53、xVVVV2log21log21log21当当时，最大熵为时，最大熵为 svvs,2svXH2log2log)()log()(abXH峰值功率受限：峰值功率受限：一般情况下：一般情况下：a-b 区间，最大熵的计算：区间，最大熵的计算： 结论：结论：对输出幅度（瞬时功率）受限的信源，其输出最大熵对输出幅度（瞬时功率）受限的信源，其输出最大熵 条件是输出在该范围内条件是输出在该范围内均匀分布，均匀分布，其输出最大熵为其输出最大熵为 的倒数的对数。的倒数的对数。 )(xp2) 1 (1)(dxxp)2()(22dxxpx2.平均功率受限情况：平均功率平均功率受限情况：平均功率平均功率受限平均功率受限

54、定义式定义式 约束条件为：约束条件为：221, 1)(log1xPPxPPF02211PPPF所以：所以：将上式代入将上式代入约束条件约束条件0)(log1221xxp2211)(xeexp为为解得：解得：1)(dxxp122122111dxeedxeexx 1211e211e所以：所以：查数学用表：可知查数学用表：可知)0(2022aadxexa2222aadxexa222dxex2212221)(dxexedxxpxx2211)(xeexp将将约束条件（约束条件（2）22)(dxxpx- 21)(2121e2222221212221所以所以211e查数学用表：可知查数学用表：可知aandx

55、exnnaxn1022)!12(2) 1,(21222naaadxexax2211)(xeexp211e因为：因为：高斯分布）最后得：(21)(222xexp2221而：而：bitenateedxxpxdxxpxdxxpdxexpXHeex222222222222log44. 1log21log)(212log)()2()2log)()21)(log(）（结论：结论： 平均功率受限条件下，平均功率受限条件下，具有具有正态分布正态分布的连续信的连续信源，熵最大，其大小随源，熵最大，其大小随平均功率的增加而增加。平均功率的增加而增加。（概率论中的中心极限（概率论中的中心极限定理，噪声通信，伪噪定理

56、，噪声通信，伪噪声通信）声通信） 3、熵功率、熵功率1）平均功率为N（非高斯分布的非高斯分布的） 可计算出熵为H（用定义式计算） 在同样熵H的条件下，信源是正态分布的功率要比 非正态分布的功率小功率小。2）同样的H，可计算出高斯分布信源的平均功率NeeNeHHNe2log22为剩余度即NNNN一定有：RdxxpxpXh)(log)()(结论：结论：非高斯信源是有剩余信源非高斯信源是有剩余信源即有剩余功率信源。即有剩余功率信源。 即：相当于离散信源的一次分布不均匀性的信源。即：相当于离散信源的一次分布不均匀性的信源。 同理，可以定义两个连续变量X、Y的联合熵和条件熵，即RRRdxdyyxpyxp

57、ypYXhdxdyxypxypxpXYhdxdyxypxypXYh)/(log)/()()/()/(log)/()()/()(log)()(4、二元联合信源的共熵、二元联合信源的共熵 )()()()()()()()(xHyxHyHxyHyxHyHxyHyHxyH（也有：条件熵：相绝与绝对熵的区别（HHdxxpxpxH. 2)(log)()Vxp21)(VVdxxpxpxH)(log)()(V2log重点：重点：1.相对熵的概念相对熵的概念 3.最大熵条件最大熵条件峰值功率受限：峰值功率受限：均匀分布均匀分布，当时，最大熵平均功率受限：平均功率受限：高斯分布高斯分布bitenateXHexpee

58、x2222222log44. 1log(21)(）（最大熵：高斯分布）当：之区别与NN4.熵功率定义熵功率定义 为剩余度即NNNNXppXHlog)()()(XHnXH1、信源熵速率、信源熵速率定义：信源在单位时间内输出的熵（平均信息量）称为信源的定义：信源在单位时间内输出的熵（平均信息量）称为信源的 熵速率，也称信息速率。熵速率，也称信息速率。单位：单位：bit/s, nat/s, hat/s 、离散信源的熵速率：、离散信源的熵速率： 每秒发出： n个符号/秒 熵速率熵速率：六、熵速率与信道容量六、熵速率与信道容量dxxpxpxH)(log)()(dxxpxpwxH)(log)(2)( 、连

59、续信源的熵速率：、连续信源的熵速率： 带宽带宽w样点样点2w/s 2、信道容量、信道容量定义：信道对信源的一切可能的概率分布而言能够传送的最大定义：信道对信源的一切可能的概率分布而言能够传送的最大 熵速率。熵速率。 )(maxXHC 信道容量是信道本身的一种信道容量是信道本身的一种参数参数。信道容量的解释：信道容量的解释：信道和信源的匹配情况信道和信源的匹配情况X: x1 x2p(x) 1/2 1/2 2400bit/s H(x)=CP(X) 0.99 0.01 2400baud H(x)C要点：波形速率（要点：波形速率（bit/s）和信息速率）和信息速率(baud)的不同的不同.KXHlog

60、)(maxKnClog 、离散信道：、离散信道：K个符号的信源 n/s 符号/秒 称为：匹配编码称为：匹配编码2eNeNewwXHCeXH2max2maxlog22)(log)( 连续信道：连续信道： 信道带宽为信道带宽为w 平均功率为：平均功率为：N（即，（即， ）噪声具有高斯分布，所以噪声具有高斯分布，所以信号模拟成噪声信号模拟成噪声具有最高的熵值具有最高的熵值伪噪声通信伪噪声通信：对模拟信道与模拟通信来讲最合适：对模拟信道与模拟通信来讲最合适问题：问题：在有噪信道中传输信息，收到的熵与发出的熵到底在有噪信道中传输信息，收到的熵与发出的熵到底 差多少呢？差多少呢？引出计算问题引出计算问题