第2章 信源熵

1、上次课的回顾上次课的回顾 l什么是信息？信号，消息，信息的区别什么是信息？信号，消息，信息的区别？ l通信系统模型通信系统模型 lShannon信息论重点研究内容？信息论重点研究内容？ 通信系统模型通信系统模型 信源编码器信道译码器 噪声源 信宿 干扰 消息信号 信号干扰 消息 n对信息论的学习从对信息论的学习从信源信源开始开始 n由于信源发送什么消息预先是不可知的，只能用由于信源发送什么消息预先是不可知的，只能用概率概率 空间空间来来描述描述信源。信源。 随机变量X、Y分别取值于集合 1212 , , , , , , injm a aaab bbb、 |1,2, , 1,2, ij ab i

2、n jm， 联合随机变量XY取值于集合 ()(,) ijij p abP Xa Yb 记记 概率论知识复习概率论知识复习 满足下面一些性质和关系： 0( )( )()()() 1 ijjiiji j papbpb apa bpab、 111 ()1,()1 nmn ijij iji p a bp ab 11 ()( ),()( ) nm ijjiji ij p abp bp abp a 111 ( ) 1 ( ) 1, () 1, nmm ijji ijj p ap bp b a ， 1 2 3 无条件概率、条件概率、联合概率无条件概率、条件概率、联合概率 ()( ) () ()()()( )

3、 ijij jijiji p abp a p b p bap bp a bp a ， XY当 与 相互独立时 ()( ) ()( ) () i jjijiji pabpb pa bpa pb a 11 ()() ()() ()() ijij ijji nm ijij ij p abp ab p a bp b a p abp ab ， 4 5 6 问题的引出问题的引出 l信息论的发展是以信息可以度量为基础的，信息论的发展是以信息可以度量为基础的，度量信息度量信息的的 量称为量称为信息量。信息量。 l对于随机出现的事件，它的出现会给人们带来多大的信对于随机出现的事件，它的出现会给人们带来多大的信

4、息量？息量？ l举例：举例： l甲告诉乙甲告诉乙“你四级考过了你四级考过了”，那么乙是否得到信息？，那么乙是否得到信息？ 丙再次告诉乙同样的话，那么乙是否得到信息？丙再次告诉乙同样的话，那么乙是否得到信息？ 第第2章章 信源熵信源熵 信源信源 离离 散散 信信 源源 连连 续续 信信 源源 单符号单符号 多符号多符号 随机变量随机变量 随机矢量随机矢量 随机过程随机过程 信源分类信源分类 2.1 单符号离散信源单符号离散信源 单符号信源单符号信源信源每次输出一个符号信源每次输出一个符号, ,用离散用离散随机变量随机变量描述描述 多符号信源多符号信源信源每次输出多个符号信源每次输出多个符号( (

5、符号序列符号序列) )，用离散，用离散 随机矢量随机矢量描述描述 离散信源离散信源信源符号取值离散，包括单符号和多符号信源信源符号取值离散，包括单符号和多符号信源 连续信源连续信源信源符号取值连续，用信源符号取值连续，用随机过程随机过程描述描述 结论结论 从概率、随机变量从概率、随机变量( (过程过程) )来研究信息来研究信息 对事物状态对事物状态( (存在方式存在方式) )不确定性的描述不确定性的描述 对于离散随机变量，取值于集合对于离散随机变量，取值于集合 单符号离散信源的数学模型为单符号离散信源的数学模型为 12 , , , , , in aaaa ()() ii p aP Xa对任一对

6、任一X X记记 2.1.1 单符号离散信源的数学模型单符号离散信源的数学模型 12 12 , (), (), ( ), ()() in in xxxx p xp xp xp xP X X 1)(, 0)( 1 n i ii xpxp 需要注意需要注意的是：的是：大写字母大写字母代表代表随机变量，随机变量，指指 的是信源的是信源整体。整体。带下标的带下标的小写字母小写字母ai代表随机事件代表随机事件 的的某一结果某一结果或信源的或信源的某某个元素个元素, ,两者不可混淆。两者不可混淆。 一、信息量一、信息量 信息量信息量 2.1.2 自信息和信源熵自信息和信源熵 自信息量自信息量1 定义定义：

7、22 1 ( )loglog( ) ( ) ii i I xp x p x 计算信息量主要注意有关事件发生概率的计算计算信息量主要注意有关事件发生概率的计算; ; 自信息量自信息量 I(xi) 的含义的含义 当事件当事件xi发生以前，表示事件发生以前，表示事件xi发生的不确定性；发生的不确定性； 当事件当事件xi发生以后，表示事件发生以后，表示事件xi所提供的信息量；所提供的信息量； 自信息量的单位自信息量的单位 自信息量的单位取决于对数的底；自信息量的单位取决于对数的底； 底为底为2，单位为，单位为“比特（比特（bit）”； 底为底为e，单位为单位为“奈特（奈特（nat）”； 底为底为10，

8、单位为，单位为“哈特哈特(笛特笛特)（hat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit； u从从26个英文字母中，随即选取一个字母，则该事件的自信个英文字母中，随即选取一个字母，则该事件的自信 息量为息量为 I = -log2(1/26) = 4.7 比特比特 u设设m比特的二进制数中的每一个是等概率出现的比特的二进制数中的每一个是等概率出现的(这样的数这样的数 共有共有2m个个)，则任何一个数出现的自信息为，则任何一个数出现的自信息为: I = -log2(1/ 2m) = m 比特比特/符号符号 练习练习 u在你不知道今天是星期几的情况下，问朋友在你不知道

9、今天是星期几的情况下，问朋友“明天是星期几明天是星期几”则答则答 案中可能存在的信息量是多少？如果你知道今天是星期四提出同样案中可能存在的信息量是多少？如果你知道今天是星期四提出同样 的问题则答案所含信息量是多少？的问题则答案所含信息量是多少？ A事件事件-不知道今天是星期几的情况下，问朋友不知道今天是星期几的情况下，问朋友“明天是星期几明天是星期几” B事件事件-知道今天是星期四明天是星期几知道今天是星期四明天是星期几 1 ( ) 7 p A ( )1p B 2 log( )log 72.807 log( )log10 I Ap Abit I Bp Bbit 例例2.1.1 这四种气候的自信

10、息量分别为这四种气候的自信息量分别为 : : 1234 ( ), ( ), ( ), ( ) 1111 ( ), , , 2488 aaaa X P X 晴阴雨雪 某地二月份天气的概率分布统计如下：某地二月份天气的概率分布统计如下： 1 I(ai) 0)(1)( ii aIap时，当2 )(0)( ii aIap时，当3 )()( ii apaI是 的的函数。函数。4 自信息量的性质自信息量的性质 n i m j jib ap 11 1)(。 )(,),(,),(,),( , , , , , , 1111 1111 mnnm mnnm bapbapbapbap babababa )( XYP

11、XY ，其中), 2 , 1;, 2 , 1( 1)(0mjnibap ji 联合自信息量联合自信息量 针对两个符号离散信源针对两个符号离散信源 ()log () 2.1.4 ijij I abp ab（） 2.1.5 )()(）（ ji bIaI ()( ) (), ijij p abp a pYbX当 与 相互有独立时， 代入式代入式(2.1.3)就有就有 )(log)(log)( jiji bpapbaI 定义：定义： ) b6 . 1 . 2 ( )(log)( ijij abpabI ）（2.1.6a )(log)( jiji bapbaI 条件自信息量条件自信息量 定义：定义： 联

12、合自信息量和条件自信息也满足联合自信息量和条件自信息也满足非负和单调递减性，非负和单调递减性，同时，同时， 它们也都是随机变量，其值随着变量它们也都是随机变量，其值随着变量 的变化而变化。的变化而变化。ij ab、 三者之间的关系三者之间的关系 二、互信息量和条件互信息量二、互信息量和条件互信息量 1 信源信源X 信宿信宿Y 有扰信道有扰信道C 干干 扰扰 源源 N 离散信源X的数学模型为 1 0( )1,( )1 n ii i p ap a )(,),(,),(),( , , , , , )( 21 21 ni ni apapapap aaaa XP X 信宿信宿Y Y 的数学模型为的数学模

13、型为 m j jj bpbp 1 1)(, 1)(0 )b (,),(,),(),( b , ,b , ,b , )( 21 21 mj mj pbpbpbp b YP Y 如果如果信道理想，信道理想，发出发出ai，收到收到ai，则所获得的信息量则所获得的信息量ai的不确定的不确定 度度I(ai)；如果；如果信道不理想，信道不理想，发出发出ai，收到收到bj,由由bj推测推测ai的概率。的概率。 () ( ;)log 2.1.7 ( ) (1,2, ;1,2,) ij i i j i j p a b I a b p a i b j a nm 定义 对 的互信息量为 （） 互信息量的定义互信息量

14、的定义1 1 信源发出消息信源发出消息ai的概率的概率P(P(ai) )称为称为ai的的先验概率先验概率，信宿收信宿收 到到bj 后推测信源发出后推测信源发出ai的概率的概率P(P(ai/ bj) )称为称为ai的的后验概率后验概率。 例例2.1.2 继续讨论上一节的例题，即某地二月份天气构成的信源为继续讨论上一节的例题，即某地二月份天气构成的信源为 8 1 , 8 1 , 4 1 , 2 1 )( ),( ),( ),( )( 4321 雪雨阴晴aaaa XP X “今天不是晴天今天不是晴天”作为收到的信息作为收到的信息b1，计算，计算b1与各天气之间的互信与各天气之间的互信 息量。息量。

15、今天不是晴天。把这句话作为收到的信息今天不是晴天。把这句话作为收到的信息b1，当收到当收到b1后，各种天后，各种天 气发生的概率变成后验概率。其中气发生的概率变成后验概率。其中 。 4 1 )( 14 bap , 2 1 )( 12 bap, 0)( 11 bap , 4 1 )( 13 bap 。种天气之间的互信息量与各，可以计算出依据式 1 )7.1.2(b 之间的互信息量。与 ，不必再考虑，因对天气 11 111 0)( ba bapa )(1 41 21 log )( )( log);( 2 2 12 212 bit ap bap baI 可计算出对天气 2 a 134 baa同理可计

16、算出 对、的互信息量 。)(1);();( 1413 bitbaIbaI 1234 1234 1 1 baaabit baaa bit 这表明从 分别得到了、 、各的信息量。 也可以理解为消息 使、 、 的不确定度各 减少了。 )8 . 1 . 2( )()( jii baIaI )(log)(log);( jiiji bapapbaI (2.1.9) ), 2 , 1;, 2 , 1( )( )( )( )( log);( mjni abIbI bp abp abI ijj j ij ij ij ab同样的道理，可定义 对 的互信息量为 互信息量的定义互信息量的定义2 2 通信前 ij ab

17、“输入端出现 和输出端出现”的概率 )()()( jiji bpapbap 先验不定度（联合自信息量） )()( 1 log)( ji ji bpap baI 发送发送 接收接收 互信息量的定义互信息量的定义3 3 输入输出端的联合概率 )()()()()( jijijiji bapbpabpapbap 后验不定度 )( 1 log)( ji ji bap baI 通信后发送发送接收接收 这样，通信后流经信道的信息量，等于通信前后不这样，通信后流经信道的信息量，等于通信前后不 定度的差定度的差 ), 2 , 1;, 2 , 1( )()( )( logmjni bpap bap ji ji )

18、( 1 log )()( 1 log jiji bapbpap (2.1.10) )()();( jijiji baIbaIbaI (2.1.11) );();( ijji abIbaI 互信息的性质互信息的性质 对称性对称性 当当X X 和和Y Y 相互独立时，互信息为相互独立时，互信息为0 0 1 2 2 ()() () ijij p abp a p b () ;log =log1=0 ( ) () ij ij ij p ab I a b p a p b （） )()/( iji apbap )()/( iji apbap 互信息量可为互信息量可为正值正值或或负值负值 3 互信息量为正，互

19、信息量为正，bj使使ai的不确定度减小，的不确定度减小， 上例中，上例中，“今天不是晴天今天不是晴天” 互信息量为互信息量为0，二者相互独立，二者相互独立， “今天我很高兴今天我很高兴” 互信息量为负，互信息量为负，bj没有使没有使ai的不确定度减小，的不确定度减小， “今天有风今天有风”。 )()/( iji apbap 条件互信息量条件互信息量 )( )( log);( ki kji kji cap cbap cbaI (2.1.13) 3 联合集联合集XYZ中中,给定条件给定条件ck下，下，ai与与bj之间的互信息量，之间的互信息量， 其其 定义式如下所示：定义式如下所示： (2.1.1

20、4) 小结小结 l信源类型信源类型 l信息量及性质信息量及性质 l互信息量及性质互信息量及性质 问题的引出问题的引出 1212 ( )( ) , ( )( )0.990.010.50.5 XYaabb P XPY 晴（雨）晴（雨） X与与Y哪个信源的不确定度小？哪个信源的不确定度小？ 通常通常研究单独一个事件研究单独一个事件或或单独一个符号单独一个符号的信息量是的信息量是不够不够 的，往往需要的，往往需要研究整个事件集合或符号序列研究整个事件集合或符号序列( (如信源如信源) )的平均的平均 信息量信息量( (总体特征总体特征) )，这就需要引入新的概念。，这就需要引入新的概念。 三、信源熵三

21、、信源熵 已知单符号离散无记忆信源的数学模型已知单符号离散无记忆信源的数学模型 n i ii apniap 1 1)(, 2 , 1, 1)(0 且其中 )(,),(,),(),( , , , , , )( 21 21 ni ni apapapap aaaa XP X 信源熵信源熵 信源熵信源熵 各离散消息各离散消息自信息量的数学期望，自信息量的数学期望，即即 信源的信源的平均信息量。平均信息量。 )(log)( )( 1 log)()( 2 1 2i n i i i i apap ap EaIEXH （2.1.16） 信源的信息熵；香农熵；无条件熵；熵函数；信源的信息熵；香农熵；无条件熵；熵

22、函数；熵。熵。 单位：比特单位：比特/ /符号。（底数不同，单位不同）符号。（底数不同，单位不同） 例例2.1.3 由式由式(2.1.16)的定义，该信源的熵为的定义，该信源的熵为 )(75.1 2) 8 1 log 8 1 ( 2 1 log 4 1 2 1 log 2 1 )( 222 符号bit XH 继续讨论上一节的例题，即某地二月份天气构成的信源为继续讨论上一节的例题，即某地二月份天气构成的信源为 8 1 , 8 1 , 4 1 , 2 1 )( ),( ),( ),( )( 4321 雪雨阴晴aaaa XP X 信源熵信源熵H(X)表示表示，离散消息所提供的离散消息所提供的。 信源

23、熵信源熵H(X)表示表示，信源的信源的。 信源熵信源熵H(X)反映了反映了。 1 2 3 信源熵的意义信源熵的意义 1212 ()() , ()( )0.990.010.50.5 XYaabb P XP Y 晴（雨）晴（雨） H(X)=0.08bit/sign,H(Y)=1bit/sign,说明说明X的不确定小。的不确定小。 例：天气预报，有两个信源例：天气预报，有两个信源 1,21 ( )1/4,3/4 aaX p x 1,22 ( )1/2,1/2 aaX p x 1 134 ()log4log0.809 443 H X 2 11 ()log2log21 22 H X 则：则： 说明第二个

24、信源的平均不确定性更大一些说明第二个信源的平均不确定性更大一些 例：电视屏上约有例：电视屏上约有 500 600= 3105个格点，按每点有个格点，按每点有10个不同个不同 的灰度等级考虑，则共能组成的灰度等级考虑，则共能组成n=103x105个不同的画面。按等概率个不同的画面。按等概率 1/103x105计算，平均每个画面可提供的信息量为计算，平均每个画面可提供的信息量为 5 103 2 1 2 10log)(log)()( n i ii xpxpXH =31053.32 比特比特/画面画面 例：有一篇千字文章，假定每字可从万字表中任选，则共有不同的例：有一篇千字文章，假定每字可从万字表中任

25、选，则共有不同的 千字文千字文N=100001000=104000篇。仍按等概率篇。仍按等概率1/100001000计算，平均每计算，平均每 篇千字文可提供的信息量为篇千字文可提供的信息量为 H（X）log2N4103332=1.3104 比特千字文比特千字文 “一个电视画面一个电视画面”平均提供的信息量远远超过平均提供的信息量远远超过“一篇千字文一篇千字文”提供提供 的信息量。的信息量。 信源熵与信息量的比较信源熵与信息量的比较 信源的平均不确定度信源的平均不确定度消除不定度得到信息消除不定度得到信息 与信源是否输出无关与信源是否输出无关 接收后才得到信息接收后才得到信息 确定值确定值 一般

26、为随机量一般为随机量 有限值有限值 可为无穷大可为无穷大 () () ij H X YE I ab 11 () () mn ijij ji p ab I ab 11 ()log() (2.1.17) mn ijij ji p abp a b 条件熵条件熵 2 信道疑义度信道疑义度,损失熵损失熵 思考：求条思考：求条 件熵时为什件熵时为什 么要用联合么要用联合 概率加权？概率加权？ 条件熵条件熵是在联合符号集合是在联合符号集合XY上的上的条件自信息量条件自信息量的的数学期望。数学期望。 在已知随机变量在已知随机变量X的条件下，随机变量的条件下，随机变量Y的条件熵定义为：的条件熵定义为： 条件熵条

27、件熵H(X/Y)是一个确定值，表示信宿在收到是一个确定值，表示信宿在收到Y后，信源后，信源X仍然仍然 存在的不确定度。这是信道干扰所造成的。有时称存在的不确定度。这是信道干扰所造成的。有时称H(X/Y)为为信道疑信道疑 义度，义度，也称也称损失熵。损失熵。 如果没有干扰，如果没有干扰，H(X/Y)=0,一般情括下一般情括下H(X/Y)小于小于H(X)，说明经，说明经 过信道传输，总能消除一些信源的不确定性，从而获得一些信息。过信道传输，总能消除一些信源的不确定性，从而获得一些信息。 () () ji H Y XE I ba 11 ()log() (2.1.18) nm ijji ij p ab

28、p ba 噪声熵噪声熵 条件熵条件熵H(Y/X)也是一个确定值也是一个确定值,表示信源发出表示信源发出X后，信宿仍后，信宿仍 然存在的不确定度。这是由于噪声引起的。也称为然存在的不确定度。这是由于噪声引起的。也称为噪声熵。噪声熵。 11 ()() () nm ijij ij H XYp abI ab 11 ()log() (2.1.19) nm ijij ij p abp ab 联合熵（共熵）联合熵（共熵） 联合离散符号集合联合离散符号集合XY上的每个元素对上的每个元素对aibj的的联合自信息量联合自信息量的的数数 学期望。学期望。 说明说明: 联合熵联合熵H（XY）表示）表示X和和Y同时发生

29、的不确定度。同时发生的不确定度。 u非负性非负性 H(X) 0 0p(ai)1，当取对数的底大于，当取对数的底大于1时，时，log p(ai)0，- p(ai) log p(ai) 0，即得到的熵为正值。只有当随机变量是一确知量，即得到的熵为正值。只有当随机变量是一确知量 时熵才等于零。时熵才等于零。 2.1.3 信息熵的基本性质和定理信息熵的基本性质和定理 u对称性对称性 X中的中的n个消息概率改变顺序，不影响熵的值。个消息概率改变顺序，不影响熵的值。 123123123 , , ( )1/3 1/6 1/2( )1/6 1/2 1/3( )1/3 1/2 1/6 xxxxyxxxzyyy

30、PxPyPz 123 123 xxx yyy 红 ，黄 ，蓝 晴 ，雾 ，雨 )/(459. 1) 2 1 , 6 1 , 3 1 ()(SymbolBitHXH )/(459. 1) 3 1 , 2 1 , 6 1 ()(SymlobBitHYH )/(459. 1) 6 1 , 2 1 , 3 1 ()(SymbolBitHZH )()()(ZHYHXH X与与Z信源的差别：信源的差别：它们所选择的具体消息它们所选择的具体消息/符号含义不同符号含义不同 X与与Y信源的差别：信源的差别：选择的同一消息选择的同一消息,概率不同概率不同 三者的信源熵是相同的，三者的信源熵是相同的，总体统计特性相

31、同总体统计特性相同 信源中包含n个不同离散消息时，信源熵H(X)有 2 ( ) log (2.1.21) H Xn 当且仅当X中各个消息出现的概率全相等时，上式取等号。 u 最大离散熵定理最大离散熵定理 1 ,ln1,0 () i xxxx np a 令引用(自然对数的性质) 得并注意,loglnlogexx 2 1 1 ()log () n i i i p a np a 22 11 1 ()log()log () nn ii ii i p ap an p a 2 ()logH Xn 证明：证明： log)(nXH故有 , 1 )( 1 1)( 1 i n i i anp xap。当且仅当式中

32、 时，上式等号成立。即 n ap i 1 )( 对于单符号离散信源，当信源呈等概率分布时具有最大熵。对于单符号离散信源，当信源呈等概率分布时具有最大熵。 0 )( 1 11 n i i n i ap n nXHlog)( n i i eap n 1 log)( 1 二进制信源是离散信源的一个特例。二进制信源是离散信源的一个特例。 H(X) = - log (1- ) log(1- ) =H( ) 1 10 )(xp x 即信息熵即信息熵H(x)是是 的函数。的函数。 取值于取值于0，1区间，可画出熵函区间，可画出熵函 数数H( ) 的曲线来，如右图所示。的曲线来，如右图所示。 举例举例 u扩展

33、性扩展性 11212 0 (,., )(,.,) lim qqqq Hp ppHp pp 性质说明：性质说明：由由n个消息增加到个消息增加到n+1个，若它的个，若它的概率很小，可概率很小，可 忽略对熵的贡献，忽略对熵的贡献，虽然概率很小的事件出现后，给予接收虽然概率很小的事件出现后，给予接收 者的信息量很大，但对熵的贡献很小，可以忽略不计。者的信息量很大，但对熵的贡献很小，可以忽略不计。 u确定性确定性 H(1,0)=H(1,0,0)=H(1,0,0,0)=0 性质说明：性质说明：从总体来看，信源虽然有不同的输出符号，从总体来看，信源虽然有不同的输出符号， 但它只有一个符号几乎必然出现，而其它

34、符号则是几乎但它只有一个符号几乎必然出现，而其它符号则是几乎 不可能出现，那么，不可能出现，那么，这个信源是一个确知信源，其熵等这个信源是一个确知信源，其熵等 于零。于零。 u可加性可加性 H(XY) = H(X)+ H(Y) X和和Y独立独立 H(XY)=H(X)+ H(Y/X) H(XY)=H(Y)+ H(X/Y) , 1,2, ()( ) XY in P XP Y 有 12 1 ( ), (), ()( )log () n nnij i Hp ap ap ap ap b ()( ) H X YH X 已知Y后，从中得到了一些关于X的信息，从而使X 的不确定度下降。 u 极值性极值性 可以

35、证明可以证明 u上凸性上凸性 熵函数具有上凸性，所以熵函数具有极值，熵函数具有上凸性，所以熵函数具有极值， 其最大值存在。其最大值存在。 1 (2.1.32)()()log () n iii i HXp ap a 加权熵加权熵定义信息的 例例下雪对于南北方人的意义 2.1.4 加权熵的概念及基本性质加权熵的概念及基本性质( (了解了解) ) 平均互信息平均互信息 一、平均互信息量的定义一、平均互信息量的定义 11 () ()log () nm ij ij ij i p a b p ab p a 互信息量在联合概率空间互信息量在联合概率空间P(XY)统计平均。统计平均。 平均交互信息量；交互熵

36、);();( ji baIEYXI n i m j jiji baIbap 11 );()( 2.1.5 平均互信息量平均互信息量 同理，X对Y的平均互信息： n i m j j ij ji bp abp bapXYI 11 )( )( log)();( )()()( jijji bapbpbap n i m j ji ji ji bpap bap bapYXI 11 )()( )( log)();( (2.1.45) 二、平均互信息的物理意义二、平均互信息的物理意义 n i m j ijiji apbapbap YXI 11 )(log)(log)( );( )()(YXHXH 1 损失熵损

37、失熵 表示收到表示收到Y后，对后，对X仍存在不确定度，代表信道中损失仍存在不确定度，代表信道中损失 的信息。的信息。 ()H X Y 平均互信息量是发送平均互信息量是发送X前、后，前、后，关于关于Y的平均不确定度减少的量。的平均不确定度减少的量。 ( ;)( )()I Y XH YH Y X 2 ()H Y X 噪声熵噪声熵 表示发出表示发出X后，对后，对Y仍存在不确定度，由于信道中的仍存在不确定度，由于信道中的 噪声引起的。噪声引起的。 ()( )H XYH XH Y通信前： （） ()()H XYH XH Y X通信后： （） 平均互信息量等于通信前、后，平均互信息量等于通信前、后，整个系

38、统不确定度减少的量。整个系统不确定度减少的量。 ( ;)I Y X 11 () log ()log ( )log () nm ijijij ij p abp abp ap b ()( )()H XH YH XY 3 例例2.1.5信源X接入图示信道 5 . 05 . 0)( 21 aa XP X 98. 0)( 1 1 a b p 02. 0)( 1 2 a b p 2 . 0)( 2 1 a b p8 . 0)( 2 2 a b p 0.98 0. 8 0. 2 0. 02 1 a 2 a 1 b 2 b 49. 098. 05 . 0)()()( 1 1 111 a b papbap 01

39、. 002. 05 . 0)( 21 bap同理： 4 . 08 . 05 . 0)( 22 bap 1 . 02 . 05 . 0)( 12 bap )()()( ijiji abpapbap 1 59. 049. 01 . 0)()()( 12111 bapbapbp 41. 04 . 001. 0)()()( 22212 bapbapbp 2 1 )()( i jij bapbp 2 831. 0 59. 0 49. 0 )( )( )( 1 11 1 1 bp bap b a p 169. 0)(1)( 1 1 1 2 b a p b a p )( )( )( j ji ji bp b

40、ap bap 3 024.0 41.0 01.0 )( )( )( 2 21 2 1 bp bap b a p 976.0)(1)( 2 1 2 2 b a p b a p )( 15 . 0log5 . 05 . 0log5 . 0)( 符号符号 bit XH )(98. 041. 0log41. 059. 0log59. 0)( 符号 bit YH )(43. 1 符号 bit )(XYH 4 . 0log4 . 01 . 0log1 . 001. 0log01. 049. 0log49. 0 等概率信源的熵最大。 4 )( )( log)()( 2 1 2 1 i ji ij ji ap

41、 bap bap Y X H )(45. 0 符号 bit )()(YHXYH 024. 0log01. 0831. 0log49. 0 976. 0log4 . 0169. 0log1 . 0 5 ( ; )()() X I X YH XH Y 10.450.55() bit 符号 ()()() Y HH XYH X X 1.43 10.43() bit 符号 6 7 三、平均互信息的性质三、平均互信息的性质 (; )( ;)I X YI Y X对称性对称性1 非负性非负性2(; )0I X Y 说明：从说明：从X中提取关于中提取关于Y的信息量与由的信息量与由Y中提取到中提取到X的的 信息量

42、是相同的，是信息流通的总体测度。信息量是相同的，是信息流通的总体测度。 说明：通过一个信道总能传递一些信息，最差的条件下，说明：通过一个信道总能传递一些信息，最差的条件下， 输入输出完全独立，不传递任何信息，互信息等于输入输出完全独立，不传递任何信息，互信息等于0，但，但 决不会失去已知的信息。决不会失去已知的信息。 (; )()I X YH X( ;)( )I Y XH Y (; )()() X I X YH XH Y ji ji b a p j i 0 1 )(0)( Y X H (; )()I X YH X 极值性极值性 XY、 一一对应 1 3 ()( ) i i j a pp a b

43、 ()()0H XH X (; )()() X I X YH XH Y 111 ( )log( )()log( ) nnm iiiji iij p ap ap abp a XY、 相互独立 2 凸函数性凸函数性4 的是信源)();( i apYXI1 这就是说，对于一定的信道转移概率分布这就是说，对于一定的信道转移概率分布p(y|x)，总可以找到某，总可以找到某 一个先验概率分布的信源一个先验概率分布的信源X，使平均交互信息量，使平均交互信息量I(X;Y)达到相应的最达到相应的最 大值大值Imax，这时称这个信源为，这时称这个信源为可以说，不同的信可以说，不同的信 道转移概率对应不同的道转移概

44、率对应不同的Imax。 的是 )();( i j a b pYXI2 这就是说，对于一个已知先验概率为这就是说，对于一个已知先验概率为p的离散信源，总的离散信源，总 可以找到某一个转移概率分布的信道可以找到某一个转移概率分布的信道q，使平均互信息量达，使平均互信息量达 到相应的最小值到相应的最小值Imin。 YXZ假定 条件下 、 相互独立 );();(ZYIZXI );();(YXIZXI 数据处理定理数据处理定理5 意义意义 信息不增原理信息不增原理:每经过一次处理，可能丢失一部分信息每经过一次处理，可能丢失一部分信息 P(Y/X)P(Z/Y) XYZ 信道中熵的信息流图信道中熵的信息流图

45、 H(Y|X) :噪声熵；噪声熵； H(X|Y) :信道疑义度信道疑义度(损失熵损失熵); 它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰，它们都是由于噪声干扰的存在而存在的。信道中存在噪声干扰， 是减低信道传信能力的基本原因。是减低信道传信能力的基本原因。 H(X)H(Y)I(X;Y) H(X|Y) H(Y|X) 2.1.6 各种熵之间的关系各种熵之间的关系 平均互信息量平均互信息量 无条件熵无条件熵 名称名称 符号符号 关关 系系 图图 示示 无无 条条 件件 熵熵 )(XH )(YH ()()(;) () ()()() X H XHI X Y Y X H Y Y H XH XYH

46、 X ( )()(; ) () ( )()() Y H YHI X Y X Y H X X H YH XYH Y YX YX 条条 件件 熵熵 条条 件件 熵熵 )/(YXH )/(XYH );()( )()()( YXIYH XHXYH X Y H );()( )()()( YXIXH YHXYH Y X H YX YX 联联 合合 熵熵 交交 互互 熵熵 )()(YXHXYH );();(XYIYXI ()()() ( )() ()( )(; ) ()()(; ) Y H XYH XH X X H YH Y H XH YI X Y XY HHI X Y YX )()()( )()()( )

47、()( )()();( X Y H Y X HXYH XYHYHXH X Y HYH Y X HXHYXI YX YX 信源分类信源分类 连连 续续 信信 源源 随机变量随机变量 信源信源 离离 散散 信信 源源 单符号单符号 多符号多符号 随机矢量随机矢量 随机过程随机过程 离散无记忆信源离散无记忆信源 离散有记忆信源离散有记忆信源 平稳序列信源平稳序列信源 马尔可夫信源马尔可夫信源 输出的消息序列中输出的消息序列中各符号之间无相互依赖关系各符号之间无相互依赖关系的信源。亦称为的信源。亦称为 单符号离散平稳无记忆信源的扩展信源。单符号离散平稳无记忆信源的扩展信源。序列长度就是扩展次数。序列长

48、度就是扩展次数。 例例: :单符号信源单符号信源00，1,1,经过二次扩展经过二次扩展 变成了：变成了：0000，0101，1010，1111 经过三次扩展，形成的信源？经过三次扩展，形成的信源？ 经过经过N次扩展，形成的信源？次扩展，形成的信源？ 2.2 多符号离散平稳信源多符号离散平稳信源 p 无记忆信源的扩展信源无记忆信源的扩展信源 2.2.1 序列信息的熵序列信息的熵 n 离散无记忆信源离散无记忆信源 发出单个符号的无记忆信源（最简单的离散信源）发出单个符号的无记忆信源（最简单的离散信源） )()()( 21 21 n n xpxpxp xxx P X 1)(, 0)( 1 n i i

49、i xpxp 自信息量自信息量 信源熵信源熵 22 1 ( ) loglog( ) ( ) ii i I xp x p x 1 1 ( )log( )log ( ) ( ) q ii i i H XEp xp x p x n 离散无记忆信源的扩展信源离散无记忆信源的扩展信源 实际信源输出的消息往往是时间上或空间上的一系列符号，实际信源输出的消息往往是时间上或空间上的一系列符号， 如电报系统，序列中前后符号间一般是有统计依赖关系的。如电报系统，序列中前后符号间一般是有统计依赖关系的。 离散无记忆二进制信源离散无记忆二进制信源X的二次扩展信源的二次扩展信源 我们先讨论离散无记忆信源，此时，信源序列

50、的前后符号之我们先讨论离散无记忆信源，此时，信源序列的前后符号之 间是统计独立的间是统计独立的. . 01 1 X Ppp 1234 1234 ()()()() aaaaX p ap ap ap aP 如在二元系统中，我们可以把两个二元数字看成一组，如在二元系统中，我们可以把两个二元数字看成一组， 会出现四种可能情况：会出现四种可能情况：00、01、10和和11，我们可以把这四，我们可以把这四 种情况看成一个新的信源称为种情况看成一个新的信源称为二元无记忆信源的二次扩展二元无记忆信源的二次扩展 信源，信源，相应的，如果把相应的，如果把N个二元数字看成一组，则新的信个二元数字看成一组，则新的信

51、源称为源称为二元无记忆信源的二元无记忆信源的N次扩展信源。次扩展信源。 则该信源的则该信源的N次扩展信源为：次扩展信源为： 一般情况下，设一个离散无记忆信源为：一般情况下，设一个离散无记忆信源为： 离散无记忆信源离散无记忆信源X的的N次扩展信源次扩展信源 12 12 , ,( )1 (), (), ( ), ()() in i i in xxxx p x p xp xp xp xP X X 12 12 12 12 , , (),(),(),() () (,.,) ()() (). () N N N iq N N iq iiii iiii qn pppp P xxx pp xp xp x X X

52、 根据信息熵的定义：根据信息熵的定义： ( )()()log () N NNN X HH XP XP XX 可以证明，对于可以证明，对于离散无记忆离散无记忆的扩展信源的扩展信源 ()( ) N H XNH X N次扩展信源的熵次扩展信源的熵 (1)单位单位:bit/sign,但含义不同但含义不同 (2)N次扩展信源的熵等于各符号熵之和次扩展信源的熵等于各符号熵之和 注意注意 单符号信源如下单符号信源如下, ,求二次扩展信源熵求二次扩展信源熵 4 1 , 4 1 , 2 1 , )( 321 aaa XP X 123456789 12132122233132331 1 111111111 888

53、1616816164 a a a a a a a a a a a a a a a aa a 扩展信源： 2 3 2 1 ()()log()3() ii i bit H Xpp 符号 3 1 2() ()()log()1.5/ ii i H X H Xp ap abit sign 信源在某一时刻发出什么样的值取决于两方面信源在某一时刻发出什么样的值取决于两方面 1、这一时刻该变量的概率分布、这一时刻该变量的概率分布 2、这一时刻以前发出的消息、这一时刻以前发出的消息 我们现在讨论我们现在讨论平稳的平稳的随机序列，随机序列，所谓平稳是指序列的统计性质与时所谓平稳是指序列的统计性质与时 间的推移无关

54、间的推移无关（两个任意时刻信源发出符号的概率分布完全相同）。（两个任意时刻信源发出符号的概率分布完全相同）。 信源所发符号序列的信源所发符号序列的概率分布与时间的起点无关概率分布与时间的起点无关，这种信源我们称，这种信源我们称 之为之为离散平稳信源。离散平稳信源。 2.2.2 离散平稳信源的数学模型离散平稳信源的数学模型 二维信源二维信源1 2.2.3 离散平稳信源的信源熵和极限熵离散平稳信源的信源熵和极限熵 最简单的平稳信源最简单的平稳信源二维平稳信源，信源发出序列中只有前二维平稳信源，信源发出序列中只有前 后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。后两个符号间有依赖关系，我

55、们可以对其二维扩展信源进行分析。 信源的概率空间信源的概率空间: : 12 12 , ,( ) 1 ( )( ), (), () n n i i n Xaaa p a P Xp ap ap a =1 12 XX X 1212 , n XXa aa nnnnn aaaaaaaaaaaaX,;, 2112111 12 12 ,1,2, iii a ai in 2 2 12 12 () () () () () i n i n X pppp P X 假定假定X=X1X2 , ,则可得到一个新的信源则可得到一个新的信源 n i n i iiii aapaap 11 12 2121 )(log)( n i

56、 n i i i iii n i n i ii a a paapapaap 1111 12 1 2 211 12 21 )(log)()(log)( n i n i i i ii n i ii a a paapapap 111 12 1 2 21 1 11 )(log)()(log)( 2 1 ()()log() n ii i H Xpp )()( 1 2 1 X X HXH p 二维信源的信源熵二维信源的信源熵 : 21 统计独立时、当XX )()( 2 1 2 XH X X H )(2)()()( 21 XHXHXHXH )()()( 1 2 1 X X HXHXH )()( 21 XHX

57、H 1 X 2 X 一般地 p 信源熵的说明信源熵的说明 结论：离散无记忆信源的二次扩展信源可以看作二维离散平稳信源结论：离散无记忆信源的二次扩展信源可以看作二维离散平稳信源 的特例的特例 例例2.2.2 原始信源： 36 11 9 4 4 1 321 aaa 条件概率： 11 9 11 2 3 8 1 4 3 8 1 2 9 2 9 7 1 321 0 0 a a a aaa X1X2 平均符号熵： )(206. 1)( 2 1 )( 2 符号符号 bit XHXH )(542. 1)( 符号符号 bit XH 121 ()()(/)2.412() bit H XH XH XX 符号 信源熵

58、： )()()()( )()( 12121 3 1 2 1 21 N N N XXX X H XX X H X X HXH XXXHXH 1211 N XXXY证证：令令 2212 N XXXY 212 XXYN N N维信源维信源2 )()()( 1 11 Y X HYHXYH N N )()()()( 2 1 2121 Y X HYHXYHYH N N )()()( 1 2 12 X X HXHYH N )()()()()( 12121 3 1 2 1 N N XXX X H XX X H X X HXHXH p N N维信源的信源熵维信源的信源熵 HXH N N ）（lim )( 1 )

59、 21NN XXXH N XH（ 平均符号熵： 极限熵： 121 lim N N NXXX X HH p 平均符号熵与极限熵平均符号熵与极限熵 对离散平稳信源若对离散平稳信源若H1(X) ，则有以下，则有以下性质：性质： (1) 多维离散有记忆信源的熵是起始时刻随机变量多维离散有记忆信源的熵是起始时刻随机变量X1的熵与各阶条的熵与各阶条 件熵之和；件熵之和； (2)条件熵条件熵H(XN/X1X2XN-1)随随N的增加是递减的；的增加是递减的； p 一些性质一些性质 )()()()( 1 1 2 21 1 121 XH X X H XX X H XXX X H N N N N )()()()()

60、( 12121 3 1 2 1 N N XXX X H XX X H X X HXHXH (3) 平均符号熵平均符号熵HN (X)也是随也是随N增加而递减的；增加而递减的； (4) H 存在，并且存在，并且: ).|(lim)(lim 121 NN N N N XXXXHXHH 对于一般信源，求出极限熵是很困难的，对于一般信源，求出极限熵是很困难的，然而，一般来说，然而，一般来说， 取取N不大时就可以得到与极限熵非常接近的条件熵和平均符不大时就可以得到与极限熵非常接近的条件熵和平均符 号熵，因此可以用号熵，因此可以用条件熵条件熵和和平均符号熵平均符号熵来来近似极限熵。近似极限熵。 p 小结小结