离散有记忆信源的序列熵

1、离散有记忆信源的序列熵对于有记忆信源， 就不像无记忆信源那样简单， 他必须引入条件熵的概念， 而且只能在某些特殊情况下才能得一些有价值的理论。对于有两个符号组成的联合信源，有下列结论：H (X1,X2)H(X1)H(X 2|X1)H(X 2)H(X1|X2);H (X1)H(X1|X2),H(X 2)H(X 2|X1)。式 表明信源的联合熵（即前后两个符号( X1 , X2 ) 同时发生的不确定度）等于信源发出前一个符号X1 的信息熵加上前一个符号X1 已知时信源发出下一个符号X2 的条件熵。当前后符号无依存关系时，有下列推论;H (X1,X2)H(X1)H (X2),H(X1 |X2)H (

2、X1),H(X2 |X1)H(X2);对于一般的有记忆信源如文字、数据等， 它们输出的不是单个或两个符号，而是由有限个符号组成的序列， 这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。若信源输出一个L 长序列，则信源的序列熵为H(X)H(X1,X2,X L)H(X1)H(X2 |X1)H(XL | X1,X2,XL 1)（ 2-3-2）L记作H(X) H(XL)H ( X l | X l 1)L1平均每个符号的熵为H L(X)1H(XL)（ 2-3-3）L当信源退化为无记忆时，有LH ( X )H ( Xl )l 1若又满足平稳性，则有H(X)LH(X)这一结论与离散无记

3、忆信源结论是完全一致的。 可见，无记忆信源是上述有记忆信源的一个特例。例 2-12Xa1a2a3已知离散有记忆信源中各符号的概率空间为1141P3694第1页共4页现信源 发出二重符号序列消息(ai , a j ) ， 这两个符号的概率关系性用条件概率p(ai | ai ) 表示，并由表2-6 给出。可以求出信源的序列熵和平均符号熵。表 2-6条件概率表示两个符号的关联性a jaaa123aia19/112/110a21/83/41/8a302/97/9条件熵33H (X2|X1) -p( a , a)log p(aj| a )0.872bit / 符号ijii 1j 1单信号信源熵3H1(X

4、 ） H (X 1）p(ai )log p( ai )1.543bit / 符号i1发二重符号序列的熵H (X1 , X 2 )H (X 1）+H ( X2 | X1 )1.5430.8722.415bit / 序列平均符号熵12H 2 (X ）H (X ） 1.21bit / 符号比较上述结果可得H 2 (X ）<H1 (X) ，即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由符号之间存在的关联性（相关性）造成的。考虑离散平稳信源，其联合概率具有时间推移不变性，即P( X i1x1 , X i2 x2 , , Xi L xL ) P( X i1 h x1 , X i

5、2 h x2 , , X i L h xL )此时有下列结论：结论 1H (XL | XL 1) 是 L 的单调非增函数。由于条件熵小于或等于无条件熵，条件较多的熵小于或等于一些条件的熵，考虑到平稳第2页共4页性，所以H(XL | X1,X 2,XL 1)H(XL| X2,XL 1)H(XL 1|X1,XL 2)H(XL 1|X2,XL 2)（平稳性）H(XL 2|X1,XL 3)H (X 2|X1)（ 2-3-4）结论 2H L(X)H(XL|XL 1)因为HL(X)1 H(X1,X2, ,XL)1 LH ( X l | X l 1 )LL l 11H(X1) H (X2 | X1)H(XL

6、 | X1,X 2, ,XL 1)L由结论 1 得上式中的 H ( XL | X1,X 2, , XL1 ) 是和式 L 项中最小的，所以H L(X)1LH (XL |X1,X 2,XL 1)H(XL|XL1 )L结论 3H L (X) 是 L 的单调非增函数。因为LHL(X)=H (X1,X2,X L)H(X1,X2, ,X L-1) H(XL | X1,X 2, ,XL 1)(L1)HL 1(X)+H(XL |X L 1)运用结论2 得HL(X)H L 1(X)（2-3-5）该式说明随着L 的增大， 增加的熵值 H (X L | X L 1) 越来越小 （有结论1 得），这导致平均符号熵随

7、着L 的增大而减小，即H L 1(X)HL(X) HL1(X)结论4当L时H (X)deflimLH L (X)= limLH(XL|X1,X2, X L1)（ 2-3-6）第3页共4页式中， H(X) 称为极限熵，又称极限信息量。先证明式。根据上述结论1 有H L k (X)1H ( X1, X2, ,X L-1)H (XL |X1,X 2, ,XL 1)H ( XL k | X1 ,X 2 , , X L k 1 )LkL1 H(X1,X2, ,X L-1) H (XL | X1,X2, ,XL 1)kH (X L |( X1,X 2, XL 1)H(XL |(X1,X 2, ,XL 1)L1H (X1, X 2, ,X L-1)k 1 H (X L | X1 , , X L 1 )kL k取足够大 k(k) 的，固定 L ，则前一项可忽略，而后一项系数接近于1，得limH L k (X)H(XL|X1 ,XL 1)（ 2-3-7）k结 论2 和式（ 2-3-7）表明， 条件熵 H(XL |X