离散有记忆信源的序列熵

1、第1页共4页离散有记忆信源的序列熵对于有记忆信源，就不像无记忆信源那样简单，他必须引入条件熵的概念， 而且只能在某些特殊情况下才能得一些有价值的理论。对于有两个符号组成的联合信源，有下列结论：H(XI,X2)=H(XJ HglXJn H(X2)H(XI|X2)；H (XJ一H(X1|X2),H(X2 H(X2|X1)O件熵。当前后符号无依存关系时，有下列推论对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。若信源输出一个 L L 长序列，则信源的序列熵为H(XH(X1,X2ni ,XL)二H(X

2、J H(X2|X! |H(XL|X1,X2J|X1)(2-3-2(2-3-2)LI|1H (X)二H (X )八H(XI|X_)L平均每个符号的熵为当信源退化为无记忆时,LH (X)八H (XI)|二若又满足平稳性，则有H(X)二LH (X)这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信源是上述有记忆信源的一个特例。式表明信源的联合熵(即前后两个符号(X1,X2)同时发生的不确定度)等于信源发出前一个符号X1的信息熵加上前一个符号X1已知时信源发出下一个符号X2的条H(XI,X2)= H(XJ H(X2),H(XI|X2)= H(XJ,H(X2|XI) =H(X2)；号,记作1HL(

3、X)=H(XL)(2-3-3(2-3-3)现信源发出二重符号序列消息(Q,aj),这两个符号的概率关系性用条件概 率第2页共4页p(ai|ai)表示，并由表 2-62-6 给出。可以求出信源的序列熵和平均符号熵。表 2-6 条件概率表示两个符号的关联性aia2a3ai9/112/110a21/83/41/8a302/97/9条件熵33H(X2|XJ一 p(ai,aj)log p(aj|0.872bit /符号iV jV单信号信源熵3H/X)=H(X)二-p(alog p(aj = 1.543bit /符号i =1发二重符号序列的熵H(XX2) = H(X)+H(X2|X1) =1.543 0.

4、872 = 2.415bit/序列平均符号熵12H2(X)H(X2)1.21bit/符号2比较上述结果可得H2(X)lLmH(XL|XI,X2,IH,XL_I)(2-3-6(2-3-6)式中，H：(X)称为极限熵，又称极限信息量。先证明式。根据上述结论 1 1 有1HLk(X)-H(X1,X2,XL-I) H(XL|X1,X2|,XL1| H(XLk|X!,X2川I,XL2)L + K1 H(XI,X2,|I|,XL-I) H(XL|XI,X2II,XLV) L KH(XL|(XI，X2，MXLJ) III H(XL|(XI，X2，|,XL_I)1K 1二丁叱心叽）CHMXIMXL）取足够大k（k-）的，固定L,则前一项可忽略，而后一项系数接近于I，得|jmHLK（X）汕（XL|XI川,XLJ（ 2-3-72-3-7）K：:结论 2 2 和式（2-3-72-3-7）表明，条件熵H（XL|XI川,XLJ的值是在HL（X）和HL