2.5信源冗余度

1、2.5信源冗余度如果信源不是平稳的，极限熵就不一定 存在，于是只好先容忍误差，假设它是平稳 的，并计算足够大时的条件概率：P(Xn /X1X2.X n“)再计算出来近似地代替极限熵。如果信源符合马尔可夫信源的条件， 就可以进一步用阶 马尔可夫信源的熵来代替，要比小得多，显 然记忆长度决定相对的误差。最简单的情 况是m=1，即以何种概率发符号仅与前一个 符号有关，这是一阶马尔可夫信源，其熵为:H 2 = H, H (X 2/ X1)当m=0时，由于信源符号间的相关性为零， 故信源变成离散无记忆信源，如果进一步假 定信源是符号等概率分布的，则信源变成理 想的离散无记忆等概信源。但是一般信源既 不是

2、无记忆的，也不是等概率的，故信源熵 没有达到可能的最大值，也就是说信源有冗 余度。例2.5.1以二元信源为例，该信源有两个符 号 0,1 ，如果信源符号等概率分布，且符号 之间无相关性，则其信源熵达最大值，即： Hmax (X)=1 比特 /符号。原本发送 12个比特的信息量只要 12 个 符号就够了，其中 3 个符号是多用的，这就 是 冗余或剩余 ，从某种意义上讲是一个浪 费。2.5.1 冗余度的定义从上面的分析可知， 信源实际熵与理论上可 达到的最大熵之间有差距， 而山农将此定义 为冗余度。1.相对熵2 冗余度3 .信息变差 显然这三种定义均代表了信源的冗余程度。例 2.5.2求 例 2.

3、5.1的相对熵、冗余度和信再来看英文的例子 (独立，且等概率分布 )信 源熵：Hmax=4.75 比特 /符号表 2.5.1 英语字母出现概率统计表英语字母出现概率英语字母出现概率英语字母出现概率A0.064J0.001S0.051B0.013K0.005T0.08C0.022L0.032U0.023D0.032M0.020V0.008E0.103N0.057W0.018F0.021O0.063X0.001G0.015P0.015Y0.016H0.047Q0.001Z0.001I0.058R0.048空格 0.1以此表计算得到的信源熵为：H1(X)=4.03 比特 /符号 如果把英文字母信源近

4、似看成一阶、 二阶以 及无穷阶马尔可夫信源， 则可得到相应的信 源熵。2.5.2冗余的利用消息的冗余，特别是大量的冗余，为我们提 高通信效率，压缩信号容量提供了基础。 冗余是一种浪费，但任何事情都有两面性， 适当的冗余是必要的，否则系统不能有一点 差错。它表征信源信息率的多余程度，是描述信源客观 统计特性的一个物理量。由广义Shannon不等式有：L 1log n 二 H °(U ) H ,U ) H (U 2 /U J lim H (U L /U二 H(U ) 0I _可见对于有记忆信源，最小单个消息熵应为 H：(U)，即 从理论上看，对有记忆信源只需传送H /U )即可。 但是这

5、必需要掌握信源全部概率统计特性。这显然是 不现实的。实际上，往往只能掌握有限的L维，这时只需传送H|(U)，那么与理论值 H相比，就多传送了 H l(U ) - H ：(U )。为了定量描述信源有效性，可定义： 信源效率：fH：/Ho信源熵的相对率 信源冗余度：R=1 -可-仁/治二也0 H(相对剩余)正由于信源存在看冗余度，即存在看不必要传送的信 息，因此信源也就存在进一步压缩信息率的可能性。 冗余度越大，压缩潜力也就越大。可见它是信源编码, 数据压缩的前提与理论基础。下面，以英文为例，计算文字信源的冗余度: 首先给出英文字母（含空档）出现概率如下：字母p字母p字母p空档0.2S0.0502

6、Y.W0.012E0.105H0.047G0.011T0.072D0.035B0.0105O0.0654L0.029V0.008A0.063C0.023K0.003N0.059F.U0.0225X0.002I0.055M0.021J.Q0.001R0.054P0.0175Z0.001卜面，首先求得独立等概率情况Ho，即H o= log 2 27 = 4.76b i t其次，计算独立不等概率情况Hi，27H -' pi log p 4.03b i t再次，若仅考虑字母有一维相关性，求H 2，H = 3.32b i t2 ?还可进一步求出：H 2二3.1bit ，最后，利用统计推断方法求出H-，由于采用的逼近的方法和所取的样本的不同，推算值也有不同，这里采 用Shannon的推断值。H 二三 1.4bit这样，可以计算出 =0.29 ,R = 0.71。这一结论说明，英文信源，从理论上看 71%是多余成 分。直观地说100页英文书，理论上看仅有29页是有 效的，其余71页是多余的。正是由于这一多余量的存 在，才有可能对英文信源进行压缩编码。对于其它文字，也有不少人作了大量的统计工作， 现简述如下:H。H2Hs英文4.7法文4.74.