信息论与编码原理课后习题点自己整理PPT学习教案

1、会计学1信息论与编码原理课后习题点自己整理信息论与编码原理课后习题点自己整理信息符号信息符号对应码字对应码字000001011100101111011111s 4.1 对信源概率空间为进行二元编码，编码方案如表所示（1）计算平均码长 。（2）编码后信息传输率 。（3）编码后信源信息率 。（4）编码效率 。1234567(s)0.20.190.180.170.150.100.01SsssssssPLRR2s3s4s5s6s7s 表表4.19 编码方案编码方案第1页/共25页1( )3*(0.20.190.180.170.15)4*(0.100.01)3.11qiiiLP s L( )H SRL(

2、 )(0.2,0.19,0.18,0.17,0.15,0.10,0.01)2.609H SH码元码元/信源符号信源符号（2）编码后信息传输率）编码后信息传输率 bit/符号符号0.839R bit/码元码元第2页/共25页logRLr2log1rrlog3.11RLrbit/信源符号信源符号（4）编码效率）编码效率max( )0.839logH SRLRr第3页/共25页进行二元编码，5种不同的编码方案如表所示。表4.20 5种不同的编码方案信源符号信源符号000000100101101000001001111011000101101111110100101010001111111101100

3、11010101111111111010110011s2s3s4s5s6s1C2C3C4C5C（1）这些码中哪些是唯一可译码？（2）这些码中哪些是即时码(异前缀码)？（3）计算即时码的平均码长和编码效率。4.3 某信源概率空间为123456( )0.30.250.20.150.060.04SssssssP s第4页/共25页123CCC（2）这些码中）这些码中 是即时码。是即时码。13CC161( )3*(0.30.250.20.150.060.04)3ciiiLP s L码元码元/信源符号信源符号（3）( )(0.3,0.25,0.2,0.15,0.06,0.04)2.325H SHbit/

4、符号符号11max( )0.775logccH SLRRr第5页/共25页361( )1*0.32*0.253*0.24*0.155*0.066*0.042.54ciiiLP s L码元码元/信源符号信源符号33max( )0.915logccH SLRRr第6页/共25页进行 次扩展，采用二元霍夫曼编码。当 时的平均码长和编码效率为多少？1,2,3,N N 设离散无记忆信源的概率空间为 ，对信源12( )0.70.3SssP s（1） 时，将时，将 编成编成0， 编成编成1，则，则1N 1s2s11L 又因为信源熵又因为信源熵( )(0.7, 0.3)0.881H SHbit/符号符号所以编

5、码效率所以编码效率11( )0.881H SL第7页/共25页（2）如果对）如果对 长度的信源序列进行霍夫曼编码，编码结果如长度的信源序列进行霍夫曼编码，编码结果如表所示表所示2N 信源序列信源序列霍夫曼码霍夫曼码0.4910.21010.210000.09001表4.8 时的编码结果2N 11 1s s1 2s s2 1s s2 2s s()iP此时，信源序列的平均码长此时，信源序列的平均码长21 0.492 0.21 3 (0.21 0.09)1.81L 二元码符号二元码符号/信源符号序列信源符号序列第8页/共25页则单个符号的平均码长则单个符号的平均码长20.9052LL 二元码符号二元

6、码符号/信源符号信源符号所以对长度为所以对长度为2的信源序列进行变长编码，编码后的编码效率的信源序列进行变长编码，编码后的编码效率2( )0.8810.9730.905H SL用同样的方法进一步将信源序列的长度增加，对用同样的方法进一步将信源序列的长度增加，对 的的序列进行最佳编码，可得平均码长和编码效率为序列进行最佳编码，可得平均码长和编码效率为3N 30.9690.909L 二元码符号二元码符号/信源符号信源符号第9页/共25页（4） 时，由香农第一定理可知，必然存在唯一可译码，使时，由香农第一定理可知，必然存在唯一可译码，使N lim( )NrNLHSN而霍夫曼编码为最佳码，即平均码长最

7、短的码，故而霍夫曼编码为最佳码，即平均码长最短的码，故lim1NN第10页/共25页4.9 已知离散无记忆信源的概率空间为用香农编码和霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。12345( )0.250.20.20.20.15SsssssP s解：香农编码解：香农编码信息符号信息符号符号概率符号概率累积分布累积分布码字长度码字长度码字码字0.25022000.20.252.3230100.20.452.3230110.20.652.3231010.150.852.743110isP( )isiFlogP( )is1s2s3s4s5s第11页/共25页2 0.253 (0.20.20

8、.20.15)2.75L 码源码源/信源符号信源符号(S)(S)logHHLrL( )(0.25,0.2,0.2,0.2,0.15)2.305H SHbit/符号符号0.838第12页/共25页霍夫曼编码霍夫曼编码信源符号信源符号码字码字码长码长01210211200030013is1s2s3s4s5s2 0.250.220.220.2 30.15 32.35L 码元码元/符号符号(S)2.3050.982.35logHLr第13页/共25页（1）若信道输入符号 ，求 、 、 和 。（2）求该信道的信道容量及达到信道容量的最佳输入概率分布。（3）如果信道输入符号 时，计算信道剩余度。03/4,

9、 (1) 1/4PP（ ）()H X(|)H X Y(|)H Y X(; )I X Y03/4, (1) 1/4PP（ ）0.80.20.20.85.1 设二进制对称信道的传递矩阵为第14页/共25页31( )(,)0.811 bit/44H xH符号的联合分布概率为：的联合分布概率为： X Y0101XY35320120153311 ()(,)1.533 bit/520205H XYH符号137 ( )(,)0.934 bit/2020H YH符号第15页/共25页(|)()( )0.599 bit/H X YH XYH Y符号( |)()()0.722 bit/H Y XH XYH X符号

10、(; )()( )(, ) ( )(|)()(|)0.212 bit/I X YH XH YH X YH YH Y XH XH X Y符号log() log2(0.8,0.2)0.278 bit/CSH pH的行矢量符号 且当信道输入是等概率分布时才能达到这个最大值且当信道输入是等概率分布时才能达到这个最大值,即即:1(0)(1)2PP第16页/共25页(; )(; )10.237CI X YI X YCC 信道剩余度第17页/共25页5.3 设某对称离散信道的信道矩阵为（1）求其信道容量。（2）写出该信道的二次扩展信道的信道矩阵，并计算信道容量。00.50.50000.50.50.5000.

11、50.50.500P（1）log() log4(0.5,0.5)1 bit/CSH pH的行矢量符号第18页/共25页2 00 01 02 03 10 11 12 13 20 21 22 23 30 31 32 3300000000.250.25000.250.2500000010020310111213 2021222330313233P000000.250.25000.250.25000000000.25000.250.25000.25000000000.250.25000.250.250000000000000000.250.25000.250.25000000000000.250.25

12、000.250.25000000000.25000.250.25000.25000000000.250.25000.250.250000.250.2500000000000.250.250000.250.2500000000000.250.250.25000.25000000000.25000.250.250.2500000000000.250.250000.250.25000.250.25000000000000.250.25000.250.25000000000.25000.250.25000.25000000000.250.25000.250.250000000000（2）二次扩展信道的

13、信道矩阵为：）二次扩展信道的信道矩阵为：第19页/共25页 则信道容量为：则信道容量为：log() log16(0.25,0.25,0.25,0.25) 2 bit/CSH pH的行矢量符号第20页/共25页 5.4 设某信道的转移矩阵为求其信道容量。11pqqppqpqP 将将 划分为两个对称的矩阵：划分为两个对称的矩阵：11p qqpPpqp q 121 1p qpPpp qqPq 第21页/共25页11222,1,1,2 ,2rNq Mq Nq Mq n 1231loglog(,) log2(1)log(1)log(2 ) (1, , ) log2 (1)log(1)(log2log ) (1, , ) (1)log2(1, )(1, , )nkkkCrNMH P P PqqqqHpq p qqqqqHpq p qqHq qHpq p q第22页/共25页 图5.14 题中的串联信道