信源编码 习题解答

1、第四章信源编码 习题解答1、一个信源由6个消息组成，其概率分布已知，对其进行信源编码得如下表所示6种编码方法：信源Xp(X)ABCDEFGx11/200000011011x21/400101101000000101x31/160100111101101001100101x41/160110111111011000101010011x51/1610001111111101001110110101x61/16101011111111110111110111110011） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？2） 分别计算每个唯一可译码的平均码长和编码效率。解：1）A、B、C、D、E、F

2、是非奇异码。A、B、C、F是唯一可译码（E不满足克拉夫特不等式）。A、C、F是即时码（B是续长码）。3） 编码A：平均码长：信源熵：比特/消息编码效率：编码B和C：平均码长：编码效率：编码F：平均码长：编码效率：2、离散无记忆信源X的概率空间为：1）对其进行费诺编码，并计算其编码效率；2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。解：1）费诺编码：信源Xp(X)编码过程 码字码长 x10.2000002x20.19100103x30.1810113x40.1710102x50.15101103x60.101011104x70.01111114平均码长：码元/符号信源熵：编码后平均码元

3、熵：比特/码元编码效率：2）哈夫曼编码：码长码字信源X0100.11100.2610.35110.391000.6101.0p(X)210x10.20211x20.193000x30.183001x40.173010x50.1540110x60.1040111x70.01平均码长：码元/符号编码后平均码元熵：比特/码元编码效率：与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。3、离散无记忆信源X的概率空间为：1）对其进行费诺编码；2）对其进行哈夫曼编码。解：1）费诺编码：信源Xp(X)编码过程 码字码长 x10.

4、2200002x20.201012x30.181001003x50.1511013x40.1101103x80.081011104x70.0510111105x60.0211111152）哈夫曼编码：4、离散无记忆信源S描述为：1）计算信源熵及其冗余度； 2）对其进行费诺编码；3）对其进行哈夫曼编码；4*）对其进行香农-费诺-埃利阿斯编码；5*）对其进行香农编码；6）计算哈夫曼码的平均码长、编码效率和码冗余度；7）把哈夫曼编码器的输出看成一个新信源X，计算其概率分布p(x1) 和 p(x2)；8）Hp(x1), p(x2) 是否等于H码（即平均码元熵）？为什么？解：1）信源熵：冗余度：2）费诺

5、编码：信源Sp(S)编码过程 码字 码长 s10.3700002s20.251012s40.1810 102s30.1101103s60.071011104s50.031111143）哈夫曼编码：4） 香农-费诺-埃利阿斯编码：信源Sp(S)F(s)的二进制数 码长码字s10.370.370.185 0.00101.3001s20.250.620.495 0.01111.3011s40.180.800.71 0.101101.41011s30.10.900.850.1101100.511011s60.070.970.9350.1110111.511101s50.031.000.9850.111

6、111000.711111105）香农编码：信源Sp(S)F(s)F(s) 的二进制数码长码字 s10.3700.000.200s20.250.370.010.201s40.180.620.1001.3100s30.10.80.11001.41100s60.070.90.11100.41110s50.030.970.1111100.61111106）分析哈夫曼码，其平均码长：平均码元熵：编码效率：码冗余度：7）把哈夫曼编码器的输出看成一个新信源X，计算其概率分布p(x1) 和 p(x2)：8）计算相比平均码元熵：可见，两者很相近，但理论上不相同。因为平均码元熵计算的是算术平均值，而作的是统计平

7、均。5. 设有6个消息，其出现概率分别为 A B C D E F 1/16 1/16 2/16 3/16 4/16 5/16 将它们分别进行费诺编码和霍夫曼编码，并比较编码效率。是否在任何情况下费诺编码比霍夫曼编码效率都低？解：信源：费诺编码：信源Xp(X)编码过程 码字 码长 F5/1600002E4/161012D3/1610 102C2/16101103B1/161011104A1/16111114平均码长：码元/符号信源熵：比特/符号编码后平均码元熵：比特/码元二元信源最大码元熵为1比特/码元，故编码效率：哈夫曼编码：由于平均码长与费诺编码一样，故编码效率也为99%。一般情况下哈夫曼编