无失真信源编码

1、5.1 有一信源，它有6个可能的输出，其概率分布如题5.1表所示，表中给出了对应的码 和 。题表 5.1消息p(ai)ABCDEFa11/200000000a21/400101101010100a31/160100111101101100101a41/160110111111011101101110a51/16100011111111010111100111a61/1610101111111111011011111011(1) 求这些码中哪些是唯一可译码；(2) 求哪些是非延长码（即时码）；(3) 对所有唯一可译码求出其平均码长。解：(1) 唯一可译码：A，B，CA 是等长码，码长3，每个码字

2、各不相同，因此是唯一可译码。B 是非即时码，前缀码，是唯一可译码。C 是即时码，是唯一可译码。D 是变长码，码长，不是唯一可译码，因为不满足Kraft不等式。E 是变长码，码长，满足Kraft不等式，但是有相同的码字，不是唯一可译码。F 是变长码，码长，不满足Kraft不等式，不是唯一可译码。(2) 非延长码：A，C(3)5.7 设离散信源的概率空间为对其采用香农编码，并求出平均码长和编码效率。解：xip(xi)pa(xi)ki码字x10.203000x20.190.23001x30.180.393011x40.170.573100x50.150.743101x60.10.8941110x70

3、.010.99711111105.8 设无记忆二元信源，其概率。信源输出的二元序列。在长为的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。(1) 求码字所需要的长度；(2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率是多少？解：(1)码字中有0个“1”，码字的个数：码字中有1个“1”，码字的个数：码字中有2个“1”，码字的个数：码字中有3个“1”，码字的个数：(2)码字中有0个“1”，错误概率：码字中有1个“1”，错误概率：码字中有2个“1”，错误概率：码字中有3个“1”，错误概率：5.9 设有离散无记忆信源码符号集，现对该信源进行三元哈夫曼编码

4、，试求信源熵，码平均长度和编码效率。解：满树叶子节点的个数：，不能构成满树。 1 1 22 2 21 2 20 2 02 2 01 2 000 3 001 35.10 设有离散无记忆信源，其概率空间为进行费诺编码，并求其信源熵，码平均长度和编码效率。解：xip(xi)Encodewilix10.3200002x20.221012x30.1810102x40.16101103x50.081011104x60.041111145.17 设有离散无记忆信源(1) 求该信源符号熵；(2) 用霍夫曼编码编成二元变长码，计算其编码效率；(3) 用霍夫曼编码编成三元变长码，计算其编码效率；(3) 当译码错误小于的定长二元码要达到(2)中霍夫曼码的效率时，估计要多少个信源符号一起编才能办到。解：(1)(2) 10 2 11 2 010 3 011 3 001 3 0000 4 0001 4(3)满树叶子节点的个数：，能构成满树。 1 1 20 2 21 2 22 2 00 2 01 2 02 25.19 若