信息论与编码习题参考答案

第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6636种，其中任一状态的分布都是等概的，出现的概率为1/36。(1)设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。因此事件A发生的概率为p(A)=(1/36)*2=1/18故事件A的自信息量为I(A)=log2p(A)=log218=4.17 bit(2)设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。因此事件B发生的概率为p(B)=1/36故事件B的自信息量为I(B)=log2p(B)=log236=5.17 bit(3) 两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566因为各种组合无序，所以共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布：(5)“两个点数中至少有一个是1”的组合数共有11种。2-2解：(1)红色球x1和白色球x2的概率分布为(2)红色球x1和白色球x2的概率分布为(3)四种球的概率分布为，2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。两骰子面朝上点数的状态共有36种，其中任一状态出现都是等概率的，出现概率为1/36。(1)设“面朝上点数之和为3”是事件A，点数之和为3的有两种(1+2，2+1)，故有p(A)=2*(1/36)=1/18I(A)=log2p(A)=4.17 比特(2)设“面朝上点数之和为7”是事件B，点数之和为7的有6种(1+6，2+5，3+4，4+3，5+2，6+1)，故有p(B)=6*(1/36)=1/6I(A)=log2p(B)=2.58 比特2-9解：设第一次摸出的是黑球的事件为x1，第一次摸出的是白球的事件为x2，第二次摸出的是黑球的事件为y1，第二次摸出的是白球的事件为y2。(1)若摸出的球为黑球，则若摸出的球为白球，则(2)若第二次实验摸出的是黑球，则若第二次实验摸出的是白球，则(3)若第二次实验摸出的是黑球，则若第二次实验摸出的是白球，则(4)又，2-14解：设x00，x11，y00，y11，则由已知得，(1) 由全概率公式得，由贝叶斯公式得由得(2)2-20解：(1)(2)(3)因为是均匀分布，a,b不同，导致概率密度函数不同，所以信源熵不同。2-27解：(1)由符号条件概率得如下状态转移图010011100/0.50/0.81/0.21/0.51/0.81/0.20/0.51/0.5(2) 由状态转移图得状态转移概率矩阵由得2-33解：(1)其中 (2)(3) 当p=0或p=1时H(X)=0。必然事件和完全不可能事件的熵均为0，不包含任何信息。第三章习题参考答案3-1解：(1)判断唯一可译码的方法：先用克劳夫特不等式判定是否满足该不等式；若满足再利用码树，看码字是否都位于叶子结点上。其中C1,C2,C3,C6都是唯一可译码。对C4：，满足该不等式；利用码树：10在叶子结点上，所以C4不是唯一可译码。对C5：，不满足该不等式。所以C5不是唯一可译码。(2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码, 唯一可译码不一定是即时码。其中C1,C3,C6都是即时码。对C2：“0”是“01”的前缀，所以C2不是即时码。(4) 由平均码长得3-7解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1, 2, 3, , i, ；对应的编码分别为：0, 10, 110, , 111110 ( i 1个1), 。(2) 先求熵和平均码长，二者的比值即信息传输速率(3)编码效率：h = 1 =100%3-11解：(1)(2)香农编码如下表所示：符号xi符号p(xi)累加Pi-log2p(xi)码长ki码字x10.3201.63200x20.220.322.173010x30.180.542.463100x40.160.722.633101x50.080.883.6241110x60.040.964.615111103-12解：(1) R=H(X)=2.56 bit/s第四章习题参考答案4-2解：即无失真R(Dmin)=R(0)=H(X)=log24=2R(Dmax)=R(3/4)=0第五章习题参考答案5-11解：由已知得由G得：dmin=4编码器硬件逻辑连接图如下图所示：输出输入u3u2u1u0v3v2v1v05-13解：由G得由C=mG得：C1=,C2=,C3=,C4= C5=,C6=,C7=,C8= C9=,C10=,C11=,C12= C13=,C14=,C15=,C16=伴随式有23=8种，有0和1个差错得差错图案E共有8种。（汉明码）标准阵列译码表如下：S1=000S2=101S3=111S4=110S5=011S6=100S7=010S8=001S1=000S2=101S3=111S4=110S5=011S6=100S7=010S8=001由于收码R=(，)，查表可得到发码为：C=(，)5-16解：由已知：n=7，k=3，n-k=4。选择g(x)=x4+x2+x+1。R1(x)=xn-1 mod g(x)=x6 mod g(x)=x3+x+1G1(x)=x6+x3+x+1R