(信息论)第二、三章习题参考答案

第二章习题参考答案2-1解：同时掷两个正常的骰子，这两个事件是相互独立的，所以两骰子面朝上点数的状态共有6×6＝36种，其中任一状态的分布都是等概的，出现的概率为1/36。(1)设“3和5同时出现”为事件A，则A的发生有两种情况：甲3乙5，甲5乙3。因此事件A发生的概率为p(A)=(1/36)*2=1/18故事件A的自信息量为I(A)=－log2p(A)=log218=4.17bit(2)设“两个1同时出现”为事件B，则B的发生只有一种情况：甲1乙1。因此事件B发生的概率为p(B)=1/36故事件B的自信息量为I(B)=－log2p(B)=log236=5.17bit(3)两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566因为各种组合无序，所以共有21种组合：其中11，22，33，44，55，66的概率是其他15个组合的概率是(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布：(5)“两个点数中至少有一个是1”的组合数共有11种。2-2解：(1)红色球x1和白色球x2的概率分布为(2)红色球x1和白色球x2的概率分布为(3)四种球的概率分布为，2-5解：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为1/6。两骰子面朝上点数的状态共有36种，其中任一状态出现都是等概率的，出现概率为1/36。(1)设“面朝上点数之和为3”是事件A，点数之和为3的有两种(1+2，2+1)，故有I(A)=－log2p(A)=4.17比特(2)设“面朝上点数之和为7”是事件B，点数之和为7的有6种(1+6，2+5，3+4，4+3，5+2，6+1)，故有I(A)=－log2p(B)=2.58比特2-9解：设第一次摸出的是黑球的事件为x1，第一次摸出的是白球的事件为x2，第二次摸出的是黑球的事件为y1，第二次摸出的是白球的事件为y2。(1)若摸出的球为黑球，则若摸出的球为白球，则∴(2)若第二次实验摸出的是黑球，则若第二次实验摸出的是白球，则∴(3)若第二次实验摸出的是黑球，则若第二次实验摸出的是白球，则∴(4)又，∴2-14解：设x0—0，x1—1，y0—0，y1—1，则由已知得，，，∴，由全概率公式得，由贝叶斯公式得由得(2)2-20解：(1)(2)(3)因为是均匀分布，[a,b]不同，导致概率密度函数不同，所以信源熵不同。2-27解：(1)由符号条件概率得如下状态转移图01010011100/0.50/0.81/0.21/0.51/0.81/0.20/0.51/0.5由状态转移图得状态转移概率矩阵由得2-33解：(1)其中(2)当p=0或p=1时H(X)=0。必然事件和完全不可能事件的熵均为0，不包含任何信息。第三章习题参考答案3-1解：(1)判断唯一可译码的方法：①先用克劳夫特不等式判定是否满足该不等式；②若满足再利用码树，看码字是否都位于叶子结点上。如果在叶节点上则一定是唯一可译码，如果不在叶节点上则只能用唯一可译码的定义来判断是不是。其中C1,C2,C3,C6都是唯一可译码。对于码C2和C4都满足craft不等式。但是不满足码树的条件。就只能举例来判断。对C5：，不满足该不等式。所以C5不是唯一可译码。(2)判断即时码方法：定义：即时码接收端收到一个完整的码字后，就能立即译码。特点：码集任何一个码不能是其他码的前缀，即时码必定是唯一可译码,唯一可译码不一定是即时码。其中C1,C3,C6都是即时码。对C2：“0”是“01”的前缀，……，所以C2不是即时码。由平均码长得3-7解：(1)信源消息的概率分布呈等比级数，按香农编码方法，其码长集合为自然数数列1,2,3,···,i,···；对应的编码分别为：0,10,110,···,111…110(i–1个1),···。(2)先求熵和平均码长，二者的比值即信息传输速率(3)编码效率：h=1=100%3-11解：(1)(2)香农编码如下表所示：符号xi符号p(xi)累加Pi-log2p(xi)码长ki码字x10.3201.63200x20.220.322.173010x30.180.542.463100x40.160.722.633101x50.080.883.6241110x60.040.964.61511110（3）费诺编成二进变长制码，符号xi符号p(xi)第一次分组第二次分组第三次分组第四次分组码字码长kix10.3200002x20.221012x30.1810102x40.16101103x50.081011104x60.04111114（4）huffman编码符号xi符号p(xi)编码过程码字码长kix1111100.12010.280.320.220.18100.320.40.28100.60.410002x20.22102x30.18112x40.160103x50.0801104x60.0401114（5）huffman三进制符号xi符号p(xi)编码过程00码字码长kix10.320112100.180.220.320.282100.680.320112100.180.220.320.282100.680.3211x2