北京邮电大学2016-2017学年第一学期《信息论》期末考试试题及答案

北京邮电大学2016—2017学年第一学期《信息论》期末考试试题及答案一、判断题（10分）1、事件的自信息是其概率的单调递减函数。 （√）2、连续信源和离散信源的平均互信息都具有非负性。 （√）3、对于遍历的有限状态马氏链，如果初始状态概率分布不是平稳分布，当转移步数足够大时，状态概率分布一定趋于平稳分布。 （√）4、离散信道的容量是关于输入符号概率分布的上凸函数。 （×）5、码长满足Kraft不等式的码一定是异前置码。 （×）6、平均功率受限的随机变量，当均匀分布时有最大的熵。 （×）7、随着信源序列长度的增加，非典型序列出现的概率趋近于零。 （√）8、对于任意的二元对称信道，最小汉明距离准则等价于最大似然准则。（×）9、对任意的加性噪声信道，当信源是高斯分布时达到信道容量。 （×）10、如果信息传输速率小于信道容量，信息传输差错任意小。 （×）二、填空题（20分）1.已知某离散无记忆信源的数学模型为，则其三次扩展源的熵。（5.877比特/扩展符号）2.已知X是均值为0、方差为1的高斯信源，Z是均值为0、方差为2的高斯信源，X,Z独立且Y=3X+2Z，则h(Y)=,h(YZ)=。（，）3.某信源共有32个信源符号，其实际的熵值为比特/信源符号，则该信源的剩余度为________。（）4.在一个离散时间平稳无记忆加性高斯噪声信道中进行信息传输，信道输入X的方差为，零均值噪声方差为，进行可靠传输的速率上限是________。（）5.AWGN信道下实现可靠通信的信噪比下界为-1.59dB，此时对应的系统带宽为。（无穷大）6.设信源符号集为，分别进行了4种分组编码，，其中属于非奇异码，属于唯一可译码，满足Kraft不等式。（，，）三、简答题（12分）1.“重要的事情说三遍”是一句网络流行语，这句话中体现了通信系统中哪两个模块的功能？这两个模块分别与通信传输的有效性和可靠性有什么关系？（4分）答：“重要的事情”，体现了信源压缩编码，信源编码可提高通信传输的有效性。“说三遍”，体现了信道编码，信道编码可提高通信传输的可靠性。2.设离散无记忆信源其失真度为汉明失真度，失真矩阵为d=01试计算：（1）Dmin及R（Dmin）（2）Dmax及R（Dmax） （8分）答案：（1）d=D相应的试验信道转移概率矩阵为1R（2）DR四、计算题（16分）信源X随机产生二元信源符号，经过转移概率如图1所示的信道CH1传输得到Y。图1写出CH1的信道转移矩阵。（3分）求CH1的信道容量及达到信道容量时X和Y的分布。（3+2+2分）若在CH1后级联一个信道CH2，信道容量会发生怎样的变化？举例说明CH2的一种情况，使级联后的信道容量与CH1相同。再举例说明CH2的一种情况，使级联后的信道容量为0（2+2+2分）答案：(1)转移概率矩阵：(2)CH1是准对称信道，输入等概时达到信道容量，即。输入等概时，输出的概率为{5/16,1/4,1/8,5/16}信道容量：比特/符号(3)根据数据处理定理，级联一个信道CH2后，级联信道容量会小于等于CH1的信道容量。如果级联后信道转移矩阵不发生变化，信道容量也不会发生变化。例如，如果CH2是无损确定信道，转移矩阵为 如果级联后信道为确定信道，且输出符号个数为1，则信道容量为0。例如，如果CH2是确定信道，转移矩阵为还可以有其他答案，如转移概率矩阵为或，或，或等 五、计算题（15分）离散无记忆信道输入符号等概，且转移概率矩阵如下：求ML准则的判决结果；（3分）求信道疑义度的上界；（4分）设该信道以1500符号/秒的速率传送信息，现在有一个三元独立等概离散信源，试问该信源长度为4000的消息序列能否在10秒内无差错地通过此信道传输？（8分）解：1）最大似然判决结果：2）比特/符号3）强对称信道，容量为：。六、计算题（10分）设电话信号的信息率为5.6×104(bit/s)，在一个噪声单边功率谱密度为N0=5×10-6(mW/Hz)，信道带宽为W(Hz)，限输入功率P的加性高斯白噪声信道中传送。（1）若W=4(kHz),求无差错传输所需的最小功率？（5分）（2）若信道带宽W不受限，求无差错传输所需的最小功率？（5分）解：F=4kHz时，实现无差错传输则，取等号，即=0.32766W∞时，由实现无差错传输则，取等号，则5.6×104×5×10-6×10-3×ln2=1.941×10-4=0.1941mW七、计算题（17分）设有一个四个子信道构成的独立并联加性高斯噪声信道，各子信道噪声的方差分别为σ1求信道的容量?假设第一个子信道和第四个子信道邻近其他通信系统，为了防止对其他系统造成过多带外干扰，限制第一个子信道和第四个子信道的能量