信息论基础理论与应用考试题及答案

1、WORD格式信息论根底理论与应用考试题一填空题每题2 分，共 20 分1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性有效性XX性和认证性，使信息传输系统到达最优化。考点：信息论的研究目的2. 电视屏上约有 500×600=3×105个格点，按每点有 10 个不同的灰度等级考虑，5那么可组成 103 10个不同的画面。按等概计算，平均每个画面可提供的信息量约为 106 bit / 画面。考点：信息量的概念及计算3. 按噪声对信号的作用功能来分类信道可分为加性信道和乘性信道。考点：信道按噪声统计特性的分类4. 英文电报有 32 个符号26 个英文字

2、母加上 6 个字符，即 q=32。假设 r=2 ，N=1，即对信源 S 的逐个符号进展二元编码，那么每个英文电报符号至少要用5位二元符号编码才行。考点：等长码编码位数的计算5. 如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，那么信道的错误概率最小，这种译码规那么称为最大后验概率准那么或最小错误概率准那么。考点：错误概率和译码准那么的概念6. 按码的构造中对信息序列处理方式不同，可将纠错码分为分组码和卷积码。考点：纠错码的分类7. 码 C=0，0，0，0，0，1，0，1，0，1，1，0，0，0，1，1是4，2线性分组码。考点：线性分组码的根本概念8. 定义自

3、信息的数学期望为信源的平均自信息量，即1qP(ai )log P(ai ) 。 H ( X ) E logP( ai )i 1专业资料整理WORD格式考点：平均信息量的定义9. 对于一个 n,k 分组码，其最小距离为 d，那么，假设能纠正 t 个随机错误，同时能检测 eet 个随机错误，那么要求dt+e+1。考点：线性分组码的纠检错能力概念10. 和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为信道容量。考点：连续信道和波形信道的信道容量二判断题每题2 分，共 10 分1. 信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表

4、示信源的实际熵越小。对考点：信源剩余度的根本概念2. 信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道都是无记忆信道。错考点：有色噪声信道的概念3. 假设一组码中所有码字都不一样，即所有信源符号映射到不同的码符号序列，那么称此码为非奇异码。对考点：非奇异码的根本概念专业资料整理WORD格式4. 在一个二元信道的n 次无记忆扩展信道中，输入端有2n个符号序列可以作为消息。对专业资料整理WORD格式5. 卷积码的纠错能力随着约束长度的增加而增大，一般情况下卷积码的纠错能力专业资料整理WORD格式劣于分组码。错考点：卷积码的纠错能力专业资料整理WORD格式三名词解释每题3 分，共 12

5、 分1. 信源编码信源编码是对信源输出的消息进展适当的变换和处理，目的是为了提高信息传输的效率，所以又称为信源压缩编码。考点：信源编码的根本概念2. 马尔可夫信源专业资料整理WORD格式信源某 t 时刻所处的状态由当前的输出符号和前一时刻t-1信源的状态唯一决定，那么称此信源为马尔可夫信源。考点：马尔可夫信源的根本概念3. 熵功率假设平均功率为 P 的非高斯分布的信源具有熵为 h，称熵也为 h 的高斯信源的平均功率为熵功率 P ，即熵功率是 P1 e2h。2e考点：熵功率的定义4. 即时码在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，那么这类

6、码称为即时码。考点：即时码的定义四简答题每题4 分，共 16 分1信息熵的根本性质有哪些？答：信息熵的根本性质包括对称性确定性非负性扩展性可加性可强加性递增性极值性上凸性。考点：信息熵的根本性质2由香农公式可以得出的重要结论有哪些？答： 1提高信号与噪声功率之比能增加信道的信道容量；（ 2当噪声功率趋近于零时，信道容量趋于无穷大，这意味着无干扰连续信道的信道容量为无穷大；（ 3信道容量一定时，带宽传输时间和信噪功率比三者之间可以互换；（ 4增加信道带宽也就是信号的带宽，并不能无限制地使信道容量增大；（ 5给出了无错误通信的传输速率的理论极限，成为香农极限。（ 考点：对香农公式的深入理解所得出的

7、重要结论3n,k线性分组码的重要性质有哪些？答： 1n,k线性分组码由其生成矩阵G 或校验矩阵 H 确定；（ 2封闭性；（ 3含有零码字；专业资料整理WORD格式（ 4所有许用码字可由其中一组 k 个独立码字线性组合而成；（ 5码的最小距离等于非零码的最小重量。（ 考点：n,k线性分组码的重要性质4通信网络信道可划分成哪几种情况？答：1多址接入信道；2播送信道；3中继信道；4串扰信道；5双向信道；6多用户通信网；7具有反应的信道。考点：通信网络信道的划分五计算题每题8 分，共 32 分1有一布袋内放100 个球，其中 90 个球是红色的， 10 个球是蓝色的，假设随机摸取一个球，猜想其颜色，求

8、平均摸取一次所能获得的自信息量。(考点：自信息量的根本概念及计算方法)解：这一随机事件的概率空间为Xa1a2p( x)0.90.1a1表示摸出的是红球a2表示摸出的是蓝球假设被告知摸出的是红球，那么获得的信息量为I( a1 )=-logp( a1 )=-log0.9 比特假设被告知摸出的是蓝球，那么获得的信息量为I( a2 )=-logp( a2 )=-log0.1 比特假设每次摸出一个球后又放回去，再进展第二次摸取。那么摸取n次后，红球出现的次数为 n p( a1 )次，蓝球出现的次数约为n p( a2 )次。那么摸取 n 次后总共所获得的信息量为n p( a1 )I( a1 )+n p(

9、a2 )I( a2 )所以，平均摸取一次所能获得的信息量约为专业资料整理WORD格式H ( X )p(a1) log p(a1 )p(a2 ) log p(a2 )2p( ai ) log p( ai )i10.9log 0.90.1log 0.10.469比特 / 符号2设二进制对称信道的传递矩阵为21331233若 p(0)=3/4， p(1)=1/4，求 H(X ) H(X|Y) H(Y|X) 和 H(X;Y) 。（ 考点：信息熵和条件熵的计算解：联合概率矩阵为2111PXYp(0)033240p(1)121133126边缘概率分布为PXp(0)p(1)PY111175212461212

10、H(X)= p(0)log 2 p(0)p(1)log2 p(1)0.811bit21又信道传递矩阵 PY |X331233故22H(Y|X)p(xiy j )logp( y j | xi )i 1j 11 log 221 log211 log 211 log 222343123630.918bit专业资料整理WORD格式7755H (Y)12log 2 1212log 2 120.98bitH(X |Y)H(X,Y)H (Y)H(X) H(Y | X) H(Y)0.8110.9180.980.749bitI ( X ; Y )H ( X )H (Y | X )0.8110.7490.06bi

11、t3有一个二元对称信道，其信道矩阵如下列图所示，设该信道以 1500 个二元符号/秒的速度传输输入符号。现有一消息序列共有 14000 个二元符号，并设在这消息中 P(0) P(1) 1。问从信息传输的角度来考虑，10秒钟内能否将这消2息序列无失真的传送完。00.9800.020.020.9811考点：对二元对称信道的最大的信息传输速率，最大信息传输速率和最大信息量的深入理解及运用专业资料整理WORD格式解：消息是一个二元序列，这二元符号是等概率分布，即P(0)P(1)1 ，所以专业资料整理WORD格式2专业资料整理WORD格式消息信源的熵H(X)1比特/符号，即每个二元符号含有1 比特信息量

12、。那么专业资料整理WORD格式这消息序列含有信息量 =14000 符号× 1比特 /符号 =1.4104比特现计算这二元对称信道能传输的最大的信息传输速率。这信道是二元对称信道，信道传递矩阵0.980.02P0.020.98所以其信道容量即最大信息传输率C1H ( p)1H (0.98)0.8586 比特/符号得最大信息传输速率Rt1500符号 /秒 *0.8586 比特 /符号专业资料整理WORD格式1287.9 比特/秒1.288103比特/秒此信道 10 秒钟内能无失真传输的最大信息量为=10Rt1.288 104比特可见，此信道 10 秒内能无失真传输的最大信息量小于这消息序

13、列所含有的信息量，所以从信道传输的角度来考虑，不可能在 10 秒钟内将这消息无失真的传送完。4. 假设线性分组码生成矩阵为11010000110100G=01101000001101(1) 由该 G 矩阵指出 n,k码的信息位和监视元位数。(2) 由 G 矩阵确定对应的 n,k循环码生成多项式。(3) 给出对应的 H 矩阵系统码形式。(4) 该 n,k码的最小汉明距离 d0为多少？考点：对线性分组码的深入理解及应用xk 1 g( x)专业资料整理WORD格式解：由GI kQ,QPT,HPI r,d0r 解题专业资料整理WORD格式xg (x)专业资料整理WORD格式g (x)（ 1信息位 k=

14、4,监视元位 r =3,n =7。 2由 G 矩阵得 7，4循环码生成多项式g(x)=x3x2 11101000100011001101000100011G=011010=01011= I kQ0013000110100011011011100H PI rQT I r11100100111001 4最小汉明距离 d0 = r =3专业资料整理WORD格式五证明题 10 分1.设信道输入随机变量为X ，输出随机变量为 Y1和 Y2。并且在 X 的条件下，Y1和 Y2为等概率密度分布。证明： (1)I(X;YY )2I(X;Y)I(Y;Y )12112(2)信道 I 的信道容量小于2 倍的信道的信

15、道容量。考点：对信道容量的深入理解及应用证明：1专业资料整理WORD格式I (X;YY ) =I (X;Y)121I (X ;Y2|Y )1专业资料整理WORD格式= h(YY ) - h(YY | X )1212专业资料整理WORD格式= h(Y )1h(Y )1h(Y )2h(Y )2h(YY )12h(Y | X )1专业资料整理WORD格式h(Y2| X )h(Y | X )1h(Y2| X )h(YY | X )12专业资料整理WORD格式= h(Y )1h(Y | X )1h(Y )2h(Y | X )2 h(Y )1h(Y )2h(YY ) +12专业资料整理WORD格式h( Y

16、 )1h (Y | X )1h (Y2| X )h (Y Y | X ) 12专业资料整理WORD格式= I ( X;Y1)I (X;Y2)I (Y1;Y2 )I (Y1 ;Y2| X )专业资料整理WORD格式因为在X 的条件下Y1和Y2统计独立，专业资料整理WORD格式所以h( Y Y |12X)h( Y |X)1h( Y | 2X Y)1专业资料整理WORD格式= h(Y1 | X )h(Y2| X )专业资料整理WORD格式得I (Y1;Y2|X) =0专业资料整理WORD格式又因为在 X 的条件下， Y1和 Y2是等概率密度分布，那么有I (X;Y1) I ( X ;Y2)得I(Y1; Y2 | X)2I ( X 1;Y ) I1 (Y2;Y ) 2信道 I 的输入为 X