最新信息论考试题(填空简答)

1、精品文档一填空题（每空 1分，共 20 分）1香农信息论的三个基本概念分别为 、 、 。2对离散无记忆信源来说，当信源呈 分布情况下，信源熵取最大值。3写出平均互信息的三种表达公式 、 、 。4若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为 时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈 分布时，信源具有最大熵值。5信道容量是为了解决通信的 问题，而信息率失真函数是为了解决通信的 问题。6费诺编码比较适合于 的信源。7无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为 。8差错控制的 4 种基

2、本方式是： 、 、。9 （n,k） 线 性 码 能 纠 t 个 错 误 ， 并 能 发 现 l 个 错 误 （l>t） ， 码 的 最 小 距 离 为 ：10循环码码矢的 i 次循环移位等效于将码多项式乘 后再模 。二 简答题 （每小题 5 分，共 30 分） 1分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。 2写出二进制均匀信道的数学表达式，并画出信道容量C 与信道转移概率 p 的曲线图。3. 简述保真度准则下的信源编码定理及其物理意义。 4在哈夫曼编码过程中，对缩减信源符号按概率由大到小的顺序重新排列时，应将合并后的新符号排在 同概率大小信源符号的前面还是后面？并说明原

3、因。5设某二元码为 C=11100,01001,10010,00111, 请问此码的最小码距是多少？码率R （假设码字等概率分布）为多少？此码能纠正几位码元错误？6目前对卷积码有哪些描述方法？各从什么角度考虑的？名词解释(3x4分)(1) 曲散平稳信源：并细联仟概率介加均与时间起占无关的完金平稳主源(2) 红愕分细码：若CJ£V (r(,q) W ii ;Rk维子空MV (k,q),则垛C为口 元(mk)线性分组码.简隸找性码*(3) 平均失一頁麼：规定广也个符号失玄度川叽片)后传输一个符号引起的斗为失贞，即信源平旳火贞度万=町血耳,二习仙W 其屮可叫址対 和V的联合空间求平均：填空

4、题(共18分)I. 某二元(小k)线性分组码的全部许用码字为匕oouoo, own, W1W, 11W1,则该鮒的侣K n =t信息位长度k =°2”编码分为信源编码和信道编码两种”信源编码以提岛性能为冃的，苗道编码以提侖性能为冃的。3. 对于果个含有7个消息的信源.其爛的最大值为，对应为分布.4. 肖倍道给迄 平均耳倍息屋/ F>是倍液概率分布乳r)的型凸函数=5. 5, *线件分组码*耍检测f个错谋*则啊的最小距离d孑 *耍纤止个错误.码的最小跆离dM 0& 写出/(娄F)与H ( Y/X的关系式J条件爛H (X/Y)与无条件嫡H (X)的大小关系为o扛从错课概率最

5、小这一角度来说晋信源非等概分布时应采用译码准则等概分布时应采用译码准则.9. 从信源的统计特性fb如X的収值各时刻相互独立.称为信源，10. 对 T理想信道，HX!Y> = T Z(J: J)-0_10 01 I 0 0_II. (7, 3)线性码，0=0100101.若接收矢量K=0011101,已刘该码0 0 1)111其屮一位码元出错，则止确译码值是L简述信息传输系统的五个组成部分及其作用。（10分）2简述Shannon关于信息论的二大定理=（6分）3写出Fano不等式.并说明其物理意义。（6分）Z简答题（共弦分，侮题5分）1什么是信源編码.试述香农第一编码定理的物理意义？帘所谓佶

6、源编码就是对倍源的原始符号按一定的规则进行变换，以新的编码荷 号代薔原始信源符号，从而师低原始倍源的冗余度*香农第一编码宦理的物理心义：无失童信源编码的实质就是对离散信源进行 适半的变换，使变换后新的码符号信源信道的输入信源）即町能等槪分布，以 使新信源的毎个码符号平均听含的信息磧达到垠大，从而使信道的信息传输率R 达到侑道容暈G实现信源与信道理想的统让兀配。一填空题（共15分，每题1分）1单符号离散借源一般用随机变量描述,而多符号信源般用随机矢鼠描述-2离散平稳无记忆伫源X的N次扩展信源的爛等于屬散信源X的爛的丛倍*3対于一阶马尔可人信源，其状态空间共右/T个不同的状态。4抿据输入输出的倍号

7、特汕可将信道分成离散信道、连续信道、半离散或半 连续信道°5対于离散无出忆信道和信源的N次扩展，其信道容W6信道编码论定理迢一个理想編码存在性理论，即：倍道无失貞传递信息的条 件是信息传输速率小于信道容就7信源编码的冃的是提禹角佶的有效性8对于香农编円、费诺编們和哈交吨编叭 编码方法唯一的是香农编码，9在多符号的消息序列中.大量重复出现的，只起占时作用的符号称为 兀余 位10若纠错码的最小吐肉为d曲 则可以纠错任意小于等于 血f 个注VLII线性分纽码是同时具右 分纽特性和线性特性 的纠错码。12平均功率为P的商斯分布的连续信源，其信源埔为 fft（X）=丄1。的2旋尸13当连续信濾

8、和连续信道都是无记忆时，则14信源编码打信道编码之间的最大区别是，信源编码需减少信源的剩余度, 而信道编码需増加信源的剩余度15离散信源的爛伯*00越小，说明该信源消息之间的平均不确定性减弱°填空题（每空2分共20分）I .必然邢件的H信息童是.不nJ能申件的H帯息量是-2、伫源编码的"的是信逍編码的呆终H的是03. 离散平稳无记忆信源X的N次扩展倍源的烧等J离散帯源X的城的 -1> m元氏度为kpi=E2, n的唯可译码存在的充耍条件是o5信道的输出仅与信道当前输入有关.而与过去输入无关的信道称为_ 信道.6. 信道編码泄理炬一个理想编码的存在性定理.即：侑道无失負

9、传递仁息的条件超-ri/2 1/2 0'7. 信道体阵I 00 J代表的信道的信道容畐O达到信道容宦的条件肚.填空题L衡量信息传输系统传输速度的技术指标为 。2, 在对信源进行观察Z前，对认识主体来说*信源存在,它打佶源的先验概率育关.3. 对于无记忆加性噪声信道，假设输入信号服从高斯分布，斤噪声的平均功率受限.则服从高斯分布的噪声使信道平均互信息量达到址。4、在加性高斯噪声信道中传输信息.分布的输入信号是最有效的二5. 设X的取值受限于仃限区间a.bj,则X服从分布时*其爛达到量大。&波形信道的信道容量与信噪比有关，提高信噪比可以信道容量.7.波形信道的怙道容量打频带B有关”

10、若信噪比不变*则频带B可使信道容垢增大。民条件多的爛不条件少的熾9. DMS 'I' X的符号我中會N符号，其M次扩展信源中含个符号。10. 对称倩道的最佳分布是 *1L若1 Z统计独立，JfliJ II(ZY) , H(Y)以及1【三者Z间的关系式 为-12. 离散无记忆信道的统计特性是由概率分布來描述的。13. 离散平稳无记忆怕源X. ll(X)=2bit,则11(X3)=J14. M个信源符号的离散无记忆佑源,其最大爛为bit*15. I(xi|yj)=2bit. I(xi)=3bit,则 l(vi:xi)bit.16. 某离散无记忆信道的信道容臺为C*则芬N次扩展佶道的信道容卑为 , 连续侑源服从均值为5方差cr'的高斯分