信息论考试题(填空简答)

1、一填空题（每空1分，共20分）1香农信息论的三个基本概念分别为、。2对离散无记忆信源来说，当信源呈分布情况下，信源熵取最大值。3写出平均互信息的三种表达公式、。4若连续信源输出的平均功率和均值被限定，则其输出信号幅度的概率密度函数为时，信源具有最大熵值；若连续信源输出非负信号的均值受限，则其输出信号幅度呈分布时，信源具有最大熵值。5信道容量是为了解决通信的问题，而信息率失真函数是为了解决通信的问题。6费诺编码比较适合于的信源。TOC o 1-5 h z7无记忆编码信道的每一个二元符号输出可以用多个比特表示，理想情况下为实数，此时的无记忆二进制信道又称为。8差错控制的4种基本方式是：、。9（n,

2、k）线性码能纠t个错误，并能发现l个错误（lt），码的最小距离为：10循环码码矢的i次循环移位等效于将码多项式乘后再模。二简答题（每小题5分，共30分）1分别说明平均符号熵与极限熵的物理含义并写出它们的数学表达式。写出二进制均匀信道的数学表达式，并画出信道容量C与信道转移概率p的曲线图。简述保真度准则下的信源编码定理及其物理意义。在哈夫曼编码过程中，对缩减信源符号按概率由大到小的顺序重新排列时，应将合并后的新符号排在同概率大小信源符号的前面还是后面？并说明原因。设某二元码为C=11100,01001,10010,00111,请问此码的最小码距是多少？码率R（假设码字等概率分布）为多少？此码能纠

3、正几位码元错误？目前对卷积码有哪些描述方法？各从什么角度考虑的？二、名词解释（亦4分（1离散平穩侑源各维联合概率分布均打时闾起讥无災的充金平稳主跖线性加II码：若C圧vCn.q）的hMk錐F押Iv叮）则称C为q冗k）线性分汕码,简称线性V%（3）叩馬火比度：规也冲牛荷弓夫点度矶,传输一亍符4；血lT均失真，即信漓平均失真度=其中可是刚（和的恥合:空仙求平均。填空题（共18分）I.某二九G氐）线性分组啊的企部许用码字为*00000,0101E10110,11101,则该码的码长信息位长度编码分为信源编码和信道编码两种，信源编码以提高性能为目的，信道编码以提為忡能为H的,3+对于某个含有7个消息的

4、信源，其墉的最大值为,对应为分仏4.J情迫给定.平均耳信息呈“兀鬥足信源概率分布张）的型M函数，乩5k）线性分组码，要检测芒个错误，则码的最小距离（/孑,要纠正己个错尢码的最小距离N,&写出LY：Jr）H（.J/.0的关系式7+条件爛H（X/Y）与无条件爛H（X）的大小关系为8.从借误概率最小这一角度来说，帯源卄等概分和时应采用译码准则，等概分布时应采用译码准则.从信源的统计特性Yh如X的取值各时刻相耳独立，称为佶源:对丁理想信道，H(.7n-:10011：门线性码，G=(JI00I00111IXB-o0o-0I,打接收J=0011101,已知该码1I山卩一位码儿出件则确译码值足简述倍息传输系

5、统的五个纽.成部分及英作用。（10分）简述Shannon关干信息论的三大定理（6分）写出Fano不等式*并说明其物理意义。百分）简答題（K12分，毎题各分）1什么足佶源编咋试述杏农第一编问立理的物理总义？答：所谓倍源编啊就是对们源的原始符号按一定的规则进彳丁变换，以新的编码符号代替原始信源符号，从而降低原始信源的兀余度、香农第一编円定理的物理.息义：尢失真信源编码的埃质就圧对离散信源进行适当的变换,使变换后新的码符号信源帝道的输入倍源）即叮能等概分布，以便新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容罠仁实现信源打信道理想的统计也配。一填宇题f共la分毎题1分)

6、I单符号离的忙源一般用随机变电描述，而多符t信源一般用随机矢岸描述。2离散平稳尤记忆信源X的N次扩區倍源的爛等于离散们源X的燔的倍。3对于一阶马尔可夫信源，其状态空间共有赳声个不同的状态.4根据输入输小的信兮特点川将常道分成离散信道、连续伫道、半离散或半连续信道5刚十离散无记忆信道和倍源的K次扩展*其信道容早二眈6信道编码论定理是一个理想编码有在性理论即；信道尢失真楼递信息的条件是信息传输速率小于信道容量.7们源编码的I丨的是提高通信的有效性B8XI+&农编码费诺编码和哈人曼编側，编码方敢唯一的是香农编們y在多符号的消息序列中，大量重复出现的，只起占时作用的符兮称为鱼位.io若纠错码的最小距离

7、为d则可以纠错任意小于等于笃二！个差错级11线性分昭码是同时门仃分纠牯件和线性牯性.的纠链码12平均功率为P的高斯分布的连续信源，其信源爛対比(x)=*l喝2滋尸丿(“)=工心山)13当连续信源利连续佶道都是无记忆时”则=14倍源编码信道编码之问的最大区别是，倍源编码需减少信源的剩余度,而忙道编码需增加信源的剩余度.15离散信源的爛值MJ0越小，说明该信源消息之间的平均不确定忖.减弱、一、填空题(每空2分，共20分)1、必然事件的ft侑息量是o不可能事件的门们息量TOC o 1-5 h z崔a盒信源编码的目的越o信追编码的扱终H的是3、离散平稳无记忆信源X的N次扩展信源的爛礬丁-离散信源X的爛

8、的”冬皿元氏度为注匸12,f的唯训泽码存住的充要条供是,氣信道的输出仅打帯道卅前输入冇关.血打过去输入无关的信道称为儲道-信道編码泄理楚个理想編码的存在性宜理即：常道无失真传递信TOC o 1-5 h z息的条件绘”/21/20_俳道体阵I0J代表的信道的信道容量O达到信道容童的条件是*填空题h衡输系统传输速度的技术指标为.2,在对信源进行观察之前，对认识E体来说，侑源存在,它仃倍源的先验概率右关。M对于尤记忆加性噪声信直假设输入信号服从高斯分布，冃观声的丫沟功率受限，则丿报从高斯分布的噪声使信道平均互信息童达到最.在加忖高斯噪声佶道中传输信息，分有的谕入佶弓足最有效的设X的収隹受限于有限区间

9、L已b，则X服从分布时，其幡达到最大圧波形信道的信道容竝打信观比冇关提高信噪比可以佶道容波形借道的借道容昴打频带目有矢若借噪比不变，则频带B可使信道容扯增大.条件多的爛小_条件少的爛乳DMSPx的符匕去中會N符少苴M次扩展信源小會个符小TOC o 1-5 h z对称佶道的诫件分命是o?r、Z统计独立,则II(ZY).II(Y)以及II二者之问的关系乂为、离敬尤记忆信道的统il帖性兄由概率分布來描述的口离散平稳无记忆信源右H(X)=2bit,贝IJ11(X3)=M个帝源符号的离散无记忆信源，苴最大爛为bit.luiyj)=2bil.I(xi)=3bil,则1W.i:x丄)二bix1G.某离散尤记忆信道的信道容重为匚则苴N次扩展信道的信道容早为iS续怡源服从均値为U.方垒(7的為斯分fl!1!IA