2021年科技大学通信专业信息论与编码课程期末考试(B)卷及答案

1、试卷第 页共6页2021年科技大学通信专业信息论与编码课程期末考试（B）卷课程名称：信息论与编码适用年级/专业：试卷类别开卷（）闭卷3）学历层次本科考试用时120分钟考生注意答案要全部抄到答题纸上,一做在试卷上不给分一、填空题（每空2分，共22分）1广义的通信系统模型是由信源、译码器和信宿五个部分组成。信息熵H（X）是对信源的的描述。要对信源输出的消息进行无失真的编码，平均每个信源符号至少需要用H（X）个码符号。（最大值、平均不确定性）1已知某信道的信道转移矩阵为P=32323，且输入为等概分布，若根据极大3似然译码准则确定译码规则，相应的平均错误概率为。4对于连续信源来说，当输出幅度受限时，

2、服从分布的随机变量具有最大熵；对于平均功率受限的连续随机变量，当服从分布时具有最大熵。（均匀、指数、高斯）若离散无记忆信源的信源符号有q个，信源熵为H（X）,那么对其进行N次扩展后的信源符号共有个,N次扩展信源XN的熵等于。对于给定的，I（X;Y）是输入分布p（x）的上凸函数，因此总能找到一i种概率分布p（x）（即某一种信源），使信道所能传送的信息率为最大。i信道容量是完全描述信道特性的参量，信道实际传送的信息量必然信道容量。（不大于、不小于或等于）8非奇异码是指一种分组码中的所有码字都的码。（相同、不相同）二、简答题（每小题5分，共20分）简述什么是马尔可夫信源？2简述H（X|Y）和H（Y|

3、X）在信道描述中的物理含义。什么是即时码？它和唯一可译码的关系？简述平均互信息I（X;Y）的物理含义？三、计算及编码题（第1题13分，其余每小题15分，共58分）某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。（1）若每个消息是等概率分布的，那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别为4,1,1,2，问在此情况下消息平均所需的二元脉冲数最少是多少？如何进行编码？设离散无记忆信源a=0a=1a=2a=3X1234=：3111_p(x)_8448_其发出的消息为202120130213001203210110321010021032011223210），求1）此

4、消息的自信息是多少？2）在此消息中平均每个符号携带的信息量是多少？（3）信源的熵H（X）是多少？3.求下列信道的信道容量，已知信道转移矩阵为P0.50.30.20.20.30.5100101设一线性分组码具有一致校验矩阵如下：H=010011001111（1）求这分组码共有多少个码字？写出此分组码的所有码字，并判断101010是否是码字？（2）此分组码的生成矩阵G=？（3）码字间的最小距离dmin及此码的纠错能力。（4）若接收到的序列为R=（110100）,且假设错误的发生在其纠错能力范围之内，那么其伴随式S是什么？并指出错误发生在什么地方。参考答案及评分标准一、填空题（每空2分，共22分）编

5、码器信道平均不确定性均匀高斯_qN_NH（X）信道转移概率p（y/x）ji不大于（或小于等于）二、简答题（每小题5分，共20分）1有一类信源，它在某时刻发出的符号仅与在此之前发出的有限个符号有关，而与更早些时候发出的符号无关，这类信源称为马尔可夫信源。几个熵在信道描述中的物理含义：H（X|Y）-信道疑义度，表示如果有干扰的存在，接收端收到Y后对信源仍然存在的不确定性。也称为损失熵，表示信源符号通过有噪信道传输后所引起的信息量的损失。（3分）H（Y|X）噪声熵，它反映了信道中噪声源的不确定性。（2分）无须考虑后续的码符号就可以从码符号序列中译出码字，这样的唯一可译码称为即时码。（3分）唯一可译码

6、包含即时码和非即时码。（2分）平均互信息I（X;Y）是收到Y以后所消除的对信源X不确定性，也就是从Y所获得的关于X的平均信息量。三、计算及编码题（第1、3题14分，其余每小题15分，共58分）1参考答案：（1）当消息晴、云、雨和雾是等概分布时，对这四个消息进行二元脉冲无失真编码时必须满足q=4=2l试卷第 页共6页所以1=2，得每个消息最少所需2个二元脉冲。也可通过计算其信息熵H(X)=1og4=2bit/符号得出结论。(3分)当四个消息不是等概率分布时，我们采用二元霍夫曼编码，可以用最少的二元脉冲来发送。(2分)11雾201晴3000云3001雨码长码字信源符号概率1/81/84分)平均码长

7、为：L=才p(s)1二1.75二元脉冲/消息iii=1此时计算其信息熵也同样为H(X)=1.75bit/符号(4分)所以，不等概率分布时，平均每个消息所需1.75个二元脉冲来发送。2因为离散信源是无记忆的，所以其所发出的消息序列中各个符号是无依赖、统计独立的。因此，此消息的自信息就等于消息中各个符号的自信息之和。(1)根据题意得，3I(a=0)=-logp(a)=-logq1.415比特TOC o 1-5 h z12128I(a=1)=-logp(a)=-log丄=2比特2224(每个式子2分，共8分)I(a=2)=logp(a)=log=2比特2324I(a=1)=-logp(a)=-log

8、丄=3比特2428此消息中共有14个“0”，13个“1”，12个“2”，6个“3”符号，则得到消息的自信息是I=14I(a=0)+13I(a=1)+121(a=2)+61(a=3)1234(3分)=14*1.415+13*2+12*2+6*3=87.81比特(2)此消息共含45个信源符号，这45个信源符号携带87.81比特信息量，则此消息中平均每个符号携带的信息量为I=87：81=1.95t特/符号（2分）TOC o 1-5 h z HYPERLINK l bookmark7 o Current Document 245（3）信源的熵oQI1111iH（X）二fp（a）logp（a）二一-lo

9、gloglog-log-沁1.91比特/符号（2分）i/88444488i勻4分)4分)N二0.32M=0.3+0.3二0.62这是一个准对称信道，可以划分为两个子矩阵分别为：0.50.2-0.3P=P=-0.20.520.3“N=0.5+0.2二0.7则-M=0.5+0.2二0.7-所以信道容量为C=logr-fNlogM-H(p,p,p)kk-23k=-=log2-0.7log0.7-0.3log0.6-H(0.5,0.3,0.2)(7分)=log2-0.7log0.7-0.3log0.6-(-0.5log0.5-0.3log0.3-0.2log0.2)=0.096比特/符号（1）由一致校验矩阵可得，n=6,r=3,k=3,是（6,3）分组码，码字共有2k=8个（2分）这（6，3）分组码所有码字为000000010011100101110110001111011100101010111001注：前三位为信息位，后三位为校验位（4分）1分)可以看出101010是码字。（2）因为一致校验矩阵H不是系统码，可以变换成系统码形式，如下:101100_H=PI=011010111001-00-0-答案不唯一（4分）所以，生成矩阵G=IPT=0100