2023年信息论编码试卷

信息论编码试卷3

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？

2.简述最大离散烯定理。对于一个有m个符号的离散信源，其最大烯是多少？

3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?

4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据解决定理。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

U01

1=[1[0al

8.什么是保真度准则?对二元信源伊@）Jk1-£DJ,其失真矩阵L0],求a>0时率失真函数的◎由和鼻皿？

二、综合题（每题10分，共60分）

1.黑白气象传真图的消息只有黑色和白色两种，求：

1）黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前

后没有关联,求婚巴（X）；

2）假设黑白消息出现前后有关联，其依赖关系为：砥伯）=093黑/白）=0.1,阳/黑）=0.2,产（黑/黑）=0.8,求其端々⑶.

2.二元对称信道如图。

31

1）若尸⑼北，尸。）北,求打（力和/（工①；

2）求该信道的信道容量和最佳输入分布。

SS]s2三$4S5S6S7S3

3.信源空间为忸⑹.040.20.10.10.050.050.050051试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。

11

36

11

23

21j.

4.设有一离散信道，其信道传递矩阵为行62并设『-1，试分别按最小错误概率准则与最大似然译码准则拟定译码

规则，并计算相应的平均错误概率。

■10000111,

01000100

00100010

00010001

5.5.已知一（8,5）线性分组码的生成矩阵为00001111团求:1）输入为全00011和10100时该码的码字;2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s,在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5x10-6mw/Hz。试求：

⑴无差错传输需要的最小输入功率是多少?回（2）此时输入信号的最大连续嫡是多少?写出相应的输入概率密度函数的形式。

答案

女（幻=-£7（%）log

一、概念简答题（每题5分，共40分）回1.答:平均自信息为I

表达信源的平均不拟定度，也表达平均每个信源消息所提供的信息量。

NX;Y）=-之之pQQlog

平均互信息Ji川9❷）

表达从Y获得的关于每个X的平均信息量，也表达发X前后Y的平均不拟定性减少的量，还表达通信前后整个系统不拟定性减

少的量。

2.答:最大离散燃定理为：离散无记忆信源，等概率分布时燧最大。

最大熔值为耳加耿=l°g2Mo

3.答:信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达成的最大信息传输率。信息传输

率达成信道容量时所相应的输入概率分布称为最佳输入概率分布。

平均互信息是信源概率分布的n型凸函数，是信道传递概率的U型凸函数。

信源，n编吗，信道，/►译妈,工信宿"

噪声,

4.答:通信系统模型如下：0——

数据解决定理为：串联信道的输入输出x、丫、z组成一个马尔可夫链，且有说明经数

据解决后,一般只会增长信息的损失。

CP

G=lim—=fyiog?1+------bills

5.答:香农公式为"7%修，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪

比和带宽。

101g=30=1000

dB则

由得明呼Ct=50001og2(1+1000)=49836bills

wo

6.答:只要Ll°g2^,当N足够长时、一定存在一种无失真编码。

7.答:当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。

8.答:1）保真度准则为:平均失真度不大于允许的失真度。

2）由于失真矩阵中每行都有一个0,所以有=0,而％-⑼&,匈。

二、综合题（每题10分，共60分）

1=黑/二白

1.答：1）信源模型为10-3°-7.

2

/（幻=-£2（%）现2尸（4）=°881加!/符号

2砥）=.

产（4）=£尸（%*（%/9）,i=1,2':

*F（里）=1

2）由1尸3】）+尸⑹=1得〔’23

/⑶=-2£尸@）尸（勺佃）1叫尸口/⑷=0.5533施/符号

则i-l川

2答：1）H⑻=0.8113加/符号

，（不¥）=0.0616加/符号

2）C=0.082历"符号，最佳输入概率分布为等概率分布。

3.答：1）二元码的码字依序为：10,11,010,011,1010,1011,1000,1001»

平均码长&=2.6域/符号，编码效率%=°-97

2）三元码的码字依序为：1,00,02,20,21,22,010,011,

平均码长4=17加/符号，编码效率%=0936

卬仇）=内

，?巳）=今尸=1

4.答:1）最小似然译码准则下，有1F（＞3）=X3,*2

Ro。=占

,F（＞2）=*2产=11

2）最大错误概率准则下，有1F（＞3）=X2,*24

5.答:1）输入为00011时，码字为00011110;输入为10100时，码字为1010010le

2

2)

<c=triog2（i+^-）

6.答:1）无错传输时，有碑

33

5.6X10=4X10log2（1+-----25^-------T）p>nAQQQ皿、

即