信息论及编码试卷及答案

一、概念简答题（每题5分，共40分）.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。IH㈤=-£?⑷10gp⑷3-1平均互信息：表示从丫获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。盆弁 声（西）.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为'x"畛网.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率区指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的门型凸函数，是信道传递概率的U型凸函数。4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 C 5’ 丫 丁口

信源—f编码信道卜—f译码,►信宿.噪声*数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有"工；"）""'；¥）,『（£;2）&"匕2）。说明经数据处理后，一般只会增加信息的损失。

.写出香农公式，并说明其物理意义。当信道带宽为5000电，信噪比为30dB时求信道容量。香农公式为.C fF[G=lim一=W\og211+ hits’7 I 拉”） ，它是高斯加性白噪声信道在单位时间的信道容量，其值取决于信噪比和带宽。101g =30dB-^―=1000 / 、由孤顺 得明嫡 则0=50001陶。+1000）=498%媪履由 1可 ，则 .解释无失真变长信源编码定理。只要L”自口隙，当N足够长时，一定存在一种无失真编码。.解释有噪信道编码定理。答：当R<C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。H8.什么是保真度准则？对二元信源H8.什么是保真度准则？对二元信源I/侬）D其失真矩阵，求2>0时率失真函数的口.和土1a砒？答：1）保真度准则为：平均失真度不大于允许的失真度。2）因为失真矩阵中每行都有一个0，所以有4出二°，而4科=min1°一山）/四修）。二、综合题（每题10分，共60分）.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵“（牙）；

2）假设黑白消息出现前后有关联，其依赖关系为： ） , ' ' ,尸句黑）=0.2,尸祟需二"求其熵/⑶；答：1答：1）信源模型为%=黑/二白0.3 0.7用幻一±F（©1泡F（乌）=0.8即加打符号7 2）由得丁斜）”（*1F黑)得丁斜）”（*12二元对称信道如右图。1）若邺）=;纯=;求『幻和”，22）求该信道的信道容量和最佳输入分布。答.1）丹⑶=cmi3如嘴号口：I）7(^7)=0.0616加打符号）C=0092反打符号，最佳输入概率分布为等概率分布。

1% %三为% 4S7%3.信源空间为0.40.20.10.10.053.信源空间为试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001L.=2,6配/符号7?=。-97平均码长 ，编码效率门2）三元码的码字依序为：1，00，02，20，21，22，010，011。平均码长与"广历"符号，编码效率/=°』充4.设有一离散信道，其信道传递矩阵为1_34.设有一离散信道，其信道传递矩阵为1_3IF⑷=|Pg=；并设］ 斗，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。/5）=西卜8）=吃_1答：1）最小似然译码准则下，有1'也）=药，*万「F⑶J=4*F5）=加 1I2）最大错误概率准则下，有［"83）=均，* 245.已知一（8,5）线性分组码的生成矩阵为100001H010001000010001000010001oooonn求：1）输入为全00011和10100时该码的码字；2）最小码距。答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。2）4诅=2

.设某一信号的信息传输率为5.6口附$,在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5x10-6mw/Hz。试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最续熵是多少？写出对应的输入概率密度函数的形式。衣匕仃=“1空式1十二-）.答：1）无错传输时，有 陷取5.6=4xl035.6=4xl03log2(；l即+5x1Cj-9x4＞；1032）在尸=。,。2）在尸=。,。32日如时He=Log式2行尸）=-5.4反〃自由度最大熵2「⑴二对应的输入概率密度函数为「⑴二对应的输入概率密度函数为,出206乂1。-3「F⑶J々*F5）=加 1I2）最大错误概率准则下，有1"仇）=均，" 245.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。2）心=2a<c=?riog2（i+6.答：1）无错传输时，有5.6炉=4xl05.6炉=4xl03lOg2(l即十的产而TF0.0328加―％海”)….4招自由度2)在 时，最大熵占H戈)二H戈)二对应的输入概率密度函数为^0.206xW3二(59店住在某地区的女孩中有25%是大学牛.，在女大学生中有75%是身高”米以上的I丽女孩中号息：百米以匕的占总甑的一举，假如我Y居知“身高1上米以上的某女孩是大学生”的消息，问裱得多少■信息量y解：设丸表示“大学生”这一事件.E表示“身高160^1上k这一事件,明TOC\o"1-5"\h\zP：»=0.25p(EJ=C.□pfB|A)=O.75 C抄)故p(AB)-p(AH)/p(B'-p(A)p(E。/p(B)-0.75+C.25/0.5-0,375 (2分)：(AEi=-：oeO.375=1.42bi: —分)四.(SO证明：平均,L信息量同信皂燧之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：小了『岁？,心力隆需=-\\市内)1咤网士)一［―1］叩出)叫电“ C2分)="(x)_〃(xy)同理l(X-Y)=iI(Y)-H^\X) 匚分)则

〃团*）="⑺-』（卬）因为Cl分）故〃（Xr）=//（x）+H（Y）~I（X;Y）即/（x；r）= 1分）五'（18’）察白气象传真图的消息只有黑色和臼色两种，求：1）黑色出现的概率为03,白色出现的概率为0一7.给出这个只有两个符号的信源K的数学模型。假设国匕黑三消息出现钳后没有关联，小嫡H0O；2）假设黑门消息出现前后有关联，耳依就关系为砥回・。与，P（黑回・0一1咱黑）=112,咱黑）=112,苴黑/黑）®求其崎口式X）:（2分）（2分）什分）3）分别.求匕述两林信源的冗余度.比拄它们的大小并说陇其物理意出-解：1）信源模型为 卜=瞿4=白］ 口分）TOC\o"1-5"\h\z0.3 0.7\o"CurrentDocument"修㈤应”。空打取）=。氏1取/符号 C分）i.12）由题意可知该信源为一阶马尔科夫信源.由♦&）=£尸（% A"12』3>+尸&s）=1得极限状态概率「黑产；/⑷「黑产；/⑷=05533选/符号内=1一卷=°"9“C)=0447log*%AH.“C)=0447log*%AH.说明：当信源的符号之间有依赖时.信源输出消息的不确定性减忍.而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大r依赖关系就越大.（2分）信源消息符号勺符号概率（闻累加概率P;-logp⑷码字长度L码字%0.2002323。00的0J90.22393001%0.180.392.473011%0.170.572.563100(150.150.742,743101a60.100.8933241110a-0.。10.996.6471111110

0.200.0.200.190.180.170.150.200.190.180.170.15A26 0.35A39 &.61一0.20Io.26 0.35幺/0.39上■0.19 /0.20'/0.26,;0-18—J；0,19j,『0」7,o.io^pQ11L信源符号4概率/N即码字W,码长L0.01.L%0.20101工二次入豌4172占1«20.19112他0480003码元/符号%0J70013 .1%0.150103"绚=H0.96404001104L2.721|>tLi-i/r/rna-0.0101114比特/符号0九、（18（）设一战性分组蚂具有一致监督矩阵〃二。10011111001010111）求此分细码否？E共有多少码字？2）求此分盥码的生成走阵G,3》写出此分殂码的所有码字二4）若按收到码字C10108），求出伴随式并给出