信息论复习题

1、(3 2设S个率分布的消息通过传递般字为p的BSC进行传送，8个消息相应编成下述码中：M 1=00001 M2=0101, M3=0110. M4=00UM51001t M61010, M7-H00. MS-1111MR：(1)投收到第一个敏宇0RM1之间的互信息；(2)检收到第二个数学也是。时.号典多少关于Ml的附演互信息；(3)控收到第三个教学仍为。时.又增加了多少关于Ml的互信息；(4)接收到第四个敕中还是0时,再增加了多少关于Ml的互信息.桂各个柠号的电脍微率均为1/3(】)椎据巳知条件,W F字。与Ml之帆的五信息为：W字也是。时.懵到多少关于AU的互信息为二田的懵收到结一个败 M：

2、 0)-1尸仇=0必)-1“三 I. N5比恃 (2)慢揖巳知条件./(凡1，： = 00 M )工四川” 00 0000) 土声因此懵收到第二个教I r、 I号典的时归值患为：力-00)_“M；71 O)T + b”mvn k7(3)根 18巳0令A1 V %- s 001 V 5-田田收到第三”以打-3手号 此时潺蚪的附加值息为：出此柳收到站ED个柠号为。时.再列的关于M1的互信息为比W将到的附加信息为仍二。00co =, = 0000%一A r= OOOG.l=*097777-；-QOO- IosP-IoMa *Opp- )= 3-4log”kl尸 6p2p2 * p* I(3 3)设二

3、元灯林信道的传递矩阵为(1)着PI0W3/4,求HIX), H(X | Y). H(Y I X PC;Y);(2)求馁信道的信道客重及其达到信道g色时的输入傕率分布解：(1)银绻已知条件，W a A 小 HQg-oOlA。) ； 1 6H、X0811比乐中；P(v-l)-vp(4 -1 x)-，1-s右w-i(3 51普工 Y faz是三个应机史玳证明：I XYZ) , 1MY) I心 | 1 I |X;2) *1 (X;Y | Z)I (X;Y | Z| = 1 X | 2| = H(X | Z) - H(X | YZ)I (X;Y | Z) 3 0当且依当(X, Z,Y)是马氏恬酎尊式成立

4、. 证明：/(X:K?) y P(x.v.z)log.rjTz-k P(y.y.z)lo| ZJTz-p(F 尸)PCX)I g E” 3) |= Pl v.y.z)kg .rjTz等，、FfDJog 空*2P(xlX) Zri尸(x)K理，/（.v：rz）=|z）Z)工Jog工小二）xriP(x z)尸(X户)= log 工X?2HD立当且仅当船n“：）= PU X2）,即 IKZ，是马氏陋, 61-51; - (3I-2I-CI a 0 J 1517 1-31- 6 1-01 J 1 31-6 一 一-J. ： 丁t- 2d 4.2 二。2 i Eff. sxlogcosxifx = (o

5、ejhi Jl 必xdQ x* siii m )* ln(lv 十 %m vW向 x - -logr h)( 1 -向 Yrfsin xJhU 向 x/、in |= (1 * in x)ki(l * siii x) 一 J ；二:：diux=-1 、沁 x) ln( 1 -x-sfal X . a %1 x-sin x:hi( 1 - %h； x ci sui x= JliK 1 - so. i il 1 - sin )-21112-2因此有(417)在日片传铺中,W1.1510个像案.为了能很好地工现国像.得分16个充度电手,并假律光虔电平尊慨率分布试计算母秒钟传送30幢13片所得 信道的常

6、N I倍功率比为30dB) 解：每杪传传粕的信息黛为：225 .1030. bgl 17.10*比的笔4信道的信噪比为3O3B,即10k)Z 旦=30,即2= 1000：, N设(信ArPy& Fy /ATT*， t. 5 .1 .(1)试计算博信道传送的最大信息率(单位时间);(2)苦功率信*比降为5dB.要达蚪相同的景大信息传楠率，信道格言应为多少？解：(1)根据己知条件有.因喷.9 C =严附卡= 3xl05logl0= 9.96xlOJ即最大信息率为9.96： I JN(2)如果功率值曝比降为5dB,即10】叫。勺：勺*3印安生三厢田比“外C =卬1/1 +营=W lo2 Vio= 4

7、1oglO一为达到以前的信息传输率，因此带竟应为原来的二倍，即 = 6xlO3Hz（1）济信”办勃M，二加.）如总，。川比林号号自（?2的力M即（T 卬卜/伊=fcgy 4-c.sir =cri5伸-叫，幅IM#W至/可铀，e-0.0,，。” h$ :颦Rit坐乩*005J08取小791. e理9中6j+f；n际PF 6J个敌gf直位Bl为：2人【必吁- v Ge| v0.01 21 v IldJI v(52有一信源,它有六个可能的输出，其敏率分布顿下衰所示，衰中给出了 对应的码 A、B、C、D. E 10F.(1)求这蛉码中稀些是Mi一可译码：(2)求啾四码是非暹长错(即时请);3)求对所有

8、惟一可详请求出其平均码长L 解:(1)上逑码中中,A为长码，且为非奇异码，田色码A为惟一可译码； 码B中,根揖惟一可讦码的利研方法,可求得其是的后续集合为 1,11,111,1111,11111). R其中任何后理均不为胃中，田此码B是惟一可讦码.码 C为退点码,田此码C为悔一町评码；RD不是惟一可讦码,03为其尾地后微 隼白中包含0,而。又是码字；码E的尾功后嫂集合为空里.田此码E是慢一可 讦码；犯F不是慢一可讦码.田为其尾泊后缎集台中包含0.而。又是码中.B 此F不是悒一町译码(2)码A、C、E是印时码(非越长吗)(3)码A的平均码长为3;询B的平均码长为2.125;码C的平均码长为2 )

9、25;码F的平均码长为2.【5.3】巡明电遵5.6,着存在一个周长为11,12, g的悒一可讦码则一定存在具有相周码长的即时码.如果存在码长为,7的惟一可讦码.则乜八 必定满足和下不一武而如果码长,满足上述不一式，橇据Kraft不售式构造即时码的方法，可以构透出码长为-“，,+的即时码,具体构透过程时，参照课本相关定理35】若有一信源 LJ-lo.s 0,2J母朴神发出2a5个情源符号.将此信源的输出忤号送入莘一个二元信道中进行 传何(假谍信道是元“兀幅的)，而情道母种件只作建两个二元府号.试问信源 不通过厘码M否宣棣与信道建WT甘通过道通厘码能否中在信道中进行无失文性愉？苫能造搐，嫉说明包何

10、编码并说明隙田解：如果不通过编码.即信道的两个码符号方立两个信源符号，而信道偿熟码得 号的便受小千信规走出信源符号的境度，田此养必至遗成信源将号的堆枳，因此 不通过编码是元法将信源与信道宜搜建懵陆源平均年杪发出的信息直为前核信道的信道容直为1比将符号，工6CMS)-一2.X.PCf)Io*R，)-1.921 ttn 秒田此通过编码可以实现二者的违椅.苦耍连检，需xnr值源的信源符号进行编码.目的是传送入信道的信息 色小干信道每秒能检收的最大信息重(戌他俘杪神金码后送入信道的码符号个教0零小于信道所能懵受的最大码折号个敝)，具体编码方法得在第八t进行【5.6】设*t记忆二元信源.*(1)0,1

11、lp-P- . (0)090p-P-.采用下述滞程0码方案:第一步.根据0的浒线长度Q成S个码学,第二步，将s个码学支帙成二尢变+:码.如下太所示.(1)试问最后的二元型长码是否是否是他(2)试求中间码XT应的信潭片列的平均长(3)试求中间用方它的二元史长码码中的(4)计界比值口& .解开它的哀义，并信源行号序列中间当二元码字一可详错；度区;平均长度区;计靠这种/桂编码的靖玛的率;! 01 001000100000000010000001 00000001 0000000031 54 曲 $6 XT 工10001001101010111100110111101111044, 豪H*谏Kp*:i

12、y0_msAI&AIs”ld 宗 mss 八三0二2.0)呈 R*弟s69roM I 08。二016036.0- H (S)工 卡亚四下中fcKisG射翻时卡中案虎KU右左7 Hkllz孤fKKs*鎏中影等四fr 国 V 11* S察 ttr * ac8888888 。.凝寸一14 muZJ二U眼基金计叟紫中案怅田田半身善限寓您3*r 一农更8*熨右国IlT.dm-Ev-d+w 二 dvlABca K9fc田 :祭(S3设信懵号集(1)求H(S)和信朦冗余度；(2)伐码符号为乂乂0,13编出S的行致码,并求S的彳砂码的平均码长匚K(3)杷信演的N次无圮忆扩展信源S,编成才致码域求出N?7234

13、1时 的平均码长:;(4)计算上述23,4这四样码的编码效率和码冗余度.蛛 (1)信源编为 H(S)yF(x)kgP(xT?0 48|t博转号田线博信源冗余次为/” 署 7”】(2)耳其进行票致码5内三彳博竦色号一个编码为0, 一个埼码为1, B此平均码长为1码符号/信源符号；S* 1 -jjjf S“，2】P（a,）rlooi oo； 0-09 高也仃卬1皿3 0冷，用外于如下：平均码长为：L =0.81*0.18 + 0.27*0.03 = 1.29Wz 3 死74 死，$，】0,29 OOSI 0091 0/0 9 OOtl 0.10.9 0 P0 9 0 I1 J对原信源进行三次扩展.

14、再旷展信廉空间为 ittry Hutfaimn ffis,静中如下:八： Yll：!l乌,誓0夕皆憎*9* X，扩展信潭的平均弼长为：I. = 0.729-0.0S 1*9+0.009M5*0.005 = 1.59$?。为的符号m当丫 一 丁时.平均码长为/(5) 0码短率为：4=工=下因此有不进行信源”收呷：01双刁：=罕1=0469进疗一次1T展时.燃码牧率为：0409进行二次犷展时.0码较本为：n一等-083-6 当“1，时，0码笠率超向干1.因此，从本典维论可。出.耳干空长家致铸,扩展信源的次数不得馥大时就 可以达蚪博农的无失女编铸.这一点与尊长码有摄大的不同.(84信源空同为码符号为

15、X?0,l2,试构选一点三元的票数码：原信源有S个信源将号，为了有效利用空铸,帚对原信源进疗扩展.杰加】 个微率为0的陆源符号.使其濡足9=2*36成立.编码过程如下：(0 5集/软员银杏气象状态，有皿仲可能的消且：晴、去、W!W.普每个消息是悔率的.蜃么发送各个消息最少M得的二元脉冲数是多少？工苦叫个清息出观的畿率分别为1/4 1/S 1/801/2,同在此情况下消息刖得的二元脉冲数是多少？如何编错？解：平均年个清息携带的信息色为2比,因此发送俸个消息最少将要的二元脉冲数为2.如果皿个消息非尊假率分布，采用紧致码嫡玛.可使IW I.*(l 1K得所需要的二元就冲数最少，编码过程加下:甘J码长

16、为：了二工人况、”二元码 即在此情况下满所任的二【3.9现有一悒巳离散色化 中里中为相应像素上的灰灰 另有一无指大噪二元信道.(1)现杵日像通过给定的 耍多长时间才能传完这帮臼 (2)若考虑口像的统计特性(不考成田 府海情H(S),并7T铁皮饭进斤大,景僮 用多少二元马特号豪衰示？这时需多少(3)从理论上他要说明这QC3像汪可以压缰，而且平均每个像素所得的二元码柠号/信源柠号元林冷数为1.75个.后的13像，口像的灰江化分成3级.也下衰.衰ffi.单住时间(杪)内停输100个二元符号.信道传输.不多成E3像的任何统计杵性，并乘用二元长码.问需 像？像的像素之间的依侯性).求此口像的 二元娟码.

17、问平均俘个像素备 时间才能停送完这1日像？怦号数可以小于H(卬比将.解：(1)乘用二元尊长码，不与废信同符号的烧计抄性.平均俸个灰度需要3 位二进制衰尔，在10T0的日像上.共借300位二进制衰木，以年外停热100住计算.头得3杪特传线(2)统计臼像中各友魔妖的出现次数： tfl果号宝信海符号的统计泞性.可上述 号加下升学：1、34s67840r10J0.655次座货进行g码，如下田所示.1:J4,s81*010Tsf0181010Kll11001101li0ini1ft4444441。6Il3 ITIIuxjg二造片去示.以和府 ”。任计u.父英二旧:p(3.10有一个含有3个消息的无记忆信

18、溟,其微率各自为0.2, 0.15.0.1，0.1, 0.1, O.1.0.1,0.I.试9成同三元非处长吗,使它们的平均码长相同值具有不周的 码长的方叁,并计算平均铸长和方叁,说明一*铸更实用些：进行三元熔酒,樗帽补一个假车为。的信源符号，两加3码方法如下所示(0 15 TT鞘入败揖漉。剂用LZ-77算法、LZ-73实用一号算法，LZW算法、KY算总进行娟码，井计算各种方法的压缙率.解：乘用LZ77缜码.所得的编玛”列为：(0A0Ml,3,lH0.0tl)l2,2,l)(6,3,lM5,3,0|(13,3,0|(9.3.1M14.3,eof)riu in、l9IOIr crtlr t8toolrtrloo11OOOlOl4lllQogOOIa、tio&r019ttoSrOOOt-ioocf or i3 4才 *:0第R=凄4*tt4tttotVootooootttoottotoooo ：T电6* 二期MZI*K丫算法：令DjO, D;l,生停人4个.0000,前后相等.由此H时3码D.D?其中 D