信息论复习题

1、8个消息【3.2】设8个等概率分布的消息通过传递概率为p的BS(进行传送,相应编成下述码字：M1=0000， M2=0101， M3=0110， M4=0011M5=1001， M6=1010， M7=1100， M8=1111 试问：(1)接收到第一个数字 0与 M1之间的互信息;0时，得到多少关于 M啲附加互信息；0时，又增加了多少关于 M1的互信息;0时，再增加了多少关于 M啲互信息。( 2)接收到第二个数字也是( 3)接收到第三个数字仍为( 4)接收到第四个数字还是解： 各个符号的先验概率均为 1/8(1)根据条件，有因此接收到第一个数字0与M1之间的互信 息为：(2 )根据条件，有

2、因此接收到第二个数字 也是0时，得到多少关于刊“ =0 AfL) 氏亠 0 I fkJOO 叭川 4 0 0 n 町=戸也血:加=0)=蚯 叫 =01晰=归 亘 =1 + log p tt# 凤片-)1 1-円儿用-00閘-日片片- OOW)-护JVE =師= 耳览淖何 也2扌b于-4阳+ 2用=+M1的互信息为:Mg =瞞=m雹:;寫)=b=:+叫沁神昭得到的附加信息为：;:/(3 )根据条件，有j ； GM- kfuc P技：.：寫兽A 山1* f*g. J ! *】口1* PClVj = Of0) = Vpg jp I .： 1EFPhFjX, 1- WWW Af J = E.片丹片-O

3、MWI MOO) - pA(4 )根据条件，有一一円“上為片-WW)-二 , 1F(WM IM.-F3 + J+因此接收到第四个符号为0时，得到的关于M1円川斜山-刚罚 的互信息为_.此时得到的附加信息为 3 -* 4 Ijde p bgb - p2p2 -屮丄【3.3】设二元对称信道的传递矩阵为(1 )假设 P(0)=3/4, P(1)=1/4 ，求 H(X ) , H(X | Y ), H(Y | X ) 和 I (X;Y);(2)求该信道的信道容量及其到达信道容量时的输入概率分布。解：(1)根据条件，有M理)-兀H斗比丿刊.T呛=6 =沪(寸呛 “I刃弓扌+扌=占Ff.v鬥*陀-I .v

4、) - -4-m 4 小 P(x-0jPic孑亍巧 一1P(x = 0 yP(x 11yH(Y X| Y)P(x - O)P(y 1| x 0)43P(y 1) 1)=-耳 P(x琴 PA I %)log P-)_1叱匸2叫、2. M-0警号直宜当且恨当JVI=)讨 是马氏悄K3 oi 求下co中佶in皿e皿及m;竝他购入薇*分金y wl rn i r 绵 R m yk , vz .1-61J12 -31-21-61-21-61-31-61-31-31- o- 1-61-3M： 何个信道的值皿*KI*分别如 F：cr*3 lcv 3 AZ 3.10】求以下两个信道的信道容量，并加以比拟声_ 肿

5、丁 X广 戸一丁 盟一.叶L 尸一 f尸住O Me解：诰EM-li.il均雄進时韵;何i.空植入Uff号瞽时卜 平却H何匕诂列帘咸風ttmi-F? 诧描对榴俗道杓他道窟lit再：畸 - Hip -r. jp -r,) 工 la. z g la 玄 2jt Id鼻 Jx1 - /f 4/p “ J r.2c j门W) jo 7* 2 r be*jp r) -*- l_p - r) ka( j r)I jji?( 茂7 对MlWillt齢曲潼沓賦对：C nwfii (C.F1一 r. p )-心* -& 一 口尊 q - C kv - 】0 事 C - JT(p： - C. ,p-(1 2-e3i

6、o官-+ i.p - e) Lojdp - rl (p -f ik?剂 J? -r -*- Jar-C. -14 11 设有一连续随机变狱妹概*密应兩数为A3 卜8卜I三各O JCflkffi又有jjrPSM* = l试求这殛机左尿的烟N方(X)ip(M)kgp(x 皿=I 鼻 cos x log Adx J -4 cosx log cos xdx1A log A A cosx log cosay/.vJcosxlogcosxdv - logejUiyl- siii2 xd sin x log* | ls&(l i *iui x ) i ltk(l w 疋 “in N2 -J戶匕皿=log r

7、 (111( 1 sin v)rf sin x i log fJ ln( 1 - sin x)d sin| ln(l * sill x)dsin x 卜(lsin x)ln(l * sin x)= 21n2-21111(1 siii x)d siii x = (111(1 sin x)d(l sii x)1 sin x . a %m x l-$inxI* |=-(! ii x) hi( 1 、in x J J- =2h2-2因此有帆 X) =? p(x | y)A-T PGM I P(x I y)logp(x)dv - J p(x. y) kg p(x)dxdy-W 等窈战立当R伐当Wttn当

8、X相统忡 俺立时等巧成立2)mm MTRtWfztrjra Kit： ft比匕兀兀“叔工忆匚|XJ + MtwMA；-V2 Ar J三MXJ札匚+敝匕)答巧贱立当RR当X|I.)-X*) ?(“声 J 用 JjKpy JPU|*M gw*)貝斗?(J F(016个亮度【4.17】在图片传输中，每帧约-个像素，为了能很好地重现图像，需分电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽信噪功率比为30dB。解：每秒需要传输的信息量为：值道的僧噪比为泗為 即怕10恂 = 30,即各=1000因此僧道容秋号 I&*可nr师带気治3kHz，又设信【4.18】设在平均功率受限高斯加

9、性波形信道中，信道带宽为 号功率+噪声功率/噪声功率=10dB。1试计算该信道传送的最大信息率单位时间；2假设功率信噪比降为 5dB，要到达相同的最大信息传输率，信道带宽应为多 少？解：1根据条件有，国此亶=9 c =尸1哼门*空=3 x 103 loglO即诚大倍息申为乩 *10耳一：儿讣(2 )如果功率信噪比降为 因此5dB，即-加OrC = IFIoa| 1 + -=fK 嗨=-rriogio为达利卸前的信息传输率T因此带宽应为原来的2倍即某信源按P(0)#,珂吋的辭产生统计啦的二元序列。(1) 试求No,便当NNq时有0.05 no oi：tw：儉各二尉IV吿卬尝刖轴$ l$ IS 1

10、$【幺申$*1士做*3、44 &钮话JUH=tU翌JW“ -1 15 小【半$*錮牢 1181同样，对干様率分布为1 5.1100001110111可见，二者的码宁完全相同5.1 5.1 5.1 5)fi7f9S.須码过程如T：，求出可以编得这样霍夫(00,01,10,11)的信Ofl W 【8.2 】设二元霍夫曼码为(00,01,10,11) 和(0,10,110,111)曼码的信源的所有概率分布。解：二元霍夫曼编码的过程必定是信源缩减的过程，编码为 源，其码树如以下图所示。假设四个信源符号的概率分别是p1 , p2 , p3 , p4 ，假设? -，那么必定有如下条件成立又-,： -I，即

11、I 1，因此要构造上述编码，必定要满足i 芒& *芒-王*戸1兰戸J +戸4而编码为，:.y.-卜.：(0,10,110,111)的码树如以下图所示:如果按上述情况进行编码，必定要满足乩3岁；& 汽-比，根据 罠_此_戸_丹=1可得，因此完成上述编码的概率分布为：1巩订P严叭【8.3】设信源符号集(1) 求H(S)和信源冗余度;(2) 设码符号为X :0,1，编出S的紧致码，并求 S的紧致码的平均码长；(3) 把信源的N次无记忆扩展信源I；叫编成紧致码，试求出 N =2,3,4,:时 的平均码长；(4) 计算上述N ,2,3,4这四种码的编码效率和码冗余度。解：(1)信源熵为H S)x)log

12、 Rx) =0.469 比特 / 符号因此得信源冗余度为(2)对其进行紧致码编码，二个信源符号一个编码为0, 个编码为1，因此平均码长为1码符号/信源符号;得码字如下0)II1(1io:(3)对原码字进行二次扩展，其信源空间为进行Huffman 编码平均码长为:=0.S 1*(1.15= 1.29 “0* 肿出引巾 3汕巧曲七七土曲 3-*：o.izo.9 心rm o.izo.9 o.izo.? d-P进行Hufman编码，码字如下：呼內 召七打 巾曲 0.72S O.OSI 0.U& 对原信源进行三次扩展，得扩展信源空间为*嚳和HIM IW站P| r扩展信源的平均码长为：.-:? -7；髓-

13、吗肖号闵IT甲与当f 时，根据香农第一定理，平均码长为:ijj c- j5编码效率为：因此有不进行信源扩展时，编码效率为： 进行一次扩展时，编码效率为:当.：r 时，编码效率趋向于进行二次扩展时，编码效率为: 因此，从此题结论可看出，对于变长紧致码，扩展信源的次数不需很大时就 可以到达高效的无失真编码，这一点与等长码有很大的不同。【8.4】信源空间为r j _= j, r+ tj st & l02 LI 0.1 0.05 O.Oj M5 0.D5码符号为X老,1,2，试构造一种三元 的紧致码。解：原信源有8个信源符号，为了有效利用 短码，需对原信源进行扩展，添加1个概率为0的信源符号，使其满足

14、9=2*3+3成立。编码过程如下：012【8.5】某气象员报告气象状态，有四种可能的消息：晴、去、雨和雾。假设每个 消息是等概率的，那么发送每个消息最少所需的二元脉冲数是多少？又假设四个消息出现的概率分别为1/4 1/8 1/8 和1/2，问在此情况下消息所需的二元脉冲数是多少？如何编码？解：平均每个消息携带的信息量为2比特，因此发送每个消息最少需要的二元脉冲数为2。如果四个消息非等概率分布，采用紧致码编码，可使得所需要的二元脉冲数最少，编码过程如下:平均码长为：.二元码符号/信源符号即在此情况下消息所需的二元脉冲数为1.75个。【8.9】现有一幅已离散量化后的图像，图像的灰度量化分成8级，见

15、下表。表中数字为相应像素上的灰度级。另有一无损无噪二元信道，单位时间秒内传输100个二元符号。1现将图像通过给定的信道传输，不 考虑图像的任何统计特性，并采用二元等 长码，问需要多长时间才能传完这幅图 像？11Il1|1IIIu1L11111Lj1!i.LiL1L1I1iI1I1I112T3iJ土JJJ5JJJ5J4444444:4斗5555SJ66ti6 :6I-节g1$3雷2假设考虑图像的统计特性不考虑图像的像素之间的依赖性，求此图像的 信源熵HS，并对灰度级进行霍夫曼最正确二元编码，问平均每个像素需 用多少二元码符号来表示？这时需多少时间才能传送完这幅图像？3从理论上简要说明这幅图像还可

16、以压缩，而且平均每个像素所需的二元码 符号数可以小于HS比特。解：1采用二元等长码，不考虑信源符号的统计特性，平均每个灰度需要3位二进制表示，在10*10的图像上，共需300位二进制表示，以每秒传输100li2J457E401?1014?55ij位计算，共需3秒钟传输。2统计图像中各灰度级的出现次数:如果考虑信源符号的统计特性，对上述灰度级进行编码，如以下图所示。得如下码字：I 111144ATJfl171.4L74550|g1090Nil1曲11011llnm1A44444I Mil1 luiluU7I IiJI龙i护“詡團匱上.聲曲23立二鸯龜岳具富1 liiiII HI(3) 左计算(2)小题时，并柿虑像索灰度级之间的依苛关系，何如，灰 度1后只細灰刻和2,并未有其他灰度喩这样得到洌捅悄乩邓)， 而根摇杏农第一定理，当对信原进冇扩展时，其平均码耒逼近干HXH(S), 因此，该田像可以进一步压缩，平均每个像索所需要的二元码符号数 -*Hx J11iiiKJiKli 314LO4UliK-Y 算法：令Do=O , Di=1，先读入4个，0000，前后相等，因此暂时编码D2D2其中 D2 =D 0D0继续输入至D2D2 D1D0D1D0，出现重复情况，令DiD=D3=10，那么该序列变为：D2D2 D3D3 , 继续输入，得 D2D2