信息论练习答案

一、填空题对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。信源编码的目的是：提高诵.信的有效性。BSC信道即：无记.忆二讲.制对称信道。信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越大，获得的信息量就越小。6、若把掷骰子的结果作为一离散信源，则其信源熵为_1q&£。7、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率也越小。8、单符号的失真度或失真函数d(%，y.)表示信源发出一个符号％，信宿再现y.所引起的上9、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。10、对于二元序列0011110000001111100111100111其相应的游程序列是24652423。二、设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量(因无砝码)。为了在天平上称出哪一枚是假币，试问至少必须称多少次？解答：在12枚同值硬币中，哪一枚是假币，假币的重量是比真币的重量重还是轻，都是“无知”、“不确定的乙而用天平比较左右两边轻重的测量方法，每测一次，能获得一定的信息量，能消除部分不确定性，则就能确定出其中一枚假币及其重量。因此，设“在12枚同值硬币中，某一枚为假币”这事件为a，其出现的概率为p(a)=1/12;又设“假币的重量比真币的重量是重或轻”这事件为B，其出现的概率为工虫)=1/2;I(a)=-logp(a)=log12事件a的不确定性为一、°2八、2「I(b)=-logp(b)=log2事件b的不确定性为22要发现某假币并知其比真币重还是轻所需的信息量就是要消除这两个事件的不确定性。因为这两个事件是统计独立事件，所以需要获得的信息量为I1=I(a)+I(b)=log212+log22=log224=4.585bit而在天平上称一次能判断出三种情况：重、轻和相等，这事件为C。这三种情况是等概率的。其概率为p(c)=1/3。所以，天平测一次能获得的信息量(即消除的不确定性)为12=10823则至少必须称的次数为I1/I2=1og224/1og23=2.912因此至少必须称三次。三、(1)为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5X105个象素和10个不同亮度电平，求传递此图像所需的信息率(比特渺)。并设每秒要传送30帧图像，所有象素是独立变化的，且所有亮度电平等概率出现？(2)设某彩色电视系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输该彩色系统的信息率要比黑白系统的信息率约大2.5倍？解答・(1)每个象素亮度信源的概率空间为aa121/101/10每个象素亮度含有的信息量p(a)…a10…1/10寸0p(a)=1ii=1

H(X)=log10=3.32bit/pixel每帧图像信源就是离散亮度信源的无记忆N次扩展信源，可得每帧图像含有的信息量为H(Xn)=NH(X)=5x105log210n1.66x106bit/frame每秒30帧，则传递此图像所需的信息率为R=30xH(Xn)n4.98x10aa121/101/10每个象素亮度含有的信息量p(a)…a10…1/10寸0p(a)=1ii=1(2)色彩度信源的概率空间为-Y一bb…b30—1230£p(b)—1p(b)1/301/30…1/30jLjJ—―j=1每个色彩度含有的信息量H(Y)=log230n4.91bit/pixel亮度和色彩度是独立同时出现的，每个象素含有的信息量为H(XY)=H(X)+H(Y)n8.23bit/pixel在每帧所用象素数和每秒传送帧数相同时，信息率之比为RH(XY)log300=2——2〜匕.0R.H(X)log210四、设有离散无记忆信源X：⑴求[X2px2]⑵当p=1/2时，计算H(X2)uuuuu—1234P1/21/4四、设有离散无记忆信源X：⑴求[X2px2]⑵当p=1/2时，计算H(X2)uuuuu—1234P1/21/41/81/8LU」1——1解:(1)由于离散无记忆信源X的符号集为｛x1,x2｝，故可得二次扩展信源的符号表如下:EX2={x1遇2}x{x1遇2}={(x1,x1),(x1x2),(x2,x1),(x2x2)}由于信源无记忆，所以有p(x1,x1)=p(x1)p(x1)=p2p(x1,x2)=p(x1)p(x2)=p(1力)P(x2,x1)=p(x2)p(x1)=(1-p)p=p(1-p)p(x2,x2)=p(x2)p(x2)=(1-p)2故二次扩展信源的概率空间为：x2P21-X妇(气,气)p2(X,X)(X,X)(X,X)12x2P21-X妇(气,气)p2p(1-p)p(1-p)p2⑵由于信源是等概率分布，故由离散熵的极值性有H(X2)=log4=2bit/二元符号也可根据H(X2)=2H(X)求得：

H(X2)=2H(X)=2[-p(x1)logp(x1)力(x2)logp(x2)]=2[-1/2log(1/2)-1/2log(1/2)]=2bit/二元符号五、（天气预报问题）如果明日有雨仅与今日天气（是否有雨）有关，而与过去的天气无关，并设今日有雨，明日有雨的概率为a；今日无雨，明日有雨的概率是。。又假定把有雨称为0状态天气，把无雨称为1状态天气，则该过程是一有两个状态的马尔可夫链，它的一步转移概率为:Poo011LPoo011La1—aP1—P设a=0.7,P=0.4，求今日有雨且第五日仍有雨的概率。解：步转移概率矩阵为:P=ppa1—a0001解：步转移概率矩阵为:P=ppa1—a0001=p10p11_P1—P_于是，二步转移概率矩阵为：P（2）=P2=四步转移概率矩阵为：「0.61P(4)=P4=P2P2=0.520.70.40.39]「0.610.48」|_0.520.70.30.40.60.3一「0.70.3一0.6_0.40.6_0.390.480.610.390.520.480.57490.42510.56680.4332~U一PLU」uuuuuuuu六、对离散无记忆信源：=1112131415161718进行费诺编码，并求编码效率。l_448816161616_解:符号ui概率p(ui)第一次分组第二次分组第三次分组第四次分组码字码长u11/400002u21/41012u31/81001003u41/811013u51/1610011004u61/16111014u71/161011104u81/16111114_u-=u11_u-=u11u22[d]=u1L1021PuL10LU」L33」2—1求Dmax。vv解：Dx0]}平均码长：l=£p(u)l=2.75码元/符号i=1信源熵：H(U)=—£p(u)logp(u)=2.75bit/符号ii编码效率：i=1H(U)2.75门===100%cllogr2.75log2七、设信源口={“1,“2}的概率分布和失真矩阵如下，=min£p(v)£p(u)d(u,v)TOC\o"1-5"\h\zj=1i=1=min£p(v)£p(u)d(u,v)j=1i=1=min{p(v『x0+七1]+p(v)['