信息论与编码复习题

1、第二章复习题一、填空题1、信息的 可度量性 是建立信息论的基础。2、统计度量 是信息度量最常用的方法。3、熵 是香农信息 论最基本最重要的概念。4、事物的不确定度是用时间统计发生概率的对数来描述的。5、单符号离散信源一般用随机变量描述， 而多符号离散信源一般用 随机矢量 描述。6、一个随机事件发生某一结果后所带 来的信息量称为自信息量，定义为其发生概率对数的负值。7、自信息量的单位一般有 比特、奈特和哈特。8、必然事件的自信息是_0_。9、不可能事件的自信息量是乂 .10、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。11、数据处理定理：当消息经过多级处理后，随着处理器数 目的

2、增多，输入消息与输岀消息之间的平均互信息量趋于变小 。12、离散平稳无记忆信源 X的N次扩展信源的熵等于离散信源 X的熵的N倍。13、对于n元m阶马尔可夫信源，其状态空间共有 rT个 不同的状态。14、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大，获得的信息量就越小。15、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。二、判断题1.当随机变量X和Y相互独立时，条件熵H （X |Y）等于信源熵H （X）.（对）2必然事件和不可能事件的自信息量都是0 （错）3.信息就是一种消息。（错）4、概率大的事件自信息量大。错）5、互

3、信息量可正、可负亦可为零 ,（对）6、信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。错） 7、对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。对）8、自信息量是p （a）的单调递减函数。（对）9、单符号离散信源的自信息和信源熵都具有非负性。（对）10、单符号离散信源的自信息和信源熵都是一个确定值。（错）11、单符号离散信源的联合自信息量和条件自信息量都是非负的和 单调递减的。（对）12当随即变量X和Y相互独立时，条件熵等于信源熵。（对）13当随即变量X和Y相互独立时，I （X ; Y） =H （X）（错）14、信源熵具有严格的下凸性。（错）15、平均互

4、信息量1（X； Y）对于信源概率分布p （a）和条件概率分布p （bj/ai）都具有 凸函数性。对）17、m阶马尔可夫信源和消息长度为 m的有记忆信源，其所含符号的依赖关系相同。 （错） 18、利用状态极限概率和状态一步转移概率来求 m阶马尔可夫信源的极限熵。（对）三、名词解释1、离散信源：信源输岀的是一个个符号，这些符号的取值是有限的或可数的。2、自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量3、 条件自信息量 4、联合自信息量6、信源熵:各离散消息自信息量的数学期望 7、联合熵 &噪声熵 9、 损失熵 10、互信息量11平均互信息量 12、离散平稳无记忆信源13、马

5、尔可夫信源：以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。14、信源冗余度'Y 1 =a v =| r 3-2 t =312,4设藹散无记忆信砸卜個r二"打:；,其发出的信思 为(2021201302130012032L0110321010021032011223210),求0)此消息的自信息量是多少？(2)此消息中平均每符号携带的信电童墨多少?解：(1)此消息总扯有対平0, 13平1、12平2、&个爲 因此此j肖息发岀2.16的抵率毘:此消息的信息量是:J = 1ogp = 87,811 bit(2)此消息中平均每符号携带的信息呈是乂Z/h = 87

6、,811/45 = 1.951 bit2.16阶马尔可夫信源的状态图如下圏所示.信源K的符号集为0,1,2b> (1)求平稳后信源的概率分布*> (2)求信源的謂H®.p(百=賓殆出L P(坷)殆】厲) pOJ=曲)如 A闵伙f J,) 衣苗)=就可)貞希涪H真心)就昂J|)'(2)”抑刪屈臨殛fe砒即恤t*丄血鸟ilogts 勺丿血'前b盹上*馬禺ib叫，$)即殆1呗:切+上：时I碗®+h$)b弧y1- - 1 1- - -p-ogp+-，朋對- p I巒一plojpRp loep p 咖第3章复习题、设有扰信道的传输情况分别如图所示。试求这种

7、信道的信道容量。1 21 2解：信道传输矩阵如下XR|X121200可以看出这是一个对称信道,L=4,那么信道容量为1212012121,0,02（1C =log4 _HL=log L、p bj G log p bj | q=log4 2 2 log -2 2=1bit二、在有扰离散信道上传输符号0和1,在传输过程中每100个符号发生一个错误，已知P(0)=P(1)=1/2 ，信源每秒内发出1000个符号，求此信道的信道容量。P = 0.99。01|0.010.99解：由题意可知该二元信道的转移概率矩阵为：为一个BSC信道所以由BSC信道的信道容量计算公式得到:3.1设信源通过一干扰信道，接收

8、符号为Y = b1, b2 ，信道转移矩阵为，求(1)信源X中事件al和事 件a2分别包含的自信息量；(2)收到消息bj (j=1,2)后，获得的关于ai (i=1,2)的信息量；(3)信源X和信宿Y的信息熵；(4)信道疑义度H(X/Y)和噪声熵H(Y/X) ; (5)接收到信息Y后获得的平均互信息量。（q）（分）=log2 护（£7） = log? 0.6 = 0.737 bit1（ci） loji-j= loji., 0.4 = 1.322 bit（2 ） p（bj = /?（£!）灰占;円）+a., ） = 0.6 x 4- 0.4 x =0.66斗汎妇)=巩码)駅爲

9、/兔)十(角/址)=0.6xi + 0.4x =0.4='64I（aM = log2= log, = 0.474 bit血自）ow弘迪）=咤船丸自罟一 IM=log2= log 1 4bitZT-L263戸曲）2 0.67（a21 区=log2 观心=log 竺=0.907应也） 0.4bitbitHX）二 -丫 Xq ）1昭卩（坷）二-（"log 0.6-F0.41og0.4）log: 10 = 0571 bit SymboliH（Y）=）bg p（b.）=log 0.6+0.4 log 0.4） logj 10=0,971 bit/symbol-= -(Q.6x-lc&#

10、165; 5】馆丄 +0.4«丄律-1 +OL4Jt3<-«lnp.2lO(5)4CV；n=m-/f(TJV0.971-0.7l5=0.2S6 脑.回皿66664444=-0.715 歸 5 事nftW-H(JC) + JF/.¥)=丹(巧 + 已工# 巧nHg n = Hg+H(Y/X) -H(Yy-Q971+0.715 -0.971 - 0.715 &和"24,3 葉二元信源尸二J = i21；J * 卞决宜矩阵为。=求这f洋澹的口WMV和 口咖17和 &D)函教-=minD=11费艺戸0心口“0 = £"斗

11、£><0 =号L>z =t/y)=斗乂0+；-“ = 0/ 2 闵为二元等概率信源率失宜函数= Jtifl旳严耳中幵=乙 所哄率光頁函載为=却吟十一密网】_孚|1设蔑散无记忆信瀬° 叫%叭_砒_' J 3 t J 1;3；其失真度为汉明失真度。,并写出相应试验信道的信道走阵;求Dj砂J2)求0园Q",并写出相应试唸信道的信道矩阵2(3)若允许平均失算度_1 0 0",试冋信源的每一个信源符号平均最少由几个二进制码符号表示？0 1 0解：-0TJff(D_)-lJS5比特苻号，相应的试验信耀阵为o 0 1_(“匚岭2亠匕相应的试验

12、信道矩阵不唯一J(3)由教材例题可扣獣巧=血十Dln£ + (1-功诚1-D燎特 符号風!2 a奈特符号"黑此特符号第5章复习题4 5.1设信源prq_pi 花可兀总 x6 曲pg|02 0.19 0.18 0.17 045 QA 0.01/<1)解：啲曲%码字XJ0.203000巾019023001X；0.180393011x<0.170.573100勺0.150543101x(0.10.S941110Xr0.010.991111110d(4)求信源H(X)；0 (2)编二进制香农码；a (3)计算平均码长和编码效率。H(X)= -刀 pg 叱 p(x,)z-

13、1= -(0.2xlog2 0.2 + 0.19xlog. 0.19 + 0.18xlog. 0.18+0.17xlog:0.17+ 0.15x log2 0.15+0.lx log. O.l + O.Olx log2 0.01)= 2.609 bit/symbol=1)=5x02+3x0.19+3x0.18+3x0.17+3x0.15+4x0.1+7x0.01i=3.14迪匹型副R K 3.14=1(3)编二进制難码计算编码效率,对信源爲Hf爲竄爲K=tXY；)=2x0.2+3x0.19+3x0.184-2x0.17+3xt).15+4x0.14-4x0.01 =2.745.4设佑源A*?7

14、s' 163264128128(1求佶源熾栉心(2)编二进制香农码和二进制療诺码：(3计貝二进制杏农码利二进制费诺码的平均码长和绸码效率；(4)编三进制费送码,(力计算三进制费话码的平均码长和缩码效率：(xlog2 十扌 >4004十百><10087<1081&£>40032<10皐64令占§10012»£10312：二进制香农码:箱码翊4码字X010x20J51Wx30.1250.75y110U.U625D.S754LILO0,0312505375511U00.01 S6250.96S75611111

15、0X70.007812509«4375711111100.00781250.992187571111111箱码码字&号1 M0010,250102X30.12501103U.U62S0111U4(K0312510111 1050.01 M251110inn015黑T0.007WS2S11QIllH1070.007S!1nut715ii心)香农編码迪率:1=1.&84H(X)L 阁n = = = = 1uu?>dR K 1-9S4=1.984沪警警陰皿= 1.328WtlQ1x20.2311LxjG-123D20尙D.O625121卞xj0.03125022030

16、.015625212213XvO.OOT81252Q22204a 007812221d丘母能)寺町叫心托64128128L9S4复习题R KJogr 耐j*L328xlog2394.3%1.证明：x10x8 x5 x4 x2x 1为(15, 5)循环码的生成多项式，并写出信息多式为m(x) =x4 x 1时的码多项式(按系统码的形式)由定理可知(n, k)循环码的生成多项式g(x)为xn+1的因子，g(x)为n-k次多项式，本题目中知:g (x) = x10 x8 x5 x4 x2 x 1为一 个10次 多 项 式，n-k=15-5=10并 且 ：(x15 1 )xm +1 o 殳 d &am

17、p; + x +4xx1 =) =0所以：x10 x8x5x4x2 x 1 是 x151 的一个因子，也是循环码的生成多项式。按系统码构造多项式如下:m(x)m(x) xn - =(x4 x 1) -x10 =x14 -.-x11 -.-x10b(x) =(m(x) xn 丄)mod(x10 -.-x* -.-x5 !：；x4 -.-x? -.-x 1)c(x) =x4 x1 x0 x8 x7 x6 x4)若信息多项式为X14X4X 1 的校2.令(15, 11)循环码的生成多项式为g(x)=x +x+1，计算(1 m(x) =x10 x8 1，试求编码后的系统码字；(2)求接收码组r(x)正子多项式。m ( x ) - x 10m ( x ) .x n b ( x )= ( m (1)解题过程如下：-x 8- 14m ( x ) .Xx ).x n - ) mod(-k b ( x )c ( x )- m ( x )c - (101000000001010114x4