(2020年7月整理)信息论与编码-曹雪虹-课后习题答案

1uu画出状态图并求出各符号稳态概率。解：状态图如下uu状态转移矩阵为：pp(1/2 |||00)0)0)设状态uuu稳定后的概率分别为W，W、W1，2，31232.2由符号集{0，1}组成的二阶马尔可夫链，其转移200.8)00.8)|(0.80.2|| (0000000.2，01，设各状态11，01，设各状态12,3,4〈(5计算得到|W2=7〈|3l4142.3同时掷出两个正常的骰子，也就是各面呈现的概3(3)两个点数的各种组合(无序)对的熵和平均信息i666618I(x)=logp(x)=log=4.170bitii18i6636I(x)=logp(x)=log=5.170bitii361112131415162122232425263132333435364142434445465152535455566162636465664根=根=ii(36361818)i参考上面的两个点数的排列，可以得出两个点数求和H(X)=-xp(x)logp(x)iii (36361818121299363666)i6636ii362-452.5居住某地区的女孩子有25%是大学生，在女大学“身高获得多Xx(是大学生)x(不是大学12P(X)0.250.75Yy(身1P(Y)0.5y(身高2p(y/x)=0.75bit11即：I(x/y)=logp(x/y)=logp(x)p(y/x)111=log0.250.75=1.415bit1111p(y)0.5161)因圆点之和为3的概率p(x)=p(1,2)+p(2,1)=17的概率p(x)=p(1,6)+p(6,1)+p(2,5)+p(5,2)+p(3,4)+p(4,3)=6(X(x1=0x2=1x3=2x4=3||=||P3/81/41/41/8(1)求每个符号的自信息量(2)信源发出一消息符号序列为{20212013021300120321011032101002103223210}，求该序列的自信息量和平均每个符序列中各个符号的信息量之和I=14I(x1)+13I(x2)+12I(x3)+6I(x4)=87.81bit72.8试问四进制、八进制脉冲所含信息量是二进制脉3,4,5,6,7}1202-9“－”用三个脉冲“●”用一个脉冲22-10)P(黑/黑)=P(白/黑)=)P(黑/白)=P(白/白)=8HY=2.11有一个可以旋转的圆盘，盘面上被均匀的分成(1)如果仅对颜色感兴趣，则计算平均不确定度度(3)如果颜色已知时，则计算条件熵X.,38}j=1jp(yj)3823818号9r33)(0r33)(0(r|11|rrrr)(7/24||||0)|YYXx1x2x3yy17/241/2401/241/41/2401/247/2423x23XPxxijij1ijij13Y概率分布是Yy1y2y3P8/248/248/24YYX1212(2)H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),(3)I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X)11128822212288222122882iii111112188221222882gp21222882jjjk(8888)kp(x)=p(xz)+p(xz)pxz=0p(z)=p(xz)+p(xz)1121p(xz)=p(z)-p(xz)=7-0.5=32111188p(z)=p(xz)+p(xz)21222p(p(xz)=p(z)=2228ikik(228888)ikp(y)=p(yz)+p(yz)p(yz)=0111p(z)=p(yz)+p(yz)11212111188p(z)=p(yz)+p(yz)21222p(p(yz)=p(z)=2228symboljkjk(228888)jkp(xyz)=0112p(xyz)=0122p(xyz)=0p(xyz)+p(xyz)=p(xy)111112111111p(xyz)+p(xyz)=p(xz)12111111p(xyz)=p(xz)-p(xyz)=-=12111111288p(xyz)+p(xyz)=p(xy)21221y211218p(xyz)=0221p(xyz)+p(xyz)=p(xy)22122222p(p(xyz)=p(xy)=28H(XYZ)=-xxxp(xyz)28ijk2ijkijk (88888888)H(XY)=-xxp(xy)logp(xy)==-(1|log1+3log3+3log3+1log1)|=1.811bit/symbolij2ij(88888888)ij2-14PP(ij)=P(i/j)=2-15PP(j/i)=黑2.16黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑) (1)假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 P8，求这个一阶马尔可夫信源的信(3)比较两种信源熵的大小，并说明原因。3737(2)根据题意，此一阶马尔可夫链是平稳的(P(白)ijijijij1+0.80.3log22.17每帧电视图像可以认为是由3105个像素组成同的亮度电平，并设亮度电平是等概出现，问每帧图员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布，并彼此无依赖)？若要恰当的描述此2222，，_w_wx2xx2x_w_w22_w2220_w0220入2.24连续随机变量其他|X和Y的联合概率密度为：求H(X),H(Y),H(XYZ)和 0222crrr2rr2rr2r2re222222rrrdx2222"0sin9"0sin9222"2022_r2_y2_r2_y2"r2"r2_r2_y2_r2_y2"r2"r2py)=p(x)H(Y)=H(X)=log"r_1logebit/symbolCC222cR"r2"r2R2I(X;Y)=H(X)+H(Y)_H(XY)cccc=2log"r_loge_log"r22=log"_logebit/symbol2特定序列(例如有m个“0”和(100-m)个“1”)的自信息量的ii(4444)ii(4)(4)4100tii4100PP(i)=P(ij)=jj12312030(2)求这个链的极限平均符号熵X2(3)求HHH和它们说对应的冗余度X2222444422444412pp(x1x2)ij12312030p(x2j)=p(x1ix2j)i12314/245/245/2423pp(x2ix3j)12312030771535535244883627236272771535535244883627236272)P)P(2)设a,a,a稳定后的概率分布分别为W1,W2,W3,(1 || 1401 34130(4计算得到|〈|2=i1 (3)H0=log3=1.58bit/符号H1=1.5bit/符号 2221.35512信源熵为:P(j/iP(j/i)=解方程组,,W2=,W3=(1)求信源平稳后的概率分布P(0),P(1),P(2)(2)求此信源的熵w信源的熵H(X)并与H进行比较w02解:根据香农线图,列出转移概率距阵P「|〈(1计算得到|〈|=i 极或者也可以通过下面的方法得出存在极大值:=_pp)?p2(1_p)p)?p2(1_p)?p2(1_p)it号(1)解方程组:20120121)求I(X;Y1)和I(X;Y2)，并判断哪一个实验好些1110102Y11000Y1X0Y2X0000112211121142424：I(X;Y1)=H(Y1)H(Y1|X)=log2loglog42424442442(2)因为Y1和Y2相互独立，所以p(y1y2|x)=p(y1|x)p(y2|x)PP(yyx)00011011121/4000001/4001/401/4120001/201200100p1/4444444bit/由此可见，做两个实验比单独做Y可多得1bit的关12(3)(2)求该信道的信道容量及其达到信道容量时的ijY2ijY22Xxyyy130xi424424H(Y/X)=i-xxp(x)p(y/x)logp(y/x)ijijiij433433433433232113112p(y)=p(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/x)=根32113112111211112124343p(y)=p(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/x)=根+根=0.4167j22j2)112211222mi233332i2i3，转移概率矩阵为P=。 (1)计算接受端的平均不确定度；(2)计算由于噪声产生的不确定度H(Y|X)；(3)计算信道容量。联合概率p(x,y)YY231yyy 441-a241+a2421-a2421+a2421-a2421+aoga222iiiiii1-a135131113113111312541-94543312531241024ipiitt3.4求图中信道的信道容量及其最佳的输入概率分布.X0Y01jijjijij1j1232ijiP(b)j得P(b)23232ijiP(b)j得P(b)2301)2)log)2)log3loglog2301323])log(1-])log(1-)+j1-H()j1-H()]=log[1+2(1(1))1CCHP(b)1CCH12(12())2((1)3Pb3而而i111P(a)(1)P(a)23P(a)P(a)(1)23)(1)(1))()2()3()2PaP()2()3()2(1(1)11P(a)P()23当P(a)1,P(a)1,P(a)22322(1) (2)0(1)此信道是准对称信道，信道矩阵中Y可划分成三个互不相交的子集由于集列所组成的矩阵此可直接利用准对称信道的信道容量公式进其中r=2,N1=M1=1-2cN2=2cM2=4c所以-2clog4c=(1-2ε)log2/(1-2ε)+(p-c)log(p-c)+(p-c)log(p-c)输入等概率分布时达到信道容量。(2)此信道也是准对称信道，也可采用上述两种方p-c)+(p-ε)log(p-ε)输入等概率分布(P(a1)=P(a2)=1/2)时达到3-6设有扰离散信道的传输情况分别如图3－17所示。求出该信道的信道容量。XY解：对称信2道2i23-7，，率率1p(y0):=31p(y1):=21，p(y2):=6(2)HH(Y/X)=(3)555131355(4)平均错误概率为(5)仍为0.733(6)此信道不好(7)g道中，信道带宽3kHz，又t度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽(信噪功率比为30dB)。22INH=2.251064=9106bittt60NNii3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。(1)已知信道上的信号与噪声的平均功率比值为10，量； 值降至5，要 信道容量，信道上的信号与噪声的平均功率比值应等222222log63320.5求这信源的D和D和R(D)函数。maxminmaxjjiij222minijij22因为二i元等概信源率失真函数：D (a)和D及信源的R(D)函数，并画出其曲线(取4至5min个点)。maxjjiij44444iiminijij4444因为ni元等概信源率失真函数：DR(D)=lnn+Dlnaan-1(a)(a)其中a=1,n=4,所以率失真函数为：3D1/2423224d