信息论与编码第2章习题解答

--#-=-PilogPi-PlogP=H(P)(3)当P=0,Htc=0当P=1,htc=i因为信息熵是表示信源的平均不确定性，题中当P=1或P=0时表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。当P=1时，从0状态一定转移到2状态，2状态一定转移到1状态，1状态一定转移到0状态。所以不论从何状态起信源输出的序列一定是021021序列，完全确定的。当P=0时，0状态永远处于0状态，1状态永远处于1状态，2状态用于处于2状态。信源输出的符号序列也是确定的。所以当P=1或P=0时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。2.24设有一个马尔可夫信源,它的状态集为{s1,s2,s3},符号集为{a1,a2,a3},及在某状态下发符号的概率为P(aklsi)(i,k=1,2,3)，如下图所示.求出图中马尔可夫信源的状态极限概率并找出符号的极限概率(2)计算信源处在某一状态下输出符号的条件熵H(sj)(j=1,2,3).(3)求出马尔可夫信源熵H-解:(1)此信源的状态集不等于符号集,从状态转移图可知P(a1|s1)=1/2,P(a1|s1)=0,P(a1|s3)=1P(a2|s1)=1/4,P(a2|s2)=1/2,P(a2|s3)=0P(a3|s1)=1/4,P(a3|s2)=1/2,P(a3|s3)=0状态转移概率为P(s2ls1)=P(a1ls1)+P(a2ls1)=3/4P(s3|s1)=P(a3|s1)=1/4P(s1|s1)=0P(s1|s2)=0P(s2|s2)=P(a2|s2)=1/2P(s3|s2)=P(a3|s2)=1/2P(s1|s3)=P(a1|s3)=1P(s2|s3)=P(a2|s3)=0P(s3|s4)=P(a3|s3)=0TOC\o"1-5"\h\z-0 3/4 1/4一得状态转移矩阵：P=0 1/2 1/20 0从图可知此状态马尔可夫链是时齐的,状态数有限的和是不可约闭集,所以其具有各态历经性,平稳后状态的极限概率分布存在.得到如下方程组：{Q(s)=Q(s)1 3Q(s2)=3/4Q(s1)+1/2Q(s2)Q(s：)=1/4Q(s；)+1/2Q(s：)Q(s)+Q(s2)+Q(s3)=1解得：Q(s1)=2/7,Q(s2)=2/7,Q(s3)=3/7符号的极限概率P(ak)=许Q(si)P(aklsi)k=1,2,3所以P(a1)=Q(s1)P(a1ls1)+Q(s2)P(a1ls2)+Q(s3)P(a1ls3)=3/7,P(a2)=2/7,P(a3)=2/7信源处于某一状态下的输出符号的条件熵H(Xlsj)=-许P(aklsj)logP(aklsj)j=1,2,3k1H(Xls1)=-P(a1ls1)logP(a1ls1)-P(a2ls1)logP(a2ls1)-P(a3ls1)logP(a3ls1)=-1/2log21/2-1/4log21/4-1/4log21/4=1.5比特/符号H(Xls2)=H(0,1/2,1/2)=1比特/符号H(Xls2)=H(1,0,0)=0比特/符号(3)马尔可夫信源熵H=也Q(s)H(Xls)8 j jk1=Q(s1)H(Xls1)+Q(s2)H(Xls2)+Q(s3)H(Xls3)=2/7X1.5+3/7X1+0=6/7比特/符号N0.857比特/符号2.25黑白气象传真图的消息只有黑色和白色两种，即信源X=｛黑，白｝，设黑色出现的概率为P(黑)=0.3,白色的出现概率为P(白)=0.7。假设图上黑白消息出现前后没有关联，求熵H(X)。假设消息前后有关联，其依赖关系为P(白l白)=0.9,P(黑l白)=0.1,P(白l黑)=0.2,P(黑|黑)=0.8,求此一阶马尔可夫信源的熵H2分别求出上述两种信源的剩余度，并比较H(X)和H2的大小，并说明其物理意义。解：(1)如果图上黑白消息出现没有关联，则熵为：H(X)=H(0.7,0.3)=0.881bit/##设白为w,黑为b那么对应两种状态Sw和Sb那么转移概率为TOC\o"1-5"\h\zS f Sh 0.1wbS f S 0.9w wSh f S 0.2b wSh 今Sh 0.8bb则Q(Sw)=0.9Q(Sw)+0.2Q(Sb)Q(Sb)=0.8Q(Sb)+0.1Q(Sw)Q(Sb)+Q(Sw)=1由以上三式可得出Q(Sw)=2/3,Q(Sb)=1/3所以P(w)=Q(Sw)*0.9+Q(Sb)*0.2=2/3P(B)=Q(Sw)*0.1+Q(Sb)*0.8=1/3由以上可得到：H2=H(0.9,0.1)*2/3+H(0.8,0.2)*1/3=0.554bit/##(3)最大熵H0=H(0.5,0.5)=1,则信源一