第二章信源与信息度量习题解答

第二章信源与信息度量习题解答第二章信源与信息度量习题解答1.某大学设置五个学院,每个学院的学生数分别为学院:数学「X](xx同理计算其它学院学生概率后,得信源的概率空间为:“学生王某就是外语学院学生”这一消息提供的信息量:3x3x4x)卜(1)事件“2与5同时呈现”的自信息量;(2)事件“两个4同时呈现”的自信息量;(3)事件“至少呈现一个1”的自信息量。解:(1)事件“2与5同时呈现”的概率:p(A)=,该事件的自信息量:(2)事件“两个4同时呈现”的概率:p(B)=,该事件的自信息量:6(3)事件“至少呈现一个1”的概率:p(C)=,该事件的自信息量:6解:(1)字母“e”的自信息量:(2)字母“c”的自信息量:(3)字母“x”的自信息量:第二章信源与信息度量习题解答以及消息提供的信息量与其出现概率倒数的对数成正比,所以I>I,即“现在完成一台仪器B”BCC的信息量。规律:。(2)概率小的消息出现时提供的信息量大于概率大的消息出现时提供的信息量。量。解:根据题意,35%的女孩上大学,一个女孩身高超过1、6米的概率就是50%,得两个信源概率空「X](xx)「Y](yy)1111p(y)0.51该消息的信息量:1116.试求:(1)在一付标准的扑克牌中抽出一张(每张牌均认为就是不同的)的平均信息量。(2)若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级),重复上述计算。42(2)A,1,2,...K出现的概率为:王出现的概率为「X](|x1x24x34x44x54x64x74x84x94x4xJ4xQ4xK4王|x王|第二章信源与信息度量习题解答预测只能做到:晴(占7/8),雨(占1/8)。试求两者对天气预报各自提供的平均信息量,并说明从中得到的「X](|x晴x多云x雨x雪x冰雹)|88888888Xxx8888天气预报给出更详细的消息及其概率分布,消息数更多,平均信息量更大。「X](x=08.某离散无记忆平稳信源的概率空间为:|Lp(X)」|=〈l/823x=3)1/8J,1/8J,(1)该消息的自信息量;(2)该消息平均每个符号携带的信息量。解:(1)根据信源概率空间,计算得到每个符号的自信息量:4该消息序列各符号相互独立,其自信息量等于各符号自信息量之与:1234(2)该消息平均每个符号携带的信息量:8844448888444488第二章信源与信息度量习题解答该特定的消息符号序列平均每个符号携带的信息量仅仅就是近似于离散信源熵,而不等同于信源熵,因为其每个消息出现的概率并不等同于信源概率空间各符号的概率分布。平,并设亮度电平等概率出现。(1)问每帧图像含有多少信息量？(2)若现有一广播员在约10,000个汉字的字汇中选1,000个字来口述此电视图像,问广播员描)(3)若要恰当地描述出此图像的所有信息量,广播员在口述中至少需要多少汉字？(2)广播员描述此图像所播出的信息量:广播员描述此图像所需的汉字数:6,并与以前发出的符号无关,(1)问该信源就是否就是平稳信源？ (2)计算H(X2),H(X/XX)与limH(X);12N(3)计算H(X4),并写出X4信源中所有可能的符号序列。解:(1)信源发出各符号的概率与时间无关,因此为平稳信源。因为就是无记忆信源,前后符号无相关性,因此:H(X/XX)=H(X)=H(X)=0.971比特符号31231limH(X)=limH(XXX)=limlimH(X)=limH(XXNNNN12NNN(1)如无相关性冗余度冗余度第二章信源与信息度量习题解答(1)计算此系统的信源熵与其冗余度。(2)为了可靠地传输消息,对每个符号重复传输3次,试求其冗余度为多少;如果采用重复传输4「X](|01)|33334444二元信源的最大熵H(X)=lb2=1比特/消息maxHXHX811=0.270比特/消息1333H(X)0.270H(X)1HXHX1=0.203比特/消息1444(1)假设图上黑白消息出现前后没有相关性,求熵H(X);(2)假设消息前后有相关性,其依赖关系为2出其状态转移图;(3)分别求上述两种信源的剩余度,比较H(X)与H(X)的大小,并说明其物理意义。2「X](BW)ppp2p第二章信源与信息度量习题解答(2)如有相关性根据已知条件可写出:于就是可以画出如下的状态转移图:根据状态转移图列方程组:1212得计算马尔可夫信源熵:H1+133息1HEE13.马尔可夫信源的消息符号集为{0,1,2},其状态转移图如右(1)求稳定后信源符号的概率分布;(2)求此马尔可夫信源熵;lplpzylpzxylpz/xy)=0第二章信源与信息度量习题解答(3)当p=0或p=1时,求此马尔可夫信源熵。解:(1)根据状态转移图:33当p=0,或p=1时,表示信源从一个状态转移到另一个状态一定不发生或一定发生,即就是确定事件,信源输出的状态序列确定,信源输出的符号序列也确定,信源不存在不确定性,信源的信息熵为零。生中有10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中都有(1)当已知考生来自本市时,给出多少关于考生就是否被录取的信息。(2)当已知考生学过英语时,给出多少关于考生就是否被录取的信息。z3p(x)=，p(x)31424(p(y/x)=0.521(p(y/x)=0.1(p(z/y)=1(p(z/x21211221(p(z/xy)=0.4lp(z/xylp(z/xy)=0.6222(p(z/xy)=0.4lpzxlpzxy=0.6212可计算得:33p(xy)=p(y/x)p(x)=0.5人=,p(xy)=p(y/x)p(x)=0.133111114821122440122114822222440111215212225第二章信源与信息度量习题解答13p(x/y)=p(y1/x1)p(x1)=0.54=5，p(x/y)=p(y1/x2)p(x2)=0.14=311p(y)1/5821p(y)1/5813p(x/y)=p(y2/x1)p(x1)=0.54=5，p(x/y)=p(y2/x2)p(x2)=0.94=2712p(y)4/53222p(y)4/532222y112112121212122122y221222122222x11111440211224200x12211440222224200111212521222253p(x/z)=p(z1/x1)p(x1)=0.74=35，p(x/z)=p(z1/x2)p(x2)=0.464=6911p(z)13/2510421p(z)13/2510413p(x/z)=p(z2/x1)p(x1)=0.34=15，p(x/z)=p(z2/x2)p(x2)=0.544=8112p(z)12/25