第二章-信源与信息度量-习题解答

第二章信源与信息度量习题解答某大学设置五个学院,每个学院得学生数分别为学院:数学物理外语外贸医学人数:300400500600200问“某学生王某就是外语学院学生”这一消息提供得信息量就是多少？解:总人数为:300+400+500+600+200=2000人就是外语学院学生得概率为:同理计算其它学院学生概率后,得信源得概率空间为:“学生王某就是外语学院学生”这一消息提供得信息量:比特同时扔出两个正常得骰子,也就就是各面呈现得概率都就是1/6,求:事件“2与5同时呈现”得自信息量;事件“两个4同时呈现”得自信息量;事件“至少呈现一个1”得自信息量。解:(1)事件“2与5同时呈现”得概率:,该事件得自信息量:(2)事件“两个4同时呈现”得概率:,该事件得自信息量:(3)事件“至少呈现一个1”得概率:,该事件得自信息量:字母“e”在英文中出现得概率就是0、103,字母“c”出现得概率为0、022,字母“x”出现得概率就是0、001,求这些字母各自得自信息量。解:(1)字母“e”得自信息量:(2)字母“c”得自信息量:(3)字母“x”得自信息量:某电子厂共能生产A、B、C、D四种仪器,其中A因技术落后停产了,B占全部产量得20%,C占30%,D占50%。有两个消息“现在完成1台仪器B”,与“现在完成1台仪器C”,试确定哪一种消息提供得信息量大些？其中有什么规律？解:因为,以及消息提供得信息量与其出现概率倒数得对数成正比,所以,即“现在完成一台仪器B”提供得信息量大于“现在完成一台仪器C”提供得信息量。规律:(1)出现概率为零得消息可略去。(2)概率小得消息出现时提供得信息量大于概率大得消息出现时提供得信息量。某地,35%得女孩上大学,65%得女大学生身高超过1、6米,而一个女孩身高超过1、6米得概率就是50%,现有一条消息:说某一个身高超过1、6米得女孩就是大学生,求这条消息得信息量。解:根据题意,35%得女孩上大学,一个女孩身高超过1、6米得概率就是50%,得两个信源概率空间:,,根据65%得女大学生身高超过1、6米,知:,消息:某一个身高超过1、6米得女孩就是大学生得概率为:该消息得信息量:试求:在一付标准得扑克牌中抽出一张(每张牌均认为就是不同得)得平均信息量。若扑克牌仅按它得等级鉴定而不问它得花色(大、小王属同一等级),重复上述计算。解:(1)比特/每张牌(2)出现得概率为:,王出现得概率为:,信源得概率空间为:比特/每张牌。某地得天气预报为:晴(占4/8),多云(占2/8),雨(占1/8),雪(占1/8),冰雹(占0/8);而当地老农对天气得预测只能做到:晴(占7/8),雨(占1/8)。试求两者对天气预报各自提供得平均信息量,并说明从中得到得规律。解:天气预报:比特/每次预报老农预报:比特/每次预报。天气预报给出更详细得消息及其概率分布,消息数更多,平均信息量更大。某离散无记忆平稳信源得概率空间为:,若某消息符号序列为:202120130213001203210110321010021032011223210,求:该消息得自信息量;该消息平均每个符号携带得信息量。解:(1)根据信源概率空间,计算得到每个符号得自信息量: 该消息序列各符号相互独立,其自信息量等于各符号自信息量之与:(2)该消息平均每个符号携带得信息量: 比较该离散信源得熵:,可见,该特定得消息符号序列平均每个符号携带得信息量仅仅就是近似于离散信源熵,而不等同于信源熵,因为其每个消息出现得概率并不等同于信源概率空间各符号得概率分布。若每帧电视图像由3×105个像素组成,且像素就是独立变化得。每个像素取128个不同得亮度电平,并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约10,000个汉字得字汇中选1,000个字来口述此电视图像,问广播员描述此图像所播出得信息量就是多少？(假设,10,000个汉字字汇等概率分布,并彼此无依赖)若要恰当地描述出此图像得所有信息量,广播员在口述中至少需要多少汉字？解:(1)每帧图像含有得信息量:(2)广播员描述此图像所播出得信息量:(3)平均每个汉字得信息量:广播员描述此图像所需得汉字数:设有一个信源,发送“0”与“1”两种符号,无论何时发出符号得概率均为p(0)=0、4,p(1)=0、6,并与以前发出得符号无关,问该信源就是否就是平稳信源？计算,与;计算,并写出信源中所有可能得符号序列。解:(1)信源发出各符号得概率与时间无关,因此为平稳信源。(2)离散无记忆信源熵:因为就是无记忆信源,前后符号无相关性,因此: (3)信源中所有可能得符号序列:0000000100100011010001010110011110001001101010111100110111101111,共16种符号序列。有一二元数字通信系统,传送“0”与“1计算此系统得信源熵与其冗余度。为了可靠地传输消息,对每个符号重复传输3次,试求其冗余度为多少;如果采用重复传输4次得方案呢？这样做就是否合理？解:(1)信源熵比特/消息二元信源得最大熵比特/消息冗余度(2)重复三次信源熵比特/消息冗余度重复四次信源熵比特/消息冗余度重复四次不合理,因为当错误两个码元即2比2时,就不能采用最大似然法判决译码。黑白电视消息只有黑色与白色两种,即信源,设黑色出现得概率为,白色出现得概率。假设图上黑白消息出现前后没有相关性,求熵;假设消息前后有相关性,其依赖关系为,,,,求此一阶马尔可夫信源得熵,画出其状态转移图;分别求上述两种信源得剩余度,比较与得大小,并说明其物理意义。解:如无相关性比特/消息如有相关性根据已知条件可写出:有2个符号:,一阶:,状态数:个于就是可以画出如下得状态转移图:根据状态转移图列方程组:解得计算马尔可夫信源熵:比特/消息二元信源最大熵为1比特/消息情况(1)得剩余度情况(2)得剩余度,,可见,当前后符号有相关性时,信源熵减小,冗余度增大。ppp1p012p1p1p马尔可夫信源得消息符号集为{0,1,2},其状态转移图如右图所示。求稳定后信源符号得概率分布;求此马尔可夫信源熵;当p=0或p=1时,求此马尔可夫信源熵。解:(1)根据状态转移图:(2)一阶马尔可夫信源熵:(3)当p=0,或p=1时,表示信源从一个状态转移到另一个状态一定不发生或一定发生,即就是确定事件,信源输出得状态序列确定,信源输出得符号序列也确定,信源不存在不确定性,信源得信息熵为零。某校入学考试中有1/4考生被录取,3/4考生未被录取。被录取得考生中有50%来自本市,而落榜考生中有10%来自本市。所有本市得考生都学过英语。而外地落榜考生以及被录取得外地考生中都有40%学过英语。当已知考生来自本市时,给出多少关于考生就是否被录取得信息。当已知考生学过英语时,给出多少关于考生就是否被录取得信息。以x表示就是否落榜,y表示就是否为本市学生,z表示就是否学过英语,试求H(X),H(Y/X)