第二章 信源与信息度量 习题

第二章第二章 信源与信息度量信源与信息度量 习题习题 1.某大学设置五个学院，每个学院的学生数分别为 学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“某学生王某是外语学院学生”这一消息提供的信息量是多少？ 2.同时扔出两个正常的骰子，也就是各面呈现的概率都是 1/6，求： （1） 事件“2 和 5 同时呈现”的自信息量； （2） 事件“两个 4 同时呈现”的自信息量； （3） 事件“至少呈现一个 1”的自信息量。 3.字母“e” 在英文中出现的概率是 0.103，字母“c”出现的概率为 0.022，字母“x”出现的概 率是 0.001，求这些字母各自的自信息量。 4.某电子厂共能生产 A、B、C、D 四种仪器，其中 A 因技术落后停产了，B 占全部产量的 20%，C 占 30%，D 占 50%。有两个消息“现在完成 1 台仪器 B” ，和“现在完成 1 台仪器 C” ，试 确定哪一种消息提供的信息量大些？其中有什么规律？ 5.某地，35%的女孩上大学，65%的女大学生身高超过 1.6 米，而一个女孩身高超过 1.6 米的概率 是 50%，现有一条消息：说某一个身高超过 1.6 米的女孩是大学生，求这条消息的信息量。 6.试求： （1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 7.某地的天气预报为：晴（占 4/8） ，多云（占 2/8） ，雨（占 1/8） ，雪（占 1/8） ，冰雹（占 0/8） ； 而当地老农对天气的预测只能做到：晴（占 7/8） ，雨（占 1/8） 。试求两者对天气预报各自提供的平 均信息量，并说明从中得到的规律。 8.某离散无记忆平稳信源的概率空间为：，若某消 1234 0123 ()3/81/ 41/ 41/8 Xxxxx p X 息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求： （1） 该消息的自信息量； （2） 该消息平均每个符号携带的信息量。 9.若每帧电视图像由 3105个像素组成，且像素是独立变化的。每个像素取 128 个不同的亮度电 平，并设亮度电平等概率出现。 2 （1） 问每帧图像含有多少信息量？ （2） 若现有一广播员在约 10，000 个汉字的字汇中选 1，000 个字来口述此电视图像，问广播 员描述此图像所播出的信息量是多少？（假设，10，000 个汉字字汇等概率分布，并彼此无依赖） （3） 若要恰当地描述出此图像的所有信息量，广播员在口述中至少需要多少汉字？ 10. 设有一个信源，发送“0”和“1”两种符号，无论何时发出符号的概率均为 p (0) = 0.4，p (1) = 0.6，并与以前发出的符号无关， （1） 问该信源是否是平稳信源？ （2） 计算，和； 2 ()H X 312 ()/H XX Xlim() N N HX （3） 计算，并写出信源中所有可能的符号序列。 4 ()H X 4 X 11. 有一二元数字通信系统，传送“0”和“1”的概率分别为 1/4 和 3/4。 （1） 计算此系统的信源熵和其冗余度。 （2） 为了可靠地传输消息，对每个符号重复传输 3 次，试求其冗余度为多少；如果采用重复 传输 4 次的方案呢？这样做是否合理？ 12. 黑白电视消息只有黑色和白色两种，即信源，设黑色出现的概率为( )B()W( ,)XB W ，白色出现的概率。( )0.3p B ()0.7p W （1）假设图上黑白消息出现前后没有相关性，求熵；()H X （2）假设消息前后有相关性，其依赖关系为，(/)0.9p W W ，求此一阶马尔可夫信源的熵，画出其状(/)0.1p B W (/)0.2p WB (/)0.8p B B 2( )HX 态转移图； （3）分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。()H X 2( )HX 13. 马尔可夫信源的消息符号集为0,1,2，其状态转移图如右 图所示。 （1）求稳定后信源符号的概率分布； （2）求此马尔可夫信源熵； （3）当 p = 0 或 p = 1 时，求此马尔可夫信源熵。 14. 某校入学考试中有 1/4 考生被录取，3/4 考生未被录取。被录取的考生中有 50%来自本市，而落 榜考生中有 10%来自本市。所有本市的考生都学过英语。而外地落榜考生以及被录取的外地考生中 都有 40%学过英语。 p p 1-p 01 2 p 1-p 1-p 3 （1） 当已知考生来自本市时，给出多少关于考生是否被录取的信息。 （2） 当已知考生学过英语时，给