信息论与编码技术思考题与习题(1-2)

1、chap1 思考题与习题 参考答案参考答案 1.1 信息论与编码技术研究的主要内容是什么？ 信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取 和处理系统中一般学科。编码技术研究的主要内容是如何既可靠又有效地传输信息。 1.2 简述信息理论与编码技术的发展简史。 1948 年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。在这两篇论文中， 他用概率论测度和数理统计的方法系统地讨论了通信的基本问题， 得出了及格重要而带有普遍意义的结 论，并由此奠定了现代信息论的基础。 从 1948 年开始，信息论的出现引起了一些有名的数学家如柯尔洛夫、a.fe

2、instein、j.wolfowitz 等 人的兴趣， 他们将香农已得到的数学结论做了进一步的严格论证和推广， 使这一理论具有更为坚实的数 学基础。 在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并 形成一门独立的分支纠错码理论。 1959 年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源 编码定理。从此，发展成为信息率失真编码理论。 香农 1961 年的论文“双路通信信道”开拓了网络信息论的研究。 现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地 渗透到生物学、医学、生理学、语言学、社

3、会学、和经济学等领域。 1.3 简述信息与消息、信号的定义以及三者之间的关系。 信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。 用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来成为消息。 把消息变换成适合信道传输的物理量，这种物理量称为信号。 它们之间的关系是：消息中包含信息，是信息的载体；信号携带消息，是消息的运载工具。 1.4 简述一个通信系统包括的各主要功能模块及其作用。 通信系统主要分成下列五个部分： （1）信息源。 信源是产生消息和消息序列的源。 （2）编码器。 编码是把消息变换成信号的措

4、施。 （3）信道。信道是指通信系统把载荷消息的信号从甲地传到乙地的媒介。 （4）译码器。译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。 （5）信宿。 信宿是消息传送的对象，即接收消息的人或机器。 1.5 你有没有接触与考虑过信息与信息的测度问题，你如何理解这些问题？ 略。 1.6 什么是事物的不确定性？不确定性如何与信息的测度发生关系？ 由于主、客观事物运动状态或存在状态是千变万化的、不规则的、随机的。所以在通信以前，收信 者存在“疑义”和“不知”，即不确定性。 用数学的语言来讲，不确定就是随机性，具有不确定性的事件就是随机事件。因此，可运用研究随 机事件的数学工具概率论和随机过程来

5、测度不确定性的大小。 1.7 试从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们的信源、信道结构，写出 它们的消息字母表、输入与输出字母表及它们的概率分布与条件概率分布。 略。 1.8 在你日常生活中出现过哪些编码问题？能否用编码函数给以描述？ 略。 chap2 思考题与习题 参考答案 2.1 同时扔一对均匀的骰子， 当得知“两骰子面朝上点数之和为 2”或“两骰子面朝上点数之和为 8”或“两 骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解解：同时扔一对均匀的骰子，可能呈现的状态数有 36 种，各面呈现的概率为 1/6，所以 36 种中任何一 种状态出现的概

6、率都是相等，为 1/36。 （1）设 “两骰子面朝上点数之和为 2”为事件 a。在 36 种情况中，只有一种情况，即 1+1。则 2 ( )1/36 ( )log( )log 365.17( p a i ap a = = =比特) （2）设 “两骰子面朝上点数之和为 8”为事件 b。在 36 种情况中，有六种情况，即 5+3，3+5，2+6， 6+2，4+4。 则 2 ( )5/36 36 ( )log( )log2.85( 5 p b i bp b = = =比特) （3）设 “两骰子面朝上点数是 3 和 4”为事件 c。在 36 种情况中，有两种情况，即 3+4 和 4+3。 则 2 (

7、)2/36 ( )log( )log 184.17( p c i cp c = = =比特) 2.2 同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，求： (1) 事件“3 和 5 同时出现”的自信息量； (2) 事件“两个 l 同时出现”的自信息量； (3) 两个点数之和(即 2，3，12 构成的子集)的熵； (4) 事件“两个骰子点数中至少有一个是 1”的自信息量。 解解：同时掷两个均匀的骰子，也就是各面呈现的概率都是 1/6，总共有 36 种可能的状态，每 种状态出现的概率都是 1/36。 （1）设“3 和 5 同时出现”为事件 a。则在 36 种状态中，有两种可能的情况，即 5

8、+3 和 3+5。则 2 ( )2/36 ( )log( )log 184.17( p a i ap a = = =比特) （2）设“两个 l 同时出现”为事件 b。则在 36 种状态中，只有一种可能情况，即 1+1。 则： 2 ( )1/36 ( )log( )log 365.17( p b i bp b = = =比特) （3）设两个点数之和构成信源 z,它是由两个骰子的点数之和组合，即 z=y+x. 得： 23456789101112 ( )1/362/363/364/365/366/365/364/363/362/361/36 ( )1 z p z p z = = 22222 222

9、( )( )log( ) 468106 log 36 log 2log 3log 4log 5log 6 3636363636 261210 log 36 log 3log 5 363636 5.17 1.8963.274( z h zp zp z= =+ =+ 比特) 2 （4）在这 36 种状态中，至少有一个是 1 的状态共有 11 种，每种状态都是独立出现的，每种状态初点 的概率都是 1/36。设“两个点数中至少有一个是 1”为事件 c。则： 2 ( )11/36 11 ( )log( )log1.71( 36 p c i cp c = = = 比特) 2.3 设离散无记忆信源 1234

10、 012 ( )3/81/41/41/8 xaaaa p x = 3 = = ，其发出的消息为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求： (1) 此消息的自信息是多少？ (2) 在此消息中平均每个符号携带的信息量是多少? 解解：（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。因 此，此消息的自信息就等于各个符号的自信息之和。则可得： 112 222 332 442 33 (0)log()loglog1.45( 88 1 (1)log()loglog 4=2( 4 1 (2)

11、log()loglog 4=2( 4 1 (3)log()loglog 8=3( 8 i ap a i ap a i ap a i ap a = = = = = = = = = = = = 比特) 比特) 比特) 比特) 此消息中共有 14 个符号“0”，13 个符号“1”，12 个符号“2”和 6 个符号“3”，则此消息的自 信息是 123 14 (0) 13 (1) 12 (2)6 (3) 14 1.415 13 2 12 26 3 87.71( ii ai ai ai a=+=+=+= + + + 比特) 4 （2）此消息中共有 45 个信源符号，携带了 87.81 比特信息量，因此，此

12、消息中平均每个符号携带的信 息量为 2 87.81/451.95(i =比特) 2.4 有一个二元信源，计算该信源的熵。 01 ( )0.90.1 x p x = = 解解：根据公式得该信源的熵为： 22 ()(0)log(0)(1)log(1) 0.9 log 0.90.1 log 0.1 0.4689( h xp xp xp xp x= = = 比特/符号) 2.5 设信源 123456 ( )0.20.190.180.170.160.17 xaaaaaa p x = = ，求该信源的熵，并解释为什么在本题中 h(x) log6，不满足信源熵的极值性。 解解：根据公式得信源熵为： ()(

13、)log( ) log 0.2log0.20.19log0.190.18log0.18 0.17log0.170.16log0.160.17log0.17 2.65(/ x ii i h xp xp x pp = = = 比特 符号) 由离散信源熵的特性可知，其有一个最大值，等概分布时达到最大值，最大值为 log q= log 6=2.58 比特/符号。现在 h（x）log 6,不满足信源熵的极值性，这是因为，我们讨论的信源的 概率空间应该是一个完备集，即 6 1 1 i i p = = ,而在本题当中， 6 1 1.071 i i p = = ，不是完备集，所以不满足 信源熵的极值性。 2.

14、6 每帧电视图像可以认为是由 310 5 个像素组成，每个像素均是独立变化，若每个像素可取 128 个 不同的亮度电平，并设亮度电平等概率出现。 问每帧图像含有多少信息量？若有一广播员在约 10000 个汉字的字汇中选 1000 个字来口述此电视 图像， 试问广播员描述此图像所广播的信息量是多少(假设汉字字汇是等概率分布， 并彼此无依赖)？若 要恰当地描述此图像，广播员在口述中至少需用多少汉字？ 解解：（1）亮度电平等概出现，即每个像素亮度信源为： 128 12128 1 . ( )1 ( )1/1281/128. 1/128 i i i xaaa p a p a = = 则每个像素亮度含有的

15、信息量为： 2 ()log 1287()h x =比特/符号 一帧图像每个像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆 n 次扩展信 源，得到每帧图像含有的信息量为： 56 ()()3 10()2.1 10 n h xnh xh x= =（比特/每帧） （2）同（1）中，汉字字汇信源为： 10000 1210000 1 . ( )1 ( )1/100001/10000. 1/10000 i i i xbbb p b p b = = 则每个汉字含有的信息量为： 2 ( )log 1000013.29()h y =比特/字 广播员口述电视图像是从此汉字字汇信源中独立的选取 1000

16、个字来描述的， 所以广播员描述此帧 图像所广播的信息量为： 44 2 ()( )1000log 101.329 10 n h ynh y=（比特/千字） （3）若广播员仍从此汉字字汇信源 y 中独立选取汉字来描述电视图像，每次口述一次汉字含有的信息 量是 h(y)，每帧电视图像含有的信息量是，则广播员口述次图像至少需要使用的汉字数为： () n h y 6 5 ()2.1 10 1.58 10158000( ( )13.29 n h x h y 字) 2.7 为了传输一个由字母 a、 b、 c、 d 组成的符号集， 把每个字母编码成两个二元码脉冲序列， 以 “00” 代表 a，“01”代表 b

17、，“10”代表 c，“11”代表 d。每个二元码脉冲宽度为 5ms。 (1) 不同字母等概率出现时，计算传输的平均信息速率? (2) 若每个字母出现的概率分别为1/5，1/4，1/4，3/10，试计算传输的平均信息速率? 解解：（1）不同字母等概率出现时，符号集的概率空间为： ( )1/41/41/41/4 i xabcd p a = 平均每个字母含有的信息量为： 2 ()log 42()h x =比特/符号 现在用两个二元码脉冲代表一个字母，每个二元码脉冲宽度为5ms=，则每个字母占用 210tms=。一秒内可以传输的字母个数为： 1 100(/)n t =字母 秒 则传输的平均信息率为：

18、()200(/rnh x=比特 秒) (2)字母出现概率不同时，根据题意可以其概率空间为： 4 1 ( )1 ( )1/5 1/41/43/10 i i i xabcd p a p a = = 此时每个字母含有的平均自信息量为： 4 1 ()( )log( ) 1113 log5log4log4log 54410 1.985(/ ii i h xp ap a = = =+ 比特 符号) 10 3 同（1），其传输的平均信息速率为： 2 ()1.985 10/rnh x=(比特 秒) 2.8 试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？ 解：解：二进制脉冲当中，共可以表示两种不同信息

19、。假设两种不同信息等概分布，则每个二进制脉冲的信 息量为： 1 2 1 log)(log 222 =xpi （比特/脉冲） 同理，在四进制脉冲当中，共可以表示四种不同信息。假设四种不同信息等概分布，则每个四进制脉冲 含有的信息量为： 2 4 1 log)(log 224 =xpi （比特/脉冲） 同理，在八进制脉冲当中，共可以表示八种不同信息。假设八种不同信息等概分布，则每个八进制脉冲 含有的信息量为： 3 8 1 log)(log 228 =xpi （比特/脉冲） 从上可知，四进制脉冲所含的信息量是二进制脉冲的 2 倍，八进制脉冲所含的信息量是二进制脉冲的 3 倍。 2.9 国际摩尔斯电码用

20、点和划的序列发送英文字母，“划”用持续三个单位的电流脉冲表示，“点” 用持续一个单位的电流脉冲表示。其中“划”出现的概率是“点”出现概率的 1/3。计算： (1) 点和划的信息量； (2) 电码信源的平均信息量。 解解：（1）根据题意： )()( 3 1 划点=xpxp，而 1)()(划点=xpxp （完备集） 所以： 4 1 )( 4 3 )(划，点=xpxp “点”含有的信息量为：= 4 3 logp(x)logi 221 0.415 （比特） “划”含有的信息量为：2 4 1 log)(log 222 =xpi （比特） （2）电码信源的平均信息量为： = = 4 3 log 4 3 4

21、 1 log 4 1 )(log)()( 22 2 1 2 i ii xpxpxh2.415（比特/符号） 2.10 某一无记忆信源的符号集为0，1，已知(0)1/4, (1)3/4=pp。 (1) 求信源的熵。 (2) 由 100 个符号构成的序列，求某一特定的序列(例如有个“0”和100个“1”)的自信息 量的表达式。 mm (3) 计算(2)中的序列的熵。 解解：（1）信源熵为： 2 222 1 1133 ()( )log( )loglog0.811 4444 ii i h xp xp x = = = = （比特/符号） （2）2 4 1 log)0(log)0( 22 =xpxi （比

22、特） 415. 0 4 3 log) 1(log) 1( 22 =xpxi（比特） 自信息量表达式为： =+=) 1()100()0(ximximi41.5+1.585m （比特） （3）因为是无记忆信源，所以序列中 100 个符号相互独立，为 100 次扩展信源，其熵为： 100 ()100() 81.1(/ h xh x= =比特 符号序列) 2.11 一个随机变量 x 的概率密度函数( ) =p xkx，02xv，试求该信源的相对熵。 解解：信源的相对熵也就是信源的差熵，根据其定义式得： 2 2 2 0 2 22 2 0 2 ()( )log( ) log 2 11 log| 022 2

23、 log 2(/ ln2 r h xp xp x dx kxkxdx kk ln2 xkxx kdx kx k kkbit = = = + = + 自由度) 2.12 给定语音信号样值x的概率密度为 1 ( ) 2 x p xe = ，x 则： 2 2 11 ()log log () b c a hxdx baba ba = = （1）当信号的幅度在3v3v 均匀分布时候，该信源熵为： =6log)3(3(log)( 22 xhc2.584 （比特/自由度） （2）当信号的幅度在5v5v 均匀分布时候，该信源熵为： =10log)5(5(log)( 22 xhc3.321 （比特/自由度） （

24、3）由（1）和（2）的计算结果可直观的解释为：（2）中均匀分布的范围比较广，因而概率密度比 较小，也即出现的可能性比较小，因而含有的信息量比较大，即熵较大。 2.14 若随机信号的样值 x 在1之间均匀分布。 7vv (1) 求信源熵hc(x)，并将此结果与上题中的(1)相比较，可得到什么结论？ (2) 计算期望值 e(x)和方差 var(x)。 解解：（1）同上题，当信号的样值 x 在 1v7v 之间均匀分布，该信源的熵为： =6log) 17(log)( 22 xhc2.584（比特/自由度） 与上题中的（1）比较，可知：对于所有的均匀分布来说，信源熵只与样值所在的区间大小有关系， 而和区

25、间位置没有关系。 （2） 7 2 1 7 11 ( )( )|4 17 112 r e xxp x dxxdxx + = = 7 22 1 711 ( )( )( )(4)(4) | 17 118 3 r var xxe xp x dxxdxx + = = 3 2.15 若两个一维随机变量 x 的概率密度函数分别如图(a)、(b)所示，问哪一个熵值较大？ ( )p x 解解：从（a） （b）可知，p(x)的表达式为： = 其他, 0 40 , 2 1 )( xx xpa = 其他, 0 20 , 4 )( x xpb 则分别计算它们的熵得： 2ln 1 2ln 11 2 1 4 1 0 2 | 2 1 log 4 1 2 1 log 2 1 )(log)()( 2 4 0 2 2 2 4 0 2 = = = = + dx x xxx xdxx dxxpxpxh aaca 16 4log4 )(log)()( 2 2 0 2 = = = + dx dxxpxpxh bbcb 显然， （b）图的信源熵较大。 2.16 黑白气象传真图的消息只有黑色和白色两种， 即信源 x=黑,白， 设黑色的出概率为 p(黑)0.3， 白色的出现概率为