信息论与编码第二版答案曹雪虹

1、信息论与编码第二版答案第六章曹雪虹【篇一：信息论与编码-曹雪虹-课后习题答案】lass=txt第二章2.1 一 个 马 尔 可 夫 信 源 有 3 个 符 号 ？ u1,u,2u?3, 转 移 概 率 为 ：p?u1|u1?1/2,p?u2|u1?1/2,p?u3|u1?0,p?u1|u2?1/3,p?u2|u2?0,p?u3|u2?2/3,p?u1|u3?1/3,p?u2|u3?2/3,p?u3|u3?0,画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：?1/2?p?1/3?1/3?1/202/30?2/3?0?设状态 u1,u2,u3 稳定后的概率分别为 w1,w2、w311

2、?1w1?w2?w3?w110?233w1?2512?wp?w?w1?w3?w29?由？得？2 计算可得?w2?325?w1?w2?w3?1?2?w2?w36?3w3?25?w1?w2?w3?12.2由 符 号 集 0,1 组 成 的 二 阶 马 尔 可 夫 链 ， 其 转 移 概 率 为 ：p(0|00)=0.8,p(0|11)=0.2,p(1|00)=0.2,p(1|11)=0.8,p(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5o画出状态图，并计算各状态的稳态概率。解：p(0|00)?p(00|00)?0.8p(0|01?)pp(0|11)?

3、p(10|11)?0.2p(0|10?)pp(1|00)?p(01|00)?0.2p(1|01?)pp(1|11)?p(11|11)?0.8p(1|10?)p(10?|01)(00?|10)(11?|01)(01?|10)?0.8?0于是可以列出转移概率矩阵：p?0.5?00.200.5000.500.20?0.5?0?0.8?状态图为：设各状态 00,01,10,11 的稳态分布概率为 w1,w2,w3,w4 有5?w1?14?0.8w1?0.5w3?w1?w2?10.2w1?0.5w3?w2?wp?w?470.5w2?0.2w4?w3 得计算得到？?？wi?11?0.5w2?0.8w4?w

4、4?w3?i?1?7w1?w2?w3?w4?1?5?w4?14?2.3 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6,求：(1)”和 5 同时出现”这事件的自信息；(2)两个 1 同时出现”这事件的自信息；两个点数的各种组合(无序)对的嫡和平均信息量；(4)两个点数之和(即 2,3,?,12 构成的子集)的嫡；(5)两个点数中至少有一个是 1 的自信息量。解：(1)p(xi)?16?16?16?16?118118?4.170biti(xi)?logp(xi)?log(2)p(xi)?16?16?136136?5.170biti(xi)?logp(xi)?log(3)两个点数的排列如

5、下：112131415161122232425262132333435363142434445464152535455565162636465666共有 21 种组合：其中 11,22,33,44,55,66 的概率是其他 15 个组合的概率是 2?16?16?11816?16?1361111?h(x)?p(xi)logp(xi)?6?log?15?log?4.337bit/symbol36361818?i(4)参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：?x?p(x2?1)?36i3118411251965367168536910119121111812?1?36?h(x)

6、?p(xi)logp(xi)111111115511?2?log?2?log?2?log?2?log?2?log?log?36361818121299363666?3.274bit/symbol(5)p(xi)?16?16?11?11361136?1.710biti(xi)?logp(xi)?log2-42.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 x 代表女孩子学历x1(是大学生)xp(x)0.25设随

7、机变量 y 代表女孩子身高 yp(y)y1(身高 160cm)0.5y2(身高 160cm)0.5x2(不是大学生)0.75已知：在女大学生中有 75%是身高 160 厘米以上的即：p(y1/x1)?0.75bit求：身高 160 厘米以上的某女孩是大学生的信息量即：i(x1/y1)?logp(x1/y1)?logp(x1)p(y1/x1)p(y1)?log0.25?0.750.5?1.415bit2.3 掷两颗骰子，当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？解：1)因圆点之和为 3 的概率 p(x)?p(1,2)?p(

8、2,1)?118该消息自信息量 i(x)?10gp(x)?10g18?4.170bit2)因圆点之和为7 的概率p(x)?p(1,6)?p(6,1)?p(2,5)?p(5,2)?p(3,4)?p(4,3)?16该消息自信息量 i(x)?10gp(x)?10g6?2.585bit2.4 设有一离散无记忆信源，具概率空间为？?x?x1?0?p?3/8x2?11/4x3?21/4x4?3?1/8?(1)求每个符号的自信息量(2)信源发出一消息符号序列为202120130213001203210110321010021032011223210,求该序列的自信息量和平均每个符号携带的信息量解：i(x1)

9、?10g21p(x1)?1og283?1.415bit同理可以求得 i(x2)?2bit,i(x3)?2bit,i(x3)?3bit因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和就有：i?14i(x1)?13i(x2)?12i(x3)?6i(x4)?87.81bit平均每个符号携带的信息量为87.8145?1.95bit/符号2.8 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？解：八进制脉冲可以表示 8 个不同的消息，例如：0,1,2,3,4,5,6,7二进制脉冲可以表示 2 个不同的消息，例如：0,1假设每个消息的发出都是等概率的，则：四进制脉冲的平均信息

10、量 h(x1)?1ogn?10g4?2bit/symbol 八进制脉冲的平均信息量 h(x2)?1ogn?10g8?3bit/symbol 二进制脉冲的平均信息量 h(x0)?1ogn?10g2?1bit/symbo1 所以：四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和3 倍。2-9 匚”用三个脉冲”用一个脉冲i()=1og(4)(2)h=-20p(黑/黑尸 h(y/黑尸(3)p(黑/白尸 h(y/白尸(4)p(黑)=h(y)=2.11 有一个可以旋转的圆盘，盘面上被均匀的分成 38 份，用1,，38 的数字标示，其中有两份涂绿色，18 份涂红色，18 份涂黑色，圆盘停转后，

11、盘面上的指针指向某一数字和颜色。(1)如果仅对颜色感兴趣，则计算平均不确定度p(白)=p(白/白)=p(白/黑)=14iog(4)?2?i(-)=log?4?0.811?3?4?0.415?3?34log【篇二：信息论与编码-曹雪虹-课后习题答案】2.1 一个马尔可夫信源有 3 个符号？u 为：p?u|u?1/2,p?u11,u2,u3?,转移概率|u1?1/2,p?u3|u1?0,p?u1|u2?1/3,p?u2|u2?0,p?u3|u2?2/3,p?u1|u3?1/3,p?u2|u3?2/3,p?u3|u3?0画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：0?1/21/2?

12、p?1/302/3?1/32/30?设状态 u1,u2,u3 稳定后的概率分别为 w1,w2、w311?1w1?w2?w3?w110?2w1?33?2512?w1?w3?w2?wp?w9?w2?由？得？计算可得 23?25w1?w2?w3?1?2?6?w2?w3?w3?3?25?w1?w2?w3?1由符号集0,1组成的二阶马尔可夫链，其转移p(0|00)=0.8,p(0|11)=0.2,p(1|00)=0.2,p(1|11)=0.8,概率为：p(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5o 画出状态图，并计算各状态的稳态概率。解：p(0|00)?

13、p(00|00)?0.8p(0|01)?p(10|01)?0.5p(0|11)?p(10|11)?0.2p(0|10)?p(00|10)?0.5p(1|00)?p(01|00)?0.2p(1|01)?p(11|01)?0.5p(1|11)?p(11|11)?0.8p(1|10)?p(01|10)?0.50?0.80.20?000.50.5?于是可以列出转移概率矩阵：p?0.50.500?000.20.8?状态图为：设各状态 00,01,10,11 的稳态分布概率为 w1,w2,w3,w4 有5?w1?14?0.8w1?0.5w3?w1?0.2w1?0.5w3?w2?w2?1?wp?w?470.

14、5w2?0.2w4?w3 得计算得至 U?wi?1?0.5w2?0.8w4?w4?w3?1?i?1?7w1?w2?w3?w4?1?5?w4?14?同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6,求:”和 5 同时出现”这事件的自信息；(2)两个 1 同时出现”这事件的自信息；(3)两个点数的各种组合(无序)对的嫡和平均信息量；两个点数之和(即 2,3,?,12 构成的子集)的嫡；(5)两个点数中至少有一个是 1 的自信息量。解：(1)11111p(xi)?6666181i(xi)?logp(xi)?log?4.170bit18111p(xi)?66361i(xi)?logp(xi)?

15、log?5.170bit36两个点数的排列如下：111213141516212223242526313233343536414243444546515253545556616263646566 共有 21 种组合：其中 11,22,33,44,55,66 的概率是 1?1?66136其他 15 个组合的概率是 2?1?1?166181111?h(x)?p(xi)logp(xi)?6?log?15?log?4.337bit/symbol361818?36i参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：23456789101112?x?1?1111151511?p(x)?36181

16、29366369121836?h(x)?p(xi)logp(xi)i111111115511?2?log?2?log?2?log?2?log?2?log?log?361818121299363666?36?3.274bit/symbol1111p(xi)?11?663611i(xi)?logp(xi)?log?1.710bit362-42.5 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 x 代表女孩子学历xx(

17、是大学生)x2(不是大学 1生)p(x)0.250.75设随机变量 y 代表女孩子身高yp(y)yi(身0.5y2(身高0.5高 160cm)160cm)【篇三：曹雪虹信息论与编码第二章习题答案】概率为：p?u1|u1?1/2,p?u2|u1?1/2,p?u3|u1?0,p?u1|u2?1/3,p?u2|u2?0,p?u3|u2?2/3,p?u1|u3?1/3,p?u2|u3?2/3,p?u3|u3?0,画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为：0?1/21/2?p?1/302/3?1/32/30?设状态 u1,u2,u3 稳定后的概率分别为 w1,w2、w311?1w1?

18、w2?w3?w110?2w1?33?2512?wp?w9?w1?w3?w2?由？得？2 计算可得?w2?325?w1?w2?w3?1?2?6?w2?w3?w3?3?25?w1?w2?w3?1?由符号集0,1组成的二阶马尔可夫链，其转移概率为：p(0|00)=0.8,p(0|11)=0.2,p(1|00)=0.2,p(1|11)=0.8,p(0|01)=0.5,p(0|10)=0.5,p(1|01)=0.5,p(1|10)=0.5o画出状态图，并计算各状态的稳态概率。?p 解：p(0|00)?p(00|00)?0.8p(0|01)p(0|11)?p(10|11)?0.2p(0|10?)pp(1|

19、00)?p(01|00)?0.2p(1|01)?p(10?|01)(00?|10)(11?|01)p(1|11)?p(11|11)?0.8p(1|10)?p(01|10)?0.50?0.80.20?000.50.5?于是可以列出转移概率矩阵：p?0.50.500?000.20.8?状态图为：设各状态 00,01,10,11 的稳态分布概率为 w1,w2,w3,w4 有5?w1?14?0.8w1?0.5w3?w1?0.2w1?0.5w3?w2?w2?1?wp?w?470.5w2?0.2w4?w3 得计算得到？wi?1?0.5w2?0.8w4?w4?w3?1?i?1?7w1?w2?w3?w4?1?

20、5?w4?14?同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6,求:”和 5 同时出现”这事件的自信息；(2)两个 1 同时出现”这事件的自信息；两个点数的各种组合(无序)对的嫡和平均信息量；(4)两个点数之和(即 2,3,?,12 构成的子集)的嫡；(5)两个点数中至少有一个是 1 的自信息量。解：11111p(xi)?666618i(xi)?logp(xi)?log1?4.170bit18111p(xi)?66361i(xi)?logp(xi)?log?5.170bit36两个点数的排列如下：11121314212223243132333441424344515253546162

21、6364共有 21 种组合：152535455565162636465666其中 11,22,33,44,55,66 的概率是其他 15 个组合的概率是 2?111?6636111?66181111?h(x)?p(xi)logp(xi)?6?log?15?log?4.337bit/symbol361818?36i参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：23456789101112?x?1?1111151511?p(x)?3618129366369121836?h(x)?p(xi)logp(xi)i111111115511?2?log?2?log?2?log?2?log?2

22、?log?log?361818121299363666?36?3.274bit/symbol(5)1111p(xi)?11?663611i(xi)?logp(xi)?log?1.710bit362-4居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量 x 代表女孩子学历xx1(是大学生)x2(不是大学生)p(x)0.250.75设随机变量 y 代表女孩子身高yy1(身高 160cm)y2(身高 160cm)p(y)0.

23、50.5已知：在女大学生中有 75%是身高 160 厘米以上的即：p(y1/x1)?0.75bit求：身高 160 厘米以上的某女孩是大学生的信息量即：i(x1/y1)?logp(x1/y1)?logp(x1)p(y1/x1)0.25?0.75?log?1.415bitp(yi)0.5掷两颗骰子，当其向上的面的小圆点之和是 3 时，该消息包含的信息量是多少？当小圆点之和是 7 时，该消息所包含的信息量又是多少？解：1)因圆点之和为 3 的概率 p(x)?p(1,2)?p(2,1)?118该消息自信息量 i(x)?logp(x)?log18?4.170bit2)因圆点之和为 7的概率p(x)?p(1,6)?p(6,1)?p(2,5)?p(5,2)?p(3,4)?p(4,3)?该消息自信息量 i(x)?10gp(x)?10g6?2.585bit2.7 设有一离散无记忆信源，具概率空间为？6?x?x1?0 x2?1x3?2x4?3?1/41/41/8?p?3/8(1)求每个符号的自信息量(2)信源发出一消息符号序列为20212013021300120321011032