信息论与编码第三章课后习题答案

1、第三章课后习题【3.1】 设信源 (3信源X 和信源Y 的信息熵;(4信道疑义度|(Y X H 和噪声熵|(X Y H ; (5接收到消息Y 后获得的平均互信息。 解:(1信源X 中事件1x 和2x 分别含有的自信息分别为:(1log(1log(22=x P x I 比特(2根据给定的信道以及输入概率分布,可得8.0|(11=Xi i x y P x P y P2.0|(22=Xi i x y P x P y P所求的互信息量分别为:059.02425log 8.06/5log (|(log;(11111=y P x y P y x I 比特xx 12093.01615log 8.04/3lo

2、g (|(log;(12112=y P x y P y x I 比特263.065log 2.06/1log (|(log;(21221=y P x y P y x I 比特322.045log 2.04/1log (|(log;(22222=y P x y P y x I 比特(3信源X 以及Y 的熵为:x P x P X H 比特/符号y P y P Y H 比特/符号(4信道疑义度=XYy x P x y P x P Y X H |(log |(|(而相关条件概率|(y x P 计算如下:8583|(12=y x P 212.06/6.0(|(,(|(211222121=y P x P

3、x y P y P y x P y x P21|(22=y x P 由此计算出信道疑义度为:9635.021log 4183log 434.021log 6185log 656.0|(= + +=Y X H 比特/符号噪声熵为:符号比特/7145.041log 4143log 434.061log 6165log 656.0|(log |(|(= + +=x y P x y P x P X Y H(5接收到信息Y 后获得的平均互信息为:0075.0|(;(=Y X H X H Y X I 比特/符号【3.2】 设8个等概率分布的消息通过传递概率为p 的BSC 进行传送,8个消息相应编成下述码字

4、:M 1=0000,M 2=0101,M 3=0110,M 4=0011 M 5=1001,M 6=1010,M 7=1100,M 8=1111试问:(1接收到第一个数字0与M 1之间的互信息;(2接收到第二个数字也是0时,得到多少关于M 1的附加互信息; (3接收到第三个数字仍为0时,又增加了多少关于M 1的互信息; (4接收到第四个数字还是0时,再增加了多少关于M 1的互信息。 解:各个符号的先验概率均为81(1根据已知条件,有p x y P y P M y P =0|0(0000|0(|0(11111 21|0(0(1=iM i i M P M P y P 因此接收到第一个数字0与M 1

5、之间的互信息为:p py P M y P y M I log 12/1log 0(|0(log0;(11111+=比特(2根据已知条件,有2211210000|00(|00(p y y P M y y P = 4124281|00(00(2221=+=p p p p M P M P y y P iM i i 因此接收到第二个数字也是0时,得到多少关于M 1的互信息为:p p y y P M y y P y y M I log 224/1log 00(|00(log 00;(221121211+=比特/符号得到的附加信息为:p y M I y y M I log 10;(00;(11211+=比

6、特/符号(3根据已知条件,有33211321000|000(|000(p y y y P M y y y P = 813381|000(000(3223321=+=p p p p p p M P M P y y y P iM i i因此接收到第三个数字也是0时,得到多少关于M 1的互信息为: p p y y y P M y y y P y y y M I log 338/1log 000(|000(log 000;(332113213211+=此时得到的附加信息为:p y y M I y y y M I log 100;(000;(2113211+=比特/符号(4根据已知条件,有4432114

7、3210000|0000(|0000(p y y y y P M y y y y P = 42244321681|0000(0000(p p p p M P M P y y y y P iM i i += 因此接收到第四个符号为0时,得到的关于M 1的互信息为(4224422441log 0000(|0000(log0000;(p p p p p p p p p p y y y y P M y y y y P y y y M I +=+=此时得到的附加信息为(42243211432116log log 000;(000;(p p p p p y y y M I y y y y M I +=【3

8、.3】 设二元对称信道的传递矩阵为32313132 (1若P(0=3/4,P(1=1/4,求(X H ,|(Y X H ,|(X Y H 和;(Y X I ; (2求该信道的信道容量及其达到信道容量时的输入概率分布。 解:(1根据已知条件,有符号比特/811.041log 4143log 43(log (=Xi i x P x P X H12731413243|0(0(=×+×=Xx y P x P y P 125|1(1(=Xx y P x P y P 7612/732430(0|0(0(0|0(=×=y P x y P x P y x P710|1(=y x

9、P 5312/531431(0|1(0(1|0(=×=y P x y P x P y x P521|1(=y x P 符号比特/918.032log 3231log 314131log 3132log 3243|(log |(|(= + +=XYx y P x y P x P X Y H符号比特/749.052log 3271log 314153log 3176log 3243|(log |(|(= + +=X Yy x P x y P x P Y X H 062.0|(;(=Y X H X H Y X I 比特/符号(2此信道是对称信道,因此其信道容量为:082.031,32(1(

10、1=H p H C 比特/符号 根据对称信道的性质可知,当211(0(=P P 时,信道的传输率;(Y X I 达到信道容量。【3.4】 设有一批电阻,按阻值分70%是2k ,30%是5k ;按功耗分64%是1/8W ,其余是1/4W 。现已知2k 阻值的电阻中80%是1/8W 。问通过测量阻值可以平均得到的关于瓦数的信息量是多少?解:根据已知条件,设电阻的阻值为事件X ,电阻的功耗为事件Y ,则两事件的概率空间为:154|(21=x y P ,1511|(22=x y P (7567.01511log 1511154log 15【3.5】 若X 、Y 和Z 是三个随机变量,试证明:(1|;(

11、;(|;(;(;(Z Y X I Z X I Y Z X I Y X I YZ X I +=+=(2|(|(|;(|;(YZ X H Z X H Z X Y I Z Y X I =(30|;(Z Y X I 当且仅当,(Y Z X 是马氏链时等式成立。证明:(1;(|;(|(log ,(|(|(log ,(|(|(|(log ,(|(log,(;(,Y X I Y Z X I x P y x P z y x P y x P yz x P z y x P x P y x P y x P yz x P z y x P x P yz x P z y x P YZ X I Z Y X Z Y X Z

12、Y X ZY X +=+= 同理,|;(;(;(Z Y X I Z X I YZ X I +=(2|;(|(|(log ,(log ,(|(|(log,(|;(,Z X Y I z y P xz y P z y x P yz P xz P z P xyz P z y x P z x P yz x P z y x P Z Y X I Z Y X Z Y X ZY X =|(|(|(log ,(|(log ,(|(|(log ,(|;(,YZ X H Z X H yz x P z y x P z x P z y x P z x P yz x P z y x P Z Y X I ZY X Z Y X

13、 ZY X =+= (30(log|(|(,(log |(|(log,(|;(,=Z Y X Z Y X ZY X z P yz P xz P yz x P z x P z y x P yz x P z x P z y x P Z Y X I 等号成立当且仅当|(|(1|(|(xz y P z y P z P xyz P yz P xz P yz x P z x P =,即|(|(xz y P z y P =,即,(Y Z X 是马氏链。【3.6】若有三个离散随机变量,有如下关系:Z Y X =+,其中X 和Y 相互统计独立,试证明:(1(Z H X H ,当且仅当Y 是常量时等式成立;(2(

14、Z H Y H ,当且仅当X 为常量时等式成立;(3(Y H X H XY H Z H +,当且仅当X ,Y 中任意一个为常量时等式成立;(4(;(Y H Z H Z X I =;(5(;(Z H Z XY I =;(6(;(X H YZ X I =;(7(|;(Y H X Z Y I =;(8|(|(|;(Z Y H Z X H Z Y X I =。证明:当Z Y X =+时,有 +=+=yx z y x z xy z P 10|(,即0|(=XY Z H ,而;(|(Z XY I Z H XY Z H =,因此(;(Z H Z XY I =。(,(log ,(,(log ,(|(log ,

15、(|(Y H x P y x P y x P x P z x P z x P x z P z x P X Z H = 而|(;(X Z H Z H Z X I =,因此(;(Y H Z H Z X I =。根据互信息的性质,有0;(Z X I ,因此(Y H Z H 成立,而当X 为常量时,Z 和X 的概率分布相同,因此上述不等式中的等号成立。同理,(X H Z H 成立。由于(|(|(;(Z H Z XY H XY H XY Z H Z H Z XY I =,而0|(Z XY H ,因此(XY H Z H 成立。根据条件,有 +=+=yx z y x z yz x P 10|(,因此0|(=

16、YZ X H ,而|(;(YZ X H X H YZ X I =,因此(;(X H YZ X I =。(|(|(|(|;(Y H X Y H XZ Y H X Y H X Z Y I =|(|(|(|;(|(|(|(|;(Z Y H XZ Y H Z Y H Z X Y I Z X H YZ X H Z X H Z Y X I =【3.7】 设X ,Y 是两个相互统计独立的二元随机变量,其取“0”或“1”的概率为等概率分布。定义另一个二元随机变量Z ,而且XY Z =(一般乘积,试计算:(1(X H ,(Y H ,(Z H ;(2(XY H ,(XZ H ,(YZ H ,(XYZ H ;(3|

17、(Y X H ,|(Z X H ,|(Z Y H ,|(X Z H ,|(Y Z H ;(4|(YZ X H ,|(XZ Y H ,|(XY Z H ;(5;(Y X I ,;(Z X I ,;(Z Y I ;(6|;(Z Y X I ,|;(Z X Y I ,|;(Y X Z I ,|;(X Y Z I ;(7;(Z XY I ,;(YZ X I ,;(XZ Y I ;解:由于X 和Y 是相互独立的等概率分布的随机变量,因此有1(=Y H X H 比特/符号而符号Z 的概率空间为:= 414310P Z ,因此 811.041,43(=H Z H 比特/符号 2(=+=Y H X H XY

18、H 比特/符号根据已知条件可得210(0,0(=x P z x P ,01,0(=z x P 410,1(0,1(=y x P z x P ,411,1(1,1(=y x P z x P 10(0,0(0|0(=x P x z P x z P ,00(0,1(0|1(=x P x z P x z P 211(1,0(1|0(=x P x z P x z P ,211(1,1(1|1(=x P x z P x z P 5.021log 4121log 411log 21|(log ,(|(=x z P z x P X Z H 比特/符号 5.1|(=+=X Z H X H XZ H 比特/符号同

19、理,5.0|(=Y Z H 比特/符号,5.1|(=+=Y Z H Y H YZ H 比特/符号 由于 =xyz xy z xy z P 01|(,因此0|(=XY Z H 比特/符号 2|(=+=XY Z H XY H XYZ H 比特/符号1(|(=Y H XY H Y X H 比特/符号689.0(|(=Z H XZ H Z X H 比特/符号 689.0(|(=Z H YZ H Z Y H 比特/符号同理,5.0|(=XZ Y H 比特/符号0|(;(=Y X H X H Y X I 比特/符号 311.0|(;(=Z X H X H Z X I 比特/符号 311.0|(;(=Z Y

20、 H Y H Z Y I 比特/符号 【3.8】 有一个二元信道,其信道如右图所示。设该信道以1500个二元符号/秒的速度传输输入符号,现有一消息序列共有14000个二元符号,并设在这消息中211(0(=P P 。问从信息传输的角度来考虑,10秒内能否将这消息序列无失真地传送完。 解:1该信道的信道矩阵为10秒内可以传输的最大信息量为:而14000个符号中所含有的信息量为:14000比特,因此从信息的角度来考虑,10秒钟内不可能把上述14000个符号传输完。【3.9】 求下图中信道的信道容量及其最佳的输入概率分布。 解:两个信道的信道矩阵分别如下:3161316161316131,216131

21、312161613121 可见,两个信道均是对称信道,信道容量分别为:0817.061,31,61,31(4log 1=H C 比特/符号126.031,61,21(3log 2=H C 比特/符号输入的最佳分布是等概率分布。【3.10】 求下列两个信道的信道容量,并加以比较(122p p p p (22002p p p p 解:这两个信道均是准对称信道,当输入符号等概率时,平均互信息达到信道容量,具体如下:(1该准对称信道的信道容量为:log(log(212log 21(2,(2log 2221log 221221log 2212,(max1+=p p p p p p H p p H Y H

22、 C (2该准对称信道的信道容量为: 22log(log(212log 21(2,(log log 221log 221221log 2212,(max12+=+=C p p p p p p H p p H Y H C【3.11】 求下图中信道的信道容量及其最佳的输入概率分布,并求出0=和21=时的信道容量C 。 1 200解:该信道的信道矩阵如下:1010001该信道既非对称信道,也非准对称信道,因此根据一般信道容量的计算公式,有=|(log |(|(i j i j j i ja b P a b P a bP 即+=+=+=log 1log(1(1(log 1log(1(1(032321 解

23、得:01=,log 1log(1(32+=而信道容量(+=11(21log 2log jC信道的输出符号概率为:+=111(2112(1C b P+=1121(211(2(2Cb P +=1131(211(2(3Cb P 而(11a P b P =(1(322a P a P b P += (1(323a P a P b P +=可得:+=111(211(a P +=1121(211(a P+=1131(211(a P 当0=时,(3log 1(21log 1=+=C ,信道为一一对应信道;当21=时,2log 2121log =+=C 。 【3.12】 试证明(X H 是输入概率分布(x P

24、的上凸函数。 证明:=Xx P x P X H (log (设存在两个概率分布(1x P 和(2x P ,目标是要证明(2121x P x P H x P H x P H +证明过程如下:(01(log 1(log (log (log(log (log (log (+=+=+x P x P x P e x P x P x P e x P x P x P x P x P x P x P x P x P x P x P x P x P x P x P H x P H x P H 【3.13】 从平均互信息的表达式证明,当信道和信源都是无记忆时,有;(;(Y X NI Y X I N N =证明:设

25、(N k k k k a a a L 21=,(N h h h h b b b L 21=,按照给定信道和信源均是无记忆,有(2121N N k k k k k k k a P a P a P a a a P P L L =|(|(|(|(|(22112121N N N N k h k h k h k k k h h h k h a b P a b P a b P a a a b b b P P L L L =(|(|(|(|(21221121N N N N h h h k h k h k h k k k k h k h P b P b P a P a b P a b P a P a P a

26、P P P P L L L =I ( X N ; Y N = H (Y N H (Y N | X N = P ( j log P( j + P( i j log P( j | i = P( i j log = P( i j log = P( i j log P( j | i P( j P(bh1 | a k1 P(bh2 | a k 2 L P(bhN | a k N P(bh1 P(bh2 L P( hN P(bh1 | a k1 P(bh1 + L + P( i j log P(bhN | a k N P(bhN = I ( X 1 ; Y1 + I ( X 2 ; Y2 + L + I

27、( X N ; YN 【3.14】 证明:若 ( X , Y , Z 是马氏链,则 ( Z , Y , X 也是马氏链. 证明: 如果 ( X , Y , Z 是马氏链,则有 P( z | xy = P( z | y ,即 P( xyz P( yz = P( xy P( y 因此有 P( xyz P( xy = ,即 P( x | yz = P( x | y ,即 ( Z , Y , X 也是马氏链. P( yz P( y 每个二元对称信道的错误传递概率为 p . 【3.15】把 n 个二元对称信道串接起来, 证明这 n 个串接信道可以等效于一个二元对称信道,其错误传递概率为 1 1 (1 2

28、 p n ,并证明 lim I ( X 0 ; X n = 0 ,设 p 0 或 1,信道的串接如下图所 n 2 示. 证明: 1 当 n = 1 时,错误概率 p = (1 (1 2 p 成立; 2 1 假设 n = k 成立,即 k 个串接信道的错误概率为 1 (1 2 p k ; 2 当 n = k + 1 时,其错误概率为: 1 1 p 1 (1 2 p k + p1 1 (1 2 p k 2 2 p p p = (1 2 p k + p 1 (1 2 p k 2 2 2 1 p p = (1 2 p k + (1 2 p k 2 2 2 1 1 = (1 2 p k + p (1 2 p k 2