信息论与编码陈运主编答案完整版

1、信息论与编码课后习题答案详解 2.1试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：0, 1,2, 3 八进制脉冲可以表示8个不同的消息，例如：0, 1,2, 3, 4, 5, 6, 7二进制脉 冲可以表示2个不同的消息，例如：0, 1假设每个消息的发出都是等概率的，则： bit symbol / 八进制脉冲的 四进制脉冲的平均信息量H X（ 1）= log n = Iog4 = 2 平均信息量 H X( 2) = log n = log8 = 3 bit symbol / 二进制脉冲的平均信息量H X( 0) = log n = log2

2、 =1 bit symbol / 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2居住某地区的女孩子有25淞大学生，在女大学生中有75淞身高160厘米以上的，而 女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高 160厘米以上的某女孩是 大学生”的消息，问获得多少信息量？ 解： 设随机变量 X代表女孩子学历 X X1 （是大学生）X2 （不是大学生） P(X) 0.25 0.75 设随机变量 Y代表女孩子身高 Y y (身高 160cm) y2 (身高 log6不满足信源熵的极值性。 解： 6 H X 11 1: p x p x i =-(0.2lo

3、g0.2 + 0.19log0.19 + 0.18log0.18+ 0.17log0.17 + 0.16log0.16 + 0.17log0.17)= 2.657bit symbol / H X() log 62 = 2.585 不满足极值性的原因是 L 1 o i 2.7证明：H(X3/X1X2) H(X 3/X 1)，并说明当X1, X 2, X 3是马氏链时等式成立。 证明: H X(3 / X X12) - H X( 3 / X) EEE p x x x ( i1 i2i 3 )log p x ( i 3 / x x i1 i2 ) + EE p x x ( i1 i3 )log p

4、x( i3 / xi 1) i 1 i 2 i 3 EEE i3 )log p x ( 学习参考 p x x x ( i1 i2i3 )log i3 / Xi1) p x ( i 3 / x x i1 i2 ) + EEE p x x x ( i 1 i2 Xi1) =EEE i1 i2 i 3 p X X X ( i1 i2 i 3 )log p X ( i3 / X X i1 i2 ) ? p x ( i3 / xi1)1 ? ? ? log 2 e EEE i 1i 2 i 3 p X X X ( i 1 i2 i 3 )? ? ? p X ( i3 / X X i 1 i2 )- ?

5、i 1 i 2 i 3 i 1 i 2 i3 p X ( i 3 / 刀刀刀 p x X ( i1 i2 ) ( p X i3 / Xi 1) XFX p x x x ( i1 i2 i3 ) ? ? log 2 e i 1 i 2 i3 i 1 i 2 i 3 =? ? EE p x x ( i1 i2 ) ? E p x( i3 / xi1) 1? ? log 2 e H X( 3 / X X1 2) H X( 3 / X) p x( i3 / x 1)10时等式等 等当 -=p x ( i3 / x x i 1 2i ) p x ( i3 / xi1)= p x ( i3 / x x i

6、1 2i ) ? p x x ( i1 2i ) ( p x i3 / xi1) = p X(i3 / x x i 1 2i ) ( p x x i1 2i ) ?p X( i 1) (p X i2 /Xi1) (p X i3 / Xi 1)= p X XX ( i1 2 3 i i ) ? p X ( i2 / Xi 1) (pX i3 / Xi1) = p X X ( i2 3i / Xi1) 等式等等的等等是 x, XX3是马氏链_ 2.8 证明：H(XX Xn) H X( 2 / X ) I X( 3；X X12 ) 0 ?卜 1 X( 3 ) H X( 3 / X X1 2 ) I

7、X ( N； X X1 2 .X- 1)0 H X( n ) H X( n / X X1 2. X 1) H X X( i 2凡)w H X( i)+H X( 2)+H X( 3)+ +. H X( n) 2.9设有一个信源，它产生0, 1序列的信息。它在任意时间而且不论以前发生过什么符号 均按P(O) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ 试计算 H(X) , HX3/X1X2)及 14 ; (3) 试计算H(X)并写出X4信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语: “它在任意时间. 而且不论以前发生过

8、什么符 号 H X(2 ) = 2 H X() =- 2X (0.4log0.4+ 0.6log0.6) =1.942bit symbol / H X( 3 / X X12 ) = H X( 3) = - X p x ( i )log p x ( i )= -(0.4log0.4+ 0.6log0.6) = 0.971bit symbol / i Hk = lim H X(n / X X12. X n-1 ) = H X( n ) = 0.971 bit symbol / N- k H X(4 ) = 4 H X() =- 4X (0.4log0.4+ 0.6log0.6) = 3.884bi

9、t symbol / X 4的所有符号： 0000 0001 00100011 0100 0101 01100111 1000 1001 10101011 1100 1101 11101111 2.10 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为0,1,2 o (1) 求平稳后信源的概率分布； 求信源的熵Hko 解: p e ( 1 ) = p e p e ( 1 ) (1 / e1 ) + p e ( 2 ) ( p e1 / e2 ) Pe( 2)= p e( 2 ) ( p e2 /e2 ) + p e( 3 ) ( p e?/ ) pe( 3)= p e( 3 ) ( p e

10、3 /e3 ) + 3 / e1 ) p e ( 1 ) = p p e ? ( 1 ) + p p e ?( 2 ) p e ( 2 y=p p e ? ( 2 ) + ? p e( 3) = p p e p e( 1 ) = p e( 2 )= p e( 3 ) ? p e ( 1 ) + p e ( 2 ) + p e ( 3 ) =1 ? p e( 1 ) =1/3 ? ? pe( 2) ? =1/3? p e( 3 ) =1/3 p e ( 1 ) ( p x 1 /e1 ) + p e ( 2) ( p x 1 /e?)= (p + p)/3 =1/3 p x( 2)= p e (

11、 2 ) ( p x 2 /e2) + p e ( 3) ( p x 2 /e3 ) = p p e ? ( 2) + (p + p)/3 =1/3 ? p x(3)= p e ( 3 ) ( p x 3 / e3) + p e p x ( 1 )( 3 / e1 ) = p p e (1 ) = ( p + p)/3 =1/3 ? P X() ? ? = ? ? 1/3 1/3 1/3? ? 3$ H _ 7. y . p e p e () (/ e )log p e ( j / e ) i j ? 1 1 -? _ 3 p e( 1 /ejlog p e( 1 /ej + - 3 p e(

12、 2 /ejlog p e( 2 1 /e1)+ - 3 p e ( 3 /e1)log p e ( 3/8) ? + + pex /e2)logp(e + yp(e2p(e3 /2logp(e3 /e2) p e(/ e )log p e( 1 /e3)+ 3 p e ( 2 log p e( 2 /e3)+ 3 p e( 3 / e3)log p e( 3 / e3) ? ? 13 1 3 :p 3 ?p?ogr 1 1 1 logp +3 ?p 叫 + 3 ?pogp+3 ?p 河 p +3 ?疝? -(p? log p + p? log p bit symbol ) 2.11黑白气象传

13、真图的消息只有黑色和白色两种，即信源X=黑，白。设黑色出现的概率为 P(黑)=0.3，白色出现的概率为 P(白)=0.7。 (1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1 ，P(白/黑)= 0.2， P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H(X); 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。解： (1) H X()=- 刀 p x ( i )log p x ( i ) = - (0.3log0.3+ 0.7log0.7) = 0.881bit symbol

14、/ i p e ( 1 ) = p e p e ( 1 ) (1 / e1 )+ p e ( 2 ) ( p e1 /e2 ) p e ( 2)( p e2 /e2)+ p e p e ( 1 )( 2 / e1 ) ? p e( 1 )= =0.8 ( p e 1)+ 0.1 ( p e2 ) ? ? p e( 2 )= 0.9 ( p e2 )+ 0.2 ( p ei ) ? p e( 2 )= =2 ( p ei ) ? ? p e( 1 )+ p e( 2 ) =1 ? p e( 1 ) =1/3 ? p e ( 2)= k： ? p e ( 2 ) = 2/3 HH = - XX p

15、 e p e ( i) ( j/ei )log p e ( j /ei) i j ? 1 1 2 2 =-? x 0.8log0.8+ x 0.2log0.2+ x 0.1log0.1+ x 0.9log0.9 ? 3333? 0.553 = bit symbol / n 1 = H 0 - HH = Iog2 - 0.881 =11.9% H 0log2 / - /Tlou2-0.553 44.7% H(X) H 2(X) 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多， 能够进行较大程度的压缩。 2.12同时掷出两个正常的骰子，也就是各面呈现的概

16、率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； 两个点数的各种组合(无序)对的熵和平均信息量；(4)两个点数之和(即2, 3, 12构成的子集)的熵；(5)两个点数中至少有一个是1的自信息量。解： (1) P x( log P x( i ) = - log 丄 I = 4.170 bit P x( I x ( i )= -log P x( i )=- 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 5

17、4 55 56 61 62 63 64 65 66 共有21 种组合：其中11 ,22, 33, 1 1 X 一 1 概率是-. 36 log 其他15 44, 55, 66 的 1 I 6 = 2xlxi = 个组合的概率是 _1_ ；=5.170 bit H X( 刀一 一 )=- P x ( i )log P x ( i )= 1 ? log18 1 ? 6X 36 log36 +15X18 ? = 4.337 bit symbol / i 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下: ? P X()? ? X ? ?= 9 9 9 9 9 1 1 1 1 1 1 36

18、1218131214195 3656176 3685919 10121 1811112361 9 9 9 9 9 9 H X()=-刀 i p x( i )log p x( i ) I x ( i)= - log p x( i)= log 1 I -=1.710 bit =9 9-2X 1 log 1 +-2 x-4 log斗 + 2 -x 1-log 1 +-2 x 1log1 +-2 x 5 log 5 + 1log 1 9 9 936 36 18 18 12 12 99 36 36 6 69 3.274 = bit symbol / 1 1 1 6 6 36 p x( i )= X x

19、11 = 2.13某一无记忆信源的符号集为0,1，已知P(0) = 1/4 , P(1) = 3/4。 (1) 求符号的平均熵； 有100个符号构成的序列，求某一特定序列(例如有m个“0”和(100 - m个“ T) 的自信息量的表达式； 计算中序列的熵。 解： (1) p x ( i ) = 9 9 14? ? ? m x ? ? 34 9 9 ? 100- m = 34100100- m T_ ? 1 1 H X( )=- p x ( i )log p x ( i ) = -? 4log 4 + 3 3? 4 log 49? = 0.811 bit symbol /i ? 3100- m

20、I x ( i ) = - log p x ( i ) = - log 4血 =41.5+1.585 m bit H X( 100) =100 H X() =100 x 0.811= 81.1 bit symbol / 2.14对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态, 调查结果得联合出现的相对频度如下: 若把这些频度看作概率测度，求: (1)忙闲的无条件熵； 天气状态和气温状态已知时忙闲的条件熵； 从天气状态和气温状态获得的关于忙闲的信息。 解： (1) 根据忙闲的频率，得到忙闲的概率分布如下: 10340 ? ? ? X ? ? ? X1 忙闲 X2 ?

21、? P X() ? T= ?？ 10363 刀？ H X( ) = -2 p x( i )log p x( i ) = -? 10363 log10363 +10340 log10340 ? ? ? = 0.964 bit symbol / i ? (2) 设忙闲为随机变量 X,天气状态为随机变量Y，气温状态为随机变量Z H XY2Q =-p x y z ( i j k )log p x y z ( i j k) i j k =-? ? 12 log 12+ 8 log 8+ 27 log 27+ 16 log 16 103103 103103 103103 103103 ? 5 log 12

22、 ? 103103 103103 103103 103103? =2.836 bit symbol / + 8 log 8 + 15 log 15 + log 5 + 12 H YZ( )=-刀刀 p y z( j k)log p y z ( j k) j k = 一 - 2 20Jog 20+23Jog 23 土32 log_32 +-28 log 28 103 103 103103 103103 103 103? 1.977 =bit symbol / H X YZ(/) =H XYZ ) -H YZ( ) = 2.836 - 1.977 = 0.859 bit symbol / I X

23、YZ(;) =H X( ) -H X YZ( /) = 0.964 - 0.859= 0.159 bit symbol/ 2.15有两个二元随机变量X和丫，它们的联合概率为 X1=0 X2=1 y1=0 1/8 3/8 y2=1 3/8 1/8 并疋义另一随机变量Z - XY （一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ) 和 H(XYZ); (2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY)； l(X;Y), l(X;Z), l(Y;Z), l

24、(X;Y/Z), l(Y;Z/X)和 I(X;Z/Y)。 解： (1) bit symbol / H X()=-刀 p x ( i )log p x ( i ) =1 (i)=( i (?)二(i ( a)=r=i bit symbol / H Y()=-刀 P y( j )log p y ( j) =1 Z = XY的概率分布如下: ? Z ? ? zi = 0Z2 =1? ? ? ? P Z( ) ?=? 78 18 ? ? ? H Z()=-刀 k2 p z ( k) = -? ? 18 log 8 711 ? + 8 log 8 ? ? = 0.544 bit symbol / p x

25、 ( 1)= p x z ( 1 1)+ p x z ( 12)p x z (1 2) =0 p x z( 11) = p x( 1)= 0.5 p z (1)= p x z ( 1 1)+ p x z ( 2 1) PgJ = /K-1)-Jp(xlzl)=-O.5 = | oo p z( 2) = p x z( 1 2)+ p x z ( 2 2) bit symbol / ? 1 1 k )log p x z ( i k ) = -? 2log 2 + H XZ() = -p x z ( i 3311? 8 Iog8 + 8 Iog8 ? ?=1.406 p y z ( 1 1) = p

26、 y ( 1) = 0.5 p z( 1) = p p y ( 1) = p y z( 1 1)+ p y z( 1 2)p y z( 1 2)= 0 y z ( 1 1)+ p y z ( 2 1) 73 卩(ym J = p(- 1 -卩(戸刁)=：o 戈=： co p z( 2) = p y z ( 1 2)+ p y z ( 2 2 ) H YZ( EE )=- k p y z ( j k )log p y z ( j k)=- 1? + 8 log18 ? ?=1.406 bit symbol / j ? 1 2log 1 33 2 + 8 log8 p x y z ( 1 1 2)

27、 = 0 p x y z( 1 2 2) = 0 p x y z ( 2 1 2) =0 p x y z ( 1 1 1)+ p x y z( 1 1 2) = p x y ( 1 1) p x y z( 1 1 1) = p x y ( 1 1) =1/8 p x y z ( 1 2 1)+ p x y z ( 1 1 1) = p x z ( 1 1 ) 应壬儿右)=#(舟右)-M州v声I)二一扌二# p x y z ( 2 1 1)+ p x y z ( 2 1 2) = p x y ( 2 1) p x y z (2 2 i) = 0 p x y z ( 2 2 i)+ p x y z

28、 ( 2 2 2) = p x y ( 2 2) H XY2()=-刀刀刀 p x y z(i jk )log 2 p x y z ( i j k ) i j k 11 - 33_3_311? log + log + log + log ? =1.811 bit symbol / 8 8 8 8 8? ?11 333 311 H X”)=- p x y ( j )log 2 p x y ( ij )= -? 8log 8 + 8 log8 + 8 log8 + 8 log8 ? ? H X Y( i j / ? )=H X”)- H Y( ) =1.811 1 -=0.811 bit symb

29、ol / H Y X( / ): =H XY( )- H X( ) =1.811 1 - = 0.811 bit symbol / H X Z( symbol/ / )=H XZ()- H Z( ) =1.406 - 0.544 = 0.862 bit H Z X( / ): =H XZ() -H X( ) =1.406 -=1 0.406 bit symbol / H 丫 Z( /) = H YZ( )- H Z( ) =1.406 - 0.544 = 0.862 bit symbol/ H Z Y( /) = H YZ( )- H Y() =1.406 - =10.406 bit symb

30、ol / H X YZ( /) = H XY )- H YZ( ) =1.811 1.406 -= 0.405 bit symbol / I X Y(；)= H X()- H X Y( /)= bit symbol / I X Z ( ；)= H X() - H X Z( symbol/ I Y Z (;) =H Y() -H Y Z( I X Y Z (;/ ) = H X Z( 10.811= 0.189 /) = - 10.862 = 0.138 bit / ) =- 10.862 = 0.138 bit symbol / / )- H XYZ( /)= HY XZ( / )= H XY

31、Z：)- H XZ( ) =1.811 1.406- =0.405 bit symbol / H Z XY( / )= H XY4 ) - H XX ) =1.811 1.811 - = 0 bit symbol / 0.862 - 0.405 = 0.457 bit symbol / I Y Z X ( ; / ) = H Y X( / )- H Y XZ( / ) = 0.862- 0.405 =0.457 bit symbol / I X Z Y ( ; / ) = H X Y( / )- H X YZ( / ) = 0.811- 0.405 = 0.406 bit symbol / 2

32、.16有两个随机变量X和丫，其和为Z = X + 丫 (一般加法)，若X和丫相互独立，求证: H(X) H(Z), H(Y) H Z X( / ) . H Z() H Y()同理可得 H Z() H X()。 2.17给定声音样值X的概率密度为拉普拉斯分布 Hc(X)，并证 1 P x()= 8 x a =E2 e x dx IM I m E x p x x dx 一 e x dx o+x e- / o+xx de 2-入 x =- x X2 0 +x / o+x e-入 xdX2 o+x 8 入 xdX2 = Xx xdx 0+x j 0+xe- Xxdx? _2 j 0+x xde- 2_

33、 I X X 222e HC (X正态)=_1 Iog2 na e = log n e HC (X) = log 一 2XX 12 X2 + y2 Xdx 1) 解： 2- X2 2- X2 1.2 r 2 p x ( ) = j - r2- x2 p xy dy ( 2- x2 n r 2 dy = n r 2( - r X p x r2xr2 x2 f px dx dx p x jnr( )log r 2 x dx2 -丄()1。呂J log p x r 2 x / log e 1 =M2 其中： - log r log e bit symbol / ( )log x dx r2 xdx

34、n 4 令 x = rcosg- 2 n 0 422 =一2 nr sin i n勺 4 n . 2 sin g logsin gd( cosQ g logsin 9cl9 r 2x dx in g logsin gd g n J 4卫 2 -严 gl(grd 4logr n 4 + 一 n nos2gcg o 2 g 2 in g logsin gd g 4 ni cos2g . + ：彳-2 g logsin gdg 2 匸 22 r-2 f- r-logrF - - logrpcos lOdO + -f1 log sin 617(7 -一 2 cos 2 log sin OdO 二 la

35、gr -log/f- /sin 20 + (-logn 2)cos 2 log sin GtiO 群山7T 2年比 2 a -logr - I - cos 20 log sin Q.10 -log r - I + g log、 其中: 7T J2 cos 2 log sin OlIG log sin sin 20 JT* % 1 ? ? ? ? sin 2 logsin 0 %o2 - J o%2 sin 2 0 d logsin 0 ? ? ? ? 1 % o：2sin 0cos 7t 2 % log 2 J o =-% 2 log 2 e J o%2 1+ cos22 0 d 0 % 1

36、log e %2 d 0 - 1 log 2 e J 0%2 cos2 0 0 d -2 log 2 % log 2 esin 2 0 02 2 2 Jr -y 2 2 . r . y r2- y21 2 r 2 - y2 V y（）= J p xy dx ( ) = J - r2- y2 % r 2 dx = % r 2( - r y 0) 的熵 H(Y); 熵 H(Y)。 (3) 试求Y = 2X的 解: 1) H(X)= -log b- ? log 3 H(X)= / R f x ( )log f x dx () / r f x ( )log bx dx 2 2) -log b? / R

37、 f x dx () / r f x ( )log x dx 2 -log b- 2b / r x2 log xdx -log b- 9 -2ba3 log a3 e i =1 a ? 0 y - A w a 0 w x A y w a + A w a Fy( ) y = P Y( w y) =P X(+ A w y)= P X( w y - A) 其他 = j Ay A bx dx2 = b -3(y - A f y ()= fy()= b y ( -A)2 H Yc()= -j R f y ( )iog f y dy ()= -j R f y ( )log b y ( -A dy) log

38、 b? j R f y dy ()-j r f y ( )log( y - A dy)2 log b - 2b j r (y -A)2log( y - a d y )( _ A) 2ba3 3 a log b - log bit symbol / 9 e Fy() y = -b (y - A)3: ,F aY ( + A) =ba3 =1 3 3 2a3 .H Yc()= -logb- ? log bit symbol / 3e 3) y 0 w x w a ? 0 w -w a 2 .0 w y w 2a y Fy( ) y = P Y( y) = P(2X y) = P X( 0，当且仅当

39、(X, Y, Z)是马氏链时等式成立。 p x( / y zj k) I X Y Z ( J /) = EEE p x y z ( i jk)log i j k p x ( i / Zk ) ik px( / z) I X Y Z ( J /) = EEE p x y z ( i j k)log i j k p x ( i / y z j k ) -1 k) ? ? ? ? p x p X(i /i wXXX i j / y z zj k ) k)? ? ? ? log 2 e ? ? ? EEE jk p X ( i / Zk ) -EEE p x y z )? ? ? log 2 e ?

40、EEE ? p y z ( j k)? p x( i / Zk ) - 1? ? log 2 e ? E p x( i / Zk )-1? log 2 e I X Y Z ( 当-=1 0 p x ( ? px( i / p x( y z j k i/ i / Zk ) = p x ( zk ) 时等式成立 k) (jk ) ( p x i / Zk )= ? p z ( k) ( p y j / Zk) ( p x i / Zk) = p x y z ? p y ( j / Zk) ( p x i / Zk) = p x y z ( k)/ p z( k) p y(j/Zk ) ( p Xi

41、/Zk) = p x y(i j/Zk) 所以等式成立的条件是 X, Y, Z是马氏链 3.5若三个随机变量，有如下关系: Z = X + 丫，其中X和丫相互独立，试证明: (1) I(X；Z)= :H(Z) - H(Y)； I(XY;Z) =H(Z)； I(X；YZ) =H(X); I(Y;Z/X) =H(Y); I(X;Y/Z) =H(X/Z) = H(Y/Z) 0 解： 1) Z =X +Y ? p y ( j) (zk-: i ) Y p z( k / Xi ) p Z ( k - Xi ) =? ? 0(Zk - Xi )? Y H Z X( /)=-刀刀 p X z ( i k)l

42、og 2 p z ( k/ Xi ) z( k / Xi ) ? i ? k p z( k / Xi )log 2P I X Z ( -刀刀 p X( i)? j)? i ? j? H Y() ；)=H Z()- p y ( j )iog H Z X( / H Z() H Y() i k 2) Z = X +Y ? ? 1( Xi + y j ) = Zk p z ( k / x y j ) = ? ? ? 0( Xi + y j )工 Zk H Z XY(/)=-刀刀刀 p x y z ( i j k )log 2 p z ( k / x y i j ) i j k 3) 4) j)? j

43、)?刀 p z(k / x y i j )log 2 p z ( k / x yi =0 I XY Z ( ；)=H Z() H Z XY( / )=H Z() =0 H Z() =X +Y H X YZ( =0 I X YZ ( =X +Y H Y XZ( Xi = Zk - y j /) = - EEE EE p y z /)= k j H X() j = Zk - 工Zk - p x ( k )log 2 p x ( i / yz jk) (j k)? E H X YZ( Xi p y ( Xi p x( /)= i / y z j k )log 2 p x ( i / y zjk )

44、? H X( ) - =0 H X( ) EEE p x y z ( i j k )log 2 p y ( j / x z i k ) Z = X +Y -EE p x z ( i k? j ik )? E p y ( j / x z i k )log 2 p y ( j / x z i k ) ? /) = H 丫 X( / )-H 丫 XZ( / )=H Y( )- =0 H Y() ? 1Xi = Zk - y j p x ( i / y z j k ) = ? 0 Xi 工 Zk - y j H X YZ( i /) =-p x y z ( i j k )log 2 p x ( i /

45、 y z jk) P y z(jk ) ?刀 p x ( i / y z j k )log 2 p x ( i/ y z jk)? I X 丫 Z H X Z(/ / ) = H X Z( /) - H X YZ( /) = H X Z( )-=0 Z = X +Y y j = Zk -Xi p y ( y j Zk - Xi H Y XZ( 刀刀刀 p x y z ( k k )log 2 p y ( j / x z i -刀刀 p x z ( i k)?刀 j / x z i k )log 2 p y ( j/ / )? 0.98 )=H 丫 Z( /) - H 丫 XZ( / 0.02?

46、 )=H 丫 Z( /)- =0 H Y Z( 1500二元符号/秒的速度 设该信源以 3.6有一个二元对称信道，其信道矩阵为？ ? 0.02 0.98? 传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P=1/2，问从消 息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？解：信道容量计算如下： C = max ( I X Y ; ) = H Y( ) - H 丫 X( / = H max( ) Y - H mi =log 2 2 + (0.98 x log 0.98 2+ 0.02 x log 0.02) 2 =0.859 bit symbol / 也就是

47、说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入 1500二元符号/秒, 那么每秒钟接收到的信息量是： 11 =1500symbol s / x 0.859 bit symbol /=1288 bit s / 现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序 列的信息量是 I =14000 x (0.5 x log 0.5 2 + 0.5 x log 0.5) 2 bit 14000 要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力 (1288 bit/s )。所以10秒内

48、不能将消息序列无失真的传递完。 3.7求下列各离散信道的容量(其条件概率 (1) Z信道(2)可抹信道 P(Y/X)如下：) (3) 非对称信道(4)准对称信道 ? 1 1 ? ? 1 1 1 1 ? ? ? ? 1s1- 0s? ? ? ? ? 1- SS12 S2SS 111- SS12 S2 ? ? ? ? ? 22? ? ? ? 1313 16 16? ? ? 13 ? 4 4 解： 1) z信道 这个信道是个一般信道，利用一般信道的计算方法: 由公式 a. 乙 p y ( j / Xi )log 2p y ( j / j p y( j/ xi) ? 1 x log 21= p 1 ?

49、 slog 2 s + - (1 s)log 2 (1 - s)= ? P 1 = 0 (1 s) p 2 S P 2 = log 2 s + log (1 ?1- s S) =? log 2 ? ? (1 - 1- S pj b.由公式C = log 2? ?刀2 ? ?，求C C = log 2? ? ? 2Pj? ? ? = log 2 ? ? 1+ - 1- ss (1 s s ) bit symbol / ? j ? c.由公式 p y ( j ) = 2 Pj-c，求 p(yj) p y ( 1)= 2 b i- c 1 +-(1 s$1 s s (i- 1+-1 1- sS s

50、2b2- c d.由公式 p y(j)=刀 p x p y ( i ) ( j/xj ，求 p(xi) i由方程组: p y( 1) = p x( 1)+ p x s( 2) ? 0 s 0，保证了 C的存在。 p y( 2 ) = p x( 2 )(1 - s) 解得 s 1- s1-s p Sx( 1)= 1+-(1 ss 1-s s 1. s s p 丄 x( 2)= 1+-(1 ss 1-s 因为s是条件转移概率，所以 2)可抹信道 可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下: ? 1- S1 S2S2? S1? M =? ? , M 2 =? ? ?S21- -S1S2

51、 ? S1? s C = max ( I X 丫 ；)= -刀 m p y k( k )log 2 p y ( k)- H.i k=1 ? p y( 1) = p x p y ( 1)( 1 / x1) + p x( 2 )(p y1 / x2)= -(1 S1 S2 )/ 2+ S2 / 2 =-(1 ? S1) / 2 ? p y( 2 ) = p x p y ( 1)( 0 2 / x1) + p x( 2) ( p y2 / x2 )= :s2 / 2+ - (1 S1 S2 )/2 =-(1 S1 ) /2? p y ( 3): =p x p y (1)( 3 / X1)+ p x(

52、 2 ) ( p y 3 / X2 ) =S1 /2+ S1 / 2 =S1 刀 p y ( j) p y ( j ) e M p y ( k ) =k mk p 八i = = - (1 si)/ 2 m 2 刀 p y ( j ) - p y()e mp y () !U1 p y( 2)=_ si 2 C k=1 m p y k( k )log 2 p y ( k)- H.i =-(2 X 、 log； + si log 2 si) + (1- si - S2 )log 2 (1 - si - (1 Si)log 2+ - (1 Si - S2 )log 2 (1 - Si -S2) + S

53、2 log 2 S2bit symbol S2 ) + / S2l 3）非对称信道 这个信道是个一般信道，利用一般信道的计算方法 由公式 a. p y ( j / Xi )log 2 p y ( j / Xi )=刀 jj p y ( j / Xi) Bj，求 3 j 1 1 1 1 1 2log 2 2 + 2log 2 2 = 2 3 14log2 14 + 34log 2 34 = 14 3 3 i =- 1.3775 3 2 二 0.6225 b.由公式C = log 2? ?刀2 ? ?，求C ? j ? 刀23 ? ? ? = log 2 2 -1.3775 + 2 - 0.622

54、5 =0.049 bit symbol / C = log 2 c.由公式 p y ( j ) = 2 jC，求 p(yj) ( p y i) = 2 b 1- c = 2 - 1.3775 0.049 - = 0.327 把信道矩阵分解成三个子矩阵如下： ? 1? ? 1 1 ? ? 1? M = ? 1316? ? ,M 2 = ?_? 13? ?, M 2 = ? ? 16? ? ? ? ? ? ? ? ? ? 6 3? ? 3? s_ ? 6? C = max ( I X 丫 ；)= -刀m k=1 p y k( ? ? p y( 1) = p x( 1) ( p y1 / X1) =

55、-2 X + X 3 2 6 = 4 ? (4)准对称信道 k )log 2 p y ( k) H mi 1 + p X ( 2 ) ( p y 1 / X2 ) ( p y 2 ) = 2 B 2- C = 2 - 0.6225 0.049 - = 0.628 d.由公式 p y ( j)= i :刀 p x p y ( i) ( j / Xi )，求 p(Xi) 由方程组： ? 1 1 ? ? 0.372 =-2 p x ( !)+ -4 p x ( 2 ) ? ? ? 1 3 ? 0.628 = - 2 p x ( 1)+ - 4 p x ( 2 ) 解得 ? p x( 1): =0.4

56、88 ? ? px( 2) =0.512 p(X1), p(X2) 0 , 保证了 C的存在。 12 13 = 14 p X ( 1) ( p y 2 / X1)+ p X ( 2 ) ( p y 2 / X2 ) =- 12 x + X16 X2)= _ i x + x 111 = 1 p y ( 3) = p x( 1)( p y / Xi) + p x( 2)( p y3/ ? p y( 4) = p x( 1 1? )(p y4 / X1)+ p x ( 2 ) ( p y 4 / X2 ) 刀 p y ( j) _p y( j )e M p y( k )= k mk p y ( i

57、) e Ml p y ( 1) + p y( 2 ) ? 1 1 ? y( 1) = =? + m2 ? 44?- 4 刀 P y ( i ) - p _ y( j ) e m p y ( 3 ) 1 p y ( 2 )= m13 py /Ms PV 3)= m3 =py 4) =1 =1 = 6 C =- Hmi 3 vmpy( k)iog2 py k)- k=1 / 2 6? =-(2 x x 4log 2 4 + 3log 2 3 + 6 log 2 6) + ? ? 3log 2 3 + 3log 2 3 + 6 log =0.041 bit symbol / 3.8已知一个高斯信道，

58、输入信噪比（比率）为 3。频带为3kHz,求最大可能传输的消息率 若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？解： ? P ? C =W log 1- ? ? = 3000 x log 1 2( + =3) 6000 bit s / C6000 W=1500 Hz log 1 ? ? ? ? log 1 15 2 ( + ) 3.9有二址接入信道，输入X, X2和输出丫的条件概率P(Y/XX)如下表( ) = H X() - H X Y( /) = H Y( )- H Y X( /) H Y X(/) = H Y( )- H X() + H X Y(/ ) = H Y( )-

59、H X() 3.14试求以下各信道矩阵代表的信道的容量: 1 0 0? 1 0? ? 1 0 0? (3) P= 0 0? ? ? 0 1 0? ? 0.1 0.2 0.3 0.4 P = ? 0 0 0.3 0.7 P= 0 1? ? 0 10 ? ? 0 0? ? ? 0 0 1? ? ? 0 01? ? 00 00 0.4 0.2 0.1 0.3? 解： 1) 这个信道是一一对应的无干扰信道 C = log 2 n = log 4 2 = 2 bit /s ymbol 2) bit /s ymbol 这个信道是归并的无干扰信道 C = log 2 m = log 3 2 =1.585 3

60、) 这个信道是扩展的无干扰信道 C = log 2 n = log 3 2 =1.585 bit /s ymbol ?p ?廿宀小 3.15设二进制对称信道是无记忆信道，信道矩阵为_ ，其中：p 0， P = p? ? 1， p p。试与出N = 3次扩展无记忆信道的信道矩阵P 解： 000 001 010 011 100 101 110 111 ? 3 000 pp P 2 p P 2 2 p P2 p p p P2 p P2 P3 ? ? 2 3 2 2 2 2 3 2 ? 001? p p p p p - pp p p p p p P P? _ ? 2 2 3 2 2 3 2 2 ? 0