清华大学出版社信息编码论第三章全解

1、3.1 设二元对称信道的传递矩阵为32313132(1 若P(0 = 3/4, P(1 = 1/4,求H(X, H(X/Y, H(Y/X和I(X;Y; (2 求该信道的信道容量及其达到信道容量时的输入概率分布;解: 1sym bolbit Y X H X H Y X I sym bol bit X Y H Y H X H Y X H X Y H Y H Y X H X H Y X I sym bolbit y p Y H x y p x p x y p x p y x p y x p y p x y p x p x y p x p y x p y x p y p sym bolbit x y

2、p x y p x p X Y H sym bolbit x p X H jj iji j i j i i i / 062.0749.0811.0/(;(/ 749.0918.0980.0811.0/(/(/(/(;(/ 980.04167.0log 4167.05833.0log 5833.0(4167.032413143/(/(5833.031413243/(/(/ 918.0 10log 32lg 324131lg 314131lg 314332lg 3243( /(log /(/(/ 811.041log 4143log 43(222221212221221211112111222=-

3、=-=+-=+-=-=-=+-=-=+=+=+=+=+=+=+-=-=+-=-=22221122max (;log log 2(lg lg log 100.082 /3333mi C I X Y m H bit symbol=-=+=其最佳输入分布为1(2i p x =3-2某信源发送端有2个符号,i x ,i =1,2;(i p x a =,每秒发出一个符号。接受端有3种符号i y ,j =1,2,3,转移概率矩阵为1/21/201/21/41/4P =。 (1 计算接受端的平均不确定度;(2 计算由于噪声产生的不确定度(|H Y X ; (3 计算信道容量。解:1/21/201/21/41

4、/4P =联合概率(,p x y (1(log 2log log 24141H Y a a=+-211161log 2log log 24141a a a a -=+-+ 211111log 2log16log log 244141a a a a -=+-+ 23111log 2log log 24141a a a a-=+-+ 取2为底2223111(log log 24141a a H Y bit a a-=+-+ (211111111(|log log log log log 2222224444aa a a a H Y X -=-+3(1log 2log 22a a -=-+3log

5、22a -=取2为底3(|2aH Y X bit -=2(111max (;max (|max log 2log log 24141i i i p x p x p x aa a c I X Y H Y H Y X a a -=-=+ -+取e 为底2111(ln 2ln ln 24141a a a a a a-+-+21121111ln 2ln (24141411a a a a a a a -=+-+-+ 221112ln 2ln 22(14141a a a a a a -=+-+- 111ln 2ln 241a a-=+ = 01114a a -=+ 35a =9251311131log 2

6、log log 2541454c =+- 312531log 2log log 10416204=+3153log 2log log 2102410=+- 15log 24=3.3 在有扰离散信道上传输符号0和1,在传输过程中每100个符号发生一个错误,已知P(0=P(1=1/2,信源每秒内发出1000个符号,求此信道的信道容量。解:由题意可知该二元信道的转移概率矩阵为:0.990.010.010.99P =为一个BSC 信道所以由BSC 信道的信道容量计算公式得到:211log (log 2log0.92/11000920/seci i it C s H P p bit sign p C C

7、 C bit t=-=-=3.4 求图中信道的信道容量及其最佳的输入概率分布.并求当e =0和1/2时的信道容量C 的大小。解: 信道矩阵P=-e 1e 0e e 10001-,此信道为非奇异矩阵,又r=s,可利用方程组求解31(|j i j j P b a b =å=31(|log (|j i j i j P b a P b a =å (i=1,2,3123230(1(1log(1log (1log (1log(1b e b eb e e e e eb e b e e e e ì=ïïï-+=-+íïï

8、+-=+-ïïî 解得10b =23(1log(1log b b e e e e =-+X 0Y 01 1 1221-e1-ee e所以 C=log2j jbå=log20+2×2(1-e log(1-e +log e e =log1+21-H(e =log1+2(1(1e e -ee 2311(11(2(13211(2212(112(1(212(1(2(C C H C C P b P b P b P b e e e e e b e e b b e e e e e e -ìïï=ïï+-+

9、39;ïï-ïï=íï+-ïïï=ïïïïïî 而 31(|j i j i i P b P a P b a =å (j=1,2,3得11223323(1(1P b P a P b P a P a P b P a P a e e e e ì=ïïï=-+íïï=+-ïïî 所以 P(a 1=P(b 1=(1112(1e ee e -+-23

10、23(1(1(12(1P a P a P b P b e ee ee e e e -=+- 当e =0时,此信道为一一对应信道,得C=log3, 1231(3P a P a P a =当e =1/2时,得 C=log2, 11(2P a =,231(4P a P a =3.5 求下列二个信道的信道容量,并加以比较(1 -22p p p p (2-2002p p p p其中p+p =1解:(1此信道是准对称信道,信道矩阵中Y 可划分成三个互不相交的子集 由于集列所组成的矩阵-p p p p ,22而这两个子矩阵满足对称性,因此可直接利用准对称信道的信道容量公式进行计算。 C1=logr-H(p1

11、 p2 p3-Mk k N k log 21=其中r=2,N1=M1=1-2 N2=2 M2=4 所以 C1=log2-H(-p ,p-,2-(1-2log(1-2-2log4=log2+(-p log(-p +(p-log(p-+2log2-(1-2log(1-2-2log4 =log2-2log2-(1-2log(1-2+(-p log(-p +(p-log(p- =(1-2log2/(1-2+(-p log(-p +(p-log(p- 输入等概率分布时达到信道容量。(2此信道也是准对称信道,也可采用上述两种方法之一来进行计算。先采用准对称信道的信道容量公式进行计算,此信道矩阵中Y 可划分

12、成两个互不相交的子集,由子集列所组成的矩阵为-p p p p ,2002这两矩阵为对称矩阵 其中r=2,N1=M1=1-2 N2=M2=2,所以 C=logr-H(p -,p-,2,0-=21log k Mk Nk=log2+(p -log(p -+(p-log(p-+2log2-(1-2log(1-2-2log2 =log2-(1-2log(1-2+( p -log(p -+(p-log(p- =(1-2log2/(1-2+2log2+(p -log(p -+(p-log(p- =C1+2log2输入等概率分布(P (a1=P (a2=1/2时达到此信道容量。比较此两信道容量,可得C2=C1

13、+2log23-6 设有扰离散信道的传输情况分别如图3-17所示。求出该信道的信道容量。XY 图3-17解:112211221122112200000000对称信道log (|i C m H Y a =-1 = log 4 × 2 log 2 2 取 2 为底 C = 1 bit/符号 3-7 (1 条件概率 ，联合概率 ，后验概率 p ( y0 := 1 3 ， p( y1 := 1 2 ， p( y2 := 1 6 （2） H(Y/X= （3） 当接收为 y2，发为 x1 时正确，如果发的是 x1 和 x3 为错误，各自的概率为： P(x1/y2= ，P(x2/y2= ，P(x3

14、/y2= 5 5 1 1 3 5 其中错误概率为： Pe=P(x1/y2+P(x3/y2= （4）平均错误概率为 1 5 + 3 5 = 0.8 （5）仍为 0.733 （6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率 x1-y1 的概率 0.5 有一半失真 x2-y2 的概率 0.3 有失真严重 x3-y3 的概率 0 完全失真 （7） H(X/Y= 1 6 Log( 2 + 1 10 Log( 5 + 1 15 Log 2 1 3 5 1 5 1 5 + Log + Log( 5 + Log + Log( 10 + Log = 1.301 10 10 2 15 2 1

15、0 3 30 3 5 3. 8 设加性高斯白噪声信道中，信道带宽 3kHz，又设(信号功率+噪声功率/ 噪声功率=10dB。试计算该信道的最大信息传输速率 Ct。 解： 3. 9 在图片传输中，每帧约有 2.25 10 个像素，为了能很好地重现图像，能分 16 个亮度电平，并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信 道的带宽（信噪功率比为 30dB） 。 解： 6 H = log 2 n = log 2 16 = 4 bit / symbol I = NH = 2.25 × 10 6 × 4 = 9 × 10 6 bit = 10 I 9 × 10 6 Ct = = = 1.5 ×10 5 bit / s t 60 P Ct = W log1 + X P N 1.5 × 10 5 W= = = 15049 Hz PX log 2 (1 + 1000 log1 + P N Ct 3-10 一个平均功率受限制的连续信道，其通频带为 1MHZ，信道上存在白色高斯噪声。 （1）已知信道上的信号与噪声的平均功率比值为 10，求该信道的信道容量； （2）信道上的信号与噪声的平均功率比值降至 5，要达到相同的信道容量，信道通频带应 为多大？ （3）若信道通频带减小为 0.5MHZ 时，要保持相同的信道容