第14讲时间离散连续信道的容量_W

1、第十四讲时间离散连续信道的容量Review信道容量I ( X ;Y )Y = bjX= a kC = maxI ( X ,Y )信道容量Qk p( j k )Review达到信道容量充要条件输入概率矢量 Q = Q0, Q1, QK 达到转移概率为p( j k)的DMC的容量C的充要条件为I (x = k;Y ) = CI (x = k;Y ) Ck, Qkk, Qk 0= 0p( j k)其中，I (x = k;Y ) = p( j k ) logiQ p( j i)jiReview信道容量计算几种特殊类型的信道无噪无损信道有噪无损信道无噪有损信道准对称DMC信道可逆矩阵信道N次扩展信道组合

2、信道最佳分布为等概解方程、试解NC积信道、和信道、级联信道Review积信道信道1和信道2同时传送信息p( jj kk) = p( j k) p( j k)( j, j)(k, k )Y = bX=a 1j1kp( j k)Y2= bjX= a2kp( j k)C = C1 + C2信道1 Review和信道若任一时间随机选用（两者不能同时选用）p( j k), p( j k) : kX , kX, j Y , jY 1212Y = bX=a 1j1kY = Y YX = X X1212X 2 = akp( j k)= 2C1+ 2C22Cp1 ( y | x)KJ0p (v | u)0( K

3、+N)(J+M)2NMp( jk)Y = b2j信道1 Review和信道N个独立信道的和信道若各分信道的输入、输出空间、转移概率和容量分别为Xn，Yn和Pn和Cn，则和信道的信道容量为NC = log2Cn n=1最佳利用：每个信道被利用的概率为-C= 2Cnpn并使每个分信道的输入分布为最佳级联信道若将信道1的输出作为信道2的输入，信道1的输入 集就是组合信道的输入集，信道2的输出集就是组合信道的输出集。称这样组成的信道为级联信道， 又称串行信道。X= a2kp( j k)p( j k)p( j k ) = p( j k ) p( j k =j)转移概率jY= b2jX1 = ak 信道1

4、 Y = b 1j第十四讲时间离散连续信道的容量 时间离散的连续信道p(y | x)xn X(x1,x2 ,xN )yn Y( y1 , y2 , yN )无记忆信道Np( y x) = p( ynxn )n=1恒参（平稳）信道xn ) = p( ymn.mxn , xm XYp( ynxm )yn , ym信道容量C = maxI ( X ,Y )Q(x)信道 可加噪声信道若连续信道的条件概率密度满足p( y x) = p( y - x) = p(z)X与Z相互独立就称它为可加噪声信道，其中z = y - x 称作加性噪声。y = x + z Y输入 x XQ(x)+输出w( y)干 扰z

5、Z p(z)可加噪声信道容量Hc (Y X ) = - - Q(x) p( y x) log p( y x)dxdy= - Q(x)- p(z) log p(z)dxdz= - Q(x)Hc (Z )dx = Hc (Z )噪声熵I ( X ;Y ) = Hc (Y ) - Hc (Y X ) = Hc (Y ) - Hc (Z )在加性噪声信道情况下，当信道 Hc (Y X )给定，p(z) 给定。那么求信道容即干扰噪声的概率密度量就在于对所有的输入分布求Hc (Y ) 的最大值。可加噪声信道容量【例】已知条件：给定一个可加噪声信道（1）干扰z与信道输入x相互独立（2） z N (0,s)2

6、，即zz21p( y x) = p( y - x) = p(z) =exp-s2px222z s)2）（3x N (0,z，即x1p(x) =exp-2s22psx x求信道输入和输出之间的平均互信息？可加噪声信道容量Hc (Y X ) = - - Q(x) p( y x) log p( y x)dxdy= - Q(x)- p(z) log p(z)dxdz= - Q(x)Hc (Z )dx = Hc (Z )噪声熵I ( X ;Y ) = Hc (Y ) - Hc (Y X ) = Hc (Y ) - Hc (Z )在加性噪声信道情况下，当信道 Hc (Y X )给定，p(z) 给定。那么求

7、信道容即干扰噪声的概率密度量就在于对所有的输入分布求Hc (Y )的最大值。可加噪声信道容量【例】已知条件：给定一个可加噪声信道（1）干扰z与信道输入x相互独立（2） z N (0,s)2，即zp( y x) = p( y - x) = p(z) =z21exp-s2px222z s)2）（3x N (0,z，即x1p(x) =exp-2s22psx x求信道输入和输出之间的平均互信息？可加噪声信道容量【解】由已知，信道输出y是两个正态分布的叠加，因而y N (0,s+ s)2x2，于是信道输入输出之间的互信息量为zI ( X ;Y ) = Hc (Y ) - Hc (Z )121=log 2

8、pe(s+ s) -log 2pes2x22zz2s21x =log(1+)s22z【注】：当信道干扰给定下，若输入功率不受限制，I(X;Y)可为任意大。平均功率受限的可加噪声信道容量定理1 平均功率受限的时间离散、恒参、可加高斯噪声信道的容量为Ss2C = 1 log( 1 +)2其中，S是输入平均功率的上限，s 2是均值为0的高斯噪声的方差。最佳输入分布就是均值为0、方差为S的高斯型分布。平均功率受限的可加噪声信道容量对可加噪声信道有I ( X ;Y ) = Hc (Y ) - Hc (Z )证明E y2 = Ex + z2 = Ex2 + Ez 2 S + s（X与Z独立）Y N (0,

9、 S + s要使I(X;Y)最大，即要Hc (Y ) 最大，从而2 )(Y ) = 1 log 2pe(S + s 2 )H(Z ) = 1 log2pes2此时有Hcc22从而可得C = max I ( X ;Y ) = maxH(Y )- H(Z ) = 1 log(1+SV 2)cc2Q( x)Q( x)要使Y正态分布，X N (0, S )平均功率受限的可加噪声信道容量定理2（平均功率受限的可加非高斯噪声信道）平均功率受限、时间离散、恒参、可加噪声信道的容量1 log( S + s) C 1 log( S + s1 log( S + s2) 2)V222V2V22其中，s 是Z的熵功率

10、。【注】 在给定噪声功率情况下，高斯干扰是最坏的干扰，在它的作用下的信道容量最小。如果信道干扰统计特性未知，把干扰看作高斯分布比较安全。平均功率受限的可加噪声信道容量证明：在可加噪声下，信道输出功率为E y2 = E(x + z)2 = Ex2 + Ez 2 S + s 2H(Y ) 1 log 2pe(S + s 2 )输出熵为c2可知由 I ( X ;Y ) = Hc (Y ) - Hc (Z )C 1 log 2pe(S + s 2 ) - H (Z )c2= 1 log 2pe(S + s 2 ) - 1 log 2pes222即上限成立。= 1 log S + sV 22平均功率受限

11、的可加噪声信道容量熵功率不等式对于集合X,Y,Z,若 y = x + z,且X,Z是相互独立、均值为0，则22V+s s s+s2xyx若选择输入功率为S的高斯信号x，由上不等式左边部分，有H(Y ) 1 log 2pe(S +s 2 )c2从而C = max I ( X ;Y ) I ( X ;Y )2X N (0,S =s x )Q( x) 1 log 2pe(S + s 2 ) - 1 log 2pes22= 1 log(1+22S)即下限成立。2V平行可加高斯噪声信道容量p(y | x)xn X(x1,x2 ,xN )yn Y( y1, y2 , yN )N个独立并行信道的组合NC =

12、 Cnn=1最佳分布为各个输入符号相互独立，并保证每个符号的输入分别最佳。平行可加高斯噪声信道容量s若各时刻上的噪声都是均值为0，方差为噪声，此时信道容量为2 的高斯C = N log(1+SV 2)2当且仅当输入信号X各分量统计独立，并都是均值为0，方差为S的高斯变量时等号成立。若各时刻上的噪声仍是均值为0，但方差为不同的高斯噪声时，情况怎样呢？N1SC = 2 log(1+ n )s2n=1n平行可加高斯噪声信道容量若信道输入为 x = (x1, x2 , xN )，输出为 y = ( y1, y2 , yN )n = 1,2, N，则信道容量为s)2,信道干扰 zN (0,nN1 log

13、(1+ Sn ) 2C =s2n=1约束条件为nN Sn= Sn=1当输入各分量服从N (0, Sn )时达到信道容量。Nn=11 log(1+ SnS)在约束条件应该如何取值，才能使ns22Nn Snn=1= S 下取最大值？问题：平行可加高斯噪声信道容量并行可加高斯噪声（AWGN）信道的组合信道的容量N B 1 log12S) =C =+log(1ns2s222n=1n:sn Bnn其中，s2 是噪声在各单位时间上的方差，B为常数。nSn的选择应该这样进行：当 V2n2n B 时，选S= 0当n；平行可加高斯噪声信道容量BSSS4S21Ns2s52ss223sN42s212n这个结果形象的

14、解释就是将信道看作是底部由干扰方差所决定的起伏不平的容器，将信号能量E看作是水，将这些水倒入容器中就形成一个高为B的水平面。 B 时，就没有水注入该单元当s2s2越小，进入该nn单元的水就越多，即分到的能量就越大。用拉格朗日乘因子法来求解极值问题。首先作辅助函数NN1 S)+l- S 2Fs (S1 , S2 , SN ) =Snlog(1+ns2 n=1n=1nFs (S1 , S2 , SN ) = 0 ，可得令 Sn12 s1+ S+l = 02从而nn+ S= - 1 l = KV2nn2Sn = SNNn=1将上式代入约束条件N可得s+ S = NK2nn=12snS +即K = n

15、=1N（各分量平均功率的算术平均值）平行可加高斯噪声信道容量综上，各信道的输出功率应相等，且等于各分量平均功率的算术平均值时，即NnsS +2s+ S=2 n=1nnN才能保证联合信道容量最大。NlsS +2- sn = 1,2, NS=2 l 1因而nnN 0 这一条件，注意求解过程中，并没有考虑 Sn因此上述结果需要验证。若计算出Sn的有负值，必须置Sn = 0 来代替算得的负值。这就为边界极值问题，表明当某一信道的噪声功s2率大于常数K时，该信道无法利用。为了保持总功n率不超过S，另一些信道的输入功率还必须相应调整。设有q个 Sl 0 ，即S1, S2 , , Sq 小于0，则功率重新分

16、配为n = 1,2, qSn = 0S +Nls2n = q +1, N=q+1- sS= l 2nnN - q若此时仍有Sl 0，再次进行调整，直至剩余的所有Sl 0 0，即S1, S2 , , Sm假如经过多次调整，有m个Sl 小于0，则功率重新分配为n = 1,2, mSn = 0S +Nls2-sS=n = m +1, N=+2 l m 1nnN - m从而求得NsS +2j12N logC =j =m+12 (N - m)si=m+1iNsS +2jj =m+1B =令则上式可写成(N - m)N12 B logC =于是，定理得证。s2n:s 2 Bnn平行可加高斯噪声信道容量N

17、B 1 log12S) =C =+log(1ns2s22n:s2 BnV B2n时，不分配能量，既不传任何信息；当时，使信号功率和信道噪声功率之和为常数，这样才能保证总的容量最大。平行可加高斯噪声信道容量【例】设有10个独立并行的高斯信道，其干扰强度s2 分n别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许输入总功率S分别为5和1时的组合信道的容量？K = 5 + 0.1+ 0.2 + +1.0 = 1.05(1)S=510 B = K = 1.05Sn K S= B -s2,求得分别为0.95,0.85,0.75,0.65,0.05nnN12 B C =logs2s B2n:nn1.05100.1 0.21.0= 1= 6.1bitslog2【例】设有10个独立并行的高斯信道，其干扰强度分别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许输入总功率S分别为5和1时的组合信道的容量？= 1+ 0.1+ 0.2 + +1.0 = 0.65S= S= S= S= 0(2)S=1K78910110= 1+ 0.1+ 0.2 + + 0.6 = 0.517S= 0K626= 1+ 0.1+ 0.2 + + 0