第12讲——时间离散连续信道的容量

1、 信道容量信道容量),(maxYXICkQDMC信道容量信道容量);(YXIReview信道容量计算信道容量计算几种特殊类型的信道几种特殊类型的信道 无噪无损信道无噪无损信道 有噪无损信道有噪无损信道 无噪有损信道无噪有损信道准对称准对称DMC信道信道可逆矩阵信道可逆矩阵信道N次扩展信道次扩展信道组合信道组合信道最佳分布为等概最佳分布为等概解方程、试解解方程、试解NC积信道、和信道、级联信道积信道、和信道、级联信道Review信道信道1和信道和信道2同时传送信息同时传送信息) ,(kk) ,(jj) ()() (kjpkjpkkjjp信道1 kaX 1 jbY 1)( kjp积信道积信道21C

2、CCReview最佳利用：最佳利用：使每个分信道的输入相使每个分信道的输入相互独立，且分布为最佳互独立，且分布为最佳若任一时间随机选用（若任一时间随机选用（两者不能同时选用两者不能同时选用）21XXX21YYY2121Y j ,Y,Xk,Xk: ) (),(jkjpkjp和信道和信道信道1 kaX 1 jbY 1)( kjp)()(21)|(00)|(MJNKMNJKuvpxyp21222CCCReview最佳利用：最佳利用：CCnnp 2并使每个分信道的输入并使每个分信道的输入分布为最佳分布为最佳若将信道若将信道1的输出作为信道的输出作为信道2的输入，信道的输入，信道1的输入的输入集就是组合

3、信道的输入集，信道集就是组合信道的输入集，信道2的输出集就是组的输出集就是组合信道的输出集。称这样组成的信道为级联信道，合信道的输出集。称这样组成的信道为级联信道，又称串行信道。又称串行信道。信道1 kaX 1 jbY 1)( kjp 级联信道级联信道转移概率转移概率jjkjpkjpkjp)()()(无记忆信道无记忆信道 Nnnnxypp1)()(xy恒参（平稳）信道恒参（平稳）信道 )()(mmnnxypxyp mn. Xxxmn, Yyymn, 时间离散的连续信道时间离散的连续信道信道容量信道容量),(max)(YXICxQ可加噪声信道可加噪声信道若连续信道的条件概率密度满足若连续信道的条

4、件概率密度满足)()()(zpxypxyp就称它为可加噪声信道，其中就称它为可加噪声信道，其中 称作加性噪声。称作加性噪声。xyz+XxZz)(xQ)(zpYzxy)(yw输入输出干扰X与与Z相互独立相互独立可加噪声信道容量可加噪声信道容量 dxdyxypxypxQ)(log)()(dxdzzpzpxQ)(log)()( )()()(ZHdxZHxQcc噪声熵噪声熵)()()()();(ZHYHXYHYHYXIcccc在加性噪声信道情况下，当信道在加性噪声信道情况下，当信道 给定，给定，即干扰噪声的概率密度即干扰噪声的概率密度 给定。那么求信道容给定。那么求信道容量就在于对所有的输入分布求量就

5、在于对所有的输入分布求 的最大值。的最大值。)(XYHc)(zp)(YHc)(XYHc可加噪声信道容量可加噪声信道容量 dxdyxypxypxQ)(log)()(dxdzzpzpxQ)(log)()( )()()(ZHdxZHxQcc噪声熵噪声熵)()()()();(ZHYHXYHYHYXIcccc在加性噪声信道情况下，当信道在加性噪声信道情况下，当信道 给定，给定，即干扰噪声的概率密度即干扰噪声的概率密度 给定。那么求信道容给定。那么求信道容量就在于对所有的输入分布求量就在于对所有的输入分布求 的最大值。的最大值。)(XYHc)(zp)(YHc)(XYHc【例】【例】已知条件：给定一个可加噪

6、声信道已知条件：给定一个可加噪声信道（1）干扰）干扰z与信道输入与信道输入x相互独立相互独立（2）), 0(2zNz，即，即222exp21)()()(zzzpxypxypz（3）), 0(2xNx，即，即222exp21)(xxxxp求信道输入和输出之间的平均互信息？求信道输入和输出之间的平均互信息？【解】由已知，信道输出【解】由已知，信道输出y是两个正态分布的叠加，因而是两个正态分布的叠加，因而), 0(22zxNy，于是信道输入输出之间的互信息量为，于是信道输入输出之间的互信息量为)()();(ZHYHYXIcc2222log21)(2log21zzxee)1log(2122zx【注】：

7、当信道干扰给定下，若输入功率不受限制，【注】：当信道干扰给定下，若输入功率不受限制， I(X;Y)可为任意大。可为任意大。定理定理1 平均功率受限的时间离散、恒参、可加平均功率受限的时间离散、恒参、可加高斯噪声高斯噪声 信道的容量为信道的容量为)1log(212SC平均功率受限的可加噪声平均功率受限的可加噪声信道容量信道容量其中，其中，S是输入平均功率的上限，是输入平均功率的上限， 是均值为是均值为0的高的高斯噪声的方差。最佳输入分布就是均值为斯噪声的方差。最佳输入分布就是均值为0、方差、方差为为S的高斯型分布。的高斯型分布。2平均功率受限的可加噪声平均功率受限的可加噪声信道容量信道容量证明证

8、明 对可加噪声信道有对可加噪声信道有 )()();(ZHYHYXIcc22222SzExEzxEyE（X与与Z独立）独立）要使要使I(X;Y)最大，即要最大，即要)(YHc最大，从而最大，从而), 0(2SNY此时有此时有)(2log21)(2SeYHc22log21)(eZHc从而可得从而可得)1log(21)()(max);(max2)()(SZHYHYXICccxQxQ要使要使Y正态分布，正态分布，), 0(SNX平均功率受限的可加噪声平均功率受限的可加噪声信道容量信道容量定理定理2（平均功率受限的可加（平均功率受限的可加非高斯噪声非高斯噪声信道）信道） 平均功率受限、时间离散、恒参、可

9、加噪声信道的容量平均功率受限、时间离散、恒参、可加噪声信道的容量)log(21)log(212222SCS其中，其中，2是是Z的熵功率。的熵功率。在给定噪声功率情况下，高斯干扰是最坏的干扰，在在给定噪声功率情况下，高斯干扰是最坏的干扰，在它的作用下的信道容量最小。如果信道干扰统计特性它的作用下的信道容量最小。如果信道干扰统计特性未知，把干扰看作高斯分布比较安全。未知，把干扰看作高斯分布比较安全。【注】【注】)log(2122S证明：证明： 在可加噪声下，信道输出功率为在可加噪声下，信道输出功率为22222)(SzExEzxEyE输出熵为输出熵为 )(2log21)(2SeYHc由由)()();

10、(ZHYHYXIcc可知可知)()(2log212ZHSeCc222log21)(2log21eSe22log21S即上限成立。即上限成立。平均功率受限的可加噪声平均功率受限的可加噪声信道容量信道容量平均功率受限的可加噪声平均功率受限的可加噪声信道容量信道容量熵功率不等式熵功率不等式对于集合对于集合X,Y,Z,若若zxy,且且X,Z是相互独立、均值为是相互独立、均值为0，则，则22222xyx若选择输入功率为若选择输入功率为S的高斯信号的高斯信号x，由上不等式左边部分，有，由上不等式左边部分，有)(2log21)(2SeYHc从而从而), 0()(2);();(maxxSNXxQYXIYXIC

11、222log21)(2log21eSe )1log(212S即下限成立。即下限成立。平行可加高斯噪声平行可加高斯噪声信道容量信道容量最佳分布为各个输入符号相互独立，并保证每个最佳分布为各个输入符号相互独立，并保证每个符号的输入分别最佳。符号的输入分别最佳。1NnnCCN个独立并行信道的组合个独立并行信道的组合平行可加高斯噪声平行可加高斯噪声信道容量信道容量若各时刻上的噪声都是均值为若各时刻上的噪声都是均值为0，方差为，方差为 的高斯的高斯噪声，此时信道容量为噪声，此时信道容量为22log(1)2NSC当且仅当输入信号当且仅当输入信号X各分量统计独立，并都是均值各分量统计独立，并都是均值 为为0

12、，方差为，方差为S的高斯变量时等号成立。的高斯变量时等号成立。若各时刻上的噪声仍是均值为若各时刻上的噪声仍是均值为0，但方差为不同的，但方差为不同的高斯噪声时，情况怎样呢？高斯噪声时，情况怎样呢？NnnnSC12)1log(21平行可加高斯噪声平行可加高斯噪声信道容量信道容量若信道输入为若信道输入为),(21Nxxxx，输出为，输出为),(21Nyyyy信道干扰信道干扰 z ,), 0(2nNNn, 2 , 1，则信道容量为，则信道容量为NnnnSC12)1log(21约束条件为约束条件为SSNnn1当输入各分量服从当输入各分量服从), 0(nSN时达到信道容量。时达到信道容量。nS应该如何取

13、值，才能使应该如何取值，才能使NnnnS12)1log(21在约束条件在约束条件SSNnn1下取最大值？下取最大值？问题：问题：平行可加高斯噪声平行可加高斯噪声信道容量信道容量并行可加高斯噪声（并行可加高斯噪声（AWGN）信道的组合信道的容量）信道的组合信道的容量BnnNnnnnBSC2:212log21)1log(21其中，其中，2n是噪声在各单位时间上的方差，是噪声在各单位时间上的方差，B为常数。为常数。Bn2时，选时，选BSnn2当当Bn2时，选时，选0nSSn的选择应该这样进行：的选择应该这样进行：当当平行可加高斯噪声平行可加高斯噪声信道容量信道容量这个结果形象的解释就是将信道看作是底

14、部由干扰方这个结果形象的解释就是将信道看作是底部由干扰方差所决定的起伏不平的容器，将信号能量差所决定的起伏不平的容器，将信号能量E看作是水，看作是水，将这些水倒入容器中就形成一个高为将这些水倒入容器中就形成一个高为B的水平面。当的水平面。当 时，就没有水注入该单元；时，就没有水注入该单元； 越小，进入该单元的水越小，进入该单元的水就越多，即分到的能量就越大。就越多，即分到的能量就越大。Bn22n注水注水定理定理用拉格朗日乘因子法来求解极值问题。用拉格朗日乘因子法来求解极值问题。NnnNnnnNsSSSSSSF11221)1log(21),(令令0),(21NsnSSSFS，可得，可得01212

15、nnS从而从而KSnn212将上式代入约束条件将上式代入约束条件SSNnn121NnnSNK即即NSKNnn12（各分量平均功率的算术平均值）（各分量平均功率的算术平均值） 首先作辅助函数首先作辅助函数可得可得综上，各信道的输出功率应相等，且等于各分量平均综上，各信道的输出功率应相等，且等于各分量平均功率的算术平均值时，即功率的算术平均值时，即NSSNnnnn122才能保证联合信道容量最大。才能保证联合信道容量最大。212nNllnNSS Nn, 2 , 1注意求解过程中，并没有考虑注意求解过程中，并没有考虑0nS因此上述结果需要验证。因此上述结果需要验证。这一条件，这一条件，平行可加高斯噪声

16、平行可加高斯噪声信道容量信道容量因而因而若计算出若计算出 的有负值，必须置的有负值，必须置 来代替算得的负来代替算得的负值。这就为边界极值问题，表明当某一信道的噪声功值。这就为边界极值问题，表明当某一信道的噪声功率率 大于常数大于常数K时，该信道无法利用。为了保持总功时，该信道无法利用。为了保持总功率不超过率不超过S，另一些信道的输入功率还必须相应调整。，另一些信道的输入功率还必须相应调整。设有设有q个个 ，即，即 小于小于0，则功率重新分配，则功率重新分配为为nS0nS2n0lSqSSS, ,210nS qn, 2 , 1212nNqllnqNSS Nqn, 1若此时仍有若此时仍有0lS，再

17、次进行调整，直至剩余的所有，再次进行调整，直至剩余的所有 0lS假如经过多次调整，有假如经过多次调整，有m个个0lS，即，即mSSS, ,21 小于小于0，则功率重新分配为，则功率重新分配为0nSmn, 2 , 1212nNmllnmNSS Nmn, 1从而求得从而求得 NmiiNmjjmNSC1212)(log21 令令)(12mNSBNmjj则上式可写成则上式可写成NBnnnBC2:2log21于是，定理得证。于是，定理得证。【注】这个定理说明，当并行组合信道各分信道的干【注】这个定理说明，当并行组合信道各分信道的干扰功率不等时，为达到最大传信能力，要求对输入信扰功率不等时，为达到最大传信

18、能力，要求对输入信号总能量适当的进行分配。分配按条件进行，当号总能量适当的进行分配。分配按条件进行，当 时，时，不分配能量，既不传任何信息；当不分配能量，既不传任何信息；当 时，使信号时，使信号功率和信道噪声功率之和为常数，这样才能保证总的功率和信道噪声功率之和为常数，这样才能保证总的容量最大。容量最大。Bn2Bn2BnnNnnnnBSC2:212log21)1log(21平行可加高斯噪声平行可加高斯噪声信道容量信道容量平行可加高斯噪声平行可加高斯噪声信道容量信道容量【例】设有【例】设有10个独立并行的高斯信道，其干扰强度个独立并行的高斯信道，其干扰强度 分分 别为别为0.1,0.2,0.3,

19、0.4,0.5,0.6,0.7,0.8,0.9和和1.0。求容许。求容许 输入总功率输入总功率S分别为分别为5和和1时的组合信道的容量？时的组合信道的容量？2n S=5 05. 1100 . 12 . 01 . 05K KSn 05. 1KB2nnBS,求得分别为求得分别为0.95,0.85,0.75,0.65,0.05NBnnnBC2:2log21bits1 . 60 . 12 . 01 . 005. 1log2110(2) S=1 65. 0100 . 12 . 01 . 011K010987SSSS517. 066 . 02 . 01 . 012K 06S310.10.20.50.55K

20、B 2nnBS,求得分别为求得分别为0.4,0.3,0.2,0.1,0,0,0,0,0,0NBnnnBC2:2log21bits4 . 24 . 03 . 02 . 01 . 05 . 0log214【例】设有【例】设有10个独立并行的高斯信道，其干扰强度个独立并行的高斯信道，其干扰强度 分分 别为别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和和1.0。求容许。求容许 输入总功率输入总功率S分别为分别为5和和1时的组合信道的容量？时的组合信道的容量？例：双输出高斯信道例：双输出高斯信道考虑在X上带有两个相关观察的可加高斯噪声信道，即输出Y=(Y1,Y2)，其中 Y1=X+Z1 Y2=X+Z2并对X的功率限定为P，