第讲-时间离散连续信道的容量

1、第四章 信道容量 时间离散的连续信道第十二讲 信道容量DMC信道容量Review信道容量计算几种特殊类型的信道 无噪无损信道 有噪无损信道 无噪有损信道准对称DMC信道可逆矩阵信道N次扩展信道组合信道最佳分布为等概解方程、试解NC积信道、和信道、级联信道Review信道1和信道2同时传送信息积信道Review最佳利用：使每个分信道的输入相互独立，且分布为最佳若任一时间随机选用（两者不能同时选用）和信道Review最佳利用：并使每个分信道的输入分布为最佳若将信道1的输出作为信道2的输入，信道1的输入集就是组合信道的输入集，信道2的输出集就是组合信道的输出集。称这样组成的信道为级联信道，又称串行信

2、道。 级联信道转移概率连续信道的容量无记忆信道 恒参（平稳）信道 时间离散的连续信道信道容量可加噪声信道若连续信道的条件概率密度满足就称它为可加噪声信道，其中 称作加性噪声。X与Z相互独立可加噪声信道容量 噪声熵在加性噪声信道情况下，当信道 给定，即干扰噪声的概率密度 给定。那么求信道容量就在于对所有的输入分布求 的最大值。可加噪声信道容量 噪声熵在加性噪声信道情况下，当信道 给定，即干扰噪声的概率密度 给定。那么求信道容量就在于对所有的输入分布求 的最大值。【例】已知条件：给定一个可加噪声信道（1）干扰z与信道输入x相互独立（2），即（3），即求信道输入和输出之间的平均互信息？【解】由已知，

3、信道输出y是两个正态分布的叠加，因而，于是信道输入输出之间的互信息量为【注】：当信道干扰给定下，若输入功率不受限制， I(X;Y)可为任意大。定理1 平均功率受限的时间离散、恒参、可加高斯噪声 信道的容量为平均功率受限的可加噪声信道容量其中，S是输入平均功率的上限， 是均值为0的高斯噪声的方差。最佳输入分布就是均值为0、方差为S的高斯型分布。平均功率受限的可加噪声信道容量证明 对可加噪声信道有 （X与Z独立）要使I(X;Y)最大，即要最大，从而此时有从而可得要使Y正态分布，平均功率受限的可加噪声信道容量定理2（平均功率受限的可加非高斯噪声信道） 平均功率受限、时间离散、恒参、可加噪声信道的容量

4、其中，是Z的熵功率。在给定噪声功率情况下，高斯干扰是最坏的干扰，在它的作用下的信道容量最小。如果信道干扰统计特性未知，把干扰看作高斯分布比较安全。【注】证明： 在可加噪声下，信道输出功率为输出熵为 由可知即上限成立。平均功率受限的可加噪声信道容量平均功率受限的可加噪声信道容量熵功率不等式对于集合X,Y,Z,若,且X,Z是相互独立、均值为0，则若选择输入功率为S的高斯信号x，由上不等式左边部分，有从而 即下限成立。平行可加高斯噪声信道容量最佳分布为各个输入符号相互独立，并保证每个符号的输入分别最佳。N个独立并行信道的组合平行可加高斯噪声信道容量若各时刻上的噪声都是均值为0，方差为 的高斯噪声，此

5、时信道容量为当且仅当输入信号X各分量统计独立，并都是均值 为0，方差为S的高斯变量时等号成立。若各时刻上的噪声仍是均值为0，但方差为不同的高斯噪声时，情况怎样呢？平行可加高斯噪声信道容量若信道输入为，输出为信道干扰 z ,，则信道容量为约束条件为当输入各分量服从时达到信道容量。应该如何取值，才能使在约束条件下取最大值？问题：平行可加高斯噪声信道容量并行可加高斯噪声（AWGN）信道的组合信道的容量其中，是噪声在各单位时间上的方差，B为常数。时，选当时，选Sn的选择应该这样进行：当平行可加高斯噪声信道容量这个结果形象的解释就是将信道看作是底部由干扰方差所决定的起伏不平的容器，将信号能量E看作是水，

6、将这些水倒入容器中就形成一个高为B的水平面。当 时，就没有水注入该单元； 越小，进入该单元的水就越多，即分到的能量就越大。注水定理用拉格朗日乘因子法来求解极值问题。令，可得从而将上式代入约束条件即（各分量平均功率的算术平均值） 首先作辅助函数可得综上，各信道的输出功率应相等，且等于各分量平均功率的算术平均值时，即才能保证联合信道容量最大。 注意求解过程中，并没有考虑因此上述结果需要验证。这一条件，平行可加高斯噪声信道容量因而若计算出 的有负值，必须置 来代替算得的负值。这就为边界极值问题，表明当某一信道的噪声功率 大于常数K时，该信道无法利用。为了保持总功率不超过S，另一些信道的输入功率还必须

7、相应调整。设有q个 ，即 小于0，则功率重新分配为 若此时仍有，再次进行调整，直至剩余的所有 假如经过多次调整，有m个，即 小于0，则功率重新分配为 从而求得 令则上式可写成于是，定理得证。【注】这个定理说明，当并行组合信道各分信道的干扰功率不等时，为达到最大传信能力，要求对输入信号总能量适当的进行分配。分配按条件进行，当 时，不分配能量，既不传任何信息；当 时，使信号功率和信道噪声功率之和为常数，这样才能保证总的容量最大。平行可加高斯噪声信道容量平行可加高斯噪声信道容量【例】设有10个独立并行的高斯信道，其干扰强度 分 别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.

8、9和1.0。求容许 输入总功率S分别为5和1时的组合信道的容量？ S=5 ,求得分别为0.95,0.85,0.75,0.65,0.05(2) S=1 ,求得分别为0.4,0.3,0.2,0.1,0,0,0,0,0,0【例】设有10个独立并行的高斯信道，其干扰强度 分 别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9和1.0。求容许 输入总功率S分别为5和1时的组合信道的容量？例：双输出高斯信道考虑在X上带有两个相关观察的可加高斯噪声信道，即输出Y=(Y1,Y2)，其中 Y1=X+Z1 Y2=X+Z2并对X的功率限定为P，以及(Z1,Z2)N2(0,K),其中求该信道的容量。解：信道容量加性高斯信道当X是正态分布R.V.时，Y1和Y2也是正态分布R.V.，可使Hc（Y