信道容量的计算

1、 §4.2信道容量的计算这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义，就是在固定信道的条件下，对所有可能的输入概率分布求平均互信息的极大值。前面已知是输入概率分布的上凸函数，所以极大值一定存在。而是个变量的多元函数。并且满足。所以可用拉格朗日乘子法来计算这个条件极值。引入一个函数：解方程组 （4.2.1）可以先解出达到极值的概率分布和拉格朗日乘子的值，然后在解出信道容量。因为而，所以 。解（4.2.1）式有 （对都成立）又因为 所以(4.2.1)式方程组可以转化为 假设使得平均互信息达到极值的输入概率分布这样有 从而上式左边即为信道容量，得 现在令 式中，是输出端

2、接收到Y后获得关于的信息量，即是信源符号对输出端Y平均提供的互信息。一般来讲，值与有关。根据（4.2.2）式和（4.2.3）式， 所以对于一般离散信道有如下定理。定理4.2.1 一般离散信道的平均互信息达到极大值（即等于信道容量）的充要条件是输入概率分布满足 对所有的 对所有的这时C就是所求的信道容量。对于离散信道来说，其实信道容量还有一个解法：迭代解法。定理4.2.2 设信道的向前转移概率矩阵为，是任给的输入字母的一个初始概率分布，其所有分量。按照下式不断地对概率分布进行迭代，更新： 其中 由此所得的序列收敛于信道容量C。我们还可以将上述过程写成算法以便编制程序实现（如图4.2.1） 开始

3、图4.2.1 信道容量的迭代算法对于一些特殊的离散信道，我们有方便的方法计算其信道容量。定义4.2.1 设X和Y分别表示输入信源与输出信源，则我们称为损失熵，为信道噪声熵。如果信道的损失熵，则次信道容量为（bit/符号）这里输入信源X的信源符号个数为。如果信道的噪声熵，则此信道容量为（bit/符号）这里输出信源符Y的符号个数为s.定义4.2.2 一个信道Q称为对称离散信道，如果它满足下面的性质：（1） 信道Q矩阵中每一行是另一行的置换；（2） 每一列式另一列的置换。例如，信道矩阵和满足对称性，所以对应信道是对称离散信道。定义4.2.3 对称离散信道的信道容量为 （bit/符号）上式只与対称信道

4、矩阵中行矢量和输出符号集的个数s有关。证明 而 由于信道的对称性，所以与无关，为一常熟，即 接着举一个例子加以说明。例4.2.1 某对称离散信倒的信道矩阵为 用公式计算信道容量 （bit/符号）定义4.2.3 若信道矩阵Q的列可以划分成若干互不相交的子集矩阵，即且。由为列组成的矩阵是对称矩阵，则称信道矩阵Q所对应的信道为准对称信道。例如，信道矩阵 都是准对称信道，在信道矩阵中，Y可以划分为三个子集，由子集的列组成的矩阵为 ， ， 它们满足对称性，所以对应的信道是准对称信道。同理可划分为 ， 这两个矩阵也满足对称性。下面，我们给出准对称离散信道的信道容量计算公式 其中，是输入符号集的个数，为准对

5、称信道矩阵中的行矢量。设矩阵可划分为个互不相交的子集。是第个子矩阵中行元素之和，是第个子矩阵中列元素之和，即 并且可以证明达到准对称离散信道容量的输入分布式等概分布，我们将推导作为习题留给读者。0 0 1-p-q q p p 2 q 1-p-q1 1例4.2.2 设信道传递矩阵为 可表示成如图4.2.2所示，计算其信道容量根据上面计算公式可得则有 图4.2.2下面我们举一些其他信道容量的例子例4.2.3 设离散信道如图4.2.3所示，输入符号集为，输出符号集为，信道矩阵为 图4.2.3 由于输入符号传递到和是等概率的，所以可以省去。而且与，都分别传递到和，因此可只取和，所以设输入概率分布，可以

6、计算得，由定理4.2.1得 可见，此假设分布满足定理4.2.1，因此，信道容量 （bit/符号）最佳分布是若设输入分布为。同理可得，根据定理4.2.1有 从而，输入分布也是最佳分布，可见，信道最佳输入分布不是唯一的。对于一般的离散信道，我们很难利用特殊计算方法，因此只能采用解方程组式（4.2.2）的方法。我们将（4.2.2）式的前r个方程组改写成 移项后得 令，代入上式得 化为矩阵形式为 这是含有个未知数个方程的非齐次线性方程组。如果设，信道矩阵为非奇异矩阵，则此方程组有解，并且可以求出的数值，然后根据求得信道容量 （bit/符号）由这个值可解得对应的输出概论分布。 再根据即可解出达到信道容量

7、的最佳输入分布。下面给出一例。例4.2.4 设离散无记忆信道输入的符号集为，输出的符号集为，如图4.2.4所示。其信道矩阵为 1/2 1/4 1/4 1 1 1/4 1/4 1/2 我们才用上面所讲的方法来计算信道容量： 解方程组得信道容量 （bit/符号）又求得输出分布 因此可以求得最佳输入分布为 例4.2.5 设有两个独立并联信道如图4.2.5，计算它的信道容量。信道1 信道2 解 根据定理4.1.1有 即联合平均互信息不大于各自信道的平均互信息之和，因此得到独立并联信道的信道容量为 ，是个独立信道的信道容量。 只有当输入符号互相独立，且输入符号的概率分布达到各子信道容量的概率分布时，独立并联信道的信道容量才等于各信道容量之和，即 这个方法推广到N个独立并联信道容量的计算，即有 对于信道和，我们将它串联起来组成新的信道（如图4.2.6） 信道信道 X 信道 Y Z 图4.2.6则此信道容量为 例4.2.6 设有两个离散二元对称信道（BSC信道），其串联信道如图4.2.7，并设第一个信道输入符号集的概率空间为 二元对称信道 二元对称信道 X Y Z 图4.2.7而两个信道的信道矩