信道容量的计算

1、 4.2信道容量的计算这里，我们介绍一般离散信道的信道容量计算方法，根据信道容量的定义， 就是在固定信道的条件下，对所有可能的输入概率分布 P(x)求平均互信息的极大值。 前面已知I(X;Y)是输入概率分布的上凸函数，所以极大值一定存在。而I(X;Y)是r个变量r p(Xi), p(X2)，p(Xr)的多元函数。并且满足 工p(Xi) =1。所以可用拉格朗日乘子法来1计算这个条件极值。引入一个函数：e = I(X;Y)九工p(x)解方程组.|(X；Y)；.p(Xi) TOC o 1-5 h z I 二i _ 0;p750_0工 p(x) =1(4.2.1)可以先解出达到极值的概率分布和拉格朗日

2、乘子大的值，然后在解出信道容量C。因I(X；Y)= p(x)Q(yi x)10gFjmp(y)r而 plyJF p(x)Q(y|x)，所以i 1下册 10g p(yi) =(不配1n p(yi)l o9=21 oge。解(4.2.1)式有Q Q(y 为)10gQ(y)：)-Z 工 pajQWixJQloge 九二0jmp(x) 曰 j苴p(y)(对i -1,2； ,r都成立)又因为r厂 Z p(xk)Q(ykxk)= p(yj)k mYs工 Q(yjxi)=1,i=1,21，rQ j m所以(4.2.1)式方程组可以转化为= 1,2； ,r)_SQ(yj|xi)乙 Q(yj xi)1og= +

3、1oge(ij+p(yj)r、p(xi) =1i 1假设使得平土互信息I(X;Y)达到极值的输入概率分布 p1,p2，pr这样有QyM. loge p(yj)r s、 P(xJQ(yj Xi)logi4 j 1从而上式左边即为信道容量，得C = log eQ(，飞)p(yj)现在令sI(Xi;Y)= Q(yx)10g j4式中，I (Xi; Y)是输出端接收到丫后获得关于X =Xi的信息量，即是信源符号 X =Xi对输 出端Y平均提供的互信息。一般来讲，I(X；Y)值与Xj有关。根据(4.2.2)式和(4.2.3)式，I(Xi；Y) =C (i =1,2,，r)所以对于一般离散信道有如下定理。

4、定理4.2.1 一般离散信道的平均互信息I (X；Y)达到极大值(即等于信道容量)的充要条件是输入概率分布 p(X1)，p(Xn)满足I(x);Y)=C 对所有的 Xi, p(Xi) 0I(x;Y) 例如，信道矩阵门 111、一 Q = 3 3 6 61 1 1 1和=满足对称性，所以对应信道是对称离散信道。 定义4.2.3对称离散信道的信道容量为C=logsH（R,P2：，R） （bit/符号）上式只与对称信道矩阵中行矢量 R,P2；，R和输出符号集的个数 s有关。证明 I(X;Y) = H(Y) -H(YX )，一 _ 一 ，1H（YX ）= P（x）L P（yx）og-;x yp yxP

5、(x)H YX -xx由于信道的对称性，所以 H (Y X = x )与x无关，为一常熟，即C=max1H(丫)h(p；区，pJ= logs-H(RR, ,Ps)接着举一个例子加以说明。例4.2.1某对称离散信倒的信道矩阵为1 1 1 3 3 6 6P =111116 6 3 3)用公式计算信道容量C = log 4rH （-，,）二2 1log1 1log1log1110g133 33 66 66= 0.0817 （bit/符号）定义4.2.3若信道矩阵Q的列可以划分成若干互不相交的子集矩阵Bi c Bj = 6,(i = j)且B U B2 UU Bn = Y。由Bk为列组成的矩阵Qk是对

6、称矩阵,则称信道矩阵Q所对应的信道为准对称信道。例如，信道矩阵0.7 0.1 0.2都是准对称信道，在信道矩阵1 信道 2Y Y2Q V2 X2解根据定理4.1.1有2I(X1X2；Y1Y2)交 I(Xi；Y)i 4即联合平均互信息不大于各自信道的平均互信息之和,因此得到独立并联信道的信道容量为2C12 =max I (X1X2；Y1Y2)Ci，P(X1X2)iCi =m axI(Xi,Y),是个独立信道的信道容量。 p(xi)只有当输入符号X互相独立，且输入符号x的概率分布达到各子信道容量的概率分布时，独立并联信道的信道容量才等于各信道容量之和，即这个方法推广到N个独立并联信道容量的计算，即有C12 .N = max .I,2 ,NP(XiXXn)I(XiX2 Xn；YY2 Yn)Cii=1对于信道i和n ,我们将它串联起来组成新的信道(如图4.2.6 )一X MiY :信道n图 4.2.6则此信道容量为C串(；二)二max I (x； Z)p(x)例4.2.6设有两个离散二元对称信道(BSC信道)，其串联信道如图4.2.7,并设第 个信道输入符号集的概率空间为XF(x)广X二元对称信道 IY二元对称信道 nZF图 4.2.7而两个信道的信道矩阵分别为Q1 =Q2 n所以串联信道总的