信息率与编码3-1

1、第三章 信 道 容 量n信道容量的概念n 特殊信道的信道容量n 对称信道的信道容量n 准对称信道的信道容量n 非对称信道的信道容量n 多符号离散信道3.1 信道的数学模型和分类信道传输信息的能力信道传输信息的能力信道容量信道容量一、信道的数学模型一、信道的数学模型设离散信道的输入为一个随机变量设离散信道的输入为一个随机变量X，相应的输出的随机变，相应的输出的随机变量为量为Y。规定一个离散信道应有三个参数：规定一个离散信道应有三个参数：v输入符号集：输入符号集：X=x1，x2，xn v输出符号集：输出符号集：Y=y1，y2，ym v信道转移概率：信道转移概率：P(Y/X)=p(y1/x1),p(

2、y2/x1),p(ym/x1),p(ym/xn)P(Y/X)XYN3.1 信道的数学模型和分类二、信道的分类（自阅）二、信道的分类（自阅）3.2 单符号离散信道的信道容量一、信道的表示法一、信道的表示法 信道的矩阵表示法信道的矩阵表示法一般简单的单符号离散信道的数学模型可以用概率空间一般简单的单符号离散信道的数学模型可以用概率空间X, p(y|x), Y来描述。来描述。其中，每一行表示一个输入其中，每一行表示一个输入xi; 行矢之和为行矢之和为1。 每一列表示一个输出每一列表示一个输出yj) )x xp(yp(y) )x xp(yp(y) )x xp(yp(y) )x xp(yp(y) )x

3、xp(yp(y) )x xp(yp(y) )x xp(yp(y) )x xp(yp(y) )x xp(yp(yP Pn nm mn n2 2n n1 12 2m m2 22 22 21 11 1m m1 12 21 11 13.2 单符号离散信道的信道容量 信道的图示法信道的图示法用于输入，输出符号较少的场合。如：二元信道用于输入，输出符号较少的场合。如：二元信道0101pppp3.2 单符号离散信道的信道容量 信息传输率（信息率）信息传输率（信息率）v信息传输率信息传输率R：信道中平均每个符号所传送的信息量。：信道中平均每个符号所传送的信息量。v平均互信息平均互信息 I(X;Y) 是接收到符

4、号是接收到符号Y后平均获得的关于后平均获得的关于X的信息量。所以的信息量。所以 R=I（X;Y） bit/符号符号v设平均传输一个符号需要设平均传输一个符号需要t秒，则信道每秒钟平均传输的秒，则信道每秒钟平均传输的信息量为信息传输信息量为信息传输速率速率 ：1(; )/tRI X Yt（比特 秒）3.2 单符号离散信道的信道容量 信道容量信道容量由于平均互信息量由于平均互信息量I(X;Y)是信源概率分布是信源概率分布P(X)的的 型凸型凸函数，所以对于函数，所以对于每一个确定信道每一个确定信道，都有一个信源分布，都有一个信源分布，使得信息传输率达到使得信息传输率达到最大值最大值，我们把这个最大

5、值称为，我们把这个最大值称为该信道的信道容量。该信道的信道容量。CI X YH XH X YP XP Xmax (, )max()(/)()()信源与信道匹配信源与信道匹配最佳分布3.2 单符号离散信道的信道容量二、几种特殊离散信道的信道容量二、几种特殊离散信道的信道容量 离散无噪信道的信道容量离散无噪信道的信道容量v特点：输入与输出之间具有一一对应的关系。特点：输入与输出之间具有一一对应的关系。v信道容量：信道容量：C=log n bit/信道符号信道符号 n为信道的输入符号数。为信道的输入符号数。 v最佳分布：输入为均匀分布。最佳分布：输入为均匀分布。 具有扩展性能的无噪信道具有扩展性能的

6、无噪信道v特点：一个输入对应多个互不相交的输出。特点：一个输入对应多个互不相交的输出。v信道容量：信道容量：C=log n bit/信道符号信道符号 n为信道的输入符号数。为信道的输入符号数。 v最佳分布：输入为均匀分布。最佳分布：输入为均匀分布。具有归并性能的无噪信道具有归并性能的无噪信道v特点：一个输出对应多个互不相交的输入。特点：一个输出对应多个互不相交的输入。v信道容量：信道容量：C=log m bit/信道符号信道符号 m为信道的输出符号数。为信道的输出符号数。 v最佳分布：使输出为均匀分布的输入分布。最佳分布：使输出为均匀分布的输入分布。3.2.1无干扰离散信道无干扰离散信道（1）

7、n = m具有一一对应关系的无噪信道具有一一对应关系的无噪信道 一对一，无噪无损信道一对一，无噪无损信道 信道矩阵信道矩阵单位阵：元素为单位阵：元素为0、1 损失熵损失熵 H(X/Y) = 0 噪声熵噪声熵 H(Y/X) = 0 互信息互信息 I(X;Y) = H(X) = H(Y)x1x2x3 xny1y2y3 yn 1000010000100001PH(X) I(X;Y)H(Y) nXHYXICiixpxplog)(max);(max)()(（2）n m具有归并性的无噪信道具有归并性的无噪信道 多对一，无噪有损信道多对一，无噪有损信道 信道矩阵信道矩阵每行只有一个非每行只有一个非0元元 元

8、素为元素为0、1 损失熵损失熵 H(X/Y) 0 噪声熵噪声熵 H(Y/X) = 0 H(X) H(Y) 输入分布非唯一输入分布非唯一100100010010001Py1y2y3x1x2x3x4 x5H(X) I(X;Y)H(Y) H(X/Y) mYHYXICiixpxplog)(max);(max)()(10112201P注意：注意：不是这种情况不是这种情况因为信道矩阵不满足因为信道矩阵不满足每行只有一个非每行只有一个非0元素元素 元素为元素为0、1本质：有噪信道本质：有噪信道（3）n m具有扩展性的无噪信道具有扩展性的无噪信道 一对多，有噪无损信道一对多，有噪无损信道 信道矩阵信道矩阵每列

9、只有一个非每列只有一个非0元素元素, 元素不全是元素不全是0、1 损失熵损失熵 H(X/Y) = 0 噪声熵噪声熵 H(Y/X) 0 H(X) H(Y)11122324350000000000pppppPx1x2x3y1y2y3y4 y5H(X) I(X;Y)H(Y) H(Y/X) nXHYXICiixpxplog)(max);(max)()(1 / 21 / 20000003 / 53 /101 /100000001P3.2 单符号离散信道的信道容量二、几种特殊离散信道的信道容量二、几种特殊离散信道的信道容量 离散无噪信道的信道容量离散无噪信道的信道容量v特点：输入与输出之间具有一一对应的关

10、系。特点：输入与输出之间具有一一对应的关系。v信道容量：信道容量：C=log n bit/信道符号信道符号 n为信道的输入符号数。为信道的输入符号数。 v最佳分布：输入为均匀分布。最佳分布：输入为均匀分布。 具有扩展性能的无噪信道具有扩展性能的无噪信道v特点：一个输入对应多个互不相交的输出。特点：一个输入对应多个互不相交的输出。v信道容量：信道容量：C=log n bit/信道符号信道符号 n为信道的输入符号数。为信道的输入符号数。 v最佳分布：输入为均匀分布。最佳分布：输入为均匀分布。具有归并性能的无噪信道具有归并性能的无噪信道v特点：一个输出对应多个互不相交的输入。特点：一个输出对应多个互

11、不相交的输入。v信道容量：信道容量：C=log m bit/信道符号信道符号 m为信道的输出符号数。为信道的输出符号数。 v最佳分布：使输出为均匀分布的输入分布。最佳分布：使输出为均匀分布的输入分布。3.2 单符号离散信道的信道容量三、对称信道的信道容量三、对称信道的信道容量 对称信道的信道容量对称信道的信道容量 对称信道的定义对称信道的定义v 关于关于行可排列行可排列的的 若信道转移阵的每一行都是同一集合若信道转移阵的每一行都是同一集合Qq1,q2,qm 中诸元素的不同排列，则该转移阵是行可排列的。中诸元素的不同排列，则该转移阵是行可排列的。v 关于关于列可排列列可排列的的 若信道转移阵的每

12、一列都是同一集合若信道转移阵的每一列都是同一集合pp1,p2,pn 中诸元素的不同排列，则该转移阵是列可排列的。中诸元素的不同排列，则该转移阵是列可排列的。v 对称信道对称信道的定义的定义 若一个信道的转移阵行列都是可排列的，则该信若一个信道的转移阵行列都是可排列的，则该信 道是一对称信道。（不一定有道是一对称信道。（不一定有m=n）3.2 单符号离散信道的信道容量例： 3131616161613131P216131312161613121P例：对称信道识别例：对称信道识别? 31316161616131311P 2161313121616131212P 31613161616131313P7

13、 . 01 . 02 . 01 . 02 . 07 . 04Pv 105 . 05 . 0015P3.2 单符号离散信道的信道容量 对称信道的信道容量对称信道的信道容量由信道容量的定义式得：由信道容量的定义式得：C=I(X;Y)=H(Y)-H(Y/X)又：又：而由于对称信道定义，我们知道，此值是一个与而由于对称信道定义，我们知道，此值是一个与x无无关的一个常数，即所以有：关的一个常数，即所以有：将转移阵将转移阵中的任一中的任一行看作一行看作一个信源集个信源集熵熵2111(/)() (/)log(/)()nmnijijiimiijiH YXp x p yxp yxp x H 21(/)log(/

14、)mmijijijHp yxp yx 令对于对于行可排列行可排列情况，情况，Hmi与与i 无关无关12( /)( ,)mimH Y XHH q qq常数3.2 单符号离散信道的信道容量 达到对称信道容量时的最佳分布达到对称信道容量时的最佳分布当输入为当输入为等概分布等概分布时对称信道达到信道容量时对称信道达到信道容量C。例例1：求下述信道的信道容量：求下述信道的信道容量：解：解： 2 21 16 61 13 31 13 31 12 21 16 61 16 61 13 31 12 21 1P P例：例：1111336611116633P 1 1 1 11111log4( , , , )2 log

15、3log3log6log60.8173 3 6 63366CH 对于二元对称信道对于二元对称信道log2( )1( )CH pH p 这个式子很重要。这个式子很重要。bit/符号符号3.2 单符号离散信道的信道容量 强对称信道的信道容量强对称信道的信道容量 强对称信道的定义强对称信道的定义强对称信道是对称信道的一个特例。除了满足对称信强对称信道是对称信道的一个特例。除了满足对称信道的条件之外，还满足：道的条件之外，还满足：v 输入符号数等于输出符号数（输入符号数等于输出符号数（n=m）。）。v 信道中总的错误概率为信道中总的错误概率为p，对称地均匀地分给，对称地均匀地分给n-1个个 输出符号。

16、输出符号。v 转移阵中各列之和也为转移阵中各列之和也为1。 111111pppnnpppnnpppnnP矩阵特点矩阵特点nn阶对称阵阶对称阵二值矩阵二值矩阵每行和为每行和为1,每列和为每列和为13.2 单符号离散信道的信道容量 强对称信道的信道容量强对称信道的信道容量由于强对称信道是对称信道的一个特例，所以将强对由于强对称信道是对称信道的一个特例，所以将强对称信道的特性因素代入对称信道的信道容量公式有：称信道的特性因素代入对称信道的信道容量公式有： 强对称信道的最佳分布强对称信道的最佳分布与对称信道一样，当输入分布满足与对称信道一样，当输入分布满足均匀分布均匀分布时，使强对称信道达到信时，使强

17、对称信道达到信道容量。道容量。 意义意义 logn为输入的信息为输入的信息H(X),实际传送的信息是实际传送的信息是C,H(1-p, p/n-1, p/n-1) 是丢失的信息（干扰）是丢失的信息（干扰）)() 1log(log 1logloglog)1,1,(logpHnnnppppnnpnppHnC对于二元对称信道对于二元对称信道log2( )1( )CH pH p 22222logloglog11loglog1( )pCnpppnppppH p 22( )loglogH ppppp 0 0.5 1 p1C二进制对称信道二进制对称信道(n=2) （BSC）X=0,1; Y=0,1; p(0/

18、0)=p(1/1)=1-p; p(0/1)=p(1/0)=p; 0 1-p 0 p p 1 1-p 11-pp1p1-p010P=在实际通信系统中，信号往往要通过几个环节的传输，在实际通信系统中，信号往往要通过几个环节的传输，或多步处理，这些传输和处理都可以看成是信道（串联）或多步处理，这些传输和处理都可以看成是信道（串联） H(X) I(X;Y) I(X;Z) P(Y/X)P(Z/Y)XYZ串联的信道越多，其信道容量可能会越小，当串联的串联的信道越多，其信道容量可能会越小，当串联的信道数无限大时，信道容量就有可能会趋于零例信道数无限大时，信道容量就有可能会趋于零例3.2 单符号离散信道的信道

19、容量四、准对称信道的信道容量四、准对称信道的信道容量 准对称信道的定义准对称信道的定义v信道转移阵满足信道转移阵满足行可排列行可排列的。的。 v信道转移阵信道转移阵列不可排列列不可排列，但矩阵中的，但矩阵中的m列可分成互不列可分成互不相交的相交的s个子集，由子集组成的子阵则是行和列都是可个子集，由子集组成的子阵则是行和列都是可排列的。排列的。 准对称信道的信道容量准对称信道的信道容量定理：实现准对称离散无记忆信道容量的输入分布定理：实现准对称离散无记忆信道容量的输入分布 是是等概分布等概分布。根据上述定理有：根据上述定理有： 可以证明，达到信道容量的可以证明，达到信道容量的输入分布是等概分布输

20、入分布是等概分布，也可，也可计算计算准对称信道准对称信道的信道容量为：的信道容量为：其中其中n是输入符号集的个数，是输入符号集的个数， q1,q2,qm 为矩阵中的行元素为矩阵中的行元素kN:是第是第k个子矩阵中的行元素之和个子矩阵中的行元素之和 kM例：例：11pqqpPpqpq可分成：可分成：11pqpppqqq log2(1, , )(1)log(1)log2CHpq p qqqqq)623( log),(log121kkkmMNqqqHnC:是第是第k个子矩阵中的列元素之和个子矩阵中的列元素之和例题3-73.2 单符号离散信道的信道容量 1 1K K0 0i ii ij ji ij j

21、1 1- -J J0 0j ji ij j) )x xp(yp(yK K1 1) )x xp(yp(yloglog) )x xp(yp(yY)Y)k;k;I(XI(XY)Y)maxI(X;maxI(X;C C任取一行任取一行输入为均匀输入为均匀分布分布前提前提P(yj) )p(yp(y) )x xp(yp(yloglog) )x xp(yp(yj ji ij j1 1J J0 0j ji ij j3.2 单符号离散信道的信道容量例如：下列各信道即为准对称信道。例如：下列各信道即为准对称信道。 qp1ppqp1p1qqp20.10.1p20.70.20.20.7p1qp1pqqpqp1Pc0.7

22、0.20.10.10.20.7bP1/31/61/61/61/31/31/61/3aP1/31/61/61/31P1/31/32P1/61/63P3.2 单符号离散信道的信道容量例例2：求所给信道的信道容量：求所给信道的信道容量 ：解：该信道为准对称信道（判解：该信道为准对称信道（判,略）略） 先求先求p(yj) ：p(y0) =1/2(0.7+0.2) = 0.45=P(y2) P(y1) =1/2(0.1+0.1)=0.10.70.20.10.10.20.7P信道符号信道符号bit/bit/0.2120.2124 40.2log0.440.2log0.440 06 60.7log1.550

23、.7log1.550.450.450.20.20.2log0.2log0.10.10.10.10.1log0.1log0.450.450.70.70.7log0.7logC C3.2 单符号离散信道的信道容量例例3：求所给信道的信道容量：求所给信道的信道容量 ：解：该信道为准对称信道（判解：该信道为准对称信道（判,略）略） 先求先求p(yj) ：p(y0) =1/2(1/2+1/4) =3/8=P(y1) P(y2)=1/2(1/8+1/8)=1/8= P(y3)1/81/81/81/81/21/41/41/2P信信道道符符号号b bi it t/ /0 0. .0 06 61 13 33 3

24、. .3 32 22 20 0. .0 01 18 84 45 53 32 2l lo og g4 41 13 34 4l lo og g2 21 10 01 1/ /8 81 1/ /8 8l lo og g8 81 13 3/ /8 81 1/ /4 4l lo og g4 41 13 3/ /8 81 1/ /2 2l lo og g2 21 1C C3.2 单符号离散信道的信道容量五、离散信道容量的一般计算方法五、离散信道容量的一般计算方法 若一个信道的信道转移阵满足非奇异阵，则可用下列方法求得。若一个信道的信道转移阵满足非奇异阵，则可用下列方法求得。令所有的输入符号令所有的输入符号x

25、k有：有：则有：则有：再令再令 看作未知数，连立看作未知数，连立K个方程个方程解之得：解之得： xkjkjjkJjxypxpypxp11 , 0),()()(, 0)(1 1K K0.10.1k k) )x xlogp(ylogp(y) )x xp(yp(yloglogC C) )x xp(yp(y1 1K K0.10.1k kloglog) )x xp(yp(y) )x xlogp(ylogp(y) )x xp(yp(yY)Y)k;k;I(xI(xC Ck kj j1 1J J0 0j jk kj jj j1 1J J0 0j jk kj jj,j,1 1J J0 0j jk kj jk k

26、j j1 1J J0 0j jk kj jjj222CCjjjlogC3.2 单符号离散信道的信道容量有约束条件有约束条件 得：得： 至此，解题并未结束，还必须由至此，解题并未结束，还必须由C求得求得p(y)，再最终求得，再最终求得p(x),仅当所有的仅当所有的p(x)0，其所解得的，其所解得的C才是正确的，否则，须令某才是正确的，否则，须令某个个p(x)=0，重新再解，直至所有的，重新再解，直至所有的p(x)0，为止。，为止。例例4：求左图之信道容量：求左图之信道容量 1 1j jj jC Cj jC Cj jj j2 22 22 22 21 1) )2 2l lo og g( (C Cj

27、jj j0011223/43/41/31/41/31/31/4课 间 休 息3.2 单符号离散信道的信道容量解：由图得信道的转移阵：解：由图得信道的转移阵： 并由公式得：并由公式得：3/4log3/4+1/4log1/4+ 0 =3/4C+log0 +1/4C+log11/3log1/3+1/3log1/3+1/3log1/3=1/3C+log0 +1/3C+log1 +1/3C+log21/4log1/4+3/4log3/4+ 0 = 1/4C+log1 +3/4C+log2令令 有，并用行列式法解之：有，并用行列式法解之：3/4log3/4+1/4log1/4+ 0 =3/40 +1/41

28、1/3log1/3+1/3log1/3+1/3log1/3 =1/30 +1/31+ 1/32 1/4log1/4+3/4log3/4+ 0 = 1/41 +3/42 4/34/103/13/13/104/14/3Pi ii iloglogC C3.2 单符号离散信道的信道容量 0 =0 / =-4H(3/4,1/4)-1/3log1/3=0.454488(Hat) 1=9log1/3+8H(3/4,1/4)=-2.340339(Hat) 2=0 =0.454488(Hat) C+log0= C+log2=0.454488 C+log1=-2.340339 0+ 1+ 2=10 02 21 1

29、H(3/4,1/4)H(3/4,1/4)2 21 13 31 1loglog16169 93/43/4H(3/4,1/4)H(3/4,1/4)0 01/31/3log1/3log1/31/31/30 0H(3/4,1/4)H(3/4,1/4)3/43/43 31 1loglog16163 3H(3/4,1/4)H(3/4,1/4)4 41 13/43/41/41/4H(3/4,1/4)H(3/4,1/4)1/31/31/31/3log1/3log1/30 01/41/4H(3/4,1/4)H(3/4,1/4)16161 13/43/41/41/40 01/31/31/31/31/31/30 0

30、1/41/43/43/40 03.2 单符号离散信道的信道容量10-c100.4544882+10-2.340339=1 C=lg5.7000=0.755874 (Hat/符号符号) 由由 C+logi=i 得：得：0 =2=0.49960 1=0.0008013求求p(xi):0=p(0)p(0/0)+p(1)p(0/1)=0.49960;1=p(0)p(1/0)+p(1)p(1/1)+p(2)p(1/2)=0.0008013;2=p(1)p(2/1)+p(2)p(2/2)=0.49960;得：得：p(1)0 原解不合，令原解不合，令 p(1)=0 原信道变为删除信道。原信道变为删除信道。

31、3.2 单符号离散信道的信道容量令：输入为均匀分布，解之得：令：输入为均匀分布，解之得：C=0.75 比特比特/信道符号信道符号 0011E4/304/14/104/3P定理定理 一般离散信道达到信道容量的充要条件是一般离散信道达到信道容量的充要条件是输入概率分布满足输入概率分布满足( )( ; )0( )( ; )0iiaI x YCxbI x YCxii对所有 其p对所有 其p 该定理说明，当平均互信息达到信道容量时，该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息（信源每一个符号都对输出端输出相同的互信息（零零概率概率除外）。除外）。)()/(log)/(

32、);(1jijmjijypxypxypYxI3.2.4 一般离散无记忆信道及信道容量一般离散无记忆信道及信道容量可以利用该定理对一些可以利用该定理对一些特殊信道特殊信道求得它的信道容量求得它的信道容量例：输入符号集为例：输入符号集为:0,1,210112201P假设假设P(0)=P(2)=1/2，P(1)=0，则：，则：1(0)21(1)2PyPy21(/ 0)(0,)(/ 0)loglog 2( )yP yIYP yP y21(/ 2)(2,)(/ 2)loglog 2( )yP yIYP yP y21(/1)(1,)(/1) log0(1)yP yIYP yP所以：所以：log2 1C 3

33、.3 多符号离散信道一、多符号离散信道的数学模型一、多符号离散信道的数学模型设：信道的输入信源为设：信道的输入信源为 ：X=x1x2xxN N, ,其中其中x xk k(k=1,2,N)(k=1,2,N) 取自于取自于X=x1x2xn，则信源，则信源X共有共有nN 个不同的元素个不同的元素 a ai i(i=1,2,n(i=1,2,nN) a) ai i=(x=(xi i1 1x xi i2 2xxi in n), ), x xi i1 1,x,xi i2 2,x,xi in nx1,x2,xn i i1 1,i,i2 2, ,i,iN N=1,2,=1,2,n; i=1,2,n; i=1,2

34、,n nN N同理在输出端有：同理在输出端有：b bj j=(y=(yj j1 1y yj j2 2yyj jN N),y),yj j1 1,y,yy y2 2,y,yj jN Ny1,y2,ym j j1 1,j,j2 2, ,j,jN N=1,2,=1,2,m; j=1,2,m; j=1,2,m mN N XYp(yj |xi)3.3 多符号离散信道在矩阵中我们若用在矩阵中我们若用ai,bj来表示则有：来表示则有： ) )a ap(bp(b) )a ap(bp(b) )a ap(bp(b) )a ap(bp(b) )a ap(bp(b) )a ap(bp(b) )a ap(bp(b) )a

35、 ap(bp(b) )a ap(bp(bP PN NN NN NN NN NN Nn nm mn n2 2n n1 12 2m m2 22 22 21 11 1m m1 12 21 11 13.3.1多符号离散信道的数学模型多符号离散信道的数学模型一、含义一、含义 多符号离散信源多符号离散信源X=X1X2 Xk .XN 在在N个不同时刻分别通过单符号离散信道个不同时刻分别通过单符号离散信道 X P(Y/X) Y 在输出端出现在输出端出现Y=Y1Y2 Yk .YN 此即多符号离散信道，此即多符号离散信道， 或单符号离散信道的或单符号离散信道的N次扩展次扩展信道信道3.3 多符号离散信道多符号离散

36、信道二、模型二、模型Xk取值：取值： x1,x2,xn，则，则X共有共有nN种种ai，i=1nNYk取值：取值： y1,y2,ym，则，则Y共有共有mN种种bj，j=1mN三、转移概率矩阵三、转移概率矩阵3.3.1多符号离散信道的数学模型多符号离散信道的数学模型(续续)P(Y/X)或或p(bj/ai)X=X1X2 Xk .XNY=Y1Y2 Yk .YN 112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)(/)NNNNNNmmnnmnp bap bap bap bap bap bap bap bap baP YX3.3 多符号离散信道 二、离散无记忆信道和独立并联信道

37、的信道容量二、离散无记忆信道和独立并联信道的信道容量若多符号离散信道的传递概率满足：若多符号离散信道的传递概率满足：则称该信道为离散无记忆信道的则称该信道为离散无记忆信道的N次扩展。次扩展。1 21211221(|)|)|)|)|)|)NNNNNkkkPP YYYX XXP YX P YXP YXP YXY X（例例 、 二元对称信道的二次扩展信道二元对称信道的二次扩展信道(错误概率为错误概率为P)解：二次扩展信道的输入、解：二次扩展信道的输入、输出序列的每一个随机变量输出序列的每一个随机变量均取值于均取值于0,10,1，输入共有，输入共有 个个取值，输出共取值，输出共有有 个取值。根据个取值

38、。根据 42n2N42m2N1(|)|)NkkkPP YXY X（=0000=1y=01=10=111x2x3x4x01=2y10=3y11=4yXY3.3 多符号离散信道2112131241(|)(00|00)(0|0) (0|0)(|)(01|00)(0|0) (1|0)(|)(10|00)(1|0) (0|0)(|)(11|00)(1|0) (1|0)ppppppppppppppppppppppyxyxyxyx可求出可求出3.3 多符号离散信道同理可求出其他的转移概率同理可求出其他的转移概率 ，得到信道矩阵：得到信道矩阵： ,2,3,4,1,2,3,4ijpij22222222ppppp

39、pppppppppppppppppppP3.3 多符号离散信道2. 互信息和信道容量互信息和信道容量 (1) 若信源若信源X的的N个变量个变量Xk (k=1N) 之间相互之间相互 统计独立统计独立 互信息互信息 (2) 若信源若信源X是是N次扩展信源时次扩展信源时 互信息互信息 I(X;Y)=NI(X;Y) 信道容量信道容量 CN = NC1(;)(;) (3.3.12)NkkkII XYX Y二、独立并联信道二、独立并联信道 1. 含义含义 信道输入序列的各随机变量取值于不同符号集信道输入序列的各随机变量取值于不同符号集 信道输出序列的各随机变量亦取值于不同符号集信道输出序列的各随机变量亦取值于不同符号集 2. 信道容量信道容量式中，式中，CN(总总)N个独立并联信道的个独立并联信道的C Ck第第k个单符号离散