第4章 离散信道及其信道容量

1、2022年4月16日星期六信息论导论通信与信息工程学院杨海芬离散信道及其信道容量第4章 离散信道及其信道容量o 掌握互信息量的定义和计算；o 掌握离散系统平均互信息量的定义、计算和性质；o 理解单符号离散信道信道容量的定义，了解信道容量计算一般方法的推导、计算步骤的整理，掌握一般22信道信道容量的计算；o 掌握对称信道的特点，信道容量计算式的导出和计算；o 了解离散无记忆信道（扩展信道）的特点，离散无记忆信道信道容量与单符号离散信道信道容量的关系。离散信道及其信道容量 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量

2、，信道容量是有关信道的一个很重要的物理量。离散信道及其信道容量一般信道的定义及模型信道是传输信息的媒质或通道。o 影响信道传输的因素：噪声、干扰。o 噪声、干扰：非函数表述、随机性、统计依赖。o 信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。o 信道的一般数学模型：P（Y/X）XY一般信道的数学模型离散信道及其信道容量（1）根据信道输入、信道响应特性、信道输出的情况，）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：可将信道分类：离散信道离散信道（又称为数字信道）；（又称为数字信道）；连续连续信道信道（又称为模拟信道）；半离散半连续信道；特殊（又称为模拟信道）；半离散半

3、连续信道；特殊的连续信道的连续信道波形信道。波形信道。信道的分类信道的分类离散信道：输入、输出信号在时间和幅度上均离散；连续信道：信号的幅度是连续的，时间是离散的；半离散半连续信道：输入和输出中有一个是离散的，另一个是连续的；波形信道：输入和输出信号在时间上和幅度上均连续，一般可用随机过程来描述。而且一般经过抽样处理，分解为前三种情况。离散信道及其信道容量o（2）根据输入、输出随机变量个数n单符号信道和多符号信道o（3）输入和输出的个数 n单用户和多用户信道o（4）根据信道上有无干扰n有干扰信道和无干扰信道o（5）根据信道上有无记忆特性n有记忆信道和无记忆信道o（6）根据信道输入端和输出端的关

4、系n无反馈信道和反馈信道o（7）根据根据信道参数和时间的关系n固定参数信道和时变参数信道o（8）根据信道中所受噪声的种类的不同固定参数信道和时变参数信道n随机差错信道和突发差错信道离散信道及其信道容量信道容量o 衡量一个信息传递系统的好坏，有两个主要指标：n 速度指标：信息（传输）率R，即信道中平均每个符号传递的信息量；n 质量指标：平均差错率Pe，即对信道输出符号进行译码的平均错误概率；n 目标：速度快、错误少，即R尽量大而Pe尽量小。o 信道容量：信息率能大到什么程度；离散信道及其信道容量信道容量：信息率能大到什么程度o(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最大通过能力

5、；o(2)使得给定信道的达到最大值（即信道容量）的输入分布，称为最佳输入（概率）分布o(3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信道容量是信道的固有参数，只与信道转移概率有关。o 研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量关于输入概率分布的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。离散信道及其信道容量一、单符号离散信道及其信道容量一、单符号离散信道及其信道容量1、单符号离散信道、单符号离散信道定义定义对应于单符号离散信源和单符号离散信宿的

6、信道对应于单符号离散信源和单符号离散信宿的信道为单符号离散信道。为单符号离散信道。表示表示信源符号信源符号X取值于集合取值于集合x,x,xn21离散信道及其信道容量XP(Y/X)Y信宿符号信宿符号Y取值于集合取值于集合y,y,ym21)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)x/y(P)X/Y(Pnmn2n12m22211m1211离散信道及其信道容量n, 2 , 1i1)x/y(Pm, 2 , 1jn, 2 , 1i1)x/y(P0m1jijij且其中，x1x2xny1y2ymP(y1/x1)P(ym/xn)P(y2/x2)离散信道及其

7、信道容量1001)X/Y(P例例1p1ppp1)X/Y(P例例2离散信道及其信道容量2121122111)X/Y(P例例3离散信道及其信道容量定义定义信宿消息信宿消息yj的自信息量的自信息量I(yj)减去信道关于发出消息减去信道关于发出消息xi和接收消息和接收消息yj的条件信息量的条件信息量I(yj/xi)为信宿消息为信宿消息yj所含信源消息所含信源消息xi的互信息量，用的互信息量，用I(xi; yj)表示。表示。2、互信息量、互信息量)x/y(Plog)y(Plog)x/y( I)y( I)y;x( Iijjijjji)y(P)x/y(Plogjij表示表示离散信道及其信道容量例例175.

8、025. 001)X/Y(PZ信道6 . 04 . 010)X(PX信源信宿消息信宿消息0所含各信源消息的互信息量所含各信源消息的互信息量55. 025. 06 . 014 . 0)0y(P1)bit(862. 01log55. 0log)x/y(Plog)y(Plog) 0y; 0 x( I11111)bit(138. 125. 0log55. 0log)x/y(Plog)y(Plog) 0y; 1x( I21112离散信道及其信道容量3、平均互信息量、平均互信息量各互信息量的数学期望为平均互信息量，也叫交各互信息量的数学期望为平均互信息量，也叫交互熵，用互熵，用I(X;Y)表示。表示。定义

9、定义表示表示n1in1jjijiji)y;x( I )yx(P)y;x( I E)Y;X( I离散信道及其信道容量n1in1jijjin1in1jjjin1in1jjijji)x/y(Plog)yx(P)y(Plog)yx(P)y(P)x/y(Plog)yx(P)X/Y(H)Y(H4、平均互信息量的意义、平均互信息量的意义条件熵条件熵H(Y/X)是信道给出的平均信息量，称为是信道给出的平均信息量，称为噪噪声熵声熵，也称为信道散布度。，也称为信道散布度。)X/Y(H)Y(H)Y;X( I离散信道及其信道容量n1in1jijijin1in1jjijji)x(P)y/x(Plog)yx(P)y(P)

10、x/y(Plog)yx(P)Y;X( In1in1jjijin1in1jiji)y/x(Plog)yx(P)x(Plog)yx(P)Y/X(H)X(H条件熵条件熵H(X/Y)是用反信道矩阵形式表示的信道给是用反信道矩阵形式表示的信道给出的平均信息量，称为出的平均信息量，称为损失熵损失熵，也称为信道疑义，也称为信道疑义度。度。离散信道及其信道容量H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信源为参考，利用信源的熵和信道的损失熵来度以信源为参考，利用信源的熵和信道的损失熵来度量信道中流通的平均信息量。量信道中流通的平均信息量。以信宿为参考，利用信宿的熵和信道的噪声熵来度以信宿为参考，利用

11、信宿的熵和信道的噪声熵来度量信道中流通的平均信息量。量信道中流通的平均信息量。离散信道及其信道容量5、平均互信息量的主要性质、平均互信息量的主要性质对称性对称性)X;Y( I)Y;X( I)X;Y( I)x(P)y/x(Plog)yx(P)y(P)x/y(Plog)yx(P)Y;X( In1in1jijijin1in1jjijji离散信道及其信道容量非负性非负性0)Y;X( I)Y(H)X/Y(H0)X/Y(H)Y(H)Y;X( I极值性极值性)Y(H)Y;X( I)X(H)Y;X( I0)Y/X(H, 0)X/Y(H离散信道及其信道容量)Y(H)X/Y(H)Y(H)Y;X( I)X(H)Y/

12、X(H)X(H)Y;X( IX与与Y相互独立时，相互独立时，0)Y;X( IX与与Y一一对应一一对应关系时，关系时，)X(H)Y(H)Y;X( I严格凸函数性严格凸函数性信道固定时，信道固定时，I(X;Y)是信源概率分布是信源概率分布P(X)的的严格上凸函数严格上凸函数信源固定时，信源固定时，I(X;Y)是信道转移概率分布是信道转移概率分布P(Y/X)的严格下凸函数的严格下凸函数离散信道及其信道容量例例175. 025. 001)X/Y(PZ信道6 . 04 . 010)X(PX信源平均互信息量平均互信息量55. 025. 06 . 014 . 0)0y(P145. 075. 06 . 004

13、 . 0) 1y(P2)symbol/bit(992. 045. 0log45. 055. 0log55. 0)y(Plog)y(P)Y(H21jjj离散信道及其信道容量2121)/(log)/()()/(ijijijixyPxyPxPXYH)symbol/bit(487. 075. 0log75. 06 . 025. 0log25. 06 . 00log04 . 01log14 . 0)symbol/bit(505. 0487. 0992. 0)X/Y(H)Y(H)Y;X( I离散信道及其信道容量平均互信息量及平均互信息量及p-I(X;Y)和和q-I(X;Y) 曲线曲线p1p10)X(PX信

14、源qq1q1q)X/Y(P信道qppq)q1)(p1 (pq)0y(P1qpqpq)p1 ()q1 (p) 1y(P2例例2)qppq(H)qpqplog()qpqp()qppqlog()qppq()Y(H离散信道及其信道容量2121)/(log)/()()/(ijijijixyPxyPxPXYH)q(Hqlogqqlogqqlog)qpqp(qlog)qppq(qlogqpqlogqpqlogqpqlogpq)q(H)qppq(H)X/Y(H)Y(H)Y;X( I信道固定时信道固定时q为常数，作为常数，作p-I(X;Y)曲线曲线0)q(H)q(H)Y;X( I0p 时，当)q(H1)q(H)

15、 5 . 0(H)Y;X( I5 . 0p时，离散信道及其信道容量0)q(H)q(H)Y;X( I1p 时，00.51I(X;Y)1-H(q)p信源固定时信源固定时p为常数，作为常数，作q-I(X;Y)曲线曲线) p(H) 0(H)p(H)Y;X( I0q 时，当离散信道及其信道容量)p(H) 1 (H)p(H)Y;X( I1q 时，0) 5 . 0(H) 5 . 0(H)Y;X( I5 . 0q时，00.51I(X;Y)H(p)q离散信道及其信道容量平均互信息量的链接准则平均互信息量的链接准则两级级联信道两级级联信道)Y/Z;X( I)Y;X( I)YZ;X( I)Z/Y;X( I)Z;X(

16、 I)YZ;X( I链接准则可以推广到多级级联信道。链接准则可以推广到多级级联信道。XP(Y/X)YP(Z/Y)Z离散信道及其信道容量)X/Y(H)X(H)XY(H利用熵的链接准则证明利用熵的链接准则证明)XY/Z(H)X/Y(H)X(H)XYZ(H)XY/Z(H)X/Y(H)X(H)Y/Z(H)Y(H)X(H)XYZ(H)YZ(H)X(H)YZ;X( I)Y/Z;X( I)Y;X( I)XY/Z(H)Y/Z(H)X/Y(H)Y(H离散信道及其信道容量)XZ/Y(H)X/Z(H)X(H)Z/Y(H)Z(H)X(H)XYZ(H)YZ(H)X(H)YZ;X( I)Z/Y;X( I)Z;X( I)X

17、Z/Y(H)Z/Y(H)X/Z(H)Z(H)Z/Y(H)Z(H)YZ(H)Z/Y(H)Y(H)YZ(H)Z(H)Y(H)Z;Y( I)XZ/Y(H)X/Z(H)X(H)X/YZ(H)X(H)XYZ(H)X/YZ(H)YZ(H)XYZ(H)YZ(H)X(H)YZ;X( I离散信道及其信道容量6、数据处理定理、数据处理定理级联信道中级联信道中X、Y、Z构成一阶马尔科夫链，则构成一阶马尔科夫链，则)Z;X( I)Z;Y( I)Z;X( I)Y;X( I)Y/Z;X( I)Y;X( I)YZ;X( I)Z/Y;X( I)Z;X( I)YZ;X( I由于由于X、Y、Z构成一阶马尔科夫链构成一阶马尔科夫链

18、0)Y/Z(H)Y/Z(H)XY/Z(H)Y/Z(H)Y/Z;X( I离散信道及其信道容量)Z;X( I)Z;Y( I同理，该结论可以推广到多级级联信道。该结论可以推广到多级级联信道。数据处理不能将信息量增大！数据处理不能将信息量增大！)Z;X( I)Z/Y;X( I)Z;X( I)Y;X( I离散信道及其信道容量7、信道容量、信道容量信道固定时，平均互信息量是信源概率分布信道固定时，平均互信息量是信源概率分布P(X)的的严格上凸函数，总能找到一种信源概率分布严格上凸函数，总能找到一种信源概率分布P(X)，使通过信道的平均互信息量达到最大。使通过信道的平均互信息量达到最大。定义定义信道转移概率

19、分布信道转移概率分布P(Y/X)不变时平均互信息量的不变时平均互信息量的最大值为该信道的信道容量，用最大值为该信道的信道容量，用C表示。表示。离散信道及其信道容量表示表示)Y;X( ImaxC)X(P离散信道及其信道容量8、信道容量的计算步骤、信道容量的计算步骤限制下的条件极值在1)x(P)Y;X( In1iin, 2 , 1k01)x(P)Y;X( I )x(Pn1iik令推导见板书推导见板书离散信道及其信道容量n, 2 , 1k01)x(P)x/y(Plog)x/y(P)x(P)y(Plog)y(P)x(Pn1iin1im1jijijim1jjjk即n, 2 , 1k)x/y(P)x/y(

20、P)x(P)x(P)x(P)y(Pkjn1iijikkj离散信道及其信道容量n, 2 , 1kelog)y(Plog)x/y(P)x/y(ePlog)y(Plog)x/y(P)y(Plog)y(P)x(Pm1jjkjm1jkjjkjm1jjjk离散信道及其信道容量n, 2 , 1k)x/y(Plog)x/y(P1)x(P)x/y(Plog)x/y(P)x(P)x(Pm1jkjkjn1iin1im1jijijikn, 2 , 1k0)x/y(Plog)x/y(Pelog)y(Plog)x/y(Pm1jkjkjm1jjkj离散信道及其信道容量n, 2 , 1kelog)y(P)x/y(Plog)x

21、/y(Pm1jjkjkjelogelog)x(PC)y(P)x/y(Plog)x/y(P)x(Pn1kkm1jjkjkjn1kkn, 2 , 1kC)y(P)x/y(Plog)x/y(Pm1jjkjkj离散信道及其信道容量n, 2 , 1k)x/y(PC)y(P)logx/y(PC)y(Plog)x/y(P)x/y(Plog)x/y(Pm1jjkjm1jjkjm1jjkjm1jkjkjjnm ，可解出如果m, 2 , 1jC)y(Plogjjm, 2 , 1j2)y(PCjj离散信道及其信道容量1222)y(Pm1jCm1jCm1jjjj)2log(Cm1jj信道容量的计算步骤信道容量的计算步

22、骤m, 2 , 1jn, 2 , 1k)x/y(Plog)x/y(P)x/y(P) 1 (jm1jkjkjm1jjkj求出由离散信道及其信道容量)2log(C)2(m1jj求出m, 2 , 1j2)y(P) 3(Cjj求出n, 2 , 1k)x(Pm, 2 , 1j)x/y(P)x(P)y(P) 4(kn1iijij求出由离散信道及其信道容量Z信道信道 的信道容量的信道容量C及达到信道容量及达到信道容量434101)X/Y(P时的信源概率分布时的信源概率分布P(X)。例例1082. 10811. 043log4341log41434100log01log101) 1 (212121求出由离散信

23、道及其信道容量)symbol/bit(558. 0)22log()2log(C)2(082. 10m1jj求出321. 0222)y(P679. 0222)y(P) 3(640. 1558. 0082. 1C2528. 0558. 00C121求出428. 0)x(P572. 0)x(P321. 0)x(P43)y(P679. 0)x(P41)x(P)y(P)4(2122211求出由离散信道及其信道容量二、对称信道及其信道容量二、对称信道及其信道容量1、对称信道、对称信道矩阵中每一行都是集合中各元素矩阵中每一行都是集合中各元素的不同排列，该矩阵行可排列；每一列都是集合的不同排列，该矩阵行可排列

24、；每一列都是集合 中各元素的不同排列，该矩阵列可排列。中各元素的不同排列，该矩阵列可排列。 q,q,qQm21信道矩阵既行可排列，又列可排列，该矩阵所表信道矩阵既行可排列，又列可排列，该矩阵所表示的单符号离散信道为对称信道。示的单符号离散信道为对称信道。定义定义,21npppP离散信道及其信道容量对称信道中，当对称信道中，当mn时，时，P是是Q的子集；当的子集；当m=n时，时，P =Q。例例1判断下列信道矩阵所表示的信道是否为对称信道？判断下列信道矩阵所表示的信道是否为对称信道？离散信道及其信道容量3131616161613131)X/Y(P 61613131Q6131P行可排列行可排列列可排

25、列列可排列QP, nm离散信道及其信道容量6131613161613131)X/Y(P行可排列行可排列不存在不存在P，列不可排列，列不可排列61613131Q离散信道及其信道容量2、对称信道的信道容量、对称信道的信道容量m=n=2时的对称信道称为二进制对称信道时的对称信道称为二进制对称信道BSC，一般记为一般记为11)X/Y(P对称信道行可排列，不失一般性，设对称信道的信对称信道行可排列，不失一般性，设对称信道的信道矩阵为道矩阵为1m32m1m21qqqqqqqq)X/Y(P离散信道及其信道容量根据信道容量的计算步骤根据信道容量的计算步骤m1jjjm11mm2312m1jjjmm1m1m221

26、1qlogqqqqqqlogqqqqqm1jjjm21qlogq解出m1jjjm21qlogq)q,q,q(H记离散信道及其信道容量m1jjjm21)q ,q ,q(Hm1jqlogqmlog)q,q,q(Hmlog)2mlog()2log(Cm21jn, 2 , 1jm1222)y(Pmlog)q ,q ,q(Hmlog)q ,q ,q(HCjm21m21j对称信道列可排列，不失一般性，列出对称信道列可排列，不失一般性，列出离散信道及其信道容量m1)x(Pp)x(Pp)x(Pp)x(Ppm1)x(Pp)x(Pp)x(Pp)x(Ppn1nn2312nn1n1n2211n1iin21pm1)x(

27、P)x(P)x(P解出n, 2 , 1in1)x(P1)x(nP)x(Piin1ii离散信道及其信道容量时当n1)x(P)x(P)x(Pn21m1jjjm21qlogqmlog)q,q,q(HmlogC对称信道的信道容量对称信道的信道容量BSC的信道容量的信道容量)1log()1 (log1)(H1C离散信道及其信道容量例例2信道的信道容量及达到信道信道的信道容量及达到信道7 . 01 . 02 . 02 . 07 . 01 . 01 . 02 . 07 . 0)X/Y(P容量时的信源概率分布。容量时的信源概率分布。信道矩阵既行可排列，又列可排列，该矩阵所表示信道矩阵既行可排列，又列可排列，该

28、矩阵所表示的信道为对称信道。的信道为对称信道。时达到信道容量31)x(P)x(P)x(P321信源概率分布信源概率分布离散信道及其信道容量信道容量为信道容量为1 . 0log1 . 02 . 0log2 . 07 . 0log7 . 03logqlogq3logC31jjj)symbol/bit(429. 0332. 0464. 0360. 0585. 1离散信道及其信道容量三、准对称信道及其信道容量三、准对称信道及其信道容量信道矩阵行可排列而列不可排列，按列分为若干信道矩阵行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的各子信道矩阵都个不相交的子集，各子集构成的各子信道矩阵都列

29、可排列，该矩阵所表示的单符号离散信道为准列可排列，该矩阵所表示的单符号离散信道为准对称信道。对称信道。信道矩阵信道矩阵7 . 02 . 01 . 01 . 02 . 07 . 0)X/Y(P定义定义1、准对称信道、准对称信道离散信道及其信道容量7 . 02 . 01 . 0Q行可排列行可排列不存在不存在P，列不可排列，列不可排列按列分成两个不相交的子集后，两个子集构成的按列分成两个不相交的子集后，两个子集构成的子矩阵子矩阵7 . 01 . 01 . 07 . 0)X/Y(P12 . 02 . 0)X/Y(P2都列可排列，该信道为准对称信道。都列可排列，该信道为准对称信道。1 . 07 . 0P

30、12 . 02 . 0P2离散信道及其信道容量二进制删除信道是准对称信道，二进制删除信道一二进制删除信道是准对称信道，二进制删除信道一般记为般记为2112212111)X/Y(P准对称信道行可排列准对称信道行可排列)q,q,q(H)q,q,q(H)x(P)x/y(Plog)x/y(P)x(P)X/Y(Hm21m21n1iin1im1jijiji2、准对称信道的信道容量、准对称信道的信道容量离散信道及其信道容量)q,q,q(H)Y(Hmax)X/Y(H)Y(Hmax)Y;X( ImaxCm21)X(P)X(P)X(P按列分为按列分为s个不相交的子集，各子集构成的各子信个不相交的子集，各子集构成的

31、各子信道矩阵都列可排列，各子信道矩阵相当于对称信道矩阵都列可排列，各子信道矩阵相当于对称信道道s , 2 , 1kn1)x(P)x(P)x(Pnk2k1k时达到信道容量当离散信道及其信道容量不失一般性，设第一个子矩阵由第一列到第不失一般性，设第一个子矩阵由第一列到第m1列列构成，子矩阵列可排列构成，子矩阵列可排列n1iin1iimn1iimimn1iin1ii1n1ii1i1pn1)x/y(Pn1)x/y(P)x(P)y(Ppn1)x/y(Pn1)x/y(P)x(P)y(P111)y(P)y(P1m1解出)y(P)y(P)y(P1m11记离散信道及其信道容量)y(Pm)y(P11m1jj1s

32、, 2kM)y(P)y(P)y(Pkjkj同理，1m1jj1m)y(P)y(P1s , 2km)y(P)y(PkM)y(Pjkkjm1jjj)y(Plog)y(P)Y(H离散信道及其信道容量 s1kM)y(PjjM)y(PjjM)y(Pjjkjsj1j)y(Plog)y(P)y(Plog)y(P)y(Plog)y(P s1kkkks1kM)y(Pkk)X(P) y(Plog) y(Pm) y(Plog) y(P)Y(Hmaxkj离散信道及其信道容量准对称信道的信道容量时，当n1)x(P)x(P)x(Pn21)q,q,q(H)y(Plog)y(PmCm21ks1kkkm1jjjks1kkkqlo

33、gq) y(Plog) y(Pm离散信道及其信道容量二进制删除信道的信道容量二进制删除信道的信道容量22212111log)1log()1 (21log)1 (C离散信道及其信道容量8181214181814121)X/Y(P信道的信道容量及达到信道容量时的信源概率分布。的信道容量及达到信道容量时的信源概率分布。例例4行可排列行可排列81814121Q不存在不存在P，列不可排列。，列不可排列。离散信道及其信道容量按列分成两个不相交的子集后，两个子集构成的按列分成两个不相交的子集后，两个子集构成的子信道矩阵子信道矩阵21414121)X/Y(P181818181)X/Y(P2都列可排列，该信道为

34、准对称信道。都列可排列，该信道为准对称信道。4121P18181P2离散信道及其信道容量当信源概率分布当信源概率分布时达到信道容量21)x(P)x(P212)y(Pm)y(P)y(P21jj1M)y(Pj11j2)x/y(P)x(P21j21iiji832)21414121(212)y(Pm)y(P) y(P43jj2M)y(Pj22j离散信道及其信道容量2)x/y(P)x(P43j21iiji812)81818181(2141jjjk21kkklbqq)y(Plog)y(PmC81log81241log4121log2181log8183log83 2)symbol/bit(0612. 0信

35、道容量信道容量离散信道及其信道容量四、四、 N维离散无记忆信道及其信道容量维离散无记忆信道及其信道容量1、多符号离散信道与、多符号离散信道与N维离散无记忆信道维离散无记忆信道对应于多符号离散信源和多符号离散信宿的信道对应于多符号离散信源和多符号离散信宿的信道为多符号离散信道，其信道矩阵为多符号离散信道，其信道矩阵)XXX/YYY(PN21N21)a/b(P)a/b(P)a/b(P)a/b(P)a/b(P)a/b(P)a/b(P)a/b(P)a/b(PNNNNNNnmn2n12m22211m1211离散信道及其信道容量Nm1jijNNijn, 2 , 1i1)a/b(Pm, 2 , 1jn, 2 , 1i1)a/b(P0N且其中，当信源和信宿均当信源和信宿均N维平稳无记忆时，信道矩阵中的维平稳无记忆时，信道矩阵中的转移概率转移概率)x/y(P)x/y(P)x/y(P)xxx/yyy(P)a/b(PNN2211N21N21ijijijiiijjjijm, 2 , 1j ,j , jn, 2 , 1i ,i ,im, 2 , 1jn, 2 , 1iN21N21NN离散信道及其信道容量信道矩阵表示的多符号离散信道为信道矩阵表示的多