第4章 离散信道及其信道容量

1、2021年7月12日星期一 信息论导论 通信与信息工程学院 杨海芬 离散信道及其信道容量 第4章 离散信道及其信道容量 o 掌握互信息量的定义和计算； o 掌握离散系统平均互信息量的定义、计算和性质； o 理解单符号离散信道信道容量的定义，了解信道容 量计算一般方法的推导、计算步骤的整理，掌握一 般22信道信道容量的计算； o 掌握对称信道非对称信道的特点，信道容量计算 式的导出和计算； o 了解离散无记忆信道（扩展信道）的特点，离散无 记忆信道信道容量与单符号离散信道信道容量的关 系。 离散信道及其信道容量 信道对于信息率的容纳并不是无限制 的，它不仅与物理信道本身的特性有关 ，还与信道输入

2、信号的统计特性有关， 它有一个极限值，即信道容量，信道容 量是有关信道的一个很重要的物理量。 离散信道及其信道容量 一般信道的定义及模型 信道是传输信息的媒质或通道。 o 影响信道传输的因素：噪声、干扰。 o 噪声、干扰：非函数表述、随机性、统计依赖。 o 信道的全部特性：输入信号、输出信号，以及它们之间 的依赖关系。 o 信道的一般数学模型： P（Y/X） XY 一般信道的数学模型 离散信道及其信道容量 信道容量 o 衡量一个信息传递系统的好坏，有两个主要 指标： n 速度指标：信息（传输）率R，即信道中平均每 个符号传递的信息量； n 质量指标：平均差错率Pe，即对信道输出符号 进行译码的

3、平均错误概率； n 目标：速度快、错误少，即R尽量大而Pe尽量小。 o 信道容量：信息率能大到什么程度； 离散信道及其信道容量 信道容量：信息率能大到什么程度 o(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最 大通过能力； o(2)使得给定信道的达到最大值（即信道容量）的输入分布，称为 最佳输入（概率）分布 o(3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信 道容量是信道的固有参数，只与信道转移概率有关。 o 研究信道，其核心问题就是求信道容量和最佳输 入分布。根据定义，求信道容量问题就是求平均 互信息量关于输入概率分布的最大值问题。一般 来说，这是一个很困难的

4、问题，只有对一些特殊 信道，如无噪信道等，才能得到解析解，对于一 般信道，必须借助于数值算法。 离散信道及其信道容量 一、单符号离散信道及其信道容量一、单符号离散信道及其信道容量 1、单符号离散信道、单符号离散信道 定义定义 对应于单符号离散信源和单符号离散信宿的信道对应于单符号离散信源和单符号离散信宿的信道 为单符号离散信道。为单符号离散信道。 表示表示 信源符号信源符号X取值于集合取值于集合x,x,x n21 离散信道及其信道容量 X P(Y/X) Y 信宿符号信宿符号Y取值于集合取值于集合y,y,y m21 )x/y(P)x/y(P)x/y(P )x/y(P)x/y(P)x/y(P )x

5、/y(P)x/y(P)x/y(P )X/Y(P nmn2n1 2m2221 1m1211 离散信道及其信道容量 n, 2 , 1i1)x/y(P m, 2 , 1jn, 2 , 1i1)x/y(P0 m 1j ij ij 且 其中， x1 x2 xn y1 y2 ym P(y1/x1) P(ym/xn) P(y2/x2) 离散信道及其信道容量 10 01 )X/Y(P 例例1 p1p pp1 )X/Y(P 例例2 离散信道及其信道容量 2121 1221 1 1 )X/Y(P 例例3 离散信道及其信道容量 定义定义 信宿消息信宿消息yj的自信息量的自信息量I(yj)减去信道关于发出消息减去信道

6、关于发出消息 xi和接收消息和接收消息yj的条件信息量的条件信息量I(yj/xi)为信宿消息为信宿消息yj 所含信源消息所含信源消息xi的互信息量，用的互信息量，用I(xi; yj)表示。表示。 2、互信息量、互信息量 )x/y(Plog)y(Plog)x/y( I)y( I)y;x( I ijjijjji )y(P )x/y(P log j ij 表示表示 离散信道及其信道容量 例例1 75. 025. 0 01 )X/Y(PZ信道 6 . 04 . 0 10 )X(P X 信源 信宿消息信宿消息0所含各信源消息的互信息量所含各信源消息的互信息量 55. 025. 06 . 014 . 0)

7、0y(P 1 )bit(862. 0 1log55. 0log)x/y(Plog)y(Plog) 0y; 0 x( I 11111 )bit(138. 1 25. 0log55. 0log)x/y(Plog)y(Plog) 0y; 1x( I 21112 离散信道及其信道容量 3、平均互信息量、平均互信息量 各互信息量的数学期望为平均互信息量，也叫交各互信息量的数学期望为平均互信息量，也叫交 互熵，用互熵，用I(X;Y)表示。表示。 定义定义 表示表示 n 1i n 1j jijiji )y;x( I )yx(P)y;x( I E)Y;X( I 离散信道及其信道容量 n 1i n 1j ijj

8、i n 1i n 1j jji n 1i n 1j j ij ji )x/y(Plog)yx(P)y(Plog)yx(P )y(P )x/y(P log)yx(P )X/Y(H)Y(H 4、平均互信息量的意义、平均互信息量的意义 条件熵条件熵H(Y/X)是信道给出的平均信息量，称为是信道给出的平均信息量，称为噪噪 声熵声熵，也称为信道散布度。，也称为信道散布度。 )X/Y(H)Y(H)Y;X( I 离散信道及其信道容量 n 1i n 1j i ji ji n 1i n 1j j ij ji )x(P )y/x(P log)yx(P )y(P )x/y(P log)yx(P)Y;X( I n 1

9、i n 1j jiji n 1i n 1j iji )y/x(Plog)yx(P)x(Plog)yx(P )Y/X(H)X(H 条件熵条件熵H(X/Y)是用反信道矩阵形式表示的信道给是用反信道矩阵形式表示的信道给 出的平均信息量，称为出的平均信息量，称为损失熵损失熵，也称为信道疑义，也称为信道疑义 度。度。 离散信道及其信道容量 H(X/Y) H(X) H(Y/X) H(Y) I(X;Y) 以信源为参考，利用信源的熵和信道的损失熵来度以信源为参考，利用信源的熵和信道的损失熵来度 量信道中流通的平均信息量。量信道中流通的平均信息量。 以信宿为参考，利用信宿的熵和信道的噪声熵来度以信宿为参考，利用

10、信宿的熵和信道的噪声熵来度 量信道中流通的平均信息量。量信道中流通的平均信息量。 离散信道及其信道容量 5、平均互信息量的主要性质、平均互信息量的主要性质 对称性对称性 )X;Y( I)Y;X( I )X;Y( I )x(P )y/x(P log)yx(P )y(P )x/y(P log)yx(P)Y;X( I n 1i n 1j i ji ji n 1i n 1j j ij ji 离散信道及其信道容量 非负性非负性 0)Y;X( I )Y(H)X/Y(H 0)X/Y(H)Y(H)Y;X( I 极值性极值性 )Y(H)Y;X( I )X(H)Y;X( I 0)Y/X(H, 0)X/Y(H 离散

11、信道及其信道容量 )Y(H)X/Y(H)Y(H)Y;X( I )X(H)Y/X(H)X(H)Y;X( I X与与Y相互独立时，相互独立时，0)Y;X( I X与与Y一一对应一一对应关系时，关系时，)X(H)Y(H)Y;X( I 严格凸函数性严格凸函数性 信道固定时，信道固定时，I(X;Y)是信源概率分布是信源概率分布P(X)的的 严格上凸函数严格上凸函数 信源固定时，信源固定时，I(X;Y)是信道转移概率分布是信道转移概率分布 P(Y/X)的严格下凸函数的严格下凸函数 离散信道及其信道容量 例例1 75. 025. 0 01 )X/Y(PZ信道 6 . 04 . 0 10 )X(P X 信源

12、平均互信息量平均互信息量 55. 025. 06 . 014 . 0)0y(P 1 45. 075. 06 . 004 . 0) 1y(P 2 )symbol/bit(992. 0 45. 0log45. 055. 0log55. 0)y(Plog)y(P)Y(H 2 1j jj 离散信道及其信道容量 2 1 2 1 )/(log)/()()/( ij ijiji xyPxyPxPXYH )symbol/bit(487. 0 75. 0log75. 06 . 025. 0log25. 06 . 0 0log04 . 01log14 . 0 )symbol/bit(505. 0 487. 099

13、2. 0)X/Y(H)Y(H)Y;X( I 离散信道及其信道容量 平均互信息量及平均互信息量及p-I(X;Y)和和q-I(X;Y) 曲线曲线 p1p 10 )X(P X 信源 qq1 q1q )X/Y(P信道 qppq)q1)(p1 (pq)0y(P 1 qpqpq)p1 ()q1 (p) 1y(P 2 例例2 )qppq(H )qpqplog()qpqp()qppqlog()qppq()Y(H 离散信道及其信道容量 2 1 2 1 )/(log)/()()/( ij ijiji xyPxyPxPXYH )q(Hqlogqqlogq qlog)qpqp(qlog)qppq( qlogqpqlo

14、gqpqlogqpqlogpq )q(H)qppq(H)X/Y(H)Y(H)Y;X( I 信道固定时信道固定时q为常数，作为常数，作p-I(X;Y)曲线曲线 0)q(H)q(H)Y;X( I0p 时，当 )q(H1)q(H) 5 . 0(H)Y;X( I5 . 0p时， 离散信道及其信道容量 0)q(H)q(H)Y;X( I1p 时， 00.51 I(X;Y) 1-H(q) p 信源固定时信源固定时p为常数，作为常数，作q-I(X;Y)曲线曲线 ) p(H) 0(H)p(H)Y;X( I0q 时，当 离散信道及其信道容量 )p(H) 1 (H)p(H)Y;X( I1q 时， 0) 5 . 0(

15、H) 5 . 0(H)Y;X( I5 . 0q时， 00.51 I(X;Y) H(p) q 离散信道及其信道容量 平均互信息量的链接准则平均互信息量的链接准则 两级级联信道两级级联信道 )Y/Z;X( I)Y;X( I)YZ;X( I )Z/Y;X( I)Z;X( I)YZ;X( I 链接准则可以推广到多级级联信道。链接准则可以推广到多级级联信道。 X P(Y/X) Y P(Z/Y) Z 离散信道及其信道容量 )X/Y(H)X(H)XY(H 利用熵的链接准则证明利用熵的链接准则证明 )XY/Z(H)X/Y(H)X(H)XYZ(H )XY/Z(H)X/Y(H)X(H)Y/Z(H)Y(H)X(H

16、)XYZ(H)YZ(H)X(H)YZ;X( I )Y/Z;X( I)Y;X( I )XY/Z(H)Y/Z(H)X/Y(H)Y(H 离散信道及其信道容量 )XZ/Y(H)X/Z(H)X(H)Z/Y(H)Z(H)X(H )XYZ(H)YZ(H)X(H)YZ;X( I )Z/Y;X( I)Z;X( I )XZ/Y(H)Z/Y(H)X/Z(H)Z(H )Z/Y(H)Z(H)YZ(H )Z/Y(H)Y(H)YZ(H)Z(H)Y(H)Z;Y( I )XZ/Y(H)X/Z(H)X(H)X/YZ(H)X(H)XYZ(H )X/YZ(H)YZ(H)XYZ(H)YZ(H)X(H)YZ;X( I 离散信道及其信道容

17、量 6、数据处理定理、数据处理定理 级联信道中级联信道中X、Y、Z构成一阶马尔科夫链，则构成一阶马尔科夫链，则 )Z;X( I)Z;Y( I )Z;X( I)Y;X( I )Y/Z;X( I)Y;X( I)YZ;X( I )Z/Y;X( I)Z;X( I)YZ;X( I 由于由于X、Y、Z构成一阶马尔科夫链构成一阶马尔科夫链 0)Y/Z(H)Y/Z(H)XY/Z(H)Y/Z(H)Y/Z;X( I 离散信道及其信道容量 )Z;X( I)Z;Y( I同理， 该结论可以推广到多级级联信道。该结论可以推广到多级级联信道。 数据处理不能将信息量增大！数据处理不能将信息量增大！ )Z;X( I)Z/Y;X

18、( I)Z;X( I)Y;X( I 离散信道及其信道容量 7、信道容量、信道容量 信道固定时，平均互信息量是信源概率分布信道固定时，平均互信息量是信源概率分布P(X)的的 严格上凸函数，总能找到一种信源概率分布严格上凸函数，总能找到一种信源概率分布P(X)， 使通过信道的平均互信息量达到最大。使通过信道的平均互信息量达到最大。 定义定义 信道转移概率分布信道转移概率分布P(Y/X)不变时平均互信息量的不变时平均互信息量的 最大值为该信道的信道容量，用最大值为该信道的信道容量，用C表示。表示。 离散信道及其信道容量 表示表示 )Y;X( ImaxC )X(P 离散信道及其信道容量 8、信道容量的

19、计算步骤、信道容量的计算步骤 限制下的条件极值在1)x(P)Y;X( I n 1i i n, 2 , 1k 01)x(P)Y;X( I )x(P n 1i i k 令 离散信道及其信道容量 n, 2 , 1k 01)x(P )x/y(Plog)x/y(P)x(P)y(Plog)y(P )x(P n 1i i n 1i m 1j ijiji m 1j jj k 即 n, 2 , 1k )x/y(P)x/y(P)x(P )x(P)x(P )y(P kj n 1i iji kk j 离散信道及其信道容量 n, 2 , 1k elog)y(Plog)x/y(P )x/y(ePlog)y(Plog)x/

20、y(P )y(Plog)y(P )x(P m 1j jkj m 1j kjjkj m 1j jj k 离散信道及其信道容量 n, 2 , 1k )x/y(Plog)x/y(P 1)x(P)x/y(Plog)x/y(P)x(P )x(P m 1j kjkj n 1i i n 1i m 1j ijiji k n, 2 , 1k 0)x/y(Plog)x/y(Pelog)y(Plog)x/y(P m 1j kjkj m 1j jkj 离散信道及其信道容量 n, 2 , 1k elog )y(P )x/y(P log)x/y(P m 1j j kj kj elogelog)x(P C )y(P )x/

21、y(P log)x/y(P)x(P n 1k k m 1j j kj kj n 1k k n, 2 , 1k C )y(P )x/y(P log)x/y(P m 1j j kj kj 离散信道及其信道容量 n, 2 , 1k )x/y(PC)y(P)logx/y(P C)y(Plog)x/y(P)x/y(Plog)x/y(P m 1j jkj m 1j jkj m 1j jkj m 1j kjkj j nm ，可解出如果 m, 2 , 1jC)y(Plog jj m, 2 , 1j2)y(P C j j 离散信道及其信道容量 1222)y(P m 1j C m 1j C m 1j j jj )

22、2log(C m 1j j 信道容量的计算步骤信道容量的计算步骤 m, 2 , 1j n, 2 , 1k )x/y(Plog)x/y(P)x/y(P) 1 ( j m 1j kjkj m 1j jkj 求出 由 离散信道及其信道容量 )2log(C)2( m 1j j 求出 m, 2 , 1j2)y(P) 3( C j j 求出 n, 2 , 1k)x(P m, 2 , 1j)x/y(P)x(P)y(P) 4( k n 1i ijij 求出 由 离散信道及其信道容量 Z信道信道 的信道容量的信道容量C及达到信道容量及达到信道容量 4 3 4 1 01 )X/Y(P 时的信源概率分布时的信源概率

23、分布P(X)。 例例1 082. 1 0 811. 0 4 3 log 4 3 4 1 log 4 1 4 3 4 1 00log01log101 ) 1 ( 2 1 21 21 求出 由 离散信道及其信道容量 )symbol/bit(558. 0)22log()2log(C)2( 082. 10 m 1j j 求出 321. 0222)y(P 679. 0222)y(P ) 3( 640. 1558. 0082. 1C 2 528. 0558. 00C 1 2 1 求出 428. 0)x(P 572. 0)x(P 321. 0)x(P 4 3 )y(P 679. 0)x(P 4 1 )x(P

24、)y(P )4( 2 1 22 211 求出 由 离散信道及其信道容量 二、对称信道及其信道容量二、对称信道及其信道容量 1、对称信道、对称信道 矩阵中每一行都是集合中各元素矩阵中每一行都是集合中各元素 的不同排列，该矩阵行可排列；每一列都是集合的不同排列，该矩阵行可排列；每一列都是集合 中各元素的不同排列，该矩阵列可排列。中各元素的不同排列，该矩阵列可排列。 q,q,qQ m21 信道矩阵既行可排列，又列可排列，该矩阵所表信道矩阵既行可排列，又列可排列，该矩阵所表 示的单符号离散信道为对称信道。示的单符号离散信道为对称信道。 定义定义 , 21n pppP 离散信道及其信道容量 对称信道中，

25、当对称信道中，当mn时，时，P是是Q的子集；当的子集；当m=n时，时， P =Q。 例例1 判断下列信道矩阵所表示的信道是否为对称信道？判断下列信道矩阵所表示的信道是否为对称信道？ 离散信道及其信道容量 3 1 3 1 6 1 6 1 6 1 6 1 3 1 3 1 )X/Y(P 6 1 6 1 3 1 3 1 Q 6 1 3 1 P 行可排列行可排列 列可排列列可排列 QP, nm 离散信道及其信道容量 6 1 3 1 6 1 3 1 6 1 6 1 3 1 3 1 )X/Y(P 行可排列行可排列 不存在不存在P，列不可排列，列不可排列 6 1 6 1 3 1 3 1 Q 离散信道及其信道容

26、量 2、对称信道的信道容量、对称信道的信道容量 m=n=2时的对称信道称为二进制对称信道时的对称信道称为二进制对称信道BSC， 一般记为一般记为 1 1 )X/Y(P 对称信道行可排列，不失一般性，设对称信道的信对称信道行可排列，不失一般性，设对称信道的信 道矩阵为道矩阵为 1m32 m1m21 qqqq qqqq )X/Y(P 离散信道及其信道容量 根据信道容量的计算步骤根据信道容量的计算步骤 m 1j jjm11mm2312 m 1j jjmm1m1m2211 qlogqqqqq qlogqqqqq m 1j jjm21 qlogq解出 m 1j jjm21 qlogq)q,q,q(H记

27、离散信道及其信道容量 m 1j jjm21 )q ,q ,q(H m 1j qlogqmlog)q,q,q(Hmlog )2mlog()2log(C m21 j n, 2 , 1j m 1 2 22)y(P mlog )q ,q ,q(Hmlog)q ,q ,q(H C j m21m21 j 对称信道列可排列，不失一般性，列出对称信道列可排列，不失一般性，列出 离散信道及其信道容量 m 1 )x(Pp)x(Pp)x(Pp)x(Pp m 1 )x(Pp)x(Pp)x(Pp)x(Pp n1nn2312 nn1n1n2211 n 1i in21 p m 1 )x(P)x(P)x(P解出 n, 2 ,

28、 1i n 1 )x(P 1)x(nP)x(P i i n 1i i 离散信道及其信道容量 时当 n 1 )x(P)x(P)x(P n21 m 1j jjm21 qlogqmlog)q,q,q(HmlogC 对称信道的信道容量对称信道的信道容量 BSC的信道容量的信道容量 )1log()1 (log1)(H1C 离散信道及其信道容量 例例2 信道的信道容量及达到信道信道的信道容量及达到信道 7 . 01 . 02 . 0 2 . 07 . 01 . 0 1 . 02 . 07 . 0 )X/Y(P 容量时的信源概率分布。容量时的信源概率分布。 信道矩阵既行可排列，又列可排列，该矩阵所表示信道矩

29、阵既行可排列，又列可排列，该矩阵所表示 的信道为对称信道。的信道为对称信道。 时达到信道容量 3 1 )x(P)x(P)x(P 321 信源概率分布信源概率分布 离散信道及其信道容量 信道容量为信道容量为 1 . 0log1 . 02 . 0log2 . 07 . 0log7 . 03logqlogq3logC 3 1j jj )symbol/bit(429. 0332. 0464. 0360. 0585. 1 离散信道及其信道容量 三、准对称信道及其信道容量三、准对称信道及其信道容量 信道矩阵行可排列而列不可排列，按列分为若干信道矩阵行可排列而列不可排列，按列分为若干 个不相交的子集，各子集

30、构成的各子信道矩阵都个不相交的子集，各子集构成的各子信道矩阵都 列可排列，该矩阵所表示的单符号离散信道为准列可排列，该矩阵所表示的单符号离散信道为准 对称信道。对称信道。 信道矩阵信道矩阵 7 . 02 . 01 . 0 1 . 02 . 07 . 0 )X/Y(P 定义定义 1、准对称信道、准对称信道 离散信道及其信道容量 7 . 02 . 01 . 0Q行可排列行可排列 不存在不存在P，列不可排列，列不可排列 按列分成两个不相交的子集后，两个子集构成的按列分成两个不相交的子集后，两个子集构成的 子矩阵子矩阵 7 . 01 . 0 1 . 07 . 0 )X/Y(P 1 2 . 0 2 .

31、0 )X/Y(P 2 都列可排列，该信道为准对称信道。都列可排列，该信道为准对称信道。 1 . 07 . 0P 1 2 . 02 . 0P 2 离散信道及其信道容量 二进制删除信道是准对称信道，二进制删除信道一二进制删除信道是准对称信道，二进制删除信道一 般记为般记为 2112 2121 1 1 )X/Y(P 准对称信道行可排列准对称信道行可排列 )q,q,q(H)q,q,q(H)x(P )x/y(Plog)x/y(P)x(P)X/Y(H m21m21 n 1i i n 1i m 1j ijiji 2、准对称信道的信道容量、准对称信道的信道容量 离散信道及其信道容量 )q,q,q(H)Y(Hm

32、ax )X/Y(H)Y(Hmax)Y;X( ImaxC m21 )X(P )X(P)X(P 按列分为按列分为s个不相交的子集，各子集构成的各子信个不相交的子集，各子集构成的各子信 道矩阵都列可排列，各子信道矩阵相当于对称信道道矩阵都列可排列，各子信道矩阵相当于对称信道 s , 2 , 1k n 1 )x(P)x(P)x(P nk2k1k 时达到信道容量当 离散信道及其信道容量 不失一般性，设第一个子矩阵由第一列到第不失一般性，设第一个子矩阵由第一列到第m1列列 构成，子矩阵列可排列构成，子矩阵列可排列 n 1i i n 1i im n 1i imim n 1i i n 1i i1 n 1i i

33、1i1 p n 1 )x/y(P n 1 )x/y(P)x(P)y(P p n 1 )x/y(P n 1 )x/y(P)x(P)y(P 111 )y(P)y(P 1 m1 解出 )y(P)y(P)y(P 1m1 1 记 离散信道及其信道容量 )y(Pm)y(P 11 m 1j j 1 s , 2kM)y(P)y(P)y(P kjkj 同理， 1 m 1j j 1 m )y(P )y(P 1 s , 2k m )y(P )y(P k M)y(P j k kj m 1j jj )y(Plog)y(P)Y(H 离散信道及其信道容量 s 1kM)y(P jj M)y(P jj M)y(P jj kj

34、sj1j )y(Plog)y(P )y(Plog)y(P)y(Plog)y(P s 1k kkk s 1kM)y(P kk )X(P ) y(Plog) y(Pm ) y(Plog) y(P)Y(Hmax kj 离散信道及其信道容量 准对称信道的信道容量 时，当 n 1 )x(P)x(P)x(P n21 )q,q,q(H)y(Plog)y(PmC m21k s 1k kk m 1j jjk s 1k kk qlogq) y(Plog) y(Pm 离散信道及其信道容量 二进制删除信道的信道容量二进制删除信道的信道容量 222121 1 1 log)1log()1 ( 2 1 log)1 (C 离

35、散信道及其信道容量 8 1 8 1 2 1 4 1 8 1 8 1 4 1 2 1 )X/Y(P信道 的信道容量及达到信道容量时的信源概率分布。的信道容量及达到信道容量时的信源概率分布。 例例4 行可排列行可排列 8 1 8 1 4 1 2 1 Q 不存在不存在P，列不可排列。，列不可排列。 离散信道及其信道容量 按列分成两个不相交的子集后，两个子集构成的按列分成两个不相交的子集后，两个子集构成的 子信道矩阵子信道矩阵 2 1 4 1 4 1 2 1 )X/Y(P 1 8 1 8 1 8 1 8 1 )X/Y(P 2 都列可排列，该信道为准对称信道。都列可排列，该信道为准对称信道。 4 1 2

36、 1 P 1 8 1 8 1 P 2 离散信道及其信道容量 当信源概率分布当信源概率分布时达到信道容量 2 1 )x(P)x(P 21 2 )y(P m )y(P )y(P 2 1j j 1 M)y(P j 1 1j 2 )x/y(P)x(P 2 1j 2 1i iji 8 3 2 ) 2 1 4 1 4 1 2 1 ( 2 1 2 )y(P m )y(P ) y(P 4 3j j 2 M)y(P j 2 2j 离散信道及其信道容量 2 )x/y(P)x(P 4 3j 2 1i iji 8 1 2 ) 8 1 8 1 8 1 8 1 ( 2 1 4 1j jjk 2 1k kk lbqq)y(

37、Plog)y(PmC 8 1 log 8 1 2 4 1 log 4 1 2 1 log 2 1 8 1 log 8 1 8 3 log 8 3 2 )symbol/bit(0612. 0 信道容量信道容量 离散信道及其信道容量 四、四、 N维离散无记忆信道及其信道容量维离散无记忆信道及其信道容量 1、多符号离散信道与、多符号离散信道与N维离散无记忆信道维离散无记忆信道 对应于多符号离散信源和多符号离散信宿的信道对应于多符号离散信源和多符号离散信宿的信道 为多符号离散信道，其信道矩阵为多符号离散信道，其信道矩阵 )XXX/YYY(P N21N21 )a/b(P)a/b(P)a/b(P )a/b

38、(P)a/b(P)a/b(P )a/b(P)a/b(P)a/b(P NNNN N N nmn 2 n 1 2 m 2221 1 m 1211 离散信道及其信道容量 N m 1j ij NN ij n, 2 , 1i1)a/b(P m, 2 , 1jn, 2 , 1i1)a/b(P0 N 且 其中， 当信源和信宿均当信源和信宿均N维平稳无记忆时，信道矩阵中的维平稳无记忆时，信道矩阵中的 转移概率转移概率 )x/y(P)x/y(P)x/y(P )xxx/yyy(P)a/b(P NN2211 N21N21 ijijij iiijjjij m, 2 , 1j ,j , jn, 2 , 1i ,i ,i m, 2 , 1jn, 2 , 1i N21N21 NN 离散信道及其信道容量 信道矩阵表示的多符号离散信道为信道矩阵表示的多符号离散信道为N维离散无记忆维离散无记忆 信道信道DMC。 N维离散无记忆信道相当于单符号离散信道扩展维离散无记忆信道相当于单符号离散信道扩展N 次，也称为次，也称为N次扩展信道。次扩展信道。 2、N维