信道容量及其计算PPT课件

1、二元删除信道二元删除信道 （BEC）：输入符号）：输入符号X取值于取值于 0, 1， 输出符号取值于输出符号取值于 0, 2, 1，传递概率为，传递概率为01q1-p1-qp120qqpp100110120第1页/共26页010？21删除信道的必要性删除信道的必要性第2页/共26页 2 2、 信道容量定义信道容量定义信息传输率信息传输率：信道中平均每个符号所能传送的信息量。：信道中平均每个符号所能传送的信息量。 R = I(X;Y) = H(X)-H(X|Y) （bit/符号）符号） 有时我们需要关心单位时间内（一般为秒为单位）有时我们需要关心单位时间内（一般为秒为单位）平均传输的信息量，若平

2、均传输一个符号需要平均传输的信息量，若平均传输一个符号需要 t 秒，则秒，则信道每秒平均传输的信息量信道每秒平均传输的信息量为（速率）为（速率）sec)/()|(1)(1);(1bitYXHtXHtYXItRt第3页/共26页 I（X；Y）是）是输入随机变量输入随机变量的概率分布的上凸函数，的概率分布的上凸函数，所以对于所以对于固定的固定的信道，总存在一种信源分布，使传输信道，总存在一种信源分布，使传输每个符号平均获得的信息量最大，也就是说，每一个每个符号平均获得的信息量最大，也就是说，每一个固定信道都有一个最大的信息传输率。固定信道都有一个最大的信息传输率。 信道容量信道容量定义为信道中每个

3、符号所能传递的最大定义为信道中每个符号所能传递的最大信息量，也就是最大信息量，也就是最大 I (X；Y)值。值。 );(max)(YXICxP此时输入的概率分布称为此时输入的概率分布称为最佳输入分布最佳输入分布。 第4页/共26页 信道容量信道容量C与输入信源的概率无关（与输入信源的概率无关（C只对应着一种只对应着一种信源概率分布，即最佳概率分布信源概率分布，即最佳概率分布），它只是信道传输概），它只是信道传输概率的函数（不同的转移概率对应不同的信道），只与信率的函数（不同的转移概率对应不同的信道），只与信道的统计特性有关，所以信道容量是完全描述信道特性道的统计特性有关，所以信道容量是完全描述

4、信道特性的参量。的参量。 信道容量表示了信道传送信息的最大能力，这个量信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义在信息论研究中有重要意义。编码定理将证明：传送的。编码定理将证明：传送的信息量信息量R必须小于信道容量必须小于信道容量C，否则传送过程中将会造，否则传送过程中将会造成信息损失；若成信息损失；若RC，就可以通过编码方法保证将全部，就可以通过编码方法保证将全部信息几乎无误地传送倒收端。信息几乎无误地传送倒收端。第5页/共26页4 42 2 信道容量的计算信道容量的计算（1）、对称信道的容量）、对称信道的容量对称信道对称信道：信道矩阵的每一行都是由同一概率分布的：

5、信道矩阵的每一行都是由同一概率分布的 不同排列组成，并且每一列也是同一元素不同排列组成，并且每一列也是同一元素 集的不同的排列组成。集的不同的排列组成。 216131312161613121,3131616161613131PP第6页/共26页1/31/31/61/61/31/31/61/6行列1/21/31/61/61/31/21/31/61/2行列第7页/共26页而以下两个矩阵不是对称的，而是而以下两个矩阵不是对称的，而是准对称准对称的的。（行对称而不是列对称）（行对称而不是列对称）,3161316161613131P1/31/31/61/61/31/31/61/6第8页/共26页二元对称

6、信道的容量：二元对称信道的容量： )()(1log1log)()|(1log)|()()()|()();(pHYHppppYHxyPxyPxPYHXYHYHYXIYX例：7 . 01 . 02 . 02 . 01 . 07 . 0P0. 70. 10. 20. 20. 10. 7第9页/共26页对于对称信道对于对称信道XYXxXYHxpxypxypxpXYHXYHYHYXI)|()()|(1log)|()()|()|()();(由于信道是对称的，上边的条件熵与由于信道是对称的，上边的条件熵与x无关，所以无关，所以 ), , ()(max) , , ()();() , , ()|(1log)|(

7、)|()|(21)(2121JxpJJypppHYHCpppHYHYXIpppHxypxypxXYHXYH对于对称信道，输入符号的概率分布为等概时，输出对于对称信道，输入符号的概率分布为等概时，输出符号也一定是等概的。符号也一定是等概的。 第10页/共26页) , , (log21JpppHJC例：例：3131616161613131P)/(0817, 0)61log6161log6131log3131log31(2)61,61,31,31(4logsymbolbitHC( P 95例3. 5 )输出符号集个数输出符号集个数第11页/共26页（2 2）、准对称信道的容量）、准对称信道的容量 准

8、对称信道：准对称信道：信道矩阵（列）的子阵是对称矩阵信道矩阵（列）的子阵是对称矩阵。7 . 01 . 02 . 02 . 01 . 07 . 0,3161316161613131PP定理：达到准对称离散信道信道容量的输入分布为定理：达到准对称离散信道信道容量的输入分布为 等概分布。等概分布。nkkksMNpppHrC121log) , , (logr是输入个数，n是不相交子集数，Nk是行之和，Mk是列之和第12页/共26页解：达到信道容量的输入分布为等概分布。解：达到信道容量的输入分布为等概分布。2/1) 1 ()0( PP此时输出分布为：此时输出分布为：例：求例：求二元对称删除信道的二元对称

9、删除信道的C C。（例。（例3.83.8中特例中特例 ）qqqq1001101201-qqq1-qqPPPPPqPPPPPqPPPPPxxyxxyxxy) 1 |2() 1 ()0|2()0()2(; 2/ )1 () 1 | 1 () 1 ()0| 1 ()0() 1 (2/ )1 () 1 |0() 1 ()0|0()0()0(012第13页/共26页qqqqqPPPPPPPPPPPPPPPPPPyPxyPxyPyPxyPxyPyxIpyxIpYXIyyyyyyyyx1 1log2log)1 (021 1log02log)1(21)2() 1 |2(log) 1 |2() 1 () 1 |

10、 1 (log) 1 | 1 ()0() 1 |0(log) 1 |0(21)2()0|2(log)0|2() 1 ()0| 1 (log)0| 1 ()0()0|0(log)0|0(21)() 1|(log) 1|(21)()0|(log)0|(21); 1() 1 (); 0()0();(1（与公式计算的结果相同）第14页/共26页)1 (2log)1 (log)1log()1 (qqppqpqpC此时平均互信息就是信道容量此时平均互信息就是信道容量此例题可作为后面：一般信道容量充分必要条件定理此例题可作为后面：一般信道容量充分必要条件定理的例子。该定理说明：只要信源每个符号对于输出端的例

11、子。该定理说明：只要信源每个符号对于输出端Y提供相同的互信息（概率为零的除外），则此时提供相同的互信息（概率为零的除外），则此时平均互信息就是信道容量。平均互信息就是信道容量。第15页/共26页定理定理：一般离散信道的平均互信息一般离散信道的平均互信息 I(X;Y) 达到极大达到极大 值的值的充要条件充要条件是：输入概率矢量是：输入概率矢量 满足满足 其中其中 是信道输入是信道输入x=k时，关于信道输时，关于信道输 出一个字母的平均互信息，即出一个字母的平均互信息，即,110KQQQQ0,);(0,);(kkQkallforCYkxIQkallforCYkxI);(YkxIijijPiPkjP

12、kjPYkxI)|()()|(log)|();(（3）、）、一般一般DMC容量的计算容量的计算 第16页/共26页一般信道容量的计算方法一般信道容量的计算方法 （拉格朗日乘子法）（拉格朗日乘子法）第17页/共26页定理定理1：如果信道的输入随机序列为：如果信道的输入随机序列为 通过信道传输，接收到的随机序列为通过信道传输，接收到的随机序列为 若信道是无记忆的，即满足若信道是无记忆的，即满足 则则),(21NXXXX),(21NYYYY, )|()|(1NiiixyPxyPNiiiYXII1);()(YX;（4）、扩展信道的信道容量）、扩展信道的信道容量第18页/共26页证明：设信道输入输出序列

13、设信道输入输出序列X和和Y的一个取值为的一个取值为NibbbbbbbNiaaaaaaaJhhhhhKkkkkkiNiN, 2 , 1,),(, 2 , 1,),(21212121)()|(log)()|(log)();(,hkhhkhYXhkppEpppYXI因为信道是无记忆的：因为信道是无记忆的： )()|()|()|(log);(21211hkhkhkhpabpabpabpEYXINN另一方面另一方面 第19页/共26页)()()()|()|()|(log)()()()|()|()|(log)()()|(log)()()|(log)()()|(log)()()|(log)();(21122

14、112112211211122222221111111,1,1NNNNNNNNNNNNNNNNNiiiiiiihhhkhkhkhhhhkhkhkhYXYXhhkkYXhkhhkYXhkhhkYXhkhhkNiYXhkhhkNiiibpbpbpabpabpabpEbpbpbpabpabpabpbbaapbpabpbapbpabpbapbpabpbapbpabpbapYXI这里用到（全概率公式）这里用到（全概率公式） 211)()()()(211211XXXXNxxpxpxxxpxpN第20页/共26页01log)()()(log)()()()|(log)()()()()(log)()()()(l

15、og)()()()(log)()()()|()|()|(log)()|()|()|(log);();(2121212121211221121211,1NNNNNNNNNNhhhYhhhYXhkhhhhYXhkhhhhhhhhhhhkhkhkhhkhkhkhNibpbpbpbpbpbpppbpbpbpppbpbpbpEpbpbpbpEbpbpbpabpabpabppabpabpabpEYXIYXI第21页/共26页定理定理2：如果信道的输入随机序列为：如果信道的输入随机序列为 通过信道传输，接收到的随机序列为通过信道传输，接收到的随机序列为 若信源是无记忆的，即满足若信源是无记忆的，即满足 则则),(21NXXXX),(21NYYYY, )()(1NiiXPP XNiiiYXII1);()(YX;所以，如果信道和信源都是无记忆的，则所以，如果信道和信源都是无记忆的，则NiiiYXII1);()(YX;第22页/共26页（5）、信道的组合）、信道的组合并联信道：两个或更多个信道并行，同时分别传送；并联信道：两个或更多个信道并行，同时分别传送；信道信道1 p(j|k)1kaX 1jbY 信道信道2 p(j|k) 2kaX 2jbY 定理定理：独立并行信道的容量