离散信道及其信道容量

1、信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息 二、信道容量三、有噪信道编码定理一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道根据输入、输出信号的时间特性和取值特性离散信道连续信道半离散或半连续信道波形信道信道的分类数字信道根据信道的用户多少单用户信道多用户信道一对多、多对一多对多

2、信息论与编码基础信息论与编码基础离散信道离散信道根据信道转移概率的性质无扰信道有扰信道实际的通信信道几乎都是有扰信道无记忆信道有记忆信道实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。按信道统计特性恒参信道变参信道卫星信道短波信道根据信道噪声的性质高斯噪声信道非高斯噪声信道信道的分类信息论与编码基础信息论与编码基础离散信道离散信道离散信道的数学模型信道信道X1212(,.,): ( , ,., )NirXX XXXa aaY1212( ,.,): ( ,.,)NisYY YYYb bb( | )P y x , ( |

3、), X P y x Y 无扰（无噪）信道有扰信道1,( )( | )0,( )yf xP y xyf x 无记忆信道有记忆信道111( | )(.|.)(|)NNNiiiP y xP yyxxP yx 信息论与编码基础信息论与编码基础离散信道离散信道信道信道X12: ( , ,., )rXa aaY12: ( ,.,)sYb bb( | )P y x单符号离散信道例例1 BSC信道信道BSC(p)信道信道是实际中几乎所有重要的二进制脉冲传输系统的模型p为交叉为交叉(crossover)概率概率等于解调器/检测器出现硬判决译码错误的概率信息论与编码基础信息论与编码基础离散信道离散信道条件转移概

4、率ijijijPabPaxbyPxyP)|()|()|(),.,2 , 1;,.,2 , 1(sjri转移矩阵rsrrssPPPPPPPPPP.212222111211转移概率图),.2 , 1( 10riPsjijXY0101pp1-p1-pXYa0arb0bsP(bj|ai)信息论与编码基础信息论与编码基础离散信道离散信道单符号离散信道一定比例的bit被删除，并且接收者知道是那些bit已经被删除。例2 二进制删除信道1001ppPqq信息论与编码基础信息论与编码基础离散信道离散信道单符号离散信道一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道

5、疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道XriiiaPaPxPxPXH1)(1log)()(log)()(先验熵先验熵rijijijbaPbaPbXH1)|(log)|()|(后验熵后验熵若信道中存在干扰时sjjjjbXHbPbXHEYXH1)|()()|()|(rijijisjjbaPbaPbP11)|(1log)|()(risjjijibaPbaP11)|(1log)(信道疑义度0H(X|Y)H(X)损失熵信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均

6、互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理一、信道疑义度与平均互信息一、信道疑义度与平均互信息二、信道容量三、有噪信道编码定理信道模型信道疑义度平均互信息及其性质信息论与编码基础信息论与编码基础离散信道离散信道平均互信息平均互信息定义 令)|()();(YXHXHYXI为信道输入X与输出Y之间的平均互信息平均互信息接收到每个输出符号后获得的关于X的平均信息量bit/sig11(; )( )log()log( )( | )XXYI X YP xP xyP xP x y11

7、()log()log( )( | )XYXYP xyP xyP xP x y( | )()log( )XYP x yP xyP x互信息互信息信息论与编码基础信息论与编码基础离散信道离散信道信息传输率不确定性消除的多少获得信息量的大小互信息互信息(|)11logloglog( )(|)( )ijiijiP a bP aP a bP a( ;)ijI a b由于条件引入获得的信息量1）对称性I(ai;bj) = I(bj;ai)2）事件统计独立时I(ai;bj) = 03）可正、可负4）I(ai;bj) I(ai)信息论与编码基础信息论与编码基础离散信道离散信道平均互信息平均互信息( |)(;

8、)()log( )XYP x yI X YP xyP x互信息互信息( | )( ; )log( )P x yI x yP x关系：关系：( ; ) ( ; )XYI X YEI x y含义：含义：I(x;y)表示由随机事件表示由随机事件y中获得关于事件中获得关于事件x的信息的信息(1) I(X;Y)与与I(x;y)(2)I(X;Y)与熵与熵共同点：统计平均共同点：统计平均不同点：提供与获得不同点：提供与获得信息论与编码基础信息论与编码基础离散信道离散信道)|()();(YXHXHYXI平均互信息是互信息的统计平均值。XYxPyxPxyP)()|(log)()()log( ) ( )XYP x

9、yP xyP x P y( | )()log( )XYP y xP xyP y信息论与编码基础信息论与编码基础离散信道离散信道平均互信息平均互信息( | )()log( )XYP y xP xyP y信息论与编码基础信息论与编码基础离散信道离散信道平均互信息常用计算公式平均互信息常用计算公式)|()();(XYHYHYXI);(YXI信息论与编码基础信息论与编码基础离散信道离散信道条件互信息与平均条件互信息条件互信息与平均条件互信息给定给定X、Y、Z三个离散概率空间，其连接关系为三个离散概率空间，其连接关系为系统系统1系统系统2XYZ系统系统1YZX信息论与编码基础信息论与编码基础离散信道离散

10、信道小结小结信道信道XY( | )P y x基本信道基本信道信源信源发送发送的信息量的信息量信道信道损失损失的信息量的信息量输出端输出端获得获得的信息量的信息量H(X)信源熵信源熵H(X|Y)信道疑义度信道疑义度损失熵损失熵I(X;Y)平均互信息平均互信息信息传输率信息传输率信息论与编码基础信息论与编码基础离散信道离散信道例：例：两枚硬币，一枚是正常币（一面是面值，两枚硬币，一枚是正常币（一面是面值，一面是国徽）。一枚不正常币（两面都是面值一面是国徽）。一枚不正常币（两面都是面值）。随机取一枚，抛掷）。随机取一枚，抛掷2次。问：出现面值的次。问：出现面值的次数对于硬币识别提供多少信息量？次数对

11、于硬币识别提供多少信息量？1、非负性)|()();(YXHXHYXIXYyPxPxyPxyP)()()(log)(利用詹森不等式XYxyPyPxPxyPYXI)()()(log)();( ) ( )log()log10()XYP x P yP xyP xy信源信源加密加密信道信道解密解密信宿信宿密钥源密钥源全损信道全损信道信息论与编码基础信息论与编码基础离散信道离散信道2、极值性)();(XHYXI接收者通过信道获得的信息量不可能超过信源本身固有的信息量。0I(X;Y)H(X)信息论与编码基础信息论与编码基础离散信道离散信道3、对称性);();(XYIYXI( | )(; )()log( )X

12、YP x yI X YP xyP x()()log( ) ( )XYP xyP xyP x P y发出X后获得的关于Y的平均信息量信息论与编码基础信息论与编码基础离散信道离散信道( | )()log( ;)( )XYP y xP xyI Y XP y4、与各类熵的关系( | )(; )()log( )XYP x yI X YP xyP x()()log( ) ( )XYP xyP xyP x P y( | )()log( )XYP y xP xyP y()(|)H XH X Y损失熵损失熵()( )()H XH YH XY( )(|)H YH Y X噪声熵噪声熵0);(YXI)()();(YH

13、XHYXIH(X|Y)H(Y|X)I(X;Y)H(XY)H(X)H(Y)信息论与编码基础信息论与编码基础离散信道离散信道5、);(YXI的凸函数性XYyPxyPxyPYXI)()|(log)();(xxyPxPyP)|()()(XYxxyPxPxyPxyPxPYXI)|()()|(log)|()();()|(),(xyPxPf信息论与编码基础信息论与编码基础离散信道离散信道例1 设二元对称信道的输入概率空间为110)(xPX其信道特性如图，求平均互信息。定理定理在信道转移概率)|(xyP给定的条件下，平均互信息);(YXI是输入信源概率分布)(xP的型凸函数。XY0101pp1-p1-p00.

14、51I(X;Y)1-H(p)00.51H()1信源熵信源熵信息论与编码基础信息论与编码基础离散信道离散信道定理定理在输入信源概率分布)|(xyP给定的条件下，平均互信息);(YXI是信道转移概率分布的型凸函数。)(xP例例1（续）（续）(; )()( )I X YHppH p当p = 0时(; )( )(0)( )I X YHHH当p = 1时(; )( )(1)( )I X YHHH当p = 1/2时(; )(1/2)(1/2)0I X YHH00.51pI(X;Y)H()信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基础信息论与

15、编码基础离散信道离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式二、信道容量二、信道容量信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式二、信道容量二、信道容量信息论与编码基础信息论与编码基础离散信道离散信道平均互信息I(X;Y)代表了接收到每个输出符号后获得的关于X的平均信息量，又叫做信道的信息传输率。( | )(; )( ) ( | )log( ) ( | )XYXP y xI X YP x

16、P y xP x P y x)|(),(xyPxPf定理定理在信道转移概率)|(xyP给定的条件下，平均互信息);(YXI是输入信源概率分布)(xP的型凸函数。信息论与编码基础信息论与编码基础离散信道离散信道定义定义一个平稳离散无记忆信道的容量C为输入与输出平均互信息);(YXI的最大值。);(max)(YXICxP说明：说明：bit/sig1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关2）Ct是信道最大传输速率。Ct = C/t bit/s信息论与编码基础信息论与编码基础离散信道离散信道思考思考离散信道的信息传输率达到信道容量时，输入或输出分布必须达到最佳分布，

17、那么：（1）最佳的输入分布是唯一的吗？（2）最佳的输出分布是唯一的吗？信息论与编码基础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息二、信道容量二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式信息论与编码基础信息论与编码基础离散信道离散信道信道信道X12: ( , ,., )rXa aaY12: ( ,.,)sYb bb( | )P y x1、无噪无损信道无噪无损信道100010001P1a1b2a2b3a3b)3 , 2 , 1,(, 1, 0)|(jijijiabPij)/(log)(max);(max)()(signb

18、itrXHYXICxPxPI(X;Y)=H(X)-H(X|Y)信息论与编码基础信息论与编码基础离散信道离散信道2、有噪无损信道有噪无损信道1000000101103530000002121P1a1b2b2a3b4b5b3a6b)/(log)(max);(max)()(signbitrXHYXICxPxPI(X;Y)=H(X)-H(X|Y)信息论与编码基础信息论与编码基础离散信道离散信道3、有损无噪信道有损无噪信道100100010010010001P1a1b2b2a3b3a4a5a6a)/(log)(max);(max)()(signbitsYHYXICxPxPI(X;Y)=H(Y)-H(Y|

19、X)信息论与编码基础信息论与编码基础离散信道离散信道总结：总结：1 1）若严格区分，凡）若严格区分，凡损失熵损失熵等于等于0 0的信道称为无损信道；的信道称为无损信道；凡凡噪声熵噪声熵等于等于0 0的信道称为无噪信道。的信道称为无噪信道。2 2）无损信道）无损信道( )max (; )log (/)P xCI X Yr bit sign3 3）无噪信道）无噪信道( )max (; )log (/)P xCI X Ys bit sign信息论与编码基础信息论与编码基础离散信道离散信道例例求BEC的信道容量板书0101e1-p1-ppp信息论与编码基础信息论与编码基础离散信道离散信道信息论与编码基

20、础信息论与编码基础离散信道离散信道一、信道疑义度与平均互信息二、信道容量二、信道容量三、有噪信道编码定理定义简单离散信道的信道容量对称离散信道的信道容量3131616161613131P1111336611116363P ？12,.,sp pp12 ,.,rq qq信息论与编码基础信息论与编码基础离散信道离散信道二、对称离散信道的信道容量二、对称离散信道的信道容量1、对称信道的定义、对称信道的定义(|)( )( | )log( | )XYH Y XP xP y xP y x ),.,(log21spppHsC12(,.,)sH p pp(; )( )(|)I X YH YH Y X12( )(,.,)sH YH p pp？3131616161613131P12,.,sp pp12 ,.,rq qq信息论与编码基础信息论与编码基础离散信道离散信道3131616161613131P12,.,sp pp12 ,.,rq qqprprprpprprprpp1.11.1.111.11强对称信道信息论与编码基础信息论与编码基础离散信道离散信道二、对称离散信道的信道容量二、对称离散信道的信道容量信息论与编码基础信息论与编码基础离散信道离散信