信道及其容量学习教案

1、会计学1信道信道(xn do)及其容量及其容量第一页，共70页。第1页/共69页第二页，共70页。 等效信道 干扰源 物理信道 解调器 编码器 译码器 信宿 信源 调制器 实际信道 编码信道 图3.1.1 数字通信系统(xtng)的一般模型第2页/共69页第三页，共70页。根据信息根据信息(xnx)传输的方式传输的方式第3页/共69页第四页，共70页。第4页/共69页第五页，共70页。第5页/共69页第六页，共70页。第6页/共69页第七页，共70页。)(0)(1)|(xfyxfyxyP第7页/共69页第八页，共70页。(2)有干扰无记忆信道有干扰无记忆信道信道输入和输出信道输入和输出(shc

2、h)之间的条件概率是一般的概率分布。之间的条件概率是一般的概率分布。如果任一时刻输出如果任一时刻输出(shch)符号只统计依赖于对应时刻的输入符号符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。，则这种信道称为无记忆信道。)|().|.()|(iiNiNNxyPxxxyyyPxyP12121第8页/共69页第九页，共70页。第9页/共69页第十页，共70页。第10页/共69页第十一页，共70页。 a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)第11页/共69页第十二页，共70页。pPabPpPabPppPabPppPabP )0|1()|()1|0()|

3、(1)1|1()|(1)0|0()|(12212211 p是单个符号是单个符号(fho)传输发生错误的概率。传输发生错误的概率。（1-p）表示是无错误传输的概率。）表示是无错误传输的概率。 转移矩阵转移矩阵: -1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp第12页/共69页第十三页，共70页。符号符号(fho)“2”表示接收到了表示接收到了“0”、“1”以外的特殊以外的特殊符号符号(fho) qqpp1001 0 2 101p0 01p1 1q1q2第13页/共69页第十四页，共70页。sjijijpp110 矩阵P完全描述了信道的特性，可用它作为离散单符号信

4、道的另一种数学模型的形式(xngsh)。 P中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为信道矩阵（转移矩阵） 。 rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)第14页/共69页第十五页，共70页。第15页/共69页第十六页，共70页。 H(X)是在接收到输出是在接收到输出Y以前，关于输入变量以前，关于输入变量X的先验的先验(xin yn)不确定性，称为

5、先验不确定性，称为先验(xin yn)熵。熵。 )(log)()(1log)()(1xPxPaPaPXHXirii第16页/共69页第十七页，共70页。这是接收这是接收(jishu)到输出符号到输出符号bj后关于后关于X的后验熵。的后验熵。 后验熵是当信道接收后验熵是当信道接收(jishu)端接收端接收(jishu)到输出到输出符号符号bj后，关于输入符号的信息测度。后，关于输入符号的信息测度。)|(1log)|()|(jXjjbxPbxPbXH )/()()/()|(1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPx

6、yPYX第17页/共69页第十八页，共70页。)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI二、平均互信息二、平均互信息第18页/共69页第十九页，共70页。)()|(log)();()();(ijijijijijijixpyxpyxpyxIyxpYXI平均平均(pngjn)互信息互信息I(X; Y)： I(xi ; yj)的统计平的统计平均均(pngjn)。l 它代表接收到符号它代表接收到符号(fho)集集Y后平均每个符号后平均每个符号(fho)获得的关获得的关于于X的信息量，也表示了输入与输出两个随机变量之间的统计约的信息量，

7、也表示了输入与输出两个随机变量之间的统计约束程度。束程度。第19页/共69页第二十页，共70页。YX-全损信道。全损信道。第20页/共69页第二十一页，共70页。平均平均(pngjn)互信息与各类熵的互信息与各类熵的关系关系)(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHYX 第21页/共69页第二十二页，共70页。H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY)第22页/共69页第二十三页，共70页

8、。 两种特殊两种特殊(tsh)信道信道)(0)(1)|(xfyjixfyjixypij)(0)(1)|(xfyjixfyjiyxpji第23页/共69页第二十四页，共70页。YyXxyPxyp)()|(YyXxxPyxp)()|(第24页/共69页第二十五页，共70页。第25页/共69页第二十六页，共70页。第26页/共69页第二十七页，共70页。第27页/共69页第二十八页，共70页。,(| )(| )(;)( ;)()log( ) (| )log( )( )( )( ) (| )X YX YXP y xP y xI X YI Y XP xyP x P y xP yP yP yP x P y

9、 x其中：第28页/共69页第二十九页，共70页。第29页/共69页第三十页，共70页。第30页/共69页第三十一页，共70页。3.3 3.3 离散无记忆信道离散无记忆信道(xn do)(xn do)的扩展信道的扩展信道(xn do)(xn do)sjijijpp110)|().|.()|(12121ijNiNNxyPxxxyyyPxyP rsrrsspppppppppP.:.:.212222111211第31页/共69页第三十二页，共70页。1 11111 111 12221 12(. )(. )(.)(. )(|): (.)(. )NNNNkkrrrsssrsa aabbba aabbbp

10、XYa aab bb NNNNNNsrrrss212222111211(|)khhkp1212(|)hhhNkkkNp b bba aa1(|)1,2,1,2,NNNhikiip bakirhis第32页/共69页第三十三页，共70页。22222222pppppppppppppppppppppppp2112131241(/)(00/00)(0/0) (0/0)(/)(01/00)(0/0) (1/0)(/)(10/00)(1/0) (0/0)(/)(11/00)(1/0) (1/0)PPPPpPPPPppPPPPppPPPPp第33页/共69页第三十四页，共70页。);();(NNYXIYXI

11、)/()(NNNYXHXH)/()(NNNXYHYH第34页/共69页第三十五页，共70页。NiiixyPP1)/()/(xyNiiiYXIYXI1);();(第35页/共69页第三十六页，共70页。),(),(1iiNiYXIIYX),(),(),(1YXNIYXIIiiNiYX第36页/共69页第三十七页，共70页。3.4 3.4 离散离散(lsn)(lsn)信道的信道容量信道的信道容量信道中每秒平均信道中每秒平均(pngjn)传输的信息量传输的信息量-信息传信息传输速率输速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒）第37页/共69

12、页第三十八页，共70页。);(max)(YXICXP tCCt第38页/共69页第三十九页，共70页。例例4 信道容量的计算信道容量的计算(j sun)(1);(maxpHYXImax(; )max()( )1( )CIX YHppH pH p ()( )HppH p当当12第39页/共69页第四十页，共70页。二、简单离散二、简单离散(lsn)信道的信道容量信道的信道容量100010001)3 , 2 , 1,(10)/()/(jijijibaPabPjiij)/(loglog)(max)(max)()(symbolbitsrYHXHCyPxP第40页/共69页第四十一页，共70页。1000

13、000101103530000002121P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各项后验概率为baPbaPbaPbaPbaPbaPsymbolbitrXHCxP/log)(max)(第41页/共69页第四十二页，共70页。无噪有损信道无噪有损信道(xn do)()max( )log(/)P yCH Ysbit symbol第42页/共69页第四十三页，共70页。三、对称三、对称(duchn)离散信道的信道离散信道的信道容量容量2161313121616131213131616161613131PP和第43页/共69页第四十四页，共70页。7 . 0

14、1 . 02 . 01 . 02 . 07 . 03161316161613131PP和第44页/共69页第四十五页，共70页。.11.11:.11ppprrpppPrrppprr1pp第45页/共69页第四十六页，共70页。)/() ,., (log),., ()(max2121)(symbolbitpppHspppHYHCssxP YXxypxypxpXYH)|(1log)|()()|()/()(xXYHxpXYxypxypxXYH)|(1log)|()|(),., ()/(21spppHxXYH第46页/共69页第四十七页，共70页。3131616161613131P第47页/共69页第

15、四十八页，共70页。四、离散无记忆四、离散无记忆N次扩展次扩展(kuzhn)信道的信道信道的信道容量容量),(),(1iiNiYXII YX第48页/共69页第四十九页，共70页。即：即：CN = NC()()1()11max (; ) max(;) max (;) iNP XNiiP XiNiiP XiNiiCI X YI X YI X YC 第49页/共69页第五十页，共70页。35 连续(linx)信道的信道容量第50页/共69页第五十一页，共70页。一、连续一、连续(linx)单符号加性高斯噪声信道的信道单符号加性高斯噪声信道的信道容量容量22log)(enh2020log212log

16、2logPeePC)1log(21)1log(212nssPPP第51页/共69页第五十二页，共70页。二、多维无记忆高斯二、多维无记忆高斯(o s)加性连续加性连续信道信道NiiNiiinpxypxypnp11)()/()/()(NiiiYXIYXI1);();(NinisiPP11log21NinisiPP11log21);(max)(YXICxpX1Y1=X1 +n1n1XNYN=XN +nNnN第52页/共69页第五十三页，共70页。nsPPNC1log2NininiPPC11log210 00 )(xxxxnisiPPPPXENisiNii112nisiPP第53页/共69页第五十四

17、页，共70页。nisiPP第54页/共69页第五十五页，共70页。)( 11WPNisi65. 00 . 1.2 . 01 . 011011011NiniPP第55页/共69页第五十六页，共70页。517. 06 . 0.2 . 01 . 01616161iniPP5 . 05 . 0.2 . 01 . 01515151iniPP5 . 04 . 0.2 . 01 . 01414141iniPP第56页/共69页第五十七页，共70页。35. 24 . 03 . 02 . 01 . 05 . 0log21log21log211log21443214141nnnniniinisiPPPPPPPC第

18、57页/共69页第五十八页，共70页。53. 48 . 0.2 . 01 . 0825. 0log21log21log2188765432181nnnnnnnniniPPPPPPPPPC85. 00 . 1.2 . 01 . 031011011NiniPP)( 31WPNisi825. 08 . 0.2 . 01 . 0381第58页/共69页第五十九页，共70页。三、限频限时限功率的加性高斯白噪声三、限频限时限功率的加性高斯白噪声(zoshng)信道的信道的信道容量信道容量 12(,.,)Lxx xx12(,.,)Lyy yyyxn2LWT和，而在频带内的高斯噪声(zoshng)是彼此独立的

19、，从而有按照采样定理，在0，T范围内要求。这是多维无记忆高斯加性信道，其信道容量为： 211log 12LiiiPC0 =log(1)sPWTN W -这是重要的这是重要的香农公式香农公式。当信道输入信号是平均功率受限的高。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。斯白噪声信号时，信息传输率才达到此信道容量。第59页/共69页第六十页，共70页。第60页/共69页第六十一页，共70页。WNPWTCCsTt01loglim比特秒比特秒第61页/共69页第六十二页，共70页。第62页/共69页第六十三页，共70页。);(YXIC CYXIC);( 第63页/共69页第六十四页，共70页。rXHlog)(1第64页/共69页第六十五页，共70页。例如(lr)，某离散无记忆信源 通过(tnggu)一个无噪无损二元离散信道进行传输。对二元离散信道的信道容量为：C1(比特信道符号)对本信源的信息熵为 H(X)1.937(比特信源符号)要使信源在此二元信道中传输，必须对X进行二元编码：123456()1/21/41/81/161/321/32XxxxxxxP X第65页/共69页第六十六页，共70页。因此，必须通过合适的信源编码(bin m)，使信道的信息传输率接近或等于信道容量。123456120000010100111001