最新-信息论与编码第三章复习-PPT精品课件

1、第三章对称DMC信道无干扰信道单符号加性信道限时限频高斯白噪声信道分类离散单符号信道离散序列信道连续信道多维无记忆加性信道（注水法）7/19/20221Department of Communication China Ji Liang University 7/19/20222Department of Communication China Ji Liang University 3.1 信道的分类和表示参数(1) 一般信道的数学模型(2) 信道的分类(3) 实际的信道(4) 信道的参数7/19/20223Department of Communication China Ji Liang

2、 University (1)一般信道的数学模型信道编码器信道编码器基带调制器信道+噪声调制器信道+噪声解调器写入头存储介质+介质缺陷读出头基带解调器输入输出黑箱7/19/20224Department of Communication China Ji Liang University (1)一般信道的数学模型转移概率矩阵输入输出信道模型Xa1, a2, ai, anYb1,b2,bj,bm7/19/20225Department of Communication China Ji Liang University 7/19/20226Department of Communication

3、China Ji Liang University (2)信道的分类根据输入输出随机信号的特点分类(连续/离散）根据输入输出随机变量个数的多少分类（单符号/多符号）根据输入输出个数分类（单用户/多用户）根据信道上有无干扰分类根据信道有无记忆特性分类根据输入和输出之间有无反馈7/19/20227Department of Communication China Ji Liang University (3) 实际的信道实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。7/19/20228Department o

4、f Communication China Ji Liang University (4) 信道参数二进制离散信道模型离散无记忆信道离散输入、连续输出信道波形信道7/19/20229Department of Communication China Ji Liang University 二进制离散信道模型 a）二进制离散信道模型的组成 二进制离散信道模型由一个允许输入值的集合 X0,1 和可能输出值的集合Y=0,1，以及一组表示输入、输出关系的条件概率（转移概率）组成。 7/19/202210Department of Communication China Ji Liang Univers

5、ity b）二进制对称信道 （简称为 BSC信道 ）0输入10输出11-p1-ppp二进制对称信道7/19/202211Department of Communication China Ji Liang University B离散无记忆信道 （a）离散无记忆信道（DMC信道）x1x2xny1y2ym7/19/202212Department of Communication China Ji Liang University 联合条件概率 7/19/202213Department of Communication China Ji Liang University C离散输入、连续输出信

6、道 离散时间无记忆信道 假设信道输入符号选自一个有限的、离散的输入字符集X=a1，a2， an，而信道输出未经量化（m），这时的译码器输出可以是实轴上的任意值，即y=- ，。这样的信道模型为离散时间无记忆信道。 7/19/202214Department of Communication China Ji Liang University 说明：它的特性由离散输入X、连续输出Y以及一组条件概率密度函数 pY(y/X=ai), i=1,2,n来决定。这类信道中最重要的一种是加性高斯白噪声（AWGN）信道，对它而言 Y=XG , 式中G是一个零均值、方差为 的高斯随机变量，X=ai，i=1，2，n

7、。 7/19/202215Department of Communication China Ji Liang University 当 X给定后，Y是一个均值为ai、方差 为的高斯随机变量 7/19/202216Department of Communication China Ji Liang University D波形信道 波形信道是这样一种信道模型：其输入是模拟波形，其输出也是模拟波形。假设输入该信道的是带限信号x（t），相应的输出是y（t），那么 y（t）=x（t）n（t） 这里n（t）代表加性噪声过程的一个样本函数。 7/19/202217Department of Commun

8、ication China Ji Liang University 3.2离散单个符号信道及其容量引言： 信道容量定义3.2.1 无干扰离散信道3.2.2 对称DMC信道3.2.3 准对称DMC信道3.3.4 一般DMC信道7/19/202218Department of Communication China Ji Liang University 信道的信息传输率信道的信息传输率：就是平均互信息 R=I(X;Y)。I(X;Y)是信源无条件概率p(ai)和信道转移概率p(bj /ai)的二元函数：当信道特性p(bj /ai)固定后，I(X;Y)随信源概率分布p(ai) 的变化而变化。由平均互

9、信息的性质已知，I(X;Y)是p (ai) 的上凸函数，因此总能找到一种概率分布 p (ai) （即某一种信源），使信道所能传送的信息率为最大。7/19/202219Department of Communication China Ji Liang University 信道容量信道容量C：在信道中最大的信息传输率。单位时间的信道容量Ct：若信道平均传输一个符号需要t 秒钟，则单位时间的信道容量为： Ct实际是信道的最大信息传输速率。7/19/202220Department of Communication China Ji Liang University 3.2.1 无干扰离散信道 具

10、有一一对应关系的无噪信道 具有扩展性能的无噪信道 具有归并性能的无噪信道7/19/202221Department of Communication China Ji Liang University 具有一一对应关系的无噪信道这种信道如右图所示7/19/202222Department of Communication China Ji Liang University I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量7/19/202223Department of Communication China Ji Liang Universit

11、y 具有扩展性能的无噪信道此信道的举例如右图所示。nm，输入X的符号集个数大于输出Y的符号集个数。7/19/202226Department of Communication China Ji Liang University 信道噪声熵 H(Y/X)=0。信道容量为：7/19/202227Department of Communication China Ji Liang University 3.2.2 对称DMC信道对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。可当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量：7/19/202228De

12、partment of Communication China Ji Liang University 3.2.3 准对称DMC信道准对称离散信道定义： 一个n行m列单符号离散信道矩阵P的行可排列，列不可排列。但是矩阵中的m列可分成S个不相交的子集，各子集分别有m1,m2,ms个元素(m1+m2+ms=m)，由n行mk(k=1,2,s)列组成的子矩阵Pk具有可排列性。当输入分布达到等概时，达到信道容量：7/19/202229Department of Communication China Ji Liang University 7/19/202230Department of Communi

13、cation China Ji Liang University 为使 I（X;Y）最大化以便求取DMC容量，输入概率 p（xi）必须满足的充分和必要条件是: 3.2.4 一般DMC信道每个概率非零的输入符号对Y提供相同的平均互信息7/19/202231Department of Communication China Ji Liang University 本讲内容3.3 离散序列信道及其容量3.4 连续信道及其容量7/19/202232Department of Communication China Ji Liang University 3.3 离散序列信道及其容量(1) 离散序列信道

14、的定义(2) 离散序列信道的模型(3) 离散序列信道的信道容量7/19/202233Department of Communication China Ji Liang University 3.3 离散序列信道及其容量（1）离散序列信道定义定义：多符号离散信源X =X1X2XL在L个不同时刻分别通过单符号离散信道X P(Y/X) Y，则在输出端出现相应的随机序列Y =Y1Y2YL，这样形成一个新的信道称为离散序列信道。由于新信道相当于单符号离散信道在L个不同时刻连续运用了L次，所以也称为单符号离散信道X P(Y/X) Y的L次扩展。7/19/202234Department of Commu

15、nication China Ji Liang University 3.3 离散序列信道及其容量（2）离散序列信道模型设信源矢量X的每一个随机变量Xl ( l=1,2,L)均取自并取遍于信道的输入符号集a1,a2,an ，则信源共有nL个不同的元素ai(i=1,2,nL)。则输出矢量Y由L个符号组成的输出序列Y =Y1Y2 YL ，它的每一个随机变量Yl均取自并取遍于信道的输出符号集b1,b2,bm 7/19/202235Department of Communication China Ji Liang University 3.3 离散序列信道及其容量离散序列信道模型7/19/20223

16、6Department of Communication China Ji Liang University 3.3 离散序列信道及其容量对于无记忆离散序列信道，其信道转移概率为：若是平稳的，又有：7/19/202237Department of Communication China Ji Liang University 3.3 离散序列信道及其容量根据平均互信息的定义I(X;Y)=H(Y)H(Y /X)如果信道是无记忆的，有：如果X中各个分量相互独立，有：7/19/202238Department of Communication China Ji Liang University 3.3 离散序列信道及其容量（3）离散序列信道容量当X中各个分量相互独立且信道无记忆时，有当X达到最佳分布时，有信道容量：当信道平稳时，有7/19/202239Department of Communication China Ji Liang University 3.3 离散序列信道及其容量举例p55：BSC的二