信息论复习3-4.ppt

1、2020/8/21,1,第3章信道与信道容量,重点掌握 有干扰无记忆信道的数学描述 信道容量的定义 对称和准对称DMC信道的信道容量计算 香农公式 一般了解 信道的各种分类 无干扰离散信道的信道容量 信源和信道的匹配,2020/8/21,2,信道的分类,按信道的用户数量来划分 单用户信道、多用户信道 按输入/输出之间的关系来划分 无反馈信道、反馈信道 按信道参数与时间的关系来划分 固定参数信道、时变参数信道 按信道中的噪声种类来划分 随机差错信道、突发差错信道 按输入/输出信号在幅度和时间上的取值划分 离散信道、连续信道、半离散半连续信道、波形信道,2020/8/21,3,信道模型,根据干扰和

2、记忆性分类 无干扰（无噪声）信道 有干扰无记忆信道 有干扰有记忆信道 信道模型 信道的输入Xi=a1, a2, an 信道的输出Yj=b1, b2, bm 信道转移概率矩阵p(Y/X),2020/8/21,4,信道模型,二进制离散信道：BSC信道 输入符号X取值0,1 输出符号Y取值0,1 离散无记忆信道：DMC信道 输入符号集 X=a1, a2, an 输出符号集 Y=b1, b2, bm,2020/8/21,5,信道模型,离散输入、连续输出信道 输入符号集：X=a1, a2, an 输出未经量化，即Y=-, 输出特性由离散输入X、连续输出Y以及一组条件概率密度函数 p( y /X=ai)

3、来决定。 波形信道 输入是模拟波形，输出也是模拟波形 连续无记忆信道和连续有记忆信道 y(t) x(t) n(t)n(t)代表加性噪声,2020/8/21,6,信道容量的定义,信道传输率R I (X;Y) bit/符号 信道中平均每个符号能传送的信息量 信息传输速率Rt I (X;Y) / t bit /s 信道中单位时间传送的信息量 信道容量 给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。 I(Px)的极大值就是信道容量。,2020/8/21,7,离散单符号信道,离散单个符号信道,无干扰离散信道,有扰离散信道,对称DMC信道,准对称DMC信道,一般DMC信道,无噪无损

4、信道,无噪有损信道,有噪无损信道,2020/8/21,8,无干扰离散信道,无噪无损信道 C=max I(X;Y)=log n 无噪有损信道 C=max I(X;Y)=max H(Y) 有噪无损信道 C=max I(X;Y)=max H(X),2020/8/21,9,DMC信道的容量,对称DMC信道的性质 对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关。 如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。 当信道输入符号等概率分布时，对称DMC信道达到其信道容量。,2020/8/21,10,DMC信道的容量,准对称DM

5、C信道的容量 如果转移概率矩阵P的输入对称而输出不对称，则称该信道是准对称DMC信道。 当信道输入符号等概率分布时，准对称DMC信道达到其信道容量C。 矩阵分解法：将转移概率矩阵划分成若干个互不相交的对称子矩阵。,2020/8/21,11,DMC信道的容量,一般DMC信道的容量 以输入符号概率矢量Px为自变量的函数I(Px)的极大值，即信道容量。 为了使I(X;Y)最大化，即求取信道容量的值，输入概率集p(xi)必须满足的充分必要条件是： I(xi;Y)C，对于所有满足p(xi)0条件的i I(xi;Y)C，对于所有满足p(xi)0条件的i,每一个概率不为0的输入符号对输出提供相同的互信息,2

6、020/8/21,12,离散序列信道及其容量,X=(X1, X2, XL),Xl=a1, a2, an,Y=(Y1,Y2,YL),Yl=b1, b2, bm,独立、无记忆、平稳离散序列信道的信道容量为：,无记忆离散序列信道的转移概率为：,2020/8/21,13,连续信道,连续单符号加性信道 信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为2的加性高斯噪声。 多维无记忆加性连续信道 可等价成L个独立的并联高斯加性信道 注水法：噪声小的子信道分配到的输入功率大，传输的比特数多。 受加性高斯白噪声干扰的带限波形信道 输入x(t)、输出y(t)和噪声n(t)：模拟波形,2

7、020/8/21,14,香农公式,香农公式 W：频带宽度，简称带宽 SNR (信噪比)：表示信号功率与噪声功率的比值 加性白噪声的功率谱密度为N0 /2 Pav：信号的平均功率 香农限 每传输1比特信息所需的能量。 当归一化的信噪比小于香农限（-1.6dB）时，归一化信道容量为零，即信道完全丧失通信能力。,2020/8/21,15,香农公式的讨论,带宽W一定时，信道容量C 随信噪比SNR的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。 信道容量C一定时，带宽W增大，信噪比SNR可降低，即二者可以互换。 如果输入信号功率PS固定，信道容量C 随带宽W的增加而增加。但到一定阶段后

8、，增加变得缓慢。,2020/8/21,16,信源与信道的匹配,符号匹配 信源输出的符号必须是信道能够传送的符号，这是实现信息传输的必要条件。 信息匹配 对于某一信道，只有当输入符号的概率分布满足一定条件时，才能达到其信道容量。 信道冗余度 信道绝对冗余度CI(X;Y) 信道相对冗余度,2020/8/21,17,思维导图,2020/8/21,18,第4章信息率失真函数,重点掌握 失真函数、平均失真 保真度准则 信息率失真函数的定义域 信息率失真函数与信道容量的比较 一般了解 信息率失真函数的性质 连续信源的平均失真,2020/8/21,19,失真函数,单符号失真函数定义为： 将所有的d(xi,y

9、j)排列起来，用矩阵表示为,d 称为失真矩阵,2020/8/21,20,失真函数,如果假定离散信源输出符号序列X=(X1X2Xl XL), XlA=a1,an，其中L长符号序列xi=(xi1xi2xiL)，经信源编码后输出符号序列Y=(Y1Y2YlYL) ，YlB=b1,bm，其中L长符号序列yj = (yj1yj2yjL)， 序列失真函数定义为,式中，d(xil , yjl)表示信源输出符号序列xi的第l个符号和编码输出符号序列yj的第l个符号之间的失真函数,信源序列的失真度等于序列中对应单个符号的失真度之和,2020/8/21,21,平均失真,将失真函数的数学期望或统计平均值称为平均失真。

10、 失真函数d(xi,yj) 描述某个信源符号通过传输后失真的大小。对于不同的信源符号和不同的接收符号，其值是不同的。 平均失真 ： 平均失真对信源和信道进行的统计平均。 描述某一信源在某一试验信道传输下的失真大小，是从总体上描述整个系统的失真情况。,2020/8/21,22,平均失真,L维信源符号序列的平均失真度 当信源与信道无记忆时， 信源符号平均失真度（平均每个符号的平均失真度）,表示信源符号序列的第l 个符号的平均失真,2020/8/21,23,保真度准则,保真度准则 平均失真度不大于允许的失真 D允许信道 D允许的试验信道，即满足保真度准则的试验信道。 满足保真度准则的所有试验信道，即

11、转移概率分布p(yj /xi)，构成了一个信道集合,2020/8/21,24,信息率失真函数,信息率失真函数R(D) 限定失真为D的条件下，信源输出的最小信息率。 R(D)的定义域 率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题，即Dmin,Dmax Dmin的计算 Dmax的计算,2020/8/21,25,信息率失真函数的性质,R(D)是非负的实数， 0R(D)H(X) 定义域为0DminDDmax 当DDmax时，R(D)0 R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数。 R(D)在定义域内是关于D的连续函数。 R(D)的单调递减性 容