信息论08课件

信道、信道容量与信道的有效利用,1. 连续信道的信道容量 2. 模拟信道的信道容量 3. 限带加性高斯白噪声信道的极限性能及其传输要求的匹配 4. 限带模拟信道的数字化 5. 蜂窝移动通信条件下信道的利用,模拟信道,数字信道,信道,连续信道的信道容量,（1） 费用问题 设连续无记忆信道: 对每一个输入信号 作为 的价值，则定义 的费用为 （限定的信号功率）,平均费用,随机矢量 ，联合分布：,（2） 连续信道容量费用函数,对于连续无记忆信道 信道容量费用函数：,输入无记忆连续无记忆稳恒信道,存在性： 为连续函数， ：在闭子集上 在其定义域上是连续单调增的上凸函数。 对于无记忆信道,费用函数,无记忆加性噪声信道,（1）设连续无记忆信道 独立无记忆加性噪声,则 而,设输入信号的均值为零，平均功率为 。 则费用函数 （2）无记忆加性高斯噪声信道 对于连续型随机变量，若给定均值和方差，则取 高斯分布时其微分熵最大： 微分熵：,功率受限,H(Z)与P(x)无关，最大值对h(Y),加性高斯噪声,均值、方差：,费用函数,Y为高斯分布时，微分熵最大,无记忆加性高斯噪声信道 说明： 对于无记忆加性高斯噪声信道，利用高斯信号作为 输入时，信道总可以得到充分利用。即在无记忆加性 高斯噪声信道中高斯信号是最有效的，在同样的信号 功率下可以传输最多的信息。,输入为高斯，输出为高斯时，在同样的信号功率下最大,加性高斯噪声的破坏力,对高斯输入信号加性高斯噪声具有最大破坏力,一般无记忆加性噪声信道的容量界,（1）下界,（2）上界,一般无记忆加性噪声信道的容量界,容量界,熵功率 微分熵值为 h (Z) 的随机变量 Z 的熵功率。 物理意义： 具有熵值为 h (Z) 的高斯随机变量的功率。,多元无记忆加性高斯噪声信道,信道：,等价于独立并联信道：,验证,等号在输入统计独立时成立,达到容量值的条件,输入中每个分量统计独立，均值为零，服从高斯分布,输入信号总平均功率受限,噪声分量独立均值为零，方差不同，为 ，但 输入信号的总平均功率受限 ，此时信号平均功 率将如何分配到各信道中？即 的值如何？,问题归结为： 信道容量费用函数,输入 ，噪声,由于,求解： 用拉格朗日乘数法，取拉格朗日函数的偏导得：,分析： 可能出现负值的情况，信道不能利用， 可解释为信道的噪声平均功率大于该信道分配得到 的信号平均功率，此时可取 。取 而拉格朗日常数由下式确定：,得信道容量： 输入信号按功率分配给各信道的原则： 在总功率一定的前提下，噪声大的信道将分配到功 率小的输入信号或不分配给信号尽量使其少传或 不传信息；噪声小的信道分配到功率大的信号尽 量使其多传信息。,图示：无记忆加性高斯噪声信道的并联，输入功率受 限时各组成信道中信号平均功率的分配,注水法,例 10个独立信道的并联,输入信号： 10 个相互统计独立，均值为零，高斯随机变量平均功率： 如下：,信道容量为: 问题： 输入信号功率如何分配？,2.模拟信道的信道容量,1 模拟信道及其离散化 模拟信道：输入和输出信号在幅度和时间上连 续取值。 实例：光纤，电缆，电磁波传播的大气层或 宇宙空间。 离散化：设模拟信道的输入输出信号为： ， 通过正交展开为时间离散的序列： 统计特性描述：,输入输出有限维时，互信息为： 信道容量费用函数：,2 模拟信道容量费用函数,高斯噪声：平稳遍历随机过程，瞬时值的概率密度 函数服从高斯分布 白色噪声：平稳遍历随机过程，功率谱密度均匀分 布于整个频域，即功率谱密度（单位带 宽噪声功率）为一常数 平稳、遍历、无记忆信道；限时(T)、限频(W)、限功率(P)的白色(指功率谱)、高斯(指分布规律)信道电话线,容量费用函数,输入信号： 限带：频带限制在 -W,W 内 限时： T 输出信号： 噪声信号： ，加性，白色高斯，均值为零 双边功率普密度： 信道传输的费用：信号的功率,频域：几乎都集中在限制的带宽内 时域：绝大部分集中在有限时间内,限带信号的采样定理,干扰的作用下输出为噪声与输入信号的线性叠加。 采样定理： N2WT 功率受限的信号的功率谱密度与其自相关函数是一 对 Fourier 变换。即随机过程 的自相关函数 等于其功率谱密度的 Fourier 变换。,即 的自相关函数：,在时间相隔 两个样点之间的自相关函数为零,即 ，自相关函数： 均值为零，功率受限， 相互统计独立。,利用时域上采样定理将信号变成离散序列后，模拟信道可看成加性白色高斯噪声无记忆连续信道，相当于 N 个高斯加性信道的并联信道。,容量费用函数：,香农公式,信噪比(SNR),单位：dB,信噪比10log10(S/N),Modem 的速度,用香农公式研究 Modem 的速度 分析: 在 Modem 通信环境中，多路通信 限制电话的带宽：W 3300Hz 信噪比一般为20dB，即 2010log10(S/N)， S/N100 C22000bit/s.,提高传输率： 改善信噪比或采用进一步压缩的方法提高传输率。 一般信噪比的改变不会很大，因此可以采用提高带 宽的方法。 ISDN（综合业务数据网），通过大幅度提高带 宽，使传输率可达64Kbps128Kbps。,从香农公式可以清楚的看到，香农公式把信道统计参量（信道容量C）和实际物理量（频带宽度W、时间T、信噪功率比P/N0）联系了起来。它表明一个信道可靠传输的最大信息量完全由W、T、P/N0所确定。一旦这三个物理量给定，理想通信系统的极限信息传输率就确定了。由此可见，对一定的信息传输率来说，带宽W、传输时间T和信噪功率比P/N0三者之间可以互相转换。,香农公式,时间T内传输的信息量,频带效率,从而求出在频带效率为 时，每传1个比特信息（R1）所需能量 必须满足,表明为可靠传输1个比特信息所需绝对最小比特能量与噪声功率谱密度之比为 -1.59 dB,带宽无穷大,表示每比特信号能量,香农公式,b/s/Hz,香农理论极限：RC； 存在编译码方法使Pe0 给定Pe；存在编译码方法使RC,香农公式,对一定的信息量来说，带宽W、传输时间T和信噪功率比P/N三者之间可以互相转换。 一般，究竟以谁换取谁，要根据实际情况而决定。例如宇宙飞船与地面通信，由于信噪功率比很小，故着重考虑增加带宽和增加传输时间来换取信噪功率比。倘若信道频带十分紧张则要考虑提高信噪功率比或传输时间来降低对带宽的要求。,香农公式,若传输时间T固定，则扩展信道的带宽W就可以降低信噪比的要求；反之，带宽变窄，就要增加信噪功率比。也就是说，可以通过带宽和信噪比的互换而保持信息传输率不变。,频带与信躁比的互换,香农公式,当信噪功率比远远大于1时,脉码调制系统,调频系统,可见，实际通信系统中都是采用调制/解调的方法来实现带宽和信噪功率比的互换。不过，到目前为止，还没有一种实际通信系统能达到这个理想结果。,香农公式,在保持频带不变的情况下，可以采用增加时间T来改善信噪比。 这一原理已被应用于弱信号接收技术中，即所谓积累法。这种方法是将重复多次收到的信号叠加起来。由于有用信号直接相加，而干扰则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。,信躁比与时间的互换,香农公式,在信噪功率比固定不变的情况下，增加信道的带宽W就可以缩短传输时间T，换取传输时间的节省；或者花费较长的传输时间来换取频带的节省。这可实