信道与信道容量

1、 信道与信道容量信道与信道容量 1 1 信道的基本概念信道的基本概念 2 2 离散单个符号信道及其容量离散单个符号信道及其容量 3 3 离散序列信道及其容量离散序列信道及其容量 4 4 连续信道及其容量连续信道及其容量 1 1 信道的基本概念信道的基本概念 信道：信息传输的通道信道：信息传输的通道 广义：信源与信宿之间广义：信源与信宿之间 狭义：中间远距离传输部分狭义：中间远距离传输部分 定义：传输信息的载体定义：传输信息的载体 任务：以信号方式传输信息、存储信息任务：以信号方式传输信息、存储信息 信道容量信道容量 主要研究主要研究 理论上能够传输的最大信息量理论上能够传输的最大信息量 2 信

2、道的分类信道的分类 1.1 用户数量：单用户、多用户用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固定参数、时变参数信道参数与时间的关系：固定参数、时变参数 噪声种类：噪声种类： 随机差错、突发差错随机差错、突发差错 输入输出信号特点：离散、连续、半离散半连续、输入输出信号特点：离散、连续、半离散半连续、 波形信道等波形信道等 3 信道参数信道参数 1.2 信道输入矢量为信道输入矢量为输出矢量为输出矢量为采用条件概率采用条件概率 p ( Y | X ) 来描述信道输入输出信号来描述信道输入输出信号之之 间统计的依赖关系。间

3、统计的依赖关系。 信道种类信道种类 根据信道是否存在干扰以及有无记忆，将信道根据信道是否存在干扰以及有无记忆，将信道 分为分为 3 大类：大类： (1) 无干扰（无噪声）信道无干扰（无噪声）信道 (2) 有干扰无记忆信道有干扰无记忆信道 (3) 有干扰有记忆信道有干扰有记忆信道 (1) 无干扰（无噪声）信道无干扰（无噪声）信道 信道的输出信号信道的输出信号 Y 与输入信号与输入信号 X 之间有确定的之间有确定的 关系关系 : Y = f ( X ) 转移概率转移概率: 6 (2) 有干扰无记忆信道有干扰无记忆信道 信道的输出信号信道的输出信号 Y 与输入信号与输入信号 X 之间没有确定之间没有

4、确定 的关系。的关系。 信道无记忆信道无记忆 只需分析单个符号的转移概率只需分析单个符号的转移概率 p (yj|xi) 二进制离散信道二进制离散信道 离散无记忆信道离散无记忆信道 离散输入、连续输出信道离散输入、连续输出信道 波形信道波形信道 7 转移概率满足转移概率满足: 二进制离散信道二进制离散信道 信道转移概率信道转移概率 p (yj|xi) ： 无错误传输的概率无错误传输的概率 二进制对称信道（二进制对称信道（ BSC ） 8 传输发生错误的概率传输发生错误的概率 离散无记忆信道离散无记忆信道 (DMC) 9 转移概率矩阵转移概率矩阵 转移概率矩阵的每一行元素之和为转移概率矩阵的每一行

5、元素之和为1 对任意对任意 j 0, 1, , m ，由全概率公式，由全概率公式有有 : 10 一些DMC信道特例： 二进制离散信道二进制离散信道 BSC 二元删除信道二元删除信道 BEC Z型信道 离散输入、连续输出信道离散输入、连续输出信道 加性高斯白噪声（加性高斯白噪声（AWGN）信道）信道 波形信道波形信道 波形信道波形信道 多维连续信道多维连续信道 信道转移概率密度函数信道转移概率密度函数 信道转移概率密度函数信道转移概率密度函数 = 噪声概率密度函数噪声概率密度函数pn(n) 13 (3) 有干扰有记忆信道有干扰有记忆信道 方法：方法： （ 1 ）将记忆很强的）将记忆很强的 L 个

6、符号当作矢量符号，矢量个符号当作矢量符号，矢量符符 号间认为无记忆。号间认为无记忆。 （ 2 ）转移概率）转移概率 p ( Y | X ) 看成马尔可夫链的形式看成马尔可夫链的形式 14 3.2 离散单个符号信道及其容量离散单个符号信道及其容量 信息传输率信息传输率 R 信道中平均每个符号所能传送的信息量信道中平均每个符号所能传送的信息量 复习复习 平均互信息平均互信息 I (X ;Y) ：接收到：接收到 Y 后平均每个符后平均每个符 号获得的关于号获得的关于 X 的信息量。的信息量。 信道的信息传输率就是平均互信息信道的信息传输率就是平均互信息 15 信息传输速率信息传输速率 Rt 信道在单

7、位时间内平均传输的信息量信道在单位时间内平均传输的信息量 Rt = R/t = I ( X ; Y )/t bit / s t 为平均传送一个为平均传送一个 符号所需的时间符号所需的时间 信道容量信道容量 C 信道所能传送的最大信息量，亦即最大的信息传输率信道所能传送的最大信息量，亦即最大的信息传输率 C = max I ( X ; Y ) bit / 符号符号 p(ai) 单位时间的信道容量单位时间的信道容量 Ct 信道最大的信息传输速率信道最大的信息传输速率 复习复习 平均互信息平均互信息 I ( X ; Y ) 的凸状性质的凸状性质 BSC 输入概率空间输入概率空间信道矩阵信道矩阵信道信

8、道 输出熵：输出熵：条件熵：条件熵：平均互信息量：平均互信息量： 17 当当 p 固定时，固定时，I(X,Y) 是 q 的 型上凸函数， 存在一个极大值 18 说明：说明： 信道容量信道容量是信道本身的特性，与信源无关；是信道本身的特性，与信源无关； 信道容量是信息传输率信道容量是信息传输率 R 的上限，定量描述的上限，定量描述 了信道信息的最大通过能力；了信道信息的最大通过能力； 不是所有的信源传输符号时都可以达到这个不是所有的信源传输符号时都可以达到这个 传输速率，使信道达到最大传输率的输入概率传输速率，使信道达到最大传输率的输入概率 分布称为分布称为最佳输入分布最佳输入分布。 19 2.

9、1 无干扰离散信道 信道输入输出无噪 ：1个输入只对应 1个输出，噪声熵 H(Y|X)=0 无损 ：1个输出只对应 1个输入，疑义度 H(X|Y)=0 X 、 Y 一一对应 ( n = m ) 无噪无损信道 1 )无噪无损信道无噪无损信道 H ( Y|X ) = H ( X|Y ) = 0 p ( a i ) 多个输入变成一个输出多个输入变成一个输出 ( n m ) 2 )噪声熵噪声熵 H ( Y | X ) = 0 0 ? 0 ? 0 ? 0 ? 损失熵损失熵 H ( X | Y ) 0 ? ? 0 ? 0 ? ? ? I ( X ; Y ) = H ( Y ) H ( X ) 1 ? 1

10、? 1 ? 1 ? ? ? C = max I ( X ; Y ) = max H ( Y ) = log m p ( a i ) 21 无噪有损信道无噪有损信道 一个输入对应多个输出一个输入对应多个输出 ( n m ) 3 )噪声熵噪声熵 H ( Y | X ) 0 损失熵损失熵 H ( X | Y ) = 0 I ( X ; Y ) = H ( X ) 0 条件的条件的 i I ( a i ; Y ) C 对于所有满足对于所有满足 p ( a i ) = 0 条件的条件的 i 当信道平均互信息当信道平均互信息 I ( X ; Y ) 达到信道容量时，输达到信道容量时，输 入符号概率集入符号

11、概率集 p(ai) 中每一个符号中每一个符号ai对输出端对输出端Y 提供提供 相同的互信息，只是概率为零的符号除外。相同的互信息，只是概率为零的符号除外。 一般情况下，最佳分布不一定是唯一的，只须一般情况下，最佳分布不一定是唯一的，只须 满足上述结论，并使互信息最大即可。满足上述结论，并使互信息最大即可。 37 信道容量计算：对所有可能的输入概率分布信道容量计算：对所有可能的输入概率分布 P(ai)求求 该信道平均互信息该信道平均互信息 I(X;Y)的极大值。的极大值。 由于由于 I (X;Y) 是是 P (ai)的的型凸函数型凸函数, 所以极大值一定所以极大值一定 存在。存在。 n 个变量满

12、足概率存在条件：个变量满足概率存在条件：P(ai) 1 。 计算：拉格朗日乘数法则计算该条件极值计算：拉格朗日乘数法则计算该条件极值 m = n ，信道矩阵为非奇异阵，信道矩阵为非奇异阵 3 离散序列信道及其容量离散序列信道及其容量 无记忆离散序列信道无记忆离散序列信道 信道转移概率信道转移概率 进一步信道是平稳的进一步信道是平稳的 40 仅与当前输入有关仅与当前输入有关扩展信道扩展信道 如果对离散单符号信道进行如果对离散单符号信道进行 L 次扩展，就形成了次扩展，就形成了 L 次离散无记忆序列信道次离散无记忆序列信道 - 离散无记忆离散无记忆 L 次扩展信道次扩展信道 例：例： BSC 的二

13、次扩展信道的二次扩展信道 2次扩展信道的信道容量：次扩展信道的信道容量： 若若 p 0.1 ，则，则 C2 20.938 1.062 比特比特 / 序列序列 C1 = 0.531 bit/ 序列序列 独立并联信道独立并联信道 将将 L 个相互独立的信道进行并联，每个个相互独立的信道进行并联，每个 信道的输出信道的输出 Yl 只与本信道的输入只与本信道的输入 Xl 有关有关 序列的转移概率：序列的转移概率： 独立并联信道的信道容量不大于各个信道的信独立并联信道的信道容量不大于各个信道的信 道容量之和。只有当输入符号相互独立时，且达到道容量之和。只有当输入符号相互独立时，且达到 各自最佳分布时，容

14、量最大，为各自容量之和。各自最佳分布时，容量最大，为各自容量之和。 44 4 连续信道及其容量连续信道及其容量 （加性噪声）（加性噪声） 4.1 连续单符号加性信道连续单符号加性信道 输入输入 x 与干扰与干扰 n 相互无关相互无关 限功率最大熵定理限功率最大熵定理 只有只有 Y 为为正态分布时，其熵最大正态分布时，其熵最大 45 信道输入信道输入 X 是均值为零、方差为是均值为零、方差为 S 的高斯分布随机的高斯分布随机变变 量时，信息传输率达到最大值：量时，信息传输率达到最大值： 信噪比信噪比 SNR 对于加性均值为零，平均功率为对于加性均值为零，平均功率为 2的的非高斯噪声非高斯噪声信道

15、信道 4.2 多维无记忆加性连续信道多维无记忆加性连续信道 多维无记忆多维无记忆高斯加性信道可等价成高斯加性信道可等价成 L 个个独立的独立的并联高并联高 斯斯连续单符号加性信道连续单符号加性信道 47 当且仅当输入随机矢量当且仅当输入随机矢量 X 中各分量统计独立，且是均值中各分量统计独立，且是均值 为零、方差为为零、方差为 P l 的高斯变量时，才能达到此信道容量的高斯变量时，才能达到此信道容量 噪声均值为零、方差相同噪声均值为零、方差相同 噪声均值为零、方差不同，输入总平均功率受限噪声均值为零、方差不同，输入总平均功率受限 48 4.3 限时限频限功率加性高斯白噪声信道限时限频限功率加性

16、高斯白噪声信道 波形信道的平均互信息：波形信道的平均互信息： 限频限频 (W) 高斯白噪声过程可分解高斯白噪声过程可分解 L2WtB 维统计独立维统计独立 的随机序列的随机序列 多维无记忆高斯加性信道多维无记忆高斯加性信道 信道容量：信道容量： 单位时间的信道容量：单位时间的信道容量： N0/2 功率谱密度功率谱密度 N0W 噪声功率噪声功率 W 带宽带宽 PS 信号功率信号功率 信噪功率比信噪功率比 SNR PS / N0W 香农公式是加性高斯白噪声波形信道的信道香农公式是加性高斯白噪声波形信道的信道 注注 容量，对于非高斯波形信道，由香农公式得容量，对于非高斯波形信道，由香农公式得 到的值

17、是其信道容量的下限值。到的值是其信道容量的下限值。 50 香农公式香农公式香农公式的讨论香农公式的讨论 带宽一定时，信噪比与信道带宽一定时，信噪比与信道 1 容量成对数关系容量成对数关系 当输入信号功率一定，增加带当输入信号功率一定，增加带 2 宽，容量可以增加宽，容量可以增加 即使带宽无限，信即使带宽无限，信 道容量仍是有限道容量仍是有限 当当 C=1bit / s ， PS/N0 =-1.6dB ，即当带宽不受限制时，即当带宽不受限制时， 传送传送 1 比特信息，信噪比最低只需比特信息，信噪比最低只需 -1.6dB ( 香农限香农限 ) 频带利用率：单位频带的信息传输速率频带利用率：单位频

18、带的信息传输速率 C t 一定时，带宽一定时，带宽 W 增大，信噪比增大，信噪比 SNR 可降低，可降低， 3 即两者是可以互换的。即两者是可以互换的。 信道容量可以通过系统带宽与信噪比的互换而保持不变信道容量可以通过系统带宽与信噪比的互换而保持不变 52 例：如果例：如果SNR=7SNR=7，W=4000HzW=4000Hz，则可得，则可得 C=12C=1210103 3 b/s b/s； 但是，如果但是，如果 NR=15,W=3000HzNR=15,W=3000Hz，则可得同样，则可得同样 C C 值。值。 信噪比和带宽的互换性在通信工程中有很大的用处。信噪比和带宽的互换性在通信工程中有很大的用处。 例如，在宇宙飞船与地面的通信中，飞船上的发射功例如，在宇宙飞船与地面的通信中，飞船上的发射功 率不可能做得很