信道和信道容量

信道和信道容量第一页，共三十四页，2022年，8月28日3.1概述

信道：用来传输信号的通道，它承担了信息传输和信息存储任务。对称电缆性能稳定有线信道：同轴电缆受大气干扰影响小光缆传输质量好

无线信道：长波、中波、短波微波中继通信超短波、微波卫星通信等第二页，共三十四页，2022年，8月28日信道还可以分为：按信道用户分为：单用户信道，多用户信道按输入、输出关联分为：无反馈信道，反馈信道按信道参数分为：固定参数信道，时变参数信道按传输信号的特点分为：离散信道，连续信道，半离散（半连续）信道，波形信道信道容量概念：信道中能传送或存储的最大信息，是信道传输信息能力的量度，是信道对信源的一切可能的概率分布而言能够传送的最大熵速率。第三页，共三十四页，2022年，8月28日通信系统一般模型：各种物理信道中存在的干扰限制了通信的距离与速率，为反映信道干扰对传输性能的影响，可用刻划各种干扰的模型来表示信道。如：发送为xi（信道输入），接收为yj（信道输出），则信道特性为：

Pji＝P（yj/xi），用（条件）转移概率描述信源信宿调制信道解调广义信道第四页，共三十四页，2022年，8月28日信道中无干扰时：

Pji＝1j＝i0j≠i信道中干扰最严重时：P（yj/xi）＝P（yj）一、二元对称信道二元信道中，0错成1和1错成0的概率相等时，为二元对称信道；且：p＝0时，信道无干扰；P＝1/2时，信道干扰最为严重。第五页，共三十四页，2022年，8月28日

二、二元删除信道难以区分原发送信号时，不硬性判断0或1，而作删除处理。删除信道中，p＝q时，则为对称删除信道。三、Z信道信道特性：0错成1的概率为0，1错成0有一定可能。

1p1－p0101第六页，共三十四页，2022年，8月28日有记忆信道：有突发干扰或码间干扰的信道。用联合转移概率表示：若信道的记忆很弱成为无记忆时，可表示成：无记忆信道：只有独立干扰的信道。第七页，共三十四页，2022年，8月28日

小结：信道是传输信号的通道，信号则载荷有一定的信息，通信的目的是将信息送至信宿，而波形有无失真常常无关紧要。为了研究输入信号和输出信号之间的关系（这是信道特性的主要标志），并统一描述各种信道，往往采用条件概率来描述，以此表明信道特性。第八页，共三十四页，2022年，8月28日3.2信道容量的表示互信息：I（X；Y）＝H（X）－H（X/Y）＝H（Y）－H（Y/X）H（X）：接收Y前，关于X的不确定性；H（X/Y）：接收Y后，关于X的不确定性；也称信道疑义度，或称损失熵H（Y/X）：在已知X的条件下，对Y尚存在的不确定性；也称噪声熵。第九页，共三十四页，2022年，8月28日I（X；Y）：接收到Y前、后关于的平均不确定性的消除；或发送X前、后关于Y的平均不确定性的消除。可见：熵只是平均不确定性的描述，而不确定性的消除（两熵之差）才等于接收端所获得的信息量。获得的信息量不能和不确定性混为一谈。第十页，共三十四页，2022年，8月28日关于信道容量：研究：信道中平均每个符号所能传送的信息量，即信息传输率R，也是平均互信息。R＝I（X；Y）＝H（X）－H（X/Y）比特/符号若平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为：Rt＝（1/t）I（X；Y）bit/秒定义：最大的信息传输率为信道容量C，即：C＝max｛I（X；Y）｝bit/符号P(x)第十一页，共三十四页，2022年，8月28日达到信道容量时，相应的输入概率分布称为最佳输入分布，若平均传输一个符号需要t秒，则：信道单位时间内平均传输的最大信息量为：Ct＝（1/t）max｛I（X；Y）｝bit/秒注意：信道容量C与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。信道容量是完全描述信道特性的参数，是信道能够传输的最大信息量。P(x)第十二页，共三十四页，2022年，8月28日3.3信道容量计算一、离散无干扰信道的信道容量1、Y是X的一一对应函数P(y/x)=1y=f(x)即：H(X/Y)=H(Y/X)=00y≠f(x)I(X;Y)=H(X)=H(Y)X的不确定性在接收端被完全解除，是无损无噪信道，其信道容量是求最大熵问题：C＝maxH(X)＝maxH(Y)＝lognbit/符号P(X)P(X)第十三页，共三十四页，2022年，8月28日2、一个输入对应多个输出Y值，且Y值不重合接收到符号Y后，对发送X符号是完全确定的，是有噪无损信道，即：损失熵：H(X/Y)＝0，噪声熵：H(Y/X)≠0I(X;Y)＝H(X)＝H(Y)－H(Y/X)＜H(Y)信道容量仍是最大熵问题（最大H(X)）：C＝maxH(X)＝logrbit/符号（设X有r个符号）结论：信道的转移矩阵中，每列有一个也仅有一个非零元素时，此信道一定是有噪无损信道。P(X)第十四页，共三十四页，2022年，8月28日如图信道示意，信道矩阵：第十五页，共三十四页，2022年，8月28日3、Y是X的确定函数，且是多一对应收到Y后不能完全消除对X的不确定性，信息有损失，是无噪有损信道，也称确定信道，即：损失熵：H(X/Y)≠0；噪声熵：H(Y/X)＝0，I(X;Y)＝H(Y)＝H(X)－H(X/Y)＜H(X)第十六页，共三十四页，2022年，8月28日信道容量仍是最大熵问题（最大H(Y)）：C＝maxH(Y)＝logsbit/符号（设Y有s个符号）

此种情况中，一定能找到一种输入概率分布P(X)使输出Y达到等概分布。P(X)第十七页，共三十四页，2022年，8月28日二、对称离散信道的信道容量

对称离散信道：信道矩阵中每一行是另一行的置换，每一列是另一列的置换，具有对称的信道矩阵。设X与Y符号个数相同（强对称或均匀信道），均为n，则：条件概率：第十八页，共三十四页，2022年，8月28日可得：显然，对于离散对称信道，当输入符号是等概时，传输信息最大，每符号信道容量：若输入、输出符号个数不相同，但只要符合对称信道特性，即每行和每列的取值集分别相同，只是排列不同，则信道容量和输出符号集的个数s有关，为：s第十九页，共三十四页，2022年，8月28日

三、准对称信道的信道容量若信道矩阵[P]的s个列（Y集的元素是s个）可分为n个不相交的子集mk，由mk组成的矩阵[P]k是对称矩阵（具有可排列的性质），则称此信道为准对称信道，其信道容量：

r为输入符号集个数即信道矩阵行数准对称信道中的行元素第k个子矩阵中行元素之和第k个子矩阵中列元素之和第二十页，共三十四页，2022年，8月28日例3－1：二元对称删除信道如图，计算信道容量。例3－2：准对称信道的信道矩阵为：P(y/x)＝0.50.30.20.30.50.2当输入概率分布为p(x1)＝ɑ，p(x2)＝1－ɑ求信息传输率R及信道容量。第二十一页，共三十四页，2022年，8月28日四、一般离散信道的信道容量对于非特殊性质的固定信道，根据定义，其信道容量是对所有可能的输入概率分布P(X)求平均互信息的极大值。由于I(X;Y)是P(X)的上凸函数，其极大值一定存在。注意：达到信道容量的最佳分布不一定是唯一的，只要输入概率分布满足定理中的条件，并使I最大，即成为信道的最佳输入分布。第二十二页，共三十四页，2022年，8月28日3.4串联信道和并联信道一、串联信道其中：I(X;Z)≤I(X;Y)，I(X;Z)≤I(Y;Z)信道矩阵[P(z/x)]＝[P(y/x)][P(z/y)]显然，通过串联信道的传输只会丢失更多的信息I(X;Y)I(Y;Z)I(X;Z)且P(z/xy)=p(z/y)第二十三页，共三十四页，2022年，8月28日二、独立并联信道的容量联合互信息：

I(X1X2;Y1Y2)≤I(X1;Y1)＋I(X2;Y2)信道容量：C12≤C1＋C2X1，X2、Y1，Y2相互独立时：C12＝C1＋C2有N个信道时：C≤∑CiN个信道相同时：C≤NCii=1N信道1信道2X1X2Y1Y2C1C2第二十四页，共三十四页，2022年，8月28日结论：若N个符号以序列形式由一个信道传送，当输入符号之间相互独立，则信道中N个符号的容量能达到N倍单符号信道容量。第二十五页，共三十四页，2022年，8月28日3.5连续信道容量一、单符号高斯加性信道讨论条件：信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。则噪声熵：信道输出：Y＝X＋n第二十六页，共三十四页，2022年，8月28日因此，当输入X为已知值时，Y也为正态变量，即：所以:信道容量:这是限平均功率的高斯信道的信道容量公式。第二十七页，共三十四页，2022年，8月28日注意：实际信道不一定符合高斯干扰的条件，求C往往很困难，一般没有确切的方法，但在叠加性干扰条件下，可求出信道容量的上、下界。而高斯信道的容量是一般信道的下界。结论：实际信道的容量总是大于高斯信道的容量，用高斯信道条件计算出的容量来代表实际信道容量传输信息时，不会失真。第二十八页，共三十四页，2022年，8月28日二、限频限功率高斯信道的容量条件：信道容许输入信号是随机过程，引入的干扰是高斯白噪声，输入信号平均功率受限为Ps，频带受限W。单位时间信道容量（香农公式）：显然，带宽W↑→Ct↑，W→∞时，则：

Ct≈Ps/N0第二十九页，共三十四页，2022年，8月28日结论：当频带很宽时，或信噪比很低时，信道容量等于信号功率与噪声功率密度比，此比值是加性高斯噪声信道信息传输率的极限值。在上述宽频带条件下，信号淹没在噪声中仍可传送信息。由香农公式得到的值是非高斯信道（实际信道）的信道容量的下限值。第三十页，共三十四页，2022年，8月28日三、多维无记忆高斯加性连续信道讨论条件：输入、输出为随机序列，且Y＝X＋n其中n＝（n1,n2,…,nN）是均值为零的高斯噪声信道容量C‥‥‥①限制条件：‥‥‥②问题：输入信号的总平均功率受限时，各时刻（各独立信道）的信号平均功率Psi应如何分配，才能使C最大？最终C应等于多少？第三十一页，共三十四页，2022年，8