信道及信道容量

信道及信道容量2023/5/241第一页，共五十六页，编辑于2023年，星期五信道是信息传输的通道。由于干扰而丢失的信息为

H(X|Y);在接收端获取的关于发送端信源X的信息量是：

I(X;Y)＝H(X)-H(X|Y)即：信道中平均每个符号传送的信息量。对于信道,所关心的问题是平均每个符号传送的最大信息量。这就是信道容量C=maxI(X;Y)bit/符号信源在一定的时间T内输出符号。信源输出的信息速率为Rt=H(X)/Tbit/s

符号在信道中传送时，传送一个符号所用的时间为t,则最大信息传输速率为Ct=C/tbit/s.

若Rt≤Ct，那么就可以实现无失真传送;否则;不能无失真传送所以，对于信道主要是研究信道容量。不同的信道，其容量不同.研究信道容量的意义?2023/5/242第二页，共五十六页，编辑于2023年，星期五第一节信道分类及表示参数一、信道的分类1、根据信道的用户数量，可以分为两端（单用户）信道和多端信道（多用户信道）。只有一个输入端和一个输出端；单向至少有一端存在两个用户；双向2、根据信道输入端和输出端的关系,分为无反馈信道和反馈信道无反馈信道:输出信号对输入无影响。3、根据信道的参数可以分为固定参数信道和时变参数信道（参数：表示输入和输出统计依赖关系的转移概率.后面详述）固定参数信道：如光纤、电缆时变参数信道：如无线信道.会因天气或周围环境的变化而变化4、根据信道中所受的噪声种类不同，分为随机差错信道和突发差错信道。2023/5/243第三页，共五十六页，编辑于2023年，星期五随机差错信道：噪声独立地、随机地影响每个传输的码元。如加性高斯白噪声(AGWN)信道。突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。错误成串出现，且是突发性的。如移动信道。5、根据输入/输出信号的特点，分为离散信道、连续信道、半离散半连续信道和波形信道。离散信道：输入/输出信号在时间和幅度上都是离散的。连续信道：输入/输出信号都是在时间上离散而幅度上连续。半离散半连续信道：输入/输出信号有一个在幅度上离散（时间上都连续）。波形信道：输入/输出信号在时间和幅度上都是连续的。此时，输入和输出信号一般用随机过程来描述。据随机过程的理论，经过限时和限频后，经抽样变成连续型随机变量。相应地，波形信道被分解成连续信道。2023/5/244第四页，共五十六页，编辑于2023年，星期五二、信道的参数参数：表示输入和输出统计依赖关系的转移概率。对于单符号信道，即,对于符号序列信道，即。由于信道引入的干扰,使得输入和输出之间没有确定的对应关系，而只有统计上的依赖关系(用转移概率来描述)。知道了这种关系，信道的全部特性就确定了.所以,它是信道的参数。根据信道的参数，将信道分为三大类：1、无干扰信道理想信道，信道中没有随机干扰或干扰很小。输出与输入之间有完全确定的对应关系。2023/5/245第五页，共五十六页，编辑于2023年，星期五2、有干扰无记忆信道无记忆：任意时刻的输出符号，只统计依赖于对应时刻的输入符号，而与其它时刻的输入符号、输出符号无关.这种信道根据输入信号与输出信号的符号数目进一步划分为以下四种信道：指符号集中符号的个数(1)二进制离散信道(又叫二进制对称信道BSC，转移概率对称)2023/5/246第六页，共五十六页，编辑于2023年，星期五传递矩阵也完全确定了输入与输出间的统计依赖关系，也是信道的数学模型。(2)离散无记忆信道(DMC-DiscreteMemorylessChannel)

仍是单符号离散信道，符号集中的符号数目大于2。2023/5/247第七页，共五十六页，编辑于2023年，星期五2023/5/248第八页，共五十六页，编辑于2023年，星期五复习与作业讲评1、符号的使用：自信息量I熵-----HH2不能随便使用7、向孔祥品学习2、应画出信源（模型）3、2.4题，求H(X)，而非I(x)4、2.5题，求自信息量或条件信息量。个别同学H(y|x)5、2.11(2)有些同学计算H(X,Y)太复杂。

xi---颜色，构成信源X,yi----数字，构成信源Y.每个数字对应一种颜色（反之未必），数字已知，则颜色确定，H(X|Y)=0。H(X,Y)=H(Y)=…..6、2.21（3）信号放大问题。课上已经强调过，仍出错。2023/5/249第九页，共五十六页，编辑于2023年，星期五复习：第四节连续信源的熵和互信息一、单符号连续信源的熵相对熵（差熵）I(X;Y)＝I(Y;X)＝Hc(X)-Hc(X|Y)

＝Hc(X)＋Hc(Y)-Hc(XY)

＝Hc(Y)-Hc(Y|X)Hc(XY)＝Hc(X)＋Hc(Y|X)＝Hc(Y)＋Hc(X|Y)2023/5/2410第十页，共五十六页，编辑于2023年，星期五二、波形信源的熵理解讨论方法即可三、连续信源最大熵定理

1、峰值功率受限的最大熵定理对于定义域为有限的随机变量X，当它是均匀分布时，其熵最大。2、限平均功率最大熵定理服从正态分布时具有最大相熵。2023/5/2411第十一页，共五十六页，编辑于2023年，星期五第五节冗余度一、冗余度的概念表示给定信源在实际发出消息时所包含的多余信息。二、冗余度产生的原因理解一是信源符号间的相关性，二是信源符号分布的不均匀性三、冗余的定义四、冗余的压缩第三章信道及信道容量第一节信道分类及表示参数参数：表示输入和输出统计依赖关系的转移概率。对于单符号信道，即,对于符号序列信道，即。2023/5/2412第十二页，共五十六页，编辑于2023年，星期五根据信道的参数，将信道分为三大类：1、无干扰信道2、有干扰无记忆信道根据输入信号与输出信号的符号数目进一步划分为以下四种信道：(1)二进制离散信道(又叫二进制对称信道BSC，转移概率对称)(2)离散无记忆信道(DMC-DiscreteMemorylessChannel)

仍是单符号离散信道，符号集中的符号数目大于2。GOON2023/5/2413第十三页，共五十六页，编辑于2023年，星期五(3)离散输入连续输出信道仍是单符号信道，属于半连续半离散信道。举例：加性高斯白噪声(AWGN)信道(AddableWhiteGossNoise)2023/5/2414第十四页，共五十六页，编辑于2023年，星期五(4)波形信道输入信号和输出信号用随机过程表示，所以信道模型为:经过限时(tB)和限频(fm)后，经过抽样输入和输出信号分别变换成连续型随机序列：和抽样点数为L=2fmtB，相应地,波形信道被分解成L维连续信道,其转移特性为：2023/5/2415第十五页，共五十六页，编辑于2023年，星期五结论：信道的转移概率密度函数等于噪声的概率密度函数。条件熵H(Y|X)又叫做噪声熵的进一步理解：

确定噪声所需要的平均信息量就是H(Y|X),叫作噪声熵。正像区分X中的每个符号所需要的平均信息量就是信源的熵H(X).因而又叫噪声熵。可以看作是唯一地确定信道中的噪声所需要的平均信息量。正是噪声熵2023/5/2416第十六页，共五十六页，编辑于2023年，星期五3、有干扰有记忆信道有两种简化处理的方法：(1)将记忆很强的L个符号用一个矢量符号表示(看作一个符号)，各个矢量符号之间认为是无记忆的.L越大,引入误差与小。(2)将序列转移概率看作是马尔科夫链的状态转移概率，用马尔科夫链的分析方法去处理。4、本课程主要讨论编码和解码，一般使用DMC信道模型到底选用哪种信道模型，取决于分析问题的目的。若设计和分析离散信道的编码和解码，当然选择DMC信道模型。如果分析性能的理论极限，则使用离散输入连续输出模型则较合适。如果分析和设计调制/解调器，则选择波形信道模型。2023/5/2417第十七页，共五十六页，编辑于2023年，星期五第二节离散单符号信道及其容量一、几个概念：1、信息传输率R信道中平均每个符号所传输的信息量。R=I(X;Y)=H(X)-H(X|Y)bit/符号2、信息传输速率Rt

信道在单位时间内平均传输的信息量。设信道传送一个符号用时为T，则：Rt=I(X;Y)/Tbit/s3、信道容量C

定义最大的信息传输速率为信道容量,2023/5/2418第十八页，共五十六页，编辑于2023年，星期五4、信道容量的另一种定义：定义信道单位时间内平均传输的最大信息量为信道容量,5、对于某个特定的信道，其信道容量是一定的。在信息传输时，能否达到这个最大传输能力，取决于输入端的信源。从这个意义上也可以理解信源与信道匹配的含义。二、无干扰离散信道的容量：

输出与输入之间有确定的对应关系；有三种不同的关系：(1)无噪无损信道（一一对应的关系）H(Y|X)=H(X|Y)=0I(X;Y)=H(X)=H(Y)maxI(X;Y)=logn∴C=logn2023/5/2419第十九页，共五十六页，编辑于2023年，星期五(2)无噪有损信道（多对一的对应关系）噪声熵H(Y|X)=0损失熵H(X|Y)>0故名之。I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm(3)有噪无损信道（一对多的对应关系）噪声熵H(Y|X)>0,损失熵H(X|Y)=0,故名之。I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn三、对称DMC信道的容量：1、对称性：如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称的；如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的。2023/5/2420第二十页，共五十六页，编辑于2023年，星期五如果输入、输出都对称，则称该DMC为对称的DMC信道。2、对称DMC的信道容量C：2023/5/2421第二十一页，共五十六页，编辑于2023年，星期五怎样使bj服从等概分布？2023/5/2422第二十二页，共五十六页，编辑于2023年，星期五结论：M是输出符号集中的符号数对转移矩阵的行向量作求熵运算2023/5/2423第二十三页，共五十六页，编辑于2023年，星期五3、串联信道的信道容量：(1)串联信道举例：微波中继通信2023/5/2424第二十四页，共五十六页，编辑于2023年，星期五信道1容量为：C(1)=maxI(X;Y)信道1,2,3…串联后等价为容量为：C(1,2,…)=maxI(X;W)信道1,2串联后等价为容量为：C(1,2)=maxI(X;Z)(2)串联信道的信道容量可能会减少。串联级数越大，信道容量会越小。由2.2节数据处理定理（信息不增定理）知道：H(X)≥I(X;Y)≥I(X;Z)≥…I(X;W)所以：C(1,2)≥C(1,2,3)≥……≥C(1,2,3…)。2023/5/2425第二十五页，共五十六页，编辑于2023年，星期五2023/5/2426第二十六页，共五十六页，编辑于2023年，星期五四、准对称DMC信道的容量准对称信道：只满足输入对称的信道信道容量的计算，有两种方法：1、引入拉格朗日算子求极值。举例说明：2023/5/2427第二十七页，共五十六页，编辑于2023年，星期五2、划分为若干个互不相交的对称的子矩阵后，求信道容量。2023/5/2428第二十八页，共五十六页，编辑于2023年，星期五2023/5/2429第二十九页，共五十六页，编辑于2023年，星期五五、一般DMC信道的容量平均互信息I(X;Y)是关于P(a1),P(a2),…P(an)的多元函数，求其最大值的方法有很多，如前述拉格朗日乘子法，Blahut-Arimoto算法等，大都比较复杂，下面只给出相关定理。定理：一般离散无记忆信道的平均互信息I(X;Y)达到极大值的充要条件是，输入分布满足：I(ai;Y)=C对于所有的满足p(ai)>0的i。I(ai;Y)≤C对于所有的满足p(ai)=0的i。解释：当平均互信息I(X;Y)达到信道容量时，除了概率为零的符号外，输入符号集中的每一个符号对输出端提供相同的信息量。2023/5/2430第三十页，共五十六页，编辑于2023年，星期五而其它符号所提供的信息量增大。所以经过不断调整后，输入符号的概率分布使得每个概率不为零的输入符号对于输出Y提供的平均互信息是相同的。理解：在某种给定的输入分布下，对输出Y所提供的互信息I(X;Y)，若其中有一个符号ai比其它输入符号大，那么就可以更多地使用该符号，即增大该符号ai出现的概率P(ai)，使得加权平均后的I(X;Y)=ΣP(ai)I(ai;Y)增大；但是，这会改变输入符号的分布，而使该符号的平均互信息I(ai;Y)减小（？），2023/5/2431第三十一页，共五十六页，编辑于2023年，星期五第三节离散序列信道及其容量一、回顾离散单符号扩展信道。分为无记忆和有记忆两种。只讨论无记忆离散序列信道的容量。二、无记忆离散序列信道的平均互信息2023/5/2432第三十二页，共五十六页，编辑于2023年，星期五三、无记忆离散序列信道的容量1、定理2、结论2023/5/2433第三十三页，共五十六页，编辑于2023年，星期五3、信道容量2023/5/2434第三十四页，共五十六页，编辑于2023年，星期五4、独立并联信道的信道容量（例如：时分复用）

将L个相互独立的信道并联后，每个信道的输出Yl只与本信道的输入Xl有关。那么序列转移概率P(Y1,Y2,…YL|X1,X2,…XL)=P(Y1|X1)…P(YL|XL),因而是无记忆序列信道。其容量C1,2,…L=ΣCl2023/5/2435第三十五页，共五十六页，编辑于2023年，星期五第四节连续信道及信道容量一、连续单符号加性信道及其容量：1、回顾2、平均互信息(信息传输率)3、信道容量2023/5/2436第三十六页，共五十六页，编辑于2023年，星期五怎样才能保证输出Y服从正态分布？2023/5/2437第三十七页，共五十六页，编辑于2023年，星期五结论：连续单符号信道的信道容量取决于输入信噪比4、加性噪声不是高斯噪声时的信道容量高斯白噪声是最恶劣的噪声，相应的信道容量最小。2023/5/2438第三十八页，共五十六页，编辑于2023年，星期五二、多维无记忆高斯加性连续信道及其容量1、回顾2、等价于L个独立并联加性信道2023/5/2439第三十九页，共五十六页，编辑于2023年，星期五3、信道容量据3.3节定理，无记忆信道有下式成立：而每个单符号高斯信道有：所以：(1)每个时刻的噪声相同(均值为零,方差为δ2)当输入矢量的各个分量Xl相互独立，且各分量均值为0方差都为Pl=

S时，2023/5/2440第四十页，共五十六页，编辑于2023年，星期五复习与测验第二节离散单符号信道及其容量1、信道容量的定义最大的信息传输速率为信道容量,或：信道单位时间内平均传输的最大信息量为信道容量,2、无干扰离散信道的容量：(1)无噪无损信道（一一对应）H(Y|X)=H(X|Y)=0；I(X;Y)=H(X)=H(Y)；C=maxI(X;Y)=logn

(2)无噪有损信道（多对一）：H(Y|X)=0；H(X|Y)>0I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm2023/5/2441第四十一页，共五十六页，编辑于2023年，星期五(3)有噪无损信道（一对多）：H(X|Y)=0;H(Y|X)>0I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn3、对称DMC的信道容量C：4、串联信道的信道容量：（数据处理定理)串联级数越大，信道容量会越小。5、准对称DMC信道的容量：

有两种方法：1）、引入拉格朗日算子求极值。2）、划分为若干个互不相交的对称的子矩阵后，求信道容量。6、一般离散无记忆信道的信道容量：定理：平均互信息I(X;Y)达到极大值的充要条件是，输入分布满足：I(ai;Y)=C对于所有的满足p(ai)>0的i。I(ai;Y)≤C对于所有的满足p(ai)=0的i。2023/5/2442第四十二页，共五十六页，编辑于2023年，星期五第三节离散序列信道及其容量1、无记忆离散序列信道的信道容量2、独立并联信道的信道容量（例如：时分复用）

将L个相互独立的信道并联后，每个信道的输出Yl只与本信道的输入Xl有关。那么序列转移概率P(Y1,Y2,…YL|X1,X2,…XL)=P(Y1|X1)…P(YL|XL),因而是无记忆序列信道。其容量C1,2,…L=ΣCl第四节连续信道及信道容量一、连续单符号加性信道及其容量（取决于输入信噪比）2023/5/2443第四十三页，共五十六页，编辑于2023年，星期五二、多维无记忆高斯加性连续信道及其容量

goon(1)每个时刻的噪声相同(均值为零,方差为δ2)当输入矢量的各个分量Xl

相互独立，且各分量均值为0方差都为Pl=

S时，2023/5/2444第四十四页，共五十六页，编辑于2023年，星期五(2)如果每个时刻的噪声不相同(均值都为零,方差分别为将随不同时刻信噪比的变化而变化。2023/5/2445第四十五页，共五十六页，编辑于2023年，星期五2023/5/2446第四十六页，共五十六页，编辑于2023年，星期五2023/5/2447第四十七页，共五十六页，编辑于2023年，星期五2023/5/2448第四十八页，共五十六页，编辑于2023年，星期五结论：噪声小的子信道分配到的输入功率大，信噪比大，抵抗噪声的能力强，可以传输的比特数多，需要采用更高进制的符号调制方法，以提高信道的频带利用率。反之，噪声大的子信道分配到的输入功率小，信噪比小，抵抗噪声的能力差，可以传输的比特数少，最终，每个子信道的误码率都相同。2023/5/2449第四十九页，共五十六页，编辑于2023年，星期五三、高斯白噪声加性波形信道及其容量回顾：1、平均互信息：2、信道容量：2023/5/2450第五十页，共五十六页，编辑于2023年，星期五3、信道容量：上式重新整理即为香农公式2023/5/2451第五十一页，共五十六页，编辑于2023年，星期五2023/5/2452第五十二页，共五十六页，编辑于2023年，星期五讨论：（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的带宽并不能无限制地提高信道容量。总结：当