第三章信道及信道容量

复习与作业讲评1、符号的使用：自信息量I熵-----H2、应画出信源（模型）3、2.4题，求H(X)，而非I(x)4、2.5题，求自信息量或条件信息量。5、2.11(2)有些同学计算H(X,Y)太复杂。

xi---颜色，构成信源X,yi----数字，构成信源Y.每个数字对应一种颜色（反之未必），数字已知，则颜色确定，H(X|Y)=0。H(X,Y)=H(Y)=…..6、2.22.23马尔可夫信源的极限熵没有判断，遍历吗？1/11/20231第三章信道及信道容量第一节信道分类及表示参数第二节单符号离散信道及其容量第三节离散序列信道及其容量第四节连续信道及其容量第五节信源与信道的匹配1/11/20232信道是信息传输的通道。由于干扰而丢失的信息为

H(X|Y);在接收端获取的关于发送端信源X的信息量是：

I(X;Y)＝H(X)-H(X|Y)即：信道中平均每个符号传送的信息量。对于信道,所关心的问题是平均每个符号传送的最大信息量。这就是信道容量C=maxI(X;Y)bit/符号信源在一定的时间T内输出符号。信源输出的信息速率为Rt=H(X)/Tbit/s

符号在信道中传送时，传送一个符号所用的时间为t,则最大信息传输速率为Ct=C/tbit/s.

若Rt≤Ct，那么就可以实现无失真传送;否则;不能无失真传送所以，对于信道主要是研究信道容量。研究信道容量的意义?1/11/20233第一节信道分类及表示参数一、信道的分类1、根据信道的用户数量，可以分为两端（单用户）信道和多端信道（多用户信道）。只有一个输入端和一个输出端；单向至少有一端存在两个用户；双向2、根据信道输入端和输出端的关系,分为无反馈信道和反馈信道无反馈信道:输出信号对输入无影响。3、根据信道的参数可以分为固定参数信道和时变参数信道（参数：表示输入和输出统计依赖关系的转移概率.后面详述）固定参数信道：如光纤、电缆时变参数信道：如无线信道.会因天气或周围环境的变化而变化4、根据信道中所受的噪声种类不同，分为随机差错信道和突发差错信道。1/11/20234随机差错信道：噪声独立地、随机地影响每个传输的码元。如加性高斯白噪声(AGWN)信道。突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。错误成串出现，且是突发性的；如移动信道。5、根据输入/输出信号的特点，分为离散信道、连续信道、半离散半连续信道和波形信道。离散信道：输入/输出信号在时间和幅度上都是离散的。连续信道：输入/输出信号都是在时间上离散而幅度上连续。半离散半连续信道：输入/输出信号有一个在幅度上离散（时间上都连续）。波形信道：输入/输出信号在时间和幅度上都是连续的。此时，输入和输出信号一般用随机过程来描述。据随机过程的理论，经过限时和限频后，经抽样变成连续型随机变量。相应地，波形信道被分解成连续信道。1/11/20235二、信道的参数参数：表示输入和输出统计依赖关系的转移概率。对于单符号信道，即,对于符号序列信道，即。由于信道引入的干扰,使得输入和输出之间没有确定的对应关系，而只有统计上的依赖关系(用转移概率来描述)。知道了这种关系，信道的全部特性就确定了.所以,它是信道的参数。根据信道的参数，将信道分为三大类：1、无干扰信道理想信道，信道中没有随机干扰或干扰很小。输出与输入之间有完全确定的对应关系。1/11/202362、有干扰无记忆信道无记忆：任意时刻的输出符号，只统计依赖于对应时刻的输入符号，而与其它时刻的输入符号、输出符号无关.这种信道根据输入信号与输出信号的符号数目进一步划分为以下四种信道：指符号集中符号的个数(1)二进制离散信道(BSC，Binary-SymmetryChannel)1/11/20237

传递矩阵也完全确定了输入与输出间的统计依赖关系，也是信道的数学模型。(2)离散无记忆信道(DMC-DiscreteMemorylessChannel)

仍是单符号离散信道，符号集中的符号数目大于2。1/11/202381/11/20239(3)离散输入连续输出信道仍是单符号信道，属于半连续半离散信道。举例：加性高斯白噪声(AWGN)信道(AddableWhiteGossNoise)1/11/202310(4)波形信道输入信号和输出信号用随机过程表示，所以信道模型为:

经过限时(tB)和限频(fm)后，经过抽样输入和输出信号分别变换成连续型随机序列：和抽样点数为L=2fm

tB，相应地,波形信道被分解成L维连续信道,其转移特性为：1/11/202311结论：信道的转移概率密度函数等于噪声的概率密度函数

。条件熵H(Y|X)又叫做噪声熵的进一步理解：

确定噪声所需要的平均信息量就是H(Y|X),叫作噪声熵。正像区分X中的每个符号所需要的平均信息量就是信源的熵H(X).因而又叫噪声熵。可以看作是唯一地确定信道中的噪声所需要的平均信息量。正是噪声熵1/11/2023123、有干扰有记忆信道有两种简化处理的方法：(1)将记忆很强的L个符号用一个矢量符号表示(看作一个符号)，各个矢量符号之间认为是无记忆的.L越大,引入误差与小。(2)将序列转移概率看作是马尔科夫链的状态转移概率，用马尔科夫链的分析方法去处理。4、本课程主要讨论编码和解码，一般使用DMC信道模型

到底选用哪种信道模型，取决于分析问题的目的。若设计和分析离散信道的编码和解码，当然选择DMC信道模型。如果分析性能的理论极限，则使用离散输入连续输出模型则较合适。如果分析和设计调制/解调器，则选择波形信道模型。1/11/202313第二节离散单符号信道及其容量一、几个概念：1、信息传输率R信道中平均每个符号所传输的信息量。R=I(X;Y)=H(X)-H(X|Y)bit/符号2、信息传输速率Rt

信道在单位时间内平均传输的信息量。设信道传送一个符号用时为T，则：Rt=I(X;Y)/Tbit/s3、信道容量C

定义最大的信息传输速率为信道容量,1/11/2023144、信道容量的另一种定义：

定义信道单位时间内平均传输的最大信息量为信道容量,5、对于某个特定的信道，其信道容量是一定的。在信息传输时，能否达到这个最大传输能力，取决于输入端的信源。从这个意义上也可以理解信源与信道匹配的含义。二、无干扰离散信道的容量：

输出与输入之间有确定的对应关系；有三种不同的关系：(1)无噪无损信道（一一对应的关系）H(Y|X)=H(X|Y)=0I(X;Y)=H(X)=H(Y)maxI(X;Y)=logn∴C=logn1/11/202315(2)无噪有损信道（多对一的对应关系）噪声熵H(Y|X)=0损失熵H(X|Y)>0故名之。I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm(3)有噪无损信道（一对多的对应关系）噪声熵H(Y|X)>0,损失熵H(X|Y)=0,故名之。I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn三、对称DMC信道的容量：1、对称性：如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称的；如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的。1/11/202316如果输入、输出都对称，则称该DMC为对称的DMC信道。2、对称DMC的信道容量C：1/11/202317怎样使bj服从等概分布？1/11/202318结论：M是输出符号集中的符号数对转移矩阵的行向量作求熵运算1/11/2023193、串联信道的信道容量：(1)串联信道举例：微波中继通信1/11/202320信道1容量为：C(1)=maxI(X;Y)信道1,2,3…串联后等价为容量为：C(1,2,…)=maxI(X;W)信道1,2串联后等价为容量为：C(1,2)=maxI(X;Z)(2)串联信道的信道容量可能会减少。串联级数越大，信道容量会越小。由2.2节数据处理定理（信息不增定理）知道：H(X)≥I(X;Y)≥I(X;Z)≥…I(X;W)所以：C(1,2)≥C(1,2,3)≥……≥C(1,2,3…)。1/11/2023211/11/202322复习第二节离散单符号信道及其容量1、信道容量的定义

最大的信息传输速率为信道容量,或：信道单位时间内平均传输的最大信息量为信道容量,2、无干扰离散信道的容量：(1)无噪无损信道（一一对应）H(Y|X)=H(X|Y)=0；I(X;Y)=H(X)=H(Y)；C=maxI(X;Y)=logn

(2)无噪有损信道（多对一）：H(Y|X)=0；H(X|Y)>0I(X;Y)=H(Y)-H(Y|X)=H(Y)>H(X)∴C=maxI(X;Y)=maxH(Y)=logm1/11/202323(3)有噪无损信道（一对多）：H(X|Y)=0;H(Y|X)>0I(X;Y)=H(X)-H(X|Y)=H(X)>H(Y)∴C=maxI(X;Y)=maxH(X)=logn3、对称DMC的信道容量C：4、串联信道的信道容量：（数据处理定理)串联级数越大，信道容量会越小。1/11/202324四、准对称DMC信道的容量准对称信道：只满足输入对称的信道信道容量的计算，有两种方法：1、引入拉格朗日算子求极值。举例说明：1/11/2023252、划分为若干个互不相交的对称的子矩阵后，求信道容量。1/11/2023261/11/202327五、一般DMC信道的容量平均互信息I(X;Y)是关于P(a1),P(a2),…P(an)的多元函数，求其最大值的方法有很多，如前述拉格朗日乘子法，Blahut-Arimoto算法等，大都比较复杂，下面只给出相关定理。定理：一般离散无记忆信道的平均互信息I(X;Y)达到极大值的充要条件是，输入分布满足：I(ai;Y)=C对于所有的满足p(ai)>0的i。I(ai;Y)≤C对于所有的满足p(ai)=0的i。解释：当平均互信息I(X;Y)达到信道容量时，除了概率为零的符号外，输入符号集中的每一个符号对输出端提供相同的信息量。1/11/202328而其它符号所提供的信息量增大。所以经过不断调整后，输入符号的概率分布使得每个概率不为零的输入符号对于输出Y提供的平均互信息是相同的。理解：在某种给定的输入分布下，对输出Y所提供的互信息I(X;Y)，若其中有一个符号ai比其它输入符号大，那么就可以更多地使用该符号，即增大该符号ai出现的概率P(ai)，使得加权平均后的I(X;Y)=ΣP(ai)I(ai;Y)增大；但是，这会改变输入符号的分布，而使该符号的平均互信息I(ai;Y)减小（？），1/11/202329第三节离散序列信道及其容量一、回顾离散单符号扩展信道。分为无记忆和有记忆两种。只讨论无记忆离散序列信道的容量。二、无记忆离散序列信道的平均互信息1/11/202330三、无记忆离散序列信道的容量1、定理2、结论1/11/2023313、信道容量1/11/2023324、独立并联信道的信道容量（例如：时分复用）

将L个相互独立的信道并联后，每个信道的输出Yl只与本信道的输入Xl有关。那么序列转移概率P(Y1,Y2,…YL|X1,X2,…XL)=P(Y1|X1)…P(YL|XL),因而是无记忆序列信道。其容量C1,2,…L=ΣCl1/11/202333第四节连续信道及信道容量一、连续单符号加性信道及其容量：1、回顾2、平均互信息(信息传输率)3、信道容量1/11/202334怎样才能保证输出Y服从正态分布？1/11/202335结论：连续单符号信道的信道容量取决于输入信噪比4、加性噪声不是高斯噪声时的信道容量高斯白噪声是最恶劣的噪声，相应的信道容量最小。1/11/202336二、多维无记忆高斯加性连续信道及其容量1、回顾2、等价于L个独立并联加性信道1/11/2023373、信道容量据3.3节定理，无记忆信道有下式成立：而每个单符号高斯信道有：所以：(1)每个时刻的噪声相同(均值为零,方差为δ2)

当输入矢量的各个分量Xl相互独立，且各分量均值为0

方差都为Pl=

S时，1/11/202338(2)如果每个时刻的噪声不相同(均值都为零,方差分别为将随不同时刻信噪比的变化而变化。1/11/2023391/11/2023401/11/2023411/11/202342结论：噪声小的子信道分配到的输入功率大，信噪比大，抵抗噪声的能力强，可以传输的比特数多，需要采用更高进制的符号调制方法，以提高信道的频带利用率。反之，噪声大的子信道分配到的输入功率小，信噪比小，抵抗噪声的能力差，可以传输的比特数少，最终，每个子信道的误码率都相同。1/11/202343三、高斯白噪声加性波形信道及其容量回顾：1、平均互信息：2、信道容量：1/11/2023443、香农公式：上式重新整理即为香农公式1/11/2023451/11/202346讨论：（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的带宽并不能无限制地提高信道容量。总结：

当信道频带受限于w，信道噪声为功率谱密度为N0/2的加性高斯白噪声，输入信号的平均功率受限为Ps时，如果输入信号服从高斯分布，那么信道中的信息传输率Rt达到最大值（即信道容量Ct）。1/11/202347（3）频带利用率：Ct/w=log(1+SNR)单位频带的信息传输速率，bps/Hz，信道的利用程度。香农公式给出了不同的SNR下，所能达到的最大频带利用率。（4）Ct一定时，带宽w和信噪比SNR可以互换。大的系统带宽可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带宽的要求。（举例：扩频通信）例题：电话信道，w=3.3kHz,SNR=20dB=100,则Ct=wlog(1+SNR)=22kbps。实际信道约为19.2kbps。(串音、回波等干扰因素使Ct小于理论值)。1/11/202348第五节信源与信道的匹配1、匹配（1）符号匹配---符号集匹配（2）信息匹配---信息传输率R达到信道容量C2、信道冗余度：绝对冗余度=C-I(X;Y)

相对冗余度=1-I(X;Y)/C实现方法：信源编码1/11/202349例题3-12：某离散无记忆信源，输出符号的概率分布如表所示，信源的熵为H(X)=1.75bit