信息论与编码zjh09zjh第三章1课件

信道与信道容量第三章信道是通信系统中的重要部分，是传输信息的载体，其任务是以信号方式传输信息、存储信息。因而研究信道就是研究信道中理论上能够传输或存储的最大信息量，及信道容量问题。7/26/202313.1信道的基本概念3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量3.5信源与信道的匹配内容7/26/202323.1信道的基本概念研究信道容量主要考虑信道中干扰的影响，由于信道中存在的干扰使输出信号与输入信号之间没有固定的函数关系，只有统计依赖关系，因此可以通过研究分析输入输出信号的统计特性来研究信道。7/26/202333.1.1信道的分类（1）根据用户数量可分为单用户信道：一个输入端,一个输出端,单向通信信道。多用户信道：双向通信，三个或更多个用户之间相互通信的情况。（2）根据输入端与输出端的关系可分为无反馈信道：输出端信号不反馈到输入端，输出信号对输入信号没有影响。反馈信道：输出信号通过一定途径反馈到输入端，致使输入端的信号发生变化。（3）根据信道的统计特性是否随时间变化分为：固定参数信道：信道的统计特性不随时间变化。光纤、电缆信道。时变参数信道：信道的统计特性随时间变化。无线电信道的参数会因天气、周围环境的变化而发生较大变化。

7/26/20234（4）根据信道中所受噪声种类可分为：随机差错信道：噪声独立随机的影响每个传输码元，如以高斯白噪声为主体的信道。突发差错信道：噪声、干扰的前后影响是前后相关的，错误也是成串出现的。（5）按输入/输出信号在幅度和时间上的取值:离散信道：输入和输出的随机序列取值都是离散的信道连续信道：输入和输出的随机序列取值都是连续的信道半离散(半连续)信道：输入变量取值离散而输出变量取值连续或输入变量取值连续而输出变量取值离散波形信道：信道的输入和输出都是一些时间上连续的随机信号。广义的信道可以指简单的一段线路，也可以指包含了设备的复杂系统，即使在同一个通信系统中，也可以有不同的划分，当然对不同的划分，信道信号呈现出不同的特点。7/26/20235信道XYp(Y|X)3.1.2信道参数设信道的输入X=(X1,X2…Xi,…),Xi

∈{a1…an}，输出Y=(Y1,Y2…Yj,…),Yj

∈{b1…bm}，条件概率p(Y|X)描述输入/输出的统计依赖关系,在分析信道问题时，该条件概率通常叫做转移概率。7/26/20236信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y转移概率:1）无干扰(无噪声)信道2）有干扰无记忆信道每个输出信号只与当前输入信号之间有转移概率关系，而与其他非该时刻的输入信号、输出信号都无关也就是无记忆。根据信道是否存在干扰以及有无记忆，可将信道分为：信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:7/26/202370101pp1-p1-p无错误传输的概率传输发生错误的概率（1）二进制离散信道BSC输入符号X取值{0,1}；输出符号Y取值{0,1}，这是一种对称的二进制输入、二进制输出信道。所以叫做二进制对称信道(binarysymmetricchannel，BSC），输出比特仅与对应的一个输入比特有关，因而是无记忆的。信道转移概率：p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p由输入输出信号的符号数目（等于2、大于2还是趋于∞），又可进一步区分出如下信道模型：7/26/20238a1a2anb1b2bm::::::p11p12p21p22pnmpij=p(bj|ai)（2）离散无记忆信道DMC信道输入是n元符号，X∈{a1,a2,…,an}，信道输出是m元符号，Y∈{b1,b2,…,bm}转移矩阵7/26/20239转移概率矩阵已知X，信道输出Y表现出来的统计特性完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率7/26/202310p(ai|bj):后向概率已知信道输出端接收到符号bj但发送的输入符号为ai的概率。反信道转移概率矩阵已知Y,信道输入X表现出来的统计特性7/26/202311（3）离散输入、连续输出信道由离散输入X、连续输出Y以及一组条件概率密度函数p(y/X=xi),i=0,1,…,q-1来决定。式中G是一个均值为零，方差为的高斯随机变量。当给定后，Y是一个均值为ai，方差为的高斯随机变量，即其概率密度函数为

高斯白噪声信道

7/26/202312（4）波形信道其输入是模拟波形，其输出也是模拟波形。对于加性噪声单符号信道可表示为：

y(t)＝x(t)+n(t)

3）有干扰有记忆信道实际信道中，当信道特性不理想，存在码间干扰，输出符号不但与当前的输入信号有关，还与以前的输入信号有关。处理方法：（1）将记忆很强的L个符号当矢量符号，各个矢量符号之间认为是无记忆的，L越大误差越小。

（2）将转移概率p(Y/X)看成马尔可夫链的形式，处理方法很复杂，取一阶时稍简单。7/26/202313对于固定信道参数的信道，信道容量是一个定值，但是在传输信息时信道能否提供其最大传输能力，则取决与输入端的概率分布我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R平均互信息I(X;Y)：接收到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息，是关于输入符号分布概率p(xi)和信道转移概率p(yj/xi)的函数，对于某特定信道，转移概率p(yj/xi)，已确定，则互信息就是关于输入符号分布概率p(xi)的上凸函数，也就是可以找到某种概率分布p(xi)，使I(X/Y)达到最大，该最大值就是信道所能传送的最大信息量，即信道容量。（page25）3.1.3信道容量的定义将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R，即R=I(X;Y)=H(X)-H(X/Y)bit/符号若已知平均传输一个符号所需时间为t(s)，则信道在单位时间内平均传输的信息量为信息传输速率：Rt=I(X;Y)/t，单位为bit/s。C的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数（信息量），即bit/每符号7/26/2023143.2离散单个符号信道及其容量信道的输入和输出均以单个符号的形式，或者以序列的形式但符号之间不相关，即无记忆。这类信道分析起来较为简单。7/26/2023153.2.1无干扰离散信道Xa1b1Ya2

b2a3

b3111设信道的输入X∈A={a1…an},输出Y∈B={b1…bm}（1）无噪无损信道输入和输出符号之间有确定的一一对应关系Xa1b1Ya2

b2an-1bn-1an

bn11H(X/Y)=0，I(X;Y)=H(X)-H(X/Y)=H(X)=H(Y)，当输入符号分布为等概时，信道的传输能力可达信道容量C=maxI(X;Y)=logn。7/26/202316Xa1Ya2

b1a3a4b2a511111（2）无噪有损信道多个输入变成一个输出(n＞m)噪声熵H(Y|X)＝0损失熵H(X|Y)≠0输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。信道中接收到符号Y后不能完全消除对X的不确定性,信息有损失。但输出端Y的平均不确定性因噪声熵等于零而没有增加。7/26/202317X

b1Ya1b2b3a2b4b51/31/31/31/43/4计算得同理由（3）有噪无损信道一个输入对应多个输出(n＜m)接收到符号Y后,对发送的X符号是完全确定的。噪声熵H(Y|X)≠0损失熵H(X|Y)=0当输入端等概率分布时可以达到信道容量7/26/2023183.2.2对称DMC（离散无记忆）信道：每一行都是由同一集{q1,q2,…qm}的诸元素不同排列组成——输入对称。每一列都是由{p1,p2,…pn}集的诸元素不同排列组成——输出对称。如果输入输出都对称，则称为对称DMC信道。满足对称性,所对应的信道是对称离散信道。不具有对称性,因而所对应的信道不是对称离散信道。7/26/202319对称离散信道的平均互信息为7/26/202320对称DMC信道的容量：上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1,p2,…pm}和输出符号集的个数m有关。7/26/202321例3-1信道容量为某对称离散信道的信道矩阵为

7/26/202322强对称信道(均匀信道)若输入符号和输出符号个数相同,都等于n,且信道矩阵为信道矩阵中各列之和也等于1强对称信道的信道容量：7/26/202323串联信道例3-4

设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:串联信道的转移矩阵为:X00ZY111-p1-p1-pp1-ppX0Y111-p1-p1-pp1-ppX00ZY111-p1-p1-pp1-ppX0Y111-p1-p1-pp1-pp7/26/202324串联信道求得:在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。X00ZY11pp1-p1-p1-p1-p7/26/202325串联信道由信息不增原理信道2信道m信道1…可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XYZ7/26/2023263.2.3准对称DMC信道准对称信道转移概率矩阵P是输入对称而输出不对称将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。它们满定对称性,所以P1所对应的信道为准对称信道。

7/26/202327准对称信道的信道容量准对称信道准对称信道容量7/26/202328准对称信道的信道容量当输入分布为等概率时：其中n是输入符号集的个数,(p1,p2,…pm)为准对称信道矩阵中的行元素。设矩阵可划分成r个互不相交的子集。Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。

7/26/202329例：设信道传递矩阵为

计算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4将它分成

7/26/2023303.2.4一般DMC信道定理：一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足:I(ai;Y)=C对于所有ai其p(ai)＞0I(ai;Y)≤C对于所有ai其p(ai)=0上式说明：当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息,只是概率为0的除外。7/26/2023313.3离散序列信道及容量设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}

输出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道XYp(Y|X)对于无记忆离散序列信道,其信道转移概率为仅与当前输入有关。若信道是平稳的7/26/202332定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为则存在

定理：若信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即则存在

7/26/202333离散序列信道及容量若信源与信道都是无记忆的L次扩展信道的信道容量当信道平稳时:

一般情况下:

7/26/202334例3-9.BSC信道二次扩展00X01101100011011Y转移概率矩阵2次扩展信道的信道容量

若p=0.1则C2=(2－0.938)bit/序列=1.062bit/序列C1=0.531bit/序列7/26/202335独立并联信道设有L个信道,它们的输入、输出分别是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。独立并联信道的信道容量X1X2XLY1Y2YL7/26/202336连续信道的容量不容易计算。当信道为加性连续信道时,情况简单一些。设信道的输入和输出信号是随机过程x(t)和y(t)y(t)=x(t)