信息论与编码-第三章

信息论与编码-第三章第1页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量由于一般信道中总是存在噪声和干扰，在这样的信道中进行信息传输会造成损失。那么在有噪信道中怎么能够使消息通过传输后发生的错误最少？在有噪信道中无错误传输可以达到的最大信息率是多少？这就是本章研究的内容。第2页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量信道分类和表示参数通信系统中，信道是非常重要的部分。信道的任务是以信号方式传输信息。在信道中会引入噪声，这些都会使信号通过信道后产生错误和失真，故信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。只要知到了信道的输入信号和输出信号以及它们之间的统计依赖关系，则信道的全部特性就确定了。所以可以用信道的转移概率矩阵P(Y/X)来描述信道、信道的数学模型及分类研究信道，就要研究信道中能够传送的最大信息量，即信道容量问题。第3页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量信道的分类：从不同的角度，有不同的分类方法。根据信道的参数是否随时间变化，可以分为：（1）固定参数信道：信道的参数不随时间变化；（2）时变参数信道：信道的参数随时间变化。根据输入和输出信号的特点，可以分为：（1）离散信道：信道的输入和输出的随机序列取值都是离散的；（2）连续信道：信道的输入和输出的随机序列的取值都是连续的；第4页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（3）半离散或半连续信道：输入序列是离散的但相应的输出序列是连续的，或者反过来；（4）波形信道：信道的输入输出不但取值是连续的，而且还随时间连续变化。一般可用随机过程来描述其输入输出。由于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成时间离散的随机序列。序列的取值可以是连续的，也可以是离散的，因此，波形信道可以分解成连续信道或离散信道或半离散半连续信道。第5页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量信道参数设信道的输入矢量和输出矢量分别是通常采用条件概率来描述信道输入输出信号之间统计的依赖关系。该条件概率通常称为转移概率第6页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量根据信道是否存在干扰以及有无记忆，可将信道分为下面三类无干扰信道：信道的输出符号Y与输入符号X之间又确定的关系Y=f(X),已知X后就确知Y。有干扰无记忆信道：信道的输出符号Y与输入符号X之间没有确定的关系，但转移概率满足即每个输出符号只与当前输入符号之间有概率转移关系。在这种情况下，只需分析单个符号的转移概率即可第7页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量有干扰有记忆信道：一般情况都是如此，常用的方法有两种将记忆很强的L个符号当矢量符号，各矢量符号之间是无记忆的，但此事会引入误差，L越大，误差越小将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态的条件概率来描述，这种处理方法比较复杂，通常取一阶时稍简单第8页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量下面我们讨论几种常用信道。（1）二进制离散信道二进制离散信道的输入值集合是{0，1}，输出值集合也是{0，1}，再加上一组描述信道统计特性的转移概率，就可以完全确定信道。二进制离散信道的一个特例：二进制对称信道（BSC-BinarySymmetricChannel）。如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输出的信道为二进制对称信道。第9页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量如图所示。BSC信道是无记忆信道。BSC信道是研究二元编解码最简单也是最常用的信道模型。输入011-p1-ppp输出01第10页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（2）离散无记忆信道设信道的输入符号集合是，输出符号集合是再加上一组（mn个）转移概率

这样的一种信道称为离散无记忆信道（DMC:DiscreteMemorylessChannel）。第11页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量可以把转移概率写成矩阵的形式，即第12页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量图示a0an-1a1b0b1bm-1第13页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（3）离散输入、连续输出信道信道输入符号选自一个有限离散的符号集合信道输出时未经量化的任意值，即m->∞信道特性由转移概率密度函数决定典型信道是加性高斯白噪声信道（AWGN）第14页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（4）波形信道输入和输出都是随机过程{x(t)}和{y(t)}，模拟系统。对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在T时间间隔内，根据抽样定理，应该抽样至少2WT个点，分别记为输入和输出这样波形信道就转化为多维连续信道第15页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量信道转移概率密度函数为且满足完备性。连续无记忆信道，满足一般情况下，是有记忆信道第16页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量对于加性噪声，单符号信道可以表示为

y(t)=x(t)+n(t)n(t)为噪声过程的一个样本函数由于噪声和信号相互独立，所以有转移概率为即信道的转移概率密度函数等于噪声的概率密度函数第17页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量条件熵第18页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量上式说明条件熵是由噪声引起的，它等于噪声信源的熵。故条件熵也称噪声熵。在加性多维连续信道中，输入矢量X、输出矢量Y和噪声矢量n之间的关系是

Y=X+n可得第19页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量3.2离散单个符号信道及其容量我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信息传输率R。而信道的信息传输率就是平均互信息，即

bit/符号若已知平均传输一个符号所需的时间为t(s)，则将信道在单位时间内平均传输的信息量定义为信息传输速率：bit/符号÷s/符号=bit/s

即 单位为bit/s第20页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量前面我们已经讨论过，I(X;Y)是输入随机变量X的概率分布p(xi)和信道转移概率p(yj/xi)的函数。对于一特定信道，若转移概率已确定，则互信息就是就是关于输入符号概率分布的∩函数。因此对于一个固定的信道，总存在一种信源符号的概率分布，使传输每个符号平均获得的信息量最大。这个最大的信息传输率就称为信道容量C。即此时相应的输入概率分布称为最佳输入分布。第21页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量有时候也把单位时间内信道平均传输的最大信息量叫做信道容量，即信道容量C已与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是完全描述信道特性的参量，是信道每符号能够传输的最大信息量。对于特定的信道，信道容量是个定值，但在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布。第22页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量无干扰离散信道设信道的输入符号集合是输出符号集合是按照X与Y的对应关系，可以分为如下几类无噪无损信道无噪有损信道有噪无损信道这些信道是部分理想化的，使用中比较少第23页，课件共93页，创作于2023年2月3.2离散单个符号信道及其容量无干扰离散信道的信道容量X、Y一一对应C＝logn多个输入变成一个输出C＝maxH(Y)一个输入对应多个输出C＝maxH(X)第24页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量DMC信道的信道容量设DMC信道的输入符号集合是

输出符号集合是

转移概率由信道特性决定。第25页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量给定信道，就是给定信道的转移概率。此时有所以信道容量为由上式可以看出，信道容量C只是转移概率的函数，也就是说，信道容量由信道唯一决定。第26页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量因为是最佳输入分布，是信道特性，一旦这两个参数确定，就被确定了：对于信道容量，一个是其存在性问题，一个是它的计算。关于存在性问题，在这里我们不做讨论，主要看它的计算问题。第27页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量对称DMC信道的容量对称DMC信道的定义：如果一个DMC信道的转移概率矩阵P中的每一行都是第一行的置换（包含同样的元素，但位置可以不同），则称该矩阵是输入对称的，如果转移概率矩阵P的每一列都是第一列的置换，则称该矩阵是输出对称的，如果一个DMC信道的输入、输出都对称，则称该DMC信道为对称DMC信道。第28页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量对称DMC信道:第29页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量对称DMC信道的性质：

i）对称DMC信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有这是因为与无关。第30页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量ii）当信道输入符号等概分布时，信道输出符号也等概分布；反之亦然(列对称）容量公式：第31页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量iii）当信道输入符号等概分布时，对称DMC信道达到其信道容量，为第32页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量例题3-1：某对称DMC信道，信道转移矩阵为求信道容量。解：第33页，课件共93页，创作于2023年2月例题3-2：强对称信道（均匀信道），信道转移概率矩阵输入符号和输出符号的个数相同，都为n，正确的传输概率为1-ε，错误概率ε，均匀的分配给n-1各输出符号。信道容量为信息论与编码-信道与信道容量第34页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（2）BSC信道的信道容量BSC信道是均匀DMC信道在输入输出在n=m=2时的特例，所以对于转移概率为p(0/1)=p(1/0)=p，

p(0/0)=p(1/1)=1-p的信道，当时，其平均互信息量最大，即其信道容量为：第35页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量第36页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量C与信道转移概率的关系如下图所示。当p=0时，即信道无误码时，C=H(X)=1bit/符号，达到了信道容量的最大值，相当于没有噪声损失。CpC-p曲线0.20.40.60.81.00.20.40.60.81.00当p=0.5时，信道容量C=0，这时候由于输入输出完全独立，从输出端得不到任何关于输入的信息第37页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量例3-3设有两个离散BSC信道，其转移概率矩阵都为01YXZεεεε1-ε1-ε1-ε1-ε01第38页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量可以求得

I(X;Y)=1-H(ε),I(X;Z)=1-H(2ε(1-ε))第39页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（3）准对称DMC信道的信道容量如果信道转移矩阵P是输入对称而输出不对称，即转移概率矩阵的每一行都包含同样的元素，但每一列包含的元素可以不同，则称这样的信道为准对称DMC信道。例如：就是准对称DMC信道。第40页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量由于每列元素不相同，所以信道的输入和输出概率可能不等，此时H(Y)的最大值可能小于Y等概率时的熵，因而准对称DMC信道的容量可以证明，对于准对称DMC信道，当输入概率分布为等概分布时，达到其信道容量，为第41页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量n是输入符号集中符号个数，是转移概率矩阵中一行的元素，即

是信道转移矩阵的第k个子矩阵中行元素之和，是信道转移矩阵的第k个子矩阵中列元素之和。r是互不相交的子集个数第42页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量转移矩阵的子矩阵是这样得到的：由于转移矩阵中每一行都包含同样的元素，而每一列则可以包含不同的元素，因此，我们可以把转移矩阵分成n个互不相交的子集，每一个子集构成的子矩阵都是对称的。第43页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量例如：设转移矩阵为则可以分成三个子集，每个子集组成的子矩阵为第44页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量又例如：设转移矩阵为则可以分成二个子集，每个子集组成的子矩阵为因此第45页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量例题3-5：已知一个信道的信道转移概率矩阵为求该信道的信道容量。解：将P划分成两个子矩阵：则第46页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量最佳输入分布为等概分布，即故第47页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量解法2：求I(X;Y)的极大值设则第48页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量由得所以第49页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量由得解之得：此时信道模型：二进制对称删除信道第50页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量3.2.4一般DMC信道的信道容量以输入符号概率矢量Px为自变量求函数I(Px)极大值，即信道容量的问题，已经得到解决，称Blahut-Arimoto算法。定理：一般离散信道的平均互信息I(X;Y)达到极大值（等于信道容量）的充要条件是输入概率分布满足其中的C为信道容量。第51页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量从定理中可以得出这样的结论：当信道平均互信息达到信道容量时，输入信源符号集中每一个信源符号对输出端Y提供相同的信息量，只是概率为零的符号除外。定理只是给出了达到信道容量时，最佳输入概率分布应满足的条件，但是并没有给出输入符号的最佳概率分布值，也没有给出信道容量的数值。另外，定理也隐含着，达到信道容量的最佳分布不一定是唯一的。第52页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量在一些特殊的情况下，我们可以利用这个定理找出所求的最佳输入概率分布和信道容量。例题：设信道的转移概率矩阵为该信道为非对称DMC信道，求其信道容量。XY01201111/21/2第53页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量解：仔细观察此信道，设想输入端输入符号1的概率为0，则该信道就成了一一对应信道。如果符号1的概率不等于0，就会增加不确定性，而确定性信道的互信息量最大，因此，我们可以设想，p(0)=p(2)=1/2，p(1)=0，此时有第54页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量它们满足定理中的充要条件，因此，这就是我们要寻找的最佳输入分布，该信道的信道容量为

C=log2=1对于一般的DMC信道，很难用上述定理来求其信道容量和对应的最佳输入概率分布，此时只能用求极大值的方法来求解。例3.8第55页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量3.3离散序列信道及其容量信道模型信道第56页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量对于无记忆离散序列信道，其信道转移概率为若信道是平稳的，则有根据平均互信息的定义，第57页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量可以证明，该互信息有两个性质：如果信道无记忆，则如果输入矢量X中的各个分量相互独立，则如果信道无记忆，输入矢量X中的各个分量相互独立，则上式取等号。第58页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量当输入矢量达到最佳分布时，平稳信道一般情况下第59页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量最典型的无记忆离散序列信道是扩展信道。如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道。信道输入序列为X=XL,信道输入序列为Y=YL,信道的序列转移概率为第60页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量例3-7BSC信道的二次扩展BSC信道

P(0/0)=P(1/1)=1-P,P(0/1)=P(1/0)=P,P(00/00)=p(0/0)p(0/0)=(1-P)2P(01/00)=p(0/0)p(1/0)=P(1-P)P(10/00)=p(1/0)p(0/0)=P(1-P)…P(11/00)=p(1/0)p(1/0)=P2…0000010110101111XY第61页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量转移矩阵为是一个对称DMC信道，当输入序列等概分布时，达到信道容量第62页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量信道容量为若p=0.1，信道容量为C2=(2-0.938)bit/序列=1.062bit/序列BSC单符号时信道容量为C1=1-H(0.1)=0.531bit/序列=1/2C2第63页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量3.4连续信道及其容量在连续信源情况下，可用两个相对熵之差来表征互信息。互信息的最大值就是信道容量。因而，连续信道具有与离散信道类似的信息传输率和信道容量表达式。只考虑加性噪声第64页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量连续单符号加性信道由于I(X;Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)，信道容量为由限平均功率最大熵定理，当信道输出Y正态分布时，熵最大。第65页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量设py(y)=N(0,P)，其中P为Y的平均功率限制值。由于信道输入X与噪声统计独立，且y=x+n，所以，其功率可以相加，即P=S+σ2，S为信道输入X的平均值。显然，若

py(y)=N(0,P)，则px(y)=N(0,S),这时，信息传输率达到最大式中，S/σ2是信号功率与噪声功率之比，称为信噪比，用SNR表示信道容量仅取决于信道的信噪比。第66页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量对于均值为零、平均功率为σ2的非高斯噪声，其信道容量为上式说明在同样平均功率受限的情况下，非高斯噪声信道的容量要大于高斯噪声信道的容量因此，在实际处理问题时，通常采用计算高斯噪声信道的容量的方法保守地估计容量，且高斯噪声信道的容量容易计算。第67页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量多维无记忆加性连续信道无记忆加性随机噪声统计独立可以等价为L个独立的并联高斯加性信道第68页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量X=(x1,x2,…,xL)n=(n1,n2,…,nL)y=(y1,y2,…,yL)加性信道x1n1y1=

x1+n1xLnLyL=

xL+nL………第69页，课件共93页，创作于2023年2月703.4 连续信道及其容量

连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道

比特/L维自由度因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量第70页，课件共93页，创作于2023年2月713.4 连续信道及其容量

均值为零、方差相同均值为零、方差不同，总平均功率受限：在总输入功率不变的情况下，合理分配输入功率，使得信道容量最大。

第71页，课件共93页，创作于2023年2月723.4 连续信道及其容量

各个时刻的信道输出功率相等设为常数

第72页，课件共93页，创作于2023年2月733.4 连续信道及其容量

注水原理：(water-filling)各个子信道的功率合理分配，使得信道容量最大。各个时刻的信道输出功率（信号功率+噪声功率）是相等的当噪声功率大时，减小信号功率，甚至使信号功率为零；当噪声功率小时，增大信号功率；例3-10第73页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量限时限频限功率的加性高斯白噪声信道波形信道除了输入输出信号的取值是连续的，而且还随时间连续变化。但是，对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在tB时间间隔内，根据抽样定理，应该抽样至少2WtB个点，分别记为输入和输出以及噪声，并且有。如果噪声是高斯白噪声，则该信道称为高斯白噪声加性信道（AWGN），其中每一个都是一个随机变量。第74页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量如果这些随机变量统计无关，则信道容量第75页，课件共93页，创作于2023年2月763.4 连续信道及其容量

限时限频限功率加性高斯白噪声信道限时：tB,限频|f|<=W，高斯噪声过程可分解为L维统计独立的随机序列，在[0，tB]内，L=WtB

多维无记忆加性高斯信道：式中，是每个噪声分量的功率，

是每个信号样本值的平均功率，设信号的平均功率受限于Ps,则第76页，课件共93页，创作于2023年2月773.4 连续信道及其容量

限时限频限功率加性高斯白噪声信道信道的容量单位时间的信道容量香农公式

Ct＝Wlog(1+SNR)比特/秒

输入信号{x(t)}满足均值为零、平均功率Ps的高斯白噪声的特性第77页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量另一种算法：如果信号是平均功率受限的，即于是有则第78页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量

这就是著名的香农公式，在通信原理里面经常要用到，它是带限AWGN波形信道在平均功率受限条件下信道容量的基本公式。根据香农公式，可以得到以下一些结果或结论：（1）利用关系式，可得第79页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（2）归一化信道容量所谓归一化信道容量，就是平均单位带宽的信道容量，即C/W设每传输一比特的信息需要的能量为，则信号的平均功率为第80页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量因此或者写为上式是归一化信道容量C/W和信噪比之间的关系，也称频带利用率。第81页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量由此可知：（i）C/W=1时（每赫兹带宽传一比特），即此时要求信噪比为0dB.（ii）时，也就是说，此时对的要求是指数增加的。第82页，课件共93页，创作于2023年2月信息论与编码-信道与信道容量（iii）时，

也就是说，当信噪比时，信道完全丧失了通信能力，因此，-1.6dB称作香农限，是一切编码方式所能达到的理论极限。第83页，课件共93页，创作于2023年2月84信息论与编码-信道与信道容量Ct/W(bit/s/Hz)

不可实现区域

1可实现区域

-1.60