通信原理 第2章 信息论初步

第2版《电子工业出版社》第二章信息论初步2.1

信息论的两条发展途径2.2

信息论研究的主要内容2.3

信息的对数量度

2.4

离散信源与连续信源

2.5

信道容量与香农公式

2.6

信道编码

Chapter2PreparationofInformationTheory2.1信息论的两条发展途径

维纳和香农都认为信号和噪声均可用规定集合的统计规律来描述，但他们探讨的数学模型却大不相同。不过，目的都是要在接收端尽可能地重现原信号。简介研究对象噪声对接收端重现原信号的影响代表人物理论研究侧重应用途径一维纳微弱信号检测理论自动控制过程中的信号预测问题

在干扰作用下信号的最佳接收问题，它是通信、雷达、导航、遥测、遥控以及电子对抗等的理论基础。途径二香农信道设计和编码理论重现正时延的原信号

信源和信道的统计特性及编码方法，目的是提高信息传输的效率和可靠性。2.2信息论研究的主要内容

信息论研究的基本问题则是有关信源、信宿和信道的统计特性，以及信源编码和信道编码等问题。它对通信体制和通信系统的研究具有指导意义。简介◆信息论在理论上指出了建立最佳编码、最佳调制和最佳接收方法的最佳系统的理论原则。

信源

信源所包含的信息量，以及在单位时间内信源发出的信息量（信息熵）信源编码

使信源发出的消息变换成其码长度与信源各消息概率分布达到匹配的代码组，以提高传输消息的有效性信宿在无扰信道和有扰信道上信宿能收到的信息量的多少

信道信道传输信息量的能力（信道容量），并叙述了有扰离散信道的信道编码定理

信道编码各种纠错编码方式的数学理论、纠错能力和实施方案

2.3信息的对数量度

一个预先确知的消息不会给接收者带来任何信息，没有传递的必要。为了衡量通信系统的传输能力，需要对被传输的信息进行定量的测度，如互信息量、熵等。简介2.3.1互信息量◆两个随机变量

——发生事件X

——观察事件Y◆事件Y=yj

出现，说明事件X=xi提供的信息量：条件概率：事件Y=yj出现时，事件X=xi发生的概率先验概率：事件X=xi发生的概率情况条件概率信息量随机变量X和Y统计独立事件Y=yj

的出现唯一地决定事件X=xi

的发生——X=xi的自信息量I(xi)◆条件自信息量：能在规定条件下唯一地确定该事件必须提供的信息量。随机事件的不确定性（或不肯定性）◆一个随机事件出现的概率接近于1，说明该事件发生的可能性很大，它所包含的不确定性就很小。◆出现概率很小的随机事件，它所包含的不确定性就很大。◆极限情况下，当出现P(xi)=1的确定事件，则有I(xi)=0。出现概率小的随机事件所包含的不确定性大，也就是它的自信息量大。出现概率大的随机事件所包含的不确定性小，也就是它的自信息量小。

互信息量的三个特征

1）互易性

2）当xi与yj

相互独立时，互信息量为零3）互信息量可正可负——Y=yj

的出现提供事件X=xi

发生的信息量等于的出现X=xi

提供事件Y=yj发生的信息量。2.3.2通信熵◆信源熵：无记忆信源的平均自信息量是各消息自信息量的概率加权平均值(统计平均值)。◆定理1：熵满足不等式，当且仅当当且仅当信源X中各消息的出现概率P(x)都等于1/M时，等号成立。二元信源：◆条件熵：二维联合空间XY上的条件自信息量的概率加权平均值。联合概率或同理，◆共熵：(又称联合熵)是联合空间XY上的每个元素对xy的自信息量的概率加权平均值。或互换关系OrOr2.3.3各种熵的性质联合集XY上的条件熵H(Y|X)满足下式：◆定理2：当且仅当y和x是相互独立时，即在P(y|x)=P(y)的条件下，等号成立。◆定理3：联合集XYZ上的条件熵，即H(Z|XY)和H(Z|Y)满足下列不等式：◆定理4：联合集上的联合熵小于或等于各个集合的熵之和。当且仅当各个集合相互独立时，联合熵等于各个集合的熵之和，并且为联合熵的最大值。条件愈多，熵就愈小。2.3.4平均互信息量◆XY联合集上的平均条件互信息量：◆定理5：XY联合集上的平均条件互信息量满足下式：当且仅当X集合中的各个x都与yj互相独立，即P(x|yj)=P(x)时，才取等号。And平均互信息量的性质

1）互易性2）平均互信息量与熵和条件熵的关系And3）4）平均互信息量与熵和共熵的关系2.4离散信源与连续信源

产生离散消息的信源称为离散信源，其统计特性用离散型随机过程描述；产生连续消息的信源则称为连续信源，其统计特性用概率密度函数描述。简介2.4.1离散信源离散消息可以看成是一种有限个状态的随机序列，它可以用离散型随机过程的统计特性予以描述。◆离散消息xi所携带的信息量◆如果消息中各符号的出现统计相关，则必须用条件概率来计算平均信息量。条件熵如右定义：例2.1某离散信源由A、B、C三种符号组成，相邻两符号的出现统计相关，其转移概率矩阵为：已知，求信源的平均信息量？◆信源的条件平均信息量为：◆若A、B、C符号统计独立，则平均信息量为：当符号间统计独立时信源的熵高于统计相关时的熵，也就是说，符号间相互关联将使平均信息量减小。说明◆当离散信源中各符号等概率出现，而且各符号的出现为统计独立时，该信源的平均信息量最大。◆相对熵：◆信源的冗余度：

无用信息比例

2.4.2连续信源◆连续信源产生的是连续消息。◆连续消息：实际上是一个统计过程X(t)。◆连续信息的平均信息量：◆若发送的离散消息为xi，而相应的接收消息为yj，那么接收端收到的信息量等于yj接收到之前对发送消息xi的不确定性，减去接收到yj之后对xi余留的不确定性。◆在x和y的全部幅度上的平均信息量：2.4.3信源编码◆信源编码的目的：-把信源发出的符号消息（或数字消息）变换为用信道的基本符号构成的代码组；-压缩信息速率，以提高传输消息的有效性。信源编码器的数学模型◆正规编码器：能把信源发出的所有消息一一对应地变换成相应代码组的信源编码器，不会损失能量。

◆非正规编码器：会有一部分消息没有相应的代码组，在编码过程中损失掉这部分信息量。

VsVs设◆消息能在信道上不失真传输的条件是信息传输速率必须小于或等于信道的信道容量。若信息传输速率大于信道容量，则所传输的消息必然产生失真。

◆均匀编码信道：各代码组包含的码元个数相同，即各个代码组的时间长度都相同。

代码组时间长度为b秒，包含的码元个数为m个，每个码元为D进制，则Dm个状态，每个状态对应一个代码组。设-等效信源的熵：

-时间熵：-信息传输速率：

-最大信息传输速率：

◆编码效率：信息传输速率R与信道容量C的比值。

◆最佳编码的两个原则：-把信源符号集合中出现概率大的符号编成长度较短的代码组，而把出现概率小的符号编成长度较长的代码组；-在信源编码器输出的代码组序列中不必使用码组间隔就能把序列逐个分成代码组。2.5信道容量与香农公式

实际的通信信道都是存在着干扰的有扰信道，其信道容量与带宽、干扰有关。香农公式给出了在传输信号的平均功率受限制和峰值功率受限制的条件下的信道容量。简介2.5.1无扰离散信道的信道容量◆信道的信道容量：单位时间内信道上所能传输的最大信息量。若对数的底为2，时间单位为秒，则信道容量的单位比特/秒。◆若给定的无扰离散信道在时间T内能传输的不同消息的总数为N(T)，则此信道的信道容量为2.5.2有扰离散信道的信道容量◆若信道中存在干扰，则输入符号与输出符号之间存在某种随机性，具有一定的统计相关性，取决于转移概率P(yi|xi)，即信道输入符号（即发送符号）为xi，信道输出符号（即接收符号）为yi的条件概率。二进制有扰信道传输特征◆信道矩阵◆对称信道：信道矩阵的各行和各列分别具有相同集合的元素。

◆具有L种消息的有扰离散的对称信道，其信道容量为：若信源发出的符号序列的各符号之间互相独立，并在无扰信道或弱干扰的信道上传输，则信道输出的各符号之间也是互相独立的，且传送的符号序列的平均互信息量等于各个符号的平均互信息量之和。当信道的输入消息集合与输出消息集合互相独立时，信道不能传送任何信息。对称信道的信道容量在给定信道输入消息概率分布的条件下能使误码率最小的方案称为最佳译码方案，能够实现最佳译码方案的检测器就称为理想观察者。通常使用的最佳译码方案是按照后验概率最大的译码准则设计的，这个准则又称为最大似然判决准则。最佳译码方案若，把yj译成xi*。◆当信息传输速率R小于信道容量C时，传输消息的误码率为：码组长度（码元数目）随机编码指数2.5.3有扰连续信道的信道容量◆有扰连续信道中，接收到的信号y是发送信号x和信道噪声n的线性叠加，且x和n在各抽样点上均为独立正态分布。◆条件概率密度函数p(y|x)等于噪声的概率密度函数f(n)。◆连续信源的相对条件熵：◆连续信道的信道容量：2.5.4香农公式香农信道容量公式：带宽信号功率噪声功率◆结论1：若提高信噪比S/N，则信道容量C也提高。

◆结论2：若噪声的功率谱密度n0→0，噪声功率，则信道容量C→∞，也就是说无干扰信道的信道容量为无穷大。

◆结论3：若增加信道带宽B，则信道容量C也增加，但不能无限制地增加，即当B→∞时，。◆结论4：信道容量C一定时，带宽B和信噪比S/N可以互换。◆结论5：若信源的信息速率R小于或等于信道容量C，则理论上可以实现无差错传输。若信息速率R大于信道容量C，则不可能实现无差错传输。

香农信道容量公式：带宽信号功率噪声功率香农公式曲线归一化信道容量和信噪比

归一化信道带宽与信噪比

2.6信道编码

若信道容量为C，消息源产生信息的速率为R，只要C≥R，则总可以找到一种信道编码方式实现无误传输；若C<R，则不可能实现无误传输，即香农第二定理。简介2.6.1香农第二定理◆定理6：有噪信道编码定理设离散无记忆信道，P(x|y)为信道传递概率，信道容量为C。当信息传输率R<C时，只要码长n足够长，总可以在输入的符号集中找到2nR个码字组成的一组码和相应的译码规则，使译码的错误概率任意小(Pe→0)。◆定理7：有噪信道编码逆定理设离散无记忆信道，P(x|y)为信道传递概率，信道容量为C。当信息传输率R>C时，无论码长n多长，均找不到一种编码2nR，使译码的错误概率任意小。当n→∞时，差错概率接近为1.2.6.2编码方法无错传送的界限【二元对称信道为例】

n个输入符号共有2n种序列，只选用2k种序列(k＜n)作为码字（k个信息位，r=n-k个监督位），则信息率R＝k/n比特/符号。倘若这种编码方法能纠正传输引起的t个错误符号，则当n→∞、信道的误码率ε<t/n时，能达到无错误的传输。信道容量为1-H(ε)bit／符号。取等号时的曲线称为汉明上限。任何编码方法不可能超过此界限。2.6.3检错与纠错◆信道编码的本质是引入冗余度，即在传输的信息码元后面增加一定数量的码元，使接收端能根据这些码元检测错误，并纠正。-检错编码：检查有无错误发生的编码-纠错编码：能纠正已发生错误的编码。差错类型1）随机差错：热噪声引起的差错，