信息论与编码第一讲

信息论与编码第一讲第1页，共64页，2023年，2月20日，星期日主要内容课程介绍信息概念、信息论信息的度量信道及其容量第2页，共64页，2023年，2月20日，星期日一、课程介绍信息论与信道编码第3页，共64页，2023年，2月20日，星期日教学目标香农信息论的基本理论信息的统计度量，信源，信道和信道容量。编码的理论和实现原理近世代数基础；信道编码定理；线性分组码、循环码、卷积码、Turbo码的编、译码方法。教学重点信息度量、信源描述、信道容量近世代数基础、线性分组码、循环码、卷积码、Turbo码的编、译码方法。第4页，共64页，2023年，2月20日，星期日教学计划第一讲：信息论（复习）第二讲：有噪信道编码理论、线性分组码（讲述和讨论）第三讲：近世代数基础、循环码（讲述和讨论）第四讲：BCH码、RS码（讲述和讨论）第五讲：卷积码编码（讲述和讨论）第六讲：卷积码译码（讲述和讨论）第七讲：Turbo码（讲述和讨论）第5页，共64页，2023年，2月20日，星期日（1）纠错码——原理与方法（2001），西安电子科

技大学出版社；（2）傅祖芸编著，《信息论－基础理论与应用》（2001），北京：电子工业出版社；（3）姜丹，《信息论与编码》（2001），合肥，中国科学技术大学出版社；（4）曹雪虹，张宗橙，信息论与编码（2004），北京，清华大学出版社。参考书第6页，共64页，2023年，2月20日，星期日计分方式期终考试占60％专题报告占20％；个人报告占20％小论文占20%第7页，共64页，2023年，2月20日，星期日二、信息概念、信息论2.1信息信息、消息、信号信息是抽象、复杂的概念，它包含在消息之中，是通信系统中传递的对象。2.2信息定义信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。2.3研究信息的目的：为了准确地把握信息本质和特点，以便有效地利用信息。第8页，共64页，2023年，2月20日，星期日

2.4香农信息论1948年，美国数学家克劳特·香农（C.E.Shannon）发表了一篇著名论文“通信的数学理论”。

该论文给出了信息传输问题的一系列重要结果，建立了比较系统的信息理论——香农信息论。第9页，共64页，2023年，2月20日，星期日信息论奠基人——香农“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。这是香农在他的惊世之著《通信的数学理论》中的一句铭言。正是沿着这一思路,他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。第10页，共64页，2023年，2月20日，星期日

他的成就轰动了世界，激起了人们对信息理论的巨大热情。信息论向各门学科冲击，研究规模像滚雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香农本人所研究和意料的范畴，即从香农的所谓“狭义信息论”发展到了“广义信息论”。第11页，共64页，2023年，2月20日，星期日三、信息的度量第12页，共64页，2023年，2月20日，星期日3.1自信息量随机事件出现概率自信息量定义随机事件的不确定性出现概率小的随机事件所包含的不确定性大，它的自信息量大。出现概率大的随机事件所包含的不确定性小，它的自信息量小。在极限情况下，出现概率为1的确定性事件，其自信息量为零。第13页，共64页，2023年，2月20日，星期日条件自信息量条件自信息量用其条件概率的负对数来量度随机事件条件概率条件自信息量条件自信息量：能在规定条件下唯一地确定该事件必须提供的信息量。

第14页，共64页，2023年，2月20日，星期日3.2互信息量先验概率对于预先知道信源X集合的概率空间P(xi)的情况，各个符号xi(i=1,2,…)的概率P(xi)。后验概率当信宿Y收到集合中的一个符号yj后，接收者重新估计的关于信源各个符号的概率分布就变成条件概率。对消息xi而言，其条件概率定义为P(xi|yj)。互信息量互信息量定义为后验概率与先验概率比值的对数：第15页，共64页，2023年，2月20日，星期日3.3通信熵无记忆信源信源往往包含着多个符号，且各个符号的出现概率按信源的概率空间分布。当各个符号的出现相互独立时，这种信源称为无记忆信源。无记忆信源的平均自信息量是各消息自信息量的概率加权平均值（统计平均值）。通信熵第16页，共64页，2023年，2月20日，星期日平均自信息量自信息量代入信息论的一个基本的重要公式。此式与统计热力学中“熵”的表示形式相同，因此往往把平均自信息量H(X)称为熵。H(X)是P(x)的函数。

第17页，共64页，2023年，2月20日，星期日定理:熵满足不等式当且仅当信源中各符号的出现概率P(x)都等于时1/M，上式取等号，可得最大熵：二元信源的信源熵第18页，共64页，2023年，2月20日，星期日二元信源的信源熵信源X有两个消息，M=2一个符号出现概率P另一个符号出现概率1－P该信源的熵H(P)1010.5P最大熵第19页，共64页，2023年，2月20日，星期日条件熵条件熵是联合空间XY上的条件自信息量的概率加权平均值。若给定x条件下y的条件自信息量为I(y|x)，则它在XY集合上的概率加权平均值H(Y|X)定义为：H(Y|X)为条件熵，也可直接定义为：第20页，共64页，2023年，2月20日，星期日共熵共熵（又称联合熵）是联合空间XY上的每个元素对xy的自信息量的概率加权平均值，定义为：与信源熵和条件熵的关系第21页，共64页，2023年，2月20日，星期日22联合熵与条件熵的关系

全概率公式所以H(XY)=H(X)＋H(Y|X)同理H(XY)=H(Y)＋H(X|Y)而当X、Y是统计独立的两个信源：

H(XY)=H(X)＋H(Y)第22页，共64页，2023年，2月20日，星期日3.4平均互信息量XY联合集上的平均条件互信息量定理2.5XY联合集上的条件互信息量满足当且仅当X集合中的各x都与yi独立时，等号成立假设通过有扰信道的接收符号任意一个可能被传输的消息结论：有扰信道中接收到的符号所提供的关于传输消息的平均信息量总是非负量。

第23页，共64页，2023年，2月20日，星期日平均互信息量：平均条件互信息量在整个Y集合上的概率加权平均值。特性1.互易性2.与熵和条件熵的关系3.4.与熵和共熵的关系5.第24页，共64页，2023年，2月20日，星期日条件熵可看作由于信道噪声而损失的信息量（损失熵）也可以看作由于信道噪声所造成的对信源消息的平均不确定性

疑义度条件熵可看作唯一地确定信道噪声所需要的平均信息量（散布度）

噪声熵无扰信道噪声很大的信道第25页，共64页，2023年，2月20日，星期日四、信道及其容量第26页，共64页，2023年，2月20日，星期日4.1第27页，共64页，2023年，2月20日，星期日第28页，共64页，2023年，2月20日，星期日第29页，共64页，2023年，2月20日，星期日第30页，共64页，2023年，2月20日，星期日第31页，共64页，2023年，2月20日，星期日第32页，共64页，2023年，2月20日，星期日4.2第33页，共64页，2023年，2月20日，星期日第34页，共64页，2023年，2月20日，星期日第35页，共64页，2023年，2月20日，星期日4.3信道容量计算离散信道可分成：特殊信道无噪无损信道有噪无损信道无噪有损信道有干扰无记忆信道有干扰有记忆信道第36页，共64页，2023年，2月20日，星期日特殊信道信道名称信道特征信息传输情况全损信道P(xy)=P(x)P(y)H(X/Y)=H(X)I(X;Y)=0无损无噪信道P(x/y)=0or1且P(y/x)=0or1H(X/Y)=H(Y/X)=0I(X;Y)=H(X)=H(Y)无损信道P(x/y)=0or1H(X/Y)=0I(X;Y)=H(X)无噪信道P(y/x)=0or1H(Y/X)=0I(X;Y)=H(Y)第37页，共64页，2023年，2月20日，星期日对称DMC信道对称性:每一行都是由同一集{p1,p2,…pm}的诸元素不同排列组成——输入对称每一列都是由集{q1,q2,…qn}的诸元素不同排列组成——输出对称满足对称性,所对应的信道是对称离散信道。第38页，共64页，2023年，2月20日，星期日信道矩阵不具有对称性,因而所对应的信通不是对称离散信道。第39页，共64页，2023年，2月20日，星期日若输入符号和输出符号个数相同,都等于n,且信道矩阵为此信道称为强对称信道

(均匀信道)信道矩阵中各列之和也等于1第40页，共64页，2023年，2月20日，星期日对称离散信道的平均互信息为第41页，共64页，2023年，2月20日，星期日对称DMC信道的容量

上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量{p1,p2,…pm}和输出符号集的个数m有关。强对称信道的信道容量：第42页，共64页，2023年，2月20日，星期日设二进制对称信道的输入概率空间信道矩阵：4.4BSC信道容量第43页，共64页，2023年，2月20日，星期日第44页，共64页，2023年，2月20日，星期日当p固定时,I(X,Y)是ω的型上凸函数。BSC信道容量I(XY)ω1-H(p)I(X,Y)对ω存在一个极大值。第45页，共64页，2023年，2月20日，星期日pC当固定信源的概率分布ω时,I(X,Y)是p的型下凸函数。信道无噪声当p=0,C=1－0=1bit=H(X)当p=1/2,

信道强噪声BSC信道容量第46页，共64页，2023年，2月20日，星期日当信源输入符号的速率为rs(符/秒),信道容量实际信息传输速率Rt为

进入信道输入端的信息速率

第47页，共64页，2023年，2月20日，星期日4.5一般DMC信道定理：一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足:I(ai;Y)=C对于所有ai其p(ai)＞0I(ai;Y)≤C对于所有ai其p(ai)=0上式说明：当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为0的除外。第48页，共64页，2023年，2月20日，星期日5连续信道及其容量当信道为加性连续信道时，情况较简单。设信道的输入和输出信号是随机过程x(t)和y(t)y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪声

一个受加性高斯白噪声干扰的带限波形信道的容量，由香农(1948)正式定义：信道n(t)x(t)y(t)第49页，共64页，2023年，2月20日，星期日高斯白噪声加性信道单位时间的信道容量这就是著名的香农公式

第50页，共64页，2023年，2月20日，星期日5.1连续信源的熵和互信息

连续信源的输出是取值连续的单个随机变量，可用变量的概率密度p(x)来描述。此时，连续信源的数学模型为：其中，R是全实数集，是变量X的取值范围。对连续变量，可用离散变量来逼近，即连续变量可以认为是离散变量的极限情况。量化单位越小，则所得的离散变量和连续变量越接近。第51页，共64页，2023年，2月20日，星期日

把连续信源概率密度的取值区间[a,b]分割成n个小区间，各小区间设有等宽Δ=(b-a)/n，那么，x处于第i区间的概率Pi是：其中，xi是a+(i-1)

Δ到a+iΔ之间的某一值。当p(x)是x的连续函数时，由积分中值定理可知，必存在一个xi

值使上式成立。第52页，共64页，2023年，2月20日，星期日此时，连续变量X就可以用取值为xi

(i=1,2,…n)的离散变量xn来近似。连续信源X被量化为离散信源：且第53页，共64页，2023年，2月20日，星期日这时离散信源xn的熵：当时，离散随机变量xn趋于连续随机变量X，而离散信源xn的熵H(xn)的极限值就是连续信源的信息熵。第54页，共64页，2023年，2月20日，星期日一般情况下，上式的第一项是定值，而当时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵为：第55页，共64页，2023年，2月20日，星期日

由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。第56页，共64页，2023年，2月20日，星期日

既然如此，那么为什么还要那样来定义连续信源的熵呢？一方面，因为这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）；另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔△一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵h(X)称为差熵，以区别于原来的绝对熵。第57页，共64页，2023年，2月20日，星期日

同理，可以定义两个连续变量X、Y的联合熵和条件熵，即第58页，共64页，2023年，2月20日，星期日

它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息：这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。第59页，共64页，2023年，2月20日，星期日5.2最大熵定理在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中，差熵也具有极大值，但其情况有所不同。除存在完备集条件

以外，还有其它约束条件。当各约束条件不同时，信源的最大熵值不同。一般情况，在不同约束条件下，求连