信息论与编码第一讲

1、第一讲,主 讲 人：刘丹平 联系方式：,主要内容,课程介绍 信息概念、信息论 信息的度量 信道及其容量,一、课程介绍,信息论与信道编码,教学目标,香农信息论的基本理论 信息的统计度量，信源，信道和信道容量。 编码的理论和实现原理 近世代数基础 ；信道编码定理；线性分组码 、循环码、 卷积码 、 Turbo码的编、译码方法。 教学重点 信息度量、信源描述、信道容量 近世代数基础 、线性分组码 、循环码、 卷积码、 Turbo码的编、译码方法,教学计划,第一讲：信息论（复习） 第二讲：有噪信道编码理论、线性分组码（讲述和讨论） 第三讲：近世代数基础、循环码（讲述和讨论） 第四讲：BCH码、RS码（

2、讲述和讨论） 第五讲：卷积码编码（讲述和讨论） 第六讲：卷积码译码（讲述和讨论） 第七讲：Turbo码（讲述和讨论,1）纠错码原理与方法（ 2001），西安电子科 技大学出版社； （2） 傅祖芸编著，信息论基础理论与应用（2001），北京：电子工业出版社； （3）姜丹，信息论与编码 （ 2001），合肥，中国科学技术大学出版社； （4）曹雪虹，张宗橙，信息论与编码（ 2004），北京，清华大学出版社,参考书,计分方式,期终考试占60 专题报告占20；个人报告占20 小论文占20,二、信息概念、信息论,2.1 信息 信息、消息、信号 信息是抽象、复杂的概念，它包含在消息之中，是通信系统中传递的对

3、象。 2.2 信息定义 信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。 2.3 研究信息的目的：为了准确地把握信息本质和特点，以便有效地利用信息,2.4 香农信息论 1948年，美国数学家克劳特香农（C.E. Shannon）发表了一篇著名论文“通信的数学理论”。 该论文给出了信息传输问题的一系列重要结果，建立了比较系统的信息理论香农信息论,信息论奠基人香农,通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 这是香农在他的惊世之著通信的数学理论中的一句铭言。正是沿着这一思路,他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论,他的成

4、就轰动了世界，激起了人们对信息理论的巨大热情。信息论向各门学科冲击，研究规模像滚雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学等学科。它已远远地突破了香农本人所研究和意料的范畴，即从香农的所谓“狭义信息论”发展到了“广义信息论,三、信息的度量,3.1 自信息量,随机事件,出现概率,自信息量定义,随机事件的不确定性 出现概率小的随机事件所包含的不确定性大，它的自信息量大。 出现概率大的随机事件所包含的不确定性小，它的自信息量小。 在极限情况下，出现概率为1的确定性事件，其自信息量为零,

5、条件自信息量,条件自信息量用其条件概率的负对数来量度,随机事件,条件概率,条件自信息量,3.2 互信息量,先验概率 对于预先知道信源X集合的概率空间P(xi)的情况，各个符号xi(i=1,2,)的概率P(xi)。 后验概率 当信宿Y收到集合中的一个符号yj后，接收者重新估计的关于信源各个符号的概率分布就变成条件概率。对消息xi而言，其条件概率定义为P(xi|yj)。 互信息量 互信息量定义为后验概率与先验概率比值的对数,3.3 通信熵,无记忆信源 信源往往包含着多个符号，且各个符号的出现概率按信源的概率空间分布。 当各个符号的出现相互独立时，这种信源称为无记忆信源。 无记忆信源的平均自信息量是

6、各消息自信息量的概率加权平均值（统计平均值）。 通信熵,平均自信息量,自信息量,代入,定理: 熵满足不等式,当且仅当信源中各符号的出现概率P(x)都等于时1/M，上式取等号，可得最大熵,二元信源的信源熵,二元信源的信源熵,信源X有两个消息，M=2 一个符号出现概率P 另一个符号出现概率1P 该信源的熵,最大熵,条件熵,条件熵是联合空间XY上的条件自信息量的概率加权平均值。 若给定x条件下y的条件自信息量为I(y|x)，则它在XY集合上的概率加权平均值H(Y|X)定义为,H(Y|X)为条件熵，也可直接定义为,共熵,共熵（又称联合熵）是联合空间XY上的每个元素对xy的自信息量的概率加权平均值，定义

7、为,与信源熵和条件熵的关系,联合熵与条件熵的关系,全概率公式,所以 H( X Y ) = H(X )H(Y | X ) 同理 H( X Y ) = H(Y )H( X | Y,而当X、Y 是统计独立的两个信源： H( X Y ) = H(X ) H(Y,3.4 平均互信息量,XY联合集上的平均条件互信息量,定理2.5,XY联合集上的条件互信息量满足,当且仅当X集合中的各x都与yi独立时，等号成立,假设,通过有扰信道的接收符号,任意一个可能被传输的消息,结论：有扰信道中接收到的符号所提供的 关于传输消息的平均信息量总是非负量,平均互信息量： 平均条件互信息量在整个Y集合上的概率加权平均值,无扰信

8、道,噪声很大的信道,四、信道及其容量,4.1,4.2,4.3 信道容量计算,离散信道可分成： 特殊信道 无噪无损信道 有噪无损信道 无噪有损信道 有干扰无记忆信道 有干扰有记忆信道,特殊信道,对称DMC信道,对称性: 每一行都是由同一集p1, p2,pm 的诸元素不同排列组成输入对称 每一列都是由集q1, q2,qn的诸元素不同排列组成输出对称,满足对称性,所对应的信道是对称离散信道,信道矩阵,不具有对称性,因而所对应的信通不是对称离散信道,若输入符号和输出符号个数相同,都等于n,且信道矩阵为,此信道称为强对称信道 (均匀信道) 信道矩阵中各列之和也等于1,对称离散信道的平均互信息为,对称DM

9、C信道的容量,上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1, p2,pm 和输出符号集的个数m有关,强对称信道的信道容量,设二进制对称信道的输入概率空间 信道矩阵,4.4 BSC信道容量,当p固定时,I (X,Y) 是的 型上凸函数,BSC信道容量,I (X,Y) 对存在一个极大值,p,C,当固定信源的概率分布时,I (X,Y) 是p的 型 下凸函数,信道无噪声,当p = 0, C =10 = 1bit = H(X,当p =1/2,信道强噪声,BSC信道容量,当信源输入符号的速率为rs(符/秒),信道容量,实际信息传输速率Rt为,进入信道输入端的信息速率,4.5

10、 一般DMC信道,定理： 一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率p(ai)必须满足: I (ai;Y) = C 对于所有ai其p(ai)0 I (ai;Y) C 对于所有ai其p(ai) = 0,上式说明： 当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，只是概率为0的除外,5 连续信道及其容量,当信道为加性连续信道时，情况较简单。 设信道的输入和输出信号是随机过程x(t) 和y(t) y(t) = x(t) + n(t,n(t)：信道的加性高斯白噪声,一个受加性高斯白噪声干扰的带限波形信道的容

11、量，由香农(1948)正式定义,信 道,n(t,x(t,y(t,高斯白噪声加性信道单位时间的信道容量,这就是著名的香农公式,5.1 连续信源的熵和互信息 连续信源的输出是取值连续的单个随机变量，可用变量的概率密度p(x)来描述。此时，连续信源的数学模型为： 其中，R是全实数集，是变量X的取值范围。 对连续变量，可用离散变量来逼近，即连续变量可以认为是离散变量的极限情况。量化单位越小，则所得的离散变量和连续变量越接近,把连续信源概率密度的取值区间a,b分割成n个小区间，各小区间设有等宽 =(b-a)/n，那么，x处于第i 区间的概率Pi是： 其中，xi是a+(i-1) 到a+i之间的某一值。当p

12、(x)是x的连续函数时，由积分中值定理可知，必存在一个xi 值使上式成立,此时，连续变量X就可以用取值为xi (i=1,2,n) 的离散变量 xn 来近似。连续信源X被量化为离散信源： 且,这时离散信源xn 的熵： 当 时，离散随机变量xn 趋于连续随机变量X，而离散信源xn 的熵 H(xn)的极限值就是连续信源的信息熵,一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项， 定义连续信源的熵为,由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取

13、值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大,既然如此，那么为什么还要那样来定义连续信源的熵呢？一方面，因为这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）；另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵h(X)称为差熵，以区别于原来的绝对熵,同理，可以定义两个连续变量X、Y的联合熵和条件熵，即,它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息： 这样定义的熵虽然形式上和离散信源的熵相似，但在

14、概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性,5.2 最大熵定理 在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中，差熵也具有极大值，但其情况有所不同。除存在完备集条件 以外，还有其它约束条件。当各约束条件不同时，信源的最大熵值不同。一般情况，在不同约束条件下，求连续信源的差熵的最大值，就是在下述若干约束条件,求泛函 的极值,通常感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。下面分别加以讨论。 （1）峰值功率受限条件下信源的最大熵 定理： 若信源输出的幅度被限定在a,b区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。 此时,2）平均功率受限条件下信源的最大熵 定理： 若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率，即方差 ），则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 。 高斯分布（正态分布）：（其中，m为数学期望