信息论复习20131206

1、1,信息论与编码,复习,福州大学物理与信息工程学院,郭里婷,物理与信息工程学院,郭里婷,2020/3/30,2,?,课程内容：,?,绪论,?,信源和信息熵,?,信道和信道容量,?,信息率失真函数,?,信源编码定理和方法,?,信道编码定理和方法,物理与信息工程学院,郭里婷,2020/3/30,复习和考试注意事项,1.,认真复习上课的内容,2.,对所举的例子、布置的作业都应理解,3.,注意各物理量的物理意义、单位和计算,4.,注意每一章节的基本概念和术语,5.,矩阵的意义、大小、填入规则、多项式的阶数等,6.,闭卷。卷面,70,，作业、出勤等表现,30,7.,题型：,填空题（约,15,20,）和计

2、算题（约,85,80,）,8.,答疑的时间和地点：,?,3,物理与信息工程学院,郭里婷,2020/3/30,第六章,信道编码定理和方法,4,第,1,节,有扰离散信道编码定理,（重点）,一、差错类型、纠错码的模型和分类、差错控制系统分类,信息码组、校验码元、码字、码集、码,FEC,、,ARQ,、,HFC,二、常用术语,差错图样、汉明距离、码重、矢量空间和码空间,三、随机编码的平均误码率上边界,四、信道编码定理,物理与信息工程学院,郭里婷,2020/3/30,第六章,信道编码定理和方法,5,第,2,节,纠错编码的基本思想,（重点）,一、降低平均误码率的上边界的基本方法,二、纠错译码过程和译码准则,

3、最大后验概率译码和最大似然概率译码的准则、特点和关系,三、,BSC,信道的最大似然译码最小汉明距离译码,物理与信息工程学院,郭里婷,2020/3/30,第六章,一、生成矩阵,G,第,3,节,线性分组码,(n,k),（重点）,信道编码定理和方法,6,与基底的关系；大小；特性（特别注意：矩阵每一行都是码字,并灵活应用）；,已知,G,，如何得到码集和编码电路,四、校验矩阵,H,（大小；特性；和,G,的关系；许用码字,c,和,H,的关系）,五、系统线性分组码的生成矩阵和校验矩阵：两者的关系,六、伴随式的定义和作用，伴随式、接收码字、差错图样三者的关系,七、纠错译码的三个步骤。,已知一个接收码字，如何进

4、行纠错译码，获得正确的码字。,八、标准阵列译码,标准阵列的构造规则，构造过程，利用该阵列的纠错译码方法,九、分组码的最小码距和检纠错能力的关系。,最小码距的求法，检纠错能力的求法,十、完备码（汉明限，完备码的定义、汉明码的定义和构造）,物理与信息工程学院,郭里婷,2020/3/30,第六章,一、特性,二、码多项式和移位后的多项式。,信道编码定理和方法,7,第,4,节,循环码,(n,k),（重点）,三、生成多项式应该满足的条件和非系统码的生成方法,四、校验多项式和校验方法（两种）,五、已知生成多项式，如何求校验多项式。或者已知校验多项式，求生成多项式,六、系统循环码的生成,1,、系统循环码的生成

5、矩阵的求法,2,、系统循环码的生成方法（两种）,六、系统循环码的编码电路（除法器特性和工作过程,）,七、注意：各种多项式的关系，阶次,物理与信息工程学院,郭里婷,2020/3/30,第六章,一、定义和模型示意图,信道编码定理和方法,（重点）,8,第,5,节,卷积码,(n,k,L),二、生成子矩阵和当前码字，码字序列的生成,（重点）,三、转移函数矩阵（重点）,1,、各种矩阵的填入规则，每种矩阵的大小,2,、编码器结构,?,生成子矩阵,G,l,?,转移函数矩阵,G,(,D,),物理与信息工程学院,郭里婷,2020/3/30,第五章,第,1,节,信源编码定理和方法,编码的作用和定义,9,一、信源编码

6、的作用和途径（重点）,二、信息论的主要内容（重点）,三、编码的定义和类型（重点）,（一）编码的模型和定义,信源符号、信源序列；码元、码字、码的区别,平均码长、信息率、平均符号熵、编码效率的物理意义、单位、计算,（二）编码类型,各种码的定义、判别方法（特别是惟一可译码、即时码的判别）,注意：,Kraft,不等式的使用,（三）码分类小结和码树,如何利用码树判别即时码,物理与信息工程学院,郭里婷,2020/3/30,第五章,第,2,节,（一）,L,的确定,一、定长编码及编码定理,信源编码定理和方法,10,无记忆信源的无失真编码（重点）,L,和编码效率、译码差错率的关系,（二）无记忆信源定长编码定理,

7、二、变长编码定理,三、常见的变长编码方法（二进制编码）,（一）香农码（二）费诺码（三）哈夫曼码,编码方法（对单符号和对符号序列）,编码效率的计算,比较（不同变长编码法比较、与定长编码比较、同一种编码单符号和符号序,列比较）,码长方差的计算,物理与信息工程学院,郭里婷,2020/3/30,第五章,信源编码定理和方法,11,第,3,节,限失真信源编码,一、限失真信源编码定理,与变长无失真信源编码定理的联系和区别,二、限失真编码方法模型,物理与信息工程学院,郭里婷,2020/3/30,第四章,信息率失真函数,12,第,1,节,平均失真和信息率失真函数,一、与失真有关的几个概念（重点）,失真函数、失真

8、矩阵（各元素的填入规则）、平均失真、失真限度,平均失真和失真限度的区别,计算失真处理前后，信源信息量的变化,二、信息率失真函数,R(D),（重点）,定义,理解什么是最佳的失真编码器,与信道容量的异同点,四、信息率失真函数的性质（重点）,3,个性质,值域和定义域的计算，特别是,Dmax,的计算,物理与信息工程学院,郭里婷,2020/3/30,第三章,信道和信道容量,13,第,1,节信道的分类和描述,一、离散信道描述：转移概率（矩阵）或信道线图,（一）离散无记忆信道（,DMC,）,（重点）,定义、由单符号信道转移概率计算扩展信道转移概率的方法,（二）信道转移矩阵,P,的特性（重点）,矩阵各元素的填

9、入规则，矩阵的特性,物理与信息工程学院,郭里婷,2020/3/30,第三章,信道和信道容量,14,第,2,节,离散单符号信道的信道容量（重点）,一、几个概念的定义、物理意义和单位,（一）信息传输率,R,（二）信息传输速率,Rt,（三）信道容量,C,（四）单位时间的信道容量,Ct,理解什么是最佳的信源分布,与信息率失真函数的异同点,二、几种特殊信道的转移矩阵的特点及其信道容量的计算方法,（一）无噪无损信道（二）无噪有损信道（三）有噪无损信道,三、对称,DMC,信道的信道容量的计算,（一）对称,DMC,信道的定义,（二）对称信道容量的计算公式,物理与信息工程学院,郭里婷,2020/3/30,第三章

10、,第,2,节,信道和信道容量,15,离散单符号信道的信道容量（重点）,四、准对称,DMC,信道的信道容量的计算,（一）准对称,DMC,信道的定义,（二）信道容量的范围,（三）信道容量的计算方法,法一：求极值法、法二：子矩阵法,物理与信息工程学院,郭里婷,2020/3/30,第三章,信道和信道容量,16,第,3,节,离散序列信道及容量（重点）,一、离散序列信道平均互信息量的特性,二、离散序列信道信道容量,C,L,的特性和单位,三、扩展信道信道容量的计算方法,第,4,节,复合信道及容量（重点）,一、串联信道,信道容量的计算方法,二、独立并联信道,信道容量的计算方法,物理与信息工程学院,郭里婷,20

11、20/3/30,第三章,信道和信道容量,17,第,5,节,连续信道及容量,一、连续单符号加性信道及其容量,能理解“非高斯信道比高斯信道的信道容量大”的原因,二、限时限频限功率加性高斯白噪声模拟信道及其容量（重点）,（一）单位时间信道容量的计算,注意：单位、各个物理量的互相计算,（二）香农公式的讨论,第,6,节,理解并计算信道冗余度,信道冗余度,物理与信息工程学院,郭里婷,2020/3/30,第二章,第,1,节,一、信源的分类（了解）,二、有记忆信源的特点和描述,信源和信息熵,信源的描述和分类,18,（一）符号序列有记忆的离散信源（重点）,（二）,m,阶马尔可夫信源（符号序列有记忆信源的特例）（

12、重点）,三、,m,阶马尔可夫信源（马尔可夫链）,（重点）,（一）符号和符号集、状态和状态集的概念,（二）香农线图,（三）符号条件概率、（状态）转移概率、稳态状态概率、稳态符号概率的,计算,（四）极限熵的计算,物理与信息工程学院,郭里婷,2020/3/30,第二章,第,2,节,一、符号自信息量和互信息量,信源和信息熵,19,单符号无记忆离散信源的熵和互信息量（重点）,（一）自信息量（二）条件自信息量（三）联合信息量（四）互信息量,定义、单位、计算、物理意义（解决应用题和计算题）、性质,二、信源平均信息量（熵）和平均互信息量,（一）熵（二）条件熵（三）联合熵（共熵）（四）平均互信息量,定义、单位、

13、计算、物理意义（解决应用题和计算题）、性质,特别是：平均互信息量的性质,三、各种熵的关系,四、各种熵在通信系统中的物理意义,注意区别：,H,(,X,Y,),H,(,X,y,j,),I,(,X,;,Y,),I,(,X,;,y,j,),等,噪声熵、疑义度、系统中传送的信息量,物理与信息工程学院,郭里婷,2020/3/30,第二章,第,3,节,一、离散序列信源的描述,二、离散序列信源熵的计算和单位,（一）序列熵,（二）离散无记忆信源序列熵,（三）离散有记忆信源序列熵,三、平均符号熵的计算和单位,四、信源序列熵的性质,五、,m,阶马尔可夫信源的极限熵计算,信源和信息熵,20,离散序列信源的熵（重点）,物理与信息工程学院,郭里婷,2020/3/30,第二章,第,4,节,一、幅度连续的单个符号信源熵,信源和信息熵,21,连续信源的熵和互信息量,（一）幅度连续信源的相对熵（差熵、微分熵）的计算（重点）,（二）幅度连续信源的熵与相对熵的比较（重点）,二、最大熵定理（重点）,（一）离散信源的最大熵定理,（二）连续信源的最大熵定理,物理与信息工程学院,郭里婷,