信息论与编码总复习

1、2021-12-311总复习(按章节）第一章第一章 绪论绪论1信息的定义信息的定义。2信息论的定义。信息论的定义。3信息、消息、信号的关系信息、消息、信号的关系4通信系统的模型。通信系统的模型。2021-12-312第第2章章 信源及其熵信源及其熵1、信源的数学模型、信源的数学模型2、信源分类：信源分类：按消息在时间上和幅度上的分布情况，按发按消息在时间上和幅度上的分布情况，按发出符号之间的关系，对信源分类。出符号之间的关系，对信源分类。3、马尔科夫性、马尔科夫性4、齐次马尔可夫信源的转移概率具有具有什么特点。、齐次马尔可夫信源的转移概率具有具有什么特点。5、马尔可夫链遍历性的判断定理。马尔可

2、夫链遍历性的判断定理。6、自信息量、条件自信息量的定义。、自信息量、条件自信息量的定义。7、信源符号不确定度和自信息量的区别。、信源符号不确定度和自信息量的区别。8、离散信源的熵。离散信源的熵。离散信源的熵离散信源的熵9、条件熵、条件熵H(X|Y)、条件熵、条件熵H(Y| X)的物理含义。的物理含义。10、各种熵之间的关系各种熵之间的关系。11、离散信源最大熵定理、离散信源最大熵定理12、互信息的定义，、互信息的定义，平均互信息；物理含义平均互信息；物理含义。13、数据处理定理。数据处理定理。14、熵的性质、熵的性质2021-12-31315、离散无记忆信源的序列熵、平均符号熵、离散无记忆信源

3、的序列熵、平均符号熵,极限熵极限熵16、离散有记忆平稳信源的几个结论、离散有记忆平稳信源的几个结论17、连续信源的熵，最大熵定理连续信源的熵，最大熵定理18、冗余度的概念、冗余度的概念、产生的原因产生的原因；冗余的压缩。；冗余的压缩。2021-12-314第第3章信道和信道容量章信道和信道容量1、信道分类信道分类（按信道输入（按信道输入/输出信号特点，根据信道噪声种输出信号特点，根据信道噪声种类不同）类不同）2、 信道的表示参数；信道的表示参数；3、信道容量的定义。、信道容量的定义。 4、无噪有损离散信道的信道容量。无噪有损离散信道的信道容量。5、有噪无损离散信道的信道容量有噪无损离散信道的信

4、道容量6 、对称对称DMC信道的信道容量信道的信道容量。7、串联信道的信道容量、串联信道的信道容量8、无记忆离散序列信道的容量。、无记忆离散序列信道的容量。9、单符号连续信道的信道容量。单符号连续信道的信道容量。10、多维无记忆高斯加性连续信道及其容量、多维无记忆高斯加性连续信道及其容量11、高斯白噪声加性波形信道的容量（、高斯白噪声加性波形信道的容量（香农公式香农公式），香农信），香农信息极限息极限2021-12-315第第4章章 率失真函数率失真函数1、失真度，失真矩阵，平均失真度，常用的失真函数。、失真度，失真矩阵，平均失真度，常用的失真函数。2、率失真函数，物理含义率失真函数，物理含义

5、3、率失真函数的性质率失真函数的性质4、率失真函数的计算、率失真函数的计算2021-12-316第第5章章 信源编码信源编码1 、无失真信源编码和、无失真信源编码和限失真信源编码限失真信源编码2、信源编码的数学描述、信源编码的数学描述3、码长码长Ki及其意义及其意义4、几种常见的码几种常见的码5、码树码树和和kraft不等式（判断惟一可译码存在的充要条件）不等式（判断惟一可译码存在的充要条件）6、符号序列编码、符号序列编码7、无失真定长编码定理、无失真定长编码定理7、香农第一极限定理（无失真非定长序列编码定理）、香农第一极限定理（无失真非定长序列编码定理）8、编码效率编码效率9、最佳编码的指导

6、思想、最佳编码的指导思想10、最佳编码的主要方法、最佳编码的主要方法 ：香农（香农（Shannon）、）、费诺费诺（Fano）、）、 哈夫曼（哈夫曼（Huffman）编码）编码 11、香农第三极限定理（限失真信源编码定理）、香农第三极限定理（限失真信源编码定理）12、常用信源编码方法（、常用信源编码方法（游程编码游程编码、算术编码算术编码）2021-12-317第第6章章 信道编码信道编码1、信道编码的目的信道编码的目的2、差错控制编码、差错控制编码3、检错和纠错（差错控制）的基本原理、检错和纠错（差错控制）的基本原理4、差错控制方式、差错控制方式5、有扰信道编码定理（、有扰信道编码定理（Sh

7、annon第二极限定理）第二极限定理）6、分组码概念，码重、码距；最小距离与检错和纠错能力、分组码概念，码重、码距；最小距离与检错和纠错能力之间满足如下关系之间满足如下关系。7、最简单的线性分组码。、最简单的线性分组码。8、差错图样与译码差错图样与译码9、矢量空间（码空间）：定义、基底、张成；、矢量空间（码空间）：定义、基底、张成；子空间、正子空间、正交交；分组编码的数学概念；分组编码的数学概念10、线性分组码的生成矩阵，系统形式的生成矩阵，系统线性分组码的生成矩阵，系统形式的生成矩阵，系统化化2021-12-31811、线性分组码的、线性分组码的校验矩阵校验矩阵12、伴随式和标准阵列译码。、

8、伴随式和标准阵列译码。13、译码译码算法；最大似然译码与算法；最大似然译码与最小距离译码最小距离译码14、完备码及其特点完备码及其特点；两种完备码的例子；两种完备码的例子15、循环码及其多项式描述循环码及其多项式描述16、生成多项式，循环码的构造及校验，生成多项式，循环码的构造及校验，系统循环码系统循环码17、循环码编码电路、循环码编码电路18、 BCH码和码和RS码码19、分组码的扩展、缩短和循环冗余校验码、分组码的扩展、缩短和循环冗余校验码20、卷积码的基本概念、卷积码的基本概念21、卷积码的解析表达式、卷积码的解析表达式 （说明为什么称之为卷积码）（说明为什么称之为卷积码）22、卷积码的

9、转移函数矩阵、卷积码的转移函数矩阵23、卷积码的状态流图、卷积码的状态流图24、卷积码的状态流图、卷积码的状态流图2021-12-31925、卷积码的距离特性卷积码的距离特性；信号流图法求自由距离；信号流图法求自由距离26、最佳卷积码、最佳卷积码27、卷积码的译码、卷积码的译码维特比算法维特比算法28、维特比译码差错概率、维特比译码差错概率29、卷积码应用、卷积码应用30、编码与调制的结合、编码与调制的结合-网格编码调制网格编码调制31、运用级联、分集与信息迭代概念的纠错码、运用级联、分集与信息迭代概念的纠错码2021-12-3110第六章第六章 作业讲评作业讲评 二维四重子空间：两个基底，如

10、二维四重子空间：两个基底，如（0100），（），（1000）线性组合线性组合 0000，0100，1000，1100 6.1 题题 重数重数-构成矢量的元素的个数构成矢量的元素的个数 维数维数-张成矢量空间的基底的个数张成矢量空间的基底的个数 事实上，这是（事实上，这是（4，2）分组码的码字空间，）分组码的码字空间，22=4，共有，共有 4个码字（矢量）个码字（矢量） 其对偶空间是一个其对偶空间是一个n-k=4-2=2维的子空间。如取两个基底维的子空间。如取两个基底为为: (0010）（）（0001），），张成的空间为张成的空间为 0000，0010，0001，00112021-12-3111

11、 6.3 题题 码元排列顺序码元排列顺序 （u3,u2,u1,u0,v3,v2,v1,v0 ), 则生成矩阵则生成矩阵为：为：0111 1110 1101 1011 1000010000100001G 若若 码元排列顺序码元排列顺序 （u0, u1, u2 , u3, v0,v1,v2 , v3 ), 则生成矩阵则生成矩阵为：为：1101 1011 0111 1110 1000010000100001G2021-12-3112最小码距最小码距dmin方法方法1：最小码距：最小码距d0等于非零码字的最小重量即等于非零码字的最小重量即d0=wmin 列出所有的码字，列出所有的码字，d0=4方法方法

12、2：由校验矩阵求最小码距：由校验矩阵求最小码距d0 =r +1, r为为 H的秩的秩r44r=4? d0 = 4+1=51000 0100 0010 0001 0111 1110 1101 1011 H2021-12-3113 6.6 题题 （3） 伴随式表伴随式表 n-k=4 24=16,列出列出16个伴随式即可个伴随式即可 6.8 题题 （2）循环码的系统形式的生成矩阵）循环码的系统形式的生成矩阵 C=(cn-1,c1, c0)=mk-1,m1, m0 =m*G 将G系统化即得00000ggggggknknkn2021-12-3114 6.11 题题 （7，3）RS码码已知生成多项式已知生

13、成多项式 g(x) = x4 + 3 x3 + x2 + x+ 3信息序列信息序列 m=(m=( 4 2 3 ) 即即m(x) = 4 x2 + 2 x+ 3r(x) = xn-km(x) mod g(x) = x4 ( 4 x2 + 2 x+ 3 ) mod g(x) = x2 + 5 x+ 1 c(x) = xn-k m(x) + r(x) = 6x6 + 2 x5 + 3 x4 + x2 + 5 x+1c= ( 6 2 3 0 5 1)2021-12-3115c= ( 6 2 3 0 5 1)衍生码为：衍生码为：c=( 101 100 011 000 010 111 0018个元素都可以

14、表示为个元素都可以表示为 的的最高幂次为最高幂次为m-1(这里这里m=3)的多项式的多项式 3= +1； (011) 4= 3= ( +1)= 2+ ; (110) 5= 3 2= ( +1) 2= 2+ +1 ；(111) 6= 3 3 = 2+ 1 ; (101)2021-12-3116 6.14 题题 结构图结构图 状态图状态图 自由距离自由距离2021-12-3117离散信源的熵离散信源的熵1、单独求信源的熵或其它量时，、单独求信源的熵或其它量时，要给出信源模型要给出信源模型2、熵的计算公式（注意符号的使用）、熵的计算公式（注意符号的使用）3、计算出结果、计算出结果1)P( ； )P(

15、)P()P()P(XPXn1in1inxxxxxxxx212 )()()(iixx logPPXHn1i2021-12-31184、各种条件熵的符号、各种条件熵的符号 在给定符号在给定符号yj的条件下，信源的条件下，信源X 的条件熵的条件熵H(X|yj)为为:)|()|()|(jiijiyxyxyIPXHj)|(),()|()()|(jijijjyxyxyylogPPXHPYXHijj在给定信源在给定信源Y(即各符号即各符号yj )的条件下，信源的条件下，信源X 的条件熵为的条件熵为:)|(),()|(ijijlogPPXYHxyyxji 在给定信源在给定信源X(即各符号即各符号xi )的条件

16、下，信源的条件下，信源Y 的条件熵为的条件熵为:强调：知道问题到底是求哪个量？强调：知道问题到底是求哪个量？) YXH X|YH YXH XH Ij,(?|)(?)|(?)|(?)|(yyxji2021-12-3119各种熵之间的关系各种熵之间的关系H(X,Y)H(X)H(Y|X) H(X,Y)H(Y)H(X|Y) 理解、证明和计算理解、证明和计算 H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)2021-12-3120对称对称DMC信道的信道容量信道的信道容量。1、写出模型（传递矩阵）、写出模型（传递矩阵）2、判断对称性（输入对称、输出对称）、判断对称性（输入对称、输出对称）

17、3、代入、代入“公式公式”计算计算或者：或者：的行向量）PHlogm C(是个常数噪声熵 jijjiijijjiablogPb|aPablogPb,aPXYH)|()()|()()|()|()()|()();()XYHYHmax XYHYHmaxYXImaxCiiip(ap(ap(a那么：2021-12-3121常数输出对称那么：服从等概分布，如果 abPn1bP1/n,)aPa iijjii)|()(的行向量）服从等概分布，PHlogmlogPPlogm XYHlogmC logmYmaxHbm1jijijj()|()(2021-12-3122香农公式香农公式高斯白噪声加性波形信道及其容量高

18、斯白噪声加性波形信道及其容量L12xLLBLBttxtP1log21)YXImax C LCtClimRmax Clllpp)(;()()(，维连续信道的信道容量表示，其中2N 2wPP 02sll，代入： wNPSNR SNR1wlogwNP1wlogtClimC0s0sBLBtt噪声功率信号功率其中：得：)()(2021-12-3123计算和理解计算和理解（1）提高信噪比）提高信噪比SNR，可以增加信道容量，可以增加信道容量.N0w-0,Ct-.（2）增加信道的带宽并不能无限制地提高信道容量。）增加信道的带宽并不能无限制地提高信道容量。秒时，/)(bitln2NPwNP1wloglimClimCw0s0swtw为香农容量极限。称秒，可求得设：1.6dB-1.6dBln2NP1bitC0s/（3）给出了不同的）给出了不同的SNR下，所能达到的最大频带利用率。下，所能达到的最大频带利用率。（4）Ct一定时，带宽一定时，带宽w和信噪比和信噪比SNR可以互换。大的系统带宽可以互换。大的系统带宽可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带宽的要求。（举例：扩频通信）宽的要求。（举例：扩频通信）2021-12-3124率失真