信息论与编码总复习概要课件

1、总复习(按章节）第一章 绪论1信息的定义。2信息论的定义。3信息、消息、信号的关系4通信系统的模型。10/17/20221总复习(按章节）第一章 绪论10/15/20221第2章 信源及其熵1、信源的数学模型2、信源分类：按消息在时间上和幅度上的分布情况，按发出符号之间的关系，对信源分类。3、马尔科夫性4、齐次马尔可夫信源的转移概率具有具有什么特点。5、马尔可夫链遍历性的判断定理。6、自信息量、条件自信息量的定义。7、信源符号不确定度和自信息量的区别。8、离散信源的熵。离散信源的熵9、条件熵H(X|Y)、条件熵H(Y| X)的物理含义。10、各种熵之间的关系。11、离散信源最大熵定理12、互信

2、息的定义，平均互信息；物理含义。13、数据处理定理。14、熵的性质10/17/20222第2章 信源及其熵10/15/2022215、离散无记忆信源的序列熵、平均符号熵,极限熵16、离散有记忆平稳信源的几个结论17、连续信源的熵，最大熵定理18、冗余度的概念、产生的原因；冗余的压缩。10/17/2022315、离散无记忆信源的序列熵、平均符号熵,极限熵10/15/第3章信道和信道容量1、信道分类（按信道输入/输出信号特点，根据信道噪声种类不同）2、 信道的表示参数；3、信道容量的定义。 4、无噪有损离散信道的信道容量。5、有噪无损离散信道的信道容量6 、对称DMC信道的信道容量。7、串联信道的

3、信道容量8、无记忆离散序列信道的容量。9、单符号连续信道的信道容量。10、多维无记忆高斯加性连续信道及其容量11、高斯白噪声加性波形信道的容量（香农公式），香农信息极限10/17/20224第3章信道和信道容量10/15/20224第4章 率失真函数1、失真度，失真矩阵，平均失真度，常用的失真函数。2、率失真函数，物理含义3、率失真函数的性质4、率失真函数的计算10/17/20225第4章 率失真函数10/15/20225第5章 信源编码1 、无失真信源编码和限失真信源编码2、信源编码的数学描述3、码长Ki及其意义4、几种常见的码5、码树和kraft不等式（判断惟一可译码存在的充要条件）6、符

4、号序列编码7、无失真定长编码定理7、香农第一极限定理（无失真非定长序列编码定理）8、编码效率9、最佳编码的指导思想10、最佳编码的主要方法 ：香农（Shannon）、费诺（Fano）、 哈夫曼（Huffman）编码 11、香农第三极限定理（限失真信源编码定理）12、常用信源编码方法（游程编码、算术编码）10/17/20226第5章 信源编码10/15/20226第6章 信道编码1、信道编码的目的2、差错控制编码3、检错和纠错（差错控制）的基本原理4、差错控制方式5、有扰信道编码定理（Shannon第二极限定理）6、分组码概念，码重、码距；最小距离与检错和纠错能力之间满足如下关系。7、最简单的线

5、性分组码。8、差错图样与译码9、矢量空间（码空间）：定义、基底、张成；子空间、正交；分组编码的数学概念10、线性分组码的生成矩阵，系统形式的生成矩阵，系统化10/17/20227第6章 信道编码10/15/2022711、线性分组码的校验矩阵12、伴随式和标准阵列译码。13、译码算法；最大似然译码与最小距离译码14、完备码及其特点；两种完备码的例子15、循环码及其多项式描述16、生成多项式，循环码的构造及校验，系统循环码17、循环码编码电路18、 BCH码和RS码19、分组码的扩展、缩短和循环冗余校验码20、卷积码的基本概念21、卷积码的解析表达式 （说明为什么称之为卷积码）22、卷积码的转移

6、函数矩阵23、卷积码的状态流图24、卷积码的状态流图10/17/2022811、线性分组码的校验矩阵10/15/2022825、卷积码的距离特性；信号流图法求自由距离26、最佳卷积码27、卷积码的译码维特比算法28、维特比译码差错概率29、卷积码应用30、编码与调制的结合-网格编码调制31、运用级联、分集与信息迭代概念的纠错码10/17/2022925、卷积码的距离特性；信号流图法求自由距离10/15/20第六章 作业讲评 二维四重子空间：两个基底，如（0100），（1000）线性组合 0000，0100，1000，1100 6.1 题 重数-构成矢量的元素的个数 维数-张成矢量空间的基底的个

7、数 事实上，这是（4，2）分组码的码字空间，22=4，共有 4个码字（矢量） 其对偶空间是一个n-k=4-2=2维的子空间。如取两个基底为: (0010）（0001），张成的空间为 0000，0010，0001，001110/17/202210第六章 作业讲评 二维四重 6.3 题 码元排列顺序 （u3,u2,u1,u0,v3,v2,v1,v0 ), 则生成矩阵为： 若 码元排列顺序 （u0, u1, u2 , u3, v0,v1,v2 , v3 ), 则生成矩阵为：10/17/202211 6.3 题 码元排列顺序 （u3,u2,u1,u0最小码距dmin方法1：最小码距d0等于非零码字的最

8、小重量即d0=wmin 列出所有的码字，d0=4方法2：由校验矩阵求最小码距d0 =r +1, r为 H的秩r4r=4? d0 = 4+1=510/17/202212最小码距dmin方法1：最小码距d0等于非零码字的最小重量即 6.6 题 （3） 伴随式表 n-k=4 24=16,列出16个伴随式即可 6.8 题 （2）循环码的系统形式的生成矩阵 C=(cn-1,c1, c0)=mk-1,m1, m0 =m*G 将G系统化即得10/17/202213 6.6 题 （3） 伴随式表 6.8 题 （2）循 6.11 题 （7，3）RS码已知生成多项式 g(x) = x4 + 3 x3 + x2 +

9、 x+ 3信息序列 m=(4 2 3 ) 即m(x) = 4 x2 + 2 x+ 3r(x) = xn-km(x) mod g(x) = x4 (4 x2 + 2 x+ 3 ) mod g(x) = x2 + 5 x+ 1 c(x) = xn-k m(x) + r(x) = 6x6 + 2 x5 + 3 x4 + x2 + 5 x+1c= (6 2 3 0 5 1)10/17/202214 6.11 题 （7，3）RS码已知生成多项式 gc= (6 2 3 0 5 1)衍生码为：c=( 101 100 011 000 010 111 0018个元素都可以表示为的最高幂次为m-1(这里m=3)的

10、多项式 3= +1； (011) 4= 3= ( +1)= 2+ ; (110) 5= 3 2= ( +1)2= 2+ +1 ；(111) 6= 3 3 =2+ 1 ; (101)10/17/202215c= (6 2 3 0 5 1)8个元素都可 6.14 题 结构图 状态图 自由距离10/17/202216 6.14 题 结构图10/15/202216离散信源的熵1、单独求信源的熵或其它量时，要给出信源模型2、熵的计算公式（注意符号的使用）3、计算出结果10/17/20221710/15/2022174、各种条件熵的符号 在给定符号yj的条件下，信源X 的条件熵H(X|yj)为:在给定信源

11、Y(即各符号yj )的条件下，信源X 的条件熵为: 在给定信源X(即各符号xi )的条件下，信源Y 的条件熵为:强调：知道问题到底是求哪个量？10/17/2022184、各种条件熵的符号 在给定符号yj的条件下，信源X 的条各种熵之间的关系H(X,Y)H(X)H(Y|X) H(X,Y)H(Y)H(X|Y) 理解、证明和计算 H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)10/17/202219H(X,Y)H(X)H(Y|X) 理解、证明和计算 H对称DMC信道的信道容量。1、写出模型（传递矩阵）2、判断对称性（输入对称、输出对称）3、代入“公式”计算或者：10/17/2022

12、20对称DMC信道的信道容量。10/15/20222010/17/20222110/15/202221香农公式高斯白噪声加性波形信道及其容量10/17/20222210/15/202222计算和理解（1）提高信噪比SNR，可以增加信道容量.N0w-0,Ct-.（2）增加信道的带宽并不能无限制地提高信道容量。（3）给出了不同的SNR下，所能达到的最大频带利用率。（4）Ct一定时，带宽w和信噪比SNR可以互换。大的系统带宽可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带宽的要求。（举例：扩频通信）10/17/202223计算和理解（3）给出了不同的SNR下，所能达到的最大频带利用率失真函数的性质D允许的实验信道PD中一定有一种信道，使得I(X;Y)最小。定义R(D)为：物理含义：性质:R(D)的定义域 Dmin,Dmax10/17