信息论与编码总复习

总复习(按章节）第一章绪论1信息的定义。2信息论的定义。3信息、消息、信号的关系4通信系统的模型。2/5/20231第2章信源及其熵1、信源的数学模型2、信源分类：按消息在时间上和幅度上的分布情况，按发出符号之间的关系，对信源分类。3、马尔科夫性4、齐次马尔可夫信源的转移概率具有具有什么特点。5、马尔可夫链遍历性的判断定理。6、自信息量、条件自信息量的定义。7、信源符号不确定度和自信息量的区别。8、离散信源的熵。离散信源的熵9、条件熵H(X|Y)、条件熵H(Y|X)的物理含义。10、各种熵之间的关系。

11、离散信源最大熵定理12、互信息的定义，平均互信息；物理含义。13、数据处理定理。14、熵的性质2/5/2023215、离散无记忆信源的序列熵、平均符号熵,极限熵16、离散有记忆平稳信源的几个结论17、连续信源的熵，最大熵定理18、冗余度的概念、产生的原因；冗余的压缩。2/5/20233第3章信道和信道容量1、信道分类（按信道输入/输出信号特点，根据信道噪声种类不同）2、信道的表示参数；3、信道容量的定义。4、无噪有损离散信道的信道容量。5、有噪无损离散信道的信道容量6、对称DMC信道的信道容量。7、串联信道的信道容量8、无记忆离散序列信道的容量。9、单符号连续信道的信道容量。10、多维无记忆高斯加性连续信道及其容量11、高斯白噪声加性波形信道的容量（香农公式），香农信息极限2/5/20234第4章率失真函数1、失真度，失真矩阵，平均失真度，常用的失真函数。2、率失真函数，物理含义3、率失真函数的性质4、率失真函数的计算2/5/20235第5章信源编码1、无失真信源编码和限失真信源编码2、信源编码的数学描述3、码长Ki及其意义4、几种常见的码5、码树和kraft不等式（判断惟一可译码存在的充要条件）6、符号序列编码7、无失真定长编码定理7、香农第一极限定理（无失真非定长序列编码定理）8、编码效率9、最佳编码的指导思想10、最佳编码的主要方法：香农（Shannon）、费诺（Fano）、哈夫曼（Huffman）编码11、香农第三极限定理（限失真信源编码定理）12、常用信源编码方法（游程编码、算术编码）2/5/20236第6章信道编码1、信道编码的目的2、差错控制编码3、检错和纠错（差错控制）的基本原理4、差错控制方式5、有扰信道编码定理（Shannon第二极限定理）6、分组码概念，码重、码距；最小距离与检错和纠错能力之间满足如下关系。7、最简单的线性分组码。8、差错图样与译码9、矢量空间（码空间）：定义、基底、张成；子空间、正交；分组编码的数学概念10、线性分组码的生成矩阵，系统形式的生成矩阵，系统化2/5/2023711、线性分组码的校验矩阵12、伴随式和标准阵列译码。13、译码算法；最大似然译码与最小距离译码14、完备码及其特点；两种完备码的例子15、循环码及其多项式描述16、生成多项式，循环码的构造及校验，系统循环码17、循环码编码电路18、BCH码和RS码19、分组码的扩展、缩短和循环冗余校验码20、卷积码的基本概念21、卷积码的解析表达式（说明为什么称之为卷积码）22、卷积码的转移函数矩阵23、卷积码的状态流图24、卷积码的状态流图2/5/2023825、卷积码的距离特性；信号流图法求自由距离26、最佳卷积码27、卷积码的译码——维特比算法28、维特比译码差错概率29、卷积码应用30、编码与调制的结合---网格编码调制31、运用级联、分集与信息迭代概念的纠错码2/5/20239第六章作业讲评二维四重子空间：两个基底，如（0100），（1000）线性组合｛0000，0100，1000，1100｝6.1题重数---构成矢量的元素的个数

维数---张成矢量空间的基底的个数事实上，这是（4，2）分组码的码字空间，22=4，共有4个码字（矢量）其对偶空间是一个n-k=4-2=2维的子空间。如取两个基底为:(0010）（0001），张成的空间为｛0000，0010，0001，0011｝2/5/2023106.3题码元排列顺序（u3,u2,u1,u0,v3,v2,v1,v0),则生成矩阵为：若码元排列顺序（u0,u1,u2,

u3,v0,v1,v2,

v3),则生成矩阵为：2/5/202311最小码距dmin方法1：最小码距d0等于非零码字的最小重量即d0=wmin

列出所有的码字，d0=4方法2：由校验矩阵求最小码距d0=r+1,r为H的秩r≤4r=4?d0=

4+1=52/5/2023126.6题（3）伴随式表n-k=424=16,列出16个伴随式即可6.8题（2）循环码的系统形式的生成矩阵

C=(cn-1,…c1,c0)=[mk-1,…m1,m0]=m*G将G系统化即得2/5/2023136.11题（7，3）RS码已知生成多项式g(x)=x4+3x3

+x2+

x+3信息序列m=(4

2

3)即m(x)=4

x2+2

x+3r(x)=xn-km(x)modg(x)=x4(4

x2+2

x+3)modg(x)=

x2+5

x+1

c(x)=xn-km(x)+r(x)=6x6+2x5

+3

x4

+x2+5

x+1c=(6

2

30

51)2/5/202314c=(6

2

30

51)衍生码为：c=(1011000110000101110018个元素都可以表示为的最高幂次为m-1(这里m=3)的多项式

3=+1；(011)

4=3=

(

+1)=2+;(110)5=32=(+1)2=2++1

；(111)

6=3

3=2+1;(101)2/5/2023156.14题结构图状态图自由距离2/5/202316离散信源的熵1、单独求信源的熵或其它量时，要给出信源模型2、熵的计算公式（注意符号的使用）3、计算出结果2/5/2023174、各种条件熵的符号①在给定符号yj的条件下，信源X的条件熵H(X|yj)为:②在给定信源Y(即各符号yj)的条件下，信源X的条件熵为:③在给定信源X(即各符号xi)的条件下，信源Y的条件熵为:强调：知道问题到底是求哪个量？2/5/202318各种熵之间的关系H(X,Y)＝H(X)＋H(Y|X)H(X,Y)＝H(Y)＋H(X|Y)

理解、证明和计算

H(X|Y)H(Y|X)I(X;Y)H(X)H(Y)H(X,Y)2/5/202319对称DMC信道的信道容量。1、写出模型（传递矩阵）2、判断对称性（输入对称、输出对称）3、代入“公式”计算或者：2/5/2023202/5/202321香农公式高斯白噪声加性波形信道及其容量2/5/202322计算和理解（1）提高信噪比SNR，可以增加信道容量.N0w->0,Ct->∞.（2）增加信道的带宽并不能无限制地提高信道容量。（3）给出了不同的SNR下，所能达到的最大频带利用率。（4）Ct一定时，带宽w和信噪比SNR可以互换。大的系统带宽可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带宽的要求。（举例：扩频通信）2/5/202323率失真函数的性质D允许的实验信道