信息理论基础总结课件

信息理论基础E-mail:提纲一绪论二信息的统计度量三离散信源四离散信道及其容量五无失真信源编码六有噪信道编码七限失真信源编码八连续信源及波形信道九纠错编码一绪论1.信息的概念

信息与消息：信息是消息的内涵，消息是信息的载体。2.通信系统的模型

编码器干扰源信宿译码器信道信源消息信号消息干扰二信息的统计度量

二信息的统计度量二信息的统计度量

二信息的统计度量

三离散信源

四离散信道及其容量

四离散信道及其容量

五无失真信源编码目的：提高传输的有效性1.编码器的模型2.定长码与变长码定长码：码中所有码字的长度都相同变长码：码中的码字长短不一3.奇异码与非奇异码的定义奇异码：码中所有的码字都不相同非奇异码：码中码字至少有两个相同编码器

五无失真信源编码

五无失真信源编码8.变长码变长码的定义变长码存在的条件：Kraft不等式和McMillan不等式9.香农第一定理—变长无失真信源编码定理平均码长：表示编码时，平均每个信源符号需用的码元个数。最佳码：

对于某一信源和某一码元集，若有一种唯一可译码，其平均长度小于所有其他的唯一可译码，则称此码为最佳码(紧致码)。则总可以找到一种编码方法构成唯一可译码，使信源S中的每个信源符号所需的码字与平均长度满足

有一离散无记忆信源S=Si(i=1,2,…,q)，输出符号为q个，其熵为H(S)，它的N次扩展信源其熵,若用r个码元对信源进行编码其中，为中每个信源符号序列编码所对应的码字的平均码长。变长无失真信源编码定理：六有噪信道编码目的：提高通信的可靠性1.信道编译码模型2.译码规则信道译码函数F是从输出符号集合B到输入符号集合A的映射译码函数又称译码规则

最优的译码规则：最大后验概率译码当输入符号等概时，最大似然译码规则的误码率与最大后验概率译码的误码率相同。信道编码信道译码信道六有噪信道编码3.香农第二定理—有噪信道编码定理一.正定理（香农第二定理）若信道是离散、无记忆、平稳的，且信道容量为C，只要待传送的信息率R<C，就一定能找到一种信道编码方法，使得码长足够大时，平均差错率任意接近于零。二.逆定理若信道是离散、无记忆、平稳的，且信道容量为C，只要待传送的信息率R>C，就一定找不到一种信道编码方法，使得码长足够大时，平均差错率任意接近于零。

信道编码定理告诉我们：R<C时，通过编码可使平均差错率逼近零；逆定理则说明：R>C时，无论如何编码，都不可能使平均差错绿逼近零。因此，信道容量C是确保可靠性传输的信息传输率的上限。七限失真信源编码失真矩阵[d]注意:-----失真函数的形式是依实际情况人为决定的.2.失真度矩阵与平均失真定义：失真函数的数学期望定义为平均失真函数（平均失真度）七限失真信源编码矢量平均失真函数为：

：表示第i个位置上符号的平均失真函数。七限失真信源编码信息率失真函数的定义式（注意和信道容量的区别）含义：率失真函数是在给定信源、规定失真函数后，在满足保真度准则的前提下，为了再现信源信息，信宿从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。

在D允许信道中可以寻找一个信道，使得给定的信源经过此信道传输时，其信道传输率达到最小，这个最小值定义为信息率失真函数，记为：七限失真信源编码4.信息率失真函数的性质1）定义域,[Dmin,Dmax]，会求Dmin，Dmax相对应的值域为[0，H(X)]；2)R(D)是关于D的凸函数；3)R(D)是关于D的严格单调递减函数。

H（X）R（D）R（D1）0D1DmaxD七限失真信源编码5.会利用反向信道的方式求信息率失真函数例如：某二元信源

其失真矩阵为

，

求这信源的Dmax、Dmin和R(D)函数。6.香农第三定理—限失真信源编码定理设离散无记忆信源X的信息率失真函数为R(D)，当信息率R>R(D)时，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+ε，ε为任意小的正数；反之，若R<R(D)，则无论采用什么样的编码方法，其译码失真必定大于D。八连续信源与波形信道

八连续信源与波形信道

九纠错编码1.检错码和纠错码。检错码：能发现错误但不能纠正错误的码称为检错码；纠错码：不仅能发现错误而且还能纠正错误的码称为纠错码。2.差错控制系统大致可分为前向纠错、重传反馈和混合纠错等三种方式。了解各自的概念。3.随机错误和突发错误的概念4.分组码与卷积码的概念5.码距与码重两个码字之间,对应位取值不同的个数,称为它们之间的汉明距离，简称距离，用d（c1，c2）表示。九纠错编码码字中非零码元的个数，称为该码字的汉明重量，简称重量，用w（c）表示。6.对于任一个（n，k）线性分组码，若要在码字内:

⑴检测e个错误，则要求码的最小距离d

e＋1；

⑵纠正t个错误，则要求码的最小距离d