信息理论基础总结

1、信息理论基础张闯E-mail: 提纲一 绪论二 信息的统计度量三 离散信源四 离散信道及其容量五 无失真信源编码六 有噪信道编码七 限失真信源编码八 连续信源及波形信道九 纠错编码一 绪论1. 信息的概念 信息与消息：信息是消息的内涵，消息是信息的载体。2. 通信系统的模型 编码器干扰源信宿译码器信道信源消息信号消息干扰一 绪论信源编码器干扰源信道调制器纠错编码器信源解调器纠错译码器信源译码器信宿信源编码部分信道编码部分信道二 信息的统计度量二 信息的统计度量二 信息的统计度量二 信息的统计度量三 离散信源1. 信源的分类 根据时间和幅度分为四类： 根据信源前后符号间有没有关联定义有记忆信源和

2、无记忆信源2. 几种典型信源 离散无记忆信源、离散平稳信源、马尔科夫信源时间时间幅度幅度信源名称信源名称离散离散离散信源（数字信源）离散连续连续信源连续离散连续连续模拟信源（波形信源）三 离散信源四 离散信道及其容量1. 信道的分类 根据输入输出符号的时间和幅度连续性分为四类： 根据信道的统计特性分为恒参信道和随参信道 根据信道的记忆性分为无记忆信道和有记忆信道 一些特殊信道的定义：无损信道、确定信道时间时间幅度幅度信源名称信源名称离散离散离散信道（数字信道）离散连续连续信道连续离散连续连续模拟信道（波形信道）四 离散信道及其容量四 离散信道及其容量四 离散信道及其容量五 无失真信源编码目的：

3、提高传输的有效性1. 编码器的模型2. 定长码与变长码 定长码： 变长码：3. 奇异码与非奇异码的定义 奇异码：编码器五 无失真信源编码五 无失真信源编码8. 变长码 变长码的定义 变长码存在的条件：Kraft不等式和McMillan不等式9. 香农第一定理变长无失真信源编码定理 对于某一信源和某一码元集，若有一种唯一可译码，对于某一信源和某一码元集，若有一种唯一可译码，其平均长度其平均长度 小于小于所有其他的唯一可译码，则称此码为最佳码所有其他的唯一可译码，则称此码为最佳码( (紧致码紧致码) )。信源符号码元/)(1qiiilsplNrSHNLrSHN1log)(log)(则总可以找到一种

4、编码方法构成唯一可译码，使信源则总可以找到一种编码方法构成唯一可译码，使信源S S中的每个信源符号所需的码中的每个信源符号所需的码字与平均长度满足字与平均长度满足 有一离散无记忆信源有一离散无记忆信源S=SS=Si i(i=1,2,(i=1,2,q),q)，输出符号为，输出符号为q q个，其熵为个，其熵为H(S)H(S)，它的，它的N N次次扩展信源扩展信源),.,2 , 1(NiNqiS)()(SNHSHNNS其熵其熵, ,若用若用r r个码元对个码元对信源进行编码信源进行编码其中，其中， 为为 中每个信源符号序列中每个信源符号序列 编码所对应的码字的平均码长。编码所对应的码字的平均码长。N

5、LNSiNqiiiiiNpL1,)(所对应的码字的长度为所对应的平均码长中每个信源符号离散无记忆信源iNSSNL:变长无失真信源编码定理：五 无失真信源编码10. 变长码的编码方法 香农码（非最佳码） 霍夫曼码（最佳码） 费诺码（非最佳码） 重点掌握霍夫曼编码方法 编码效率： 码码的剩余度的剩余度：=1-=1-( )( )logrHSH SLLr六 有噪信道编码目的： 提高通信的可靠性1. 信道编译码模型2. 译码规则 最优的译码规则：最大后验概率译码 当输入符号等概时，最大似然译码规则的误码率与最大后验概率译码的误码率相同。信道编码信道编码信道译码信道译码信道信道sjAabFjj,.,2 ,

6、 1,*)(六 有噪信道编码3. 香农第二定理有噪信道编码定理若信道是离散、无记忆、平稳的，且信道容量为若信道是离散、无记忆、平稳的，且信道容量为C C，只要待传，只要待传送的信息率送的信息率RCRCRC，就一定找不到一种信道编码方法，使得码长足，就一定找不到一种信道编码方法，使得码长足够大时，平均差错率任意接近于零。够大时，平均差错率任意接近于零。 信道编码定理告诉我们：信道编码定理告诉我们：RCRCRC时，无论如何编码，都不可能使平均差错时，无论如何编码，都不可能使平均差错绿逼近零。因此，信道容量绿逼近零。因此，信道容量C C是确保可靠性传输的信息传输率是确保可靠性传输的信息传输率的上限。

7、的上限。 七 限失真信源编码1. 失真函数定义信道信道XYX=x1 x2 xnjijijiyxyxyxd 0, 0),(NiiiNYXdNYXd1),(1),(七 限失真信源编码111212122212( , ) ( ,) ( ,)( , ) ( ,) ( ,) ( , ) ( ,) ( ,)mmnnnmd x yd x yd x yd x yd x yd x ydd x yd x yd x y2. 失真度矩阵与平均失真XXYjiijiYjijiyxdxypxpyxdyxpdED),()|()(),()(七 限失真信源编码NiiNiiiNNDNYXdENdED111),(1iD七 限失真信源编

8、码3. 信息率失真函数保真度准则：DD DD D: )|(DDabpBijD七 限失真信源编码信息率失真函数的定义式（注意和信道容量的区别） );(min)(YXIDRDB七 限失真信源编码4. 信息率失真函数的性质1）定义域 ,Dmin,Dmax，会求Dmin，Dmax相对应的值域为0，H(X)；2) R(D)是关于D的凸函数；3) R(D)是关于D的严格单调递减函数。 0D1DmaxD七 限失真信源编码5. 会利用反向信道的方式求信息率失真函数 例如： 某二元信源 其失真矩阵为 ， 求这信源的Dmax、Dmin和R(D)函数。6. 香农第三定理限失真信源编码定理2/12/110)(XPX0

9、0D七 限失真信源编码 八 连续信源与波形信道八 连续信源与波形信道九 纠错编码1.检错码检错码和和纠错码纠错码。 检错码：能发现错误但不能纠正错误的码称为检错码能发现错误但不能纠正错误的码称为检错码 ；纠错码：不仅能发现错误而且还能纠正错误的码称为纠错不仅能发现错误而且还能纠正错误的码称为纠错码。码。2.差错控制系统大致可分为前向纠错、重传反馈和混合纠差错控制系统大致可分为前向纠错、重传反馈和混合纠错等三种方式。了解各自的概念。错等三种方式。了解各自的概念。3. 随机错误和突发错误的概念随机错误和突发错误的概念4. 分组码与卷积码的概念分组码与卷积码的概念5. 码距与码重码距与码重两个码字之间两个码字之间, 对应位取值不同的个数对应位取值不同的个数, 称为它们之间的称为它们之间的汉汉明明距离，简称距离，用距离，简称距离，用 d（c1，c 2）表示。表示。九 纠错编码码字中非零码元的个数，称为该码字的汉明重量，简称重码字中非零码元的个数，称为该码字的汉明重量，简称重量，用量，用w（c）表示。表示。6.对于任一个（对于任一个（n，k）线性分组码，若要在码字内线性分组码，若要在码字内: : 检测检测 e 个错误，则要求码的最小距离个错误，则