信息论期末复习课件

信息论期末复习1信息论期末复习1第一章概述信息论的创始人：美国科学家香农1948年发表“通信的数学理论”，标志着信息论的诞生2第一章概述信息论的创始人：美国科学家香农2信息的概念1.2.3.4.3信息的概念3信息论的研究对象信息论的研究目的4信息论的研究对象4信息的一些重要性质存在的普遍性有序性相对性可度量性可扩充性

可存储、传输与携带性

可压缩性

可扩散性

可替代性

可共享性

时效性

信息的独有性质5信息的一些重要性质存在的普遍性信息论的研究范围经典信息论（狭义信息论、香农信息论）一般信息论广义信息论主要研究信息的测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（N·Wiener）为代表。概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。6信息论的研究范围主要研究信息的测度、信道容量、信息率失真函数第二章离散信源及其信息测度信源的数学模型及分类7第二章离散信源及其信息测度信源的数学模型及分类7自信息信息熵8自信息8条件熵联合熵9条件熵9信息熵的基本性质10信息熵的基本性质10离散无记忆的扩展信源11离散无记忆的扩展信源11离散平稳信源离散平稳信源的极限熵12离散平稳信源12另外马尔可夫信源13另外13求解马尔可夫信源熵的步骤根据题意画出状态转移图。判断是否是时齐遍历的马尔可夫信源。根据状态转移图写出一步转移概率矩阵，计算信源的极限概率。根据一步转移概率矩阵和极限概率计算信源的信息熵。14求解马尔可夫信源熵的步骤14注意：信源剩余度15注意：15第三章离散信道及其容量信道的数学模型与分类16第三章离散信道及其容量信道的数学模型与分类16平均互信息17平均互信息171818平均互信息的特性信道容量及其一般计算方法19平均互信息的特性19无噪无损信道的信道容量（信道的输入输出一一对应）无损信道（信道的输入输出一对多）20无噪无损信道的信道容量（信道的输入输出一一对应）20无噪有损信道（信道的输入输出多对一）对称离散信道（信道矩阵的行与列都具有可排列性）准对称信道21无噪有损信道（信道的输入输出多对一）21一般离散信道的信道容量的计算步骤求求C求求若则C就是所求的信道容量，否则重新计算22一般离散信道的信道容量的计算步骤求22离散无记忆扩展信道及其信道容量23离散无记忆扩展信道及其信道容量23独立并联信道及其信道容量数据处理定理、信息不增性原理24独立并联信道及其信道容量24信源与信道的匹配25信源与信道的匹配25第四章波形信源与波形信道连续信源的差熵26第四章波形信源与波形信道连续信源的差熵26两种特殊连续信源的差熵均匀分布高斯分布27两种特殊连续信源的差熵27差熵的性质28差熵的性质28具有最大差熵的连续信源连续信道与波形信道的分类按信道输入输出的统计特性波形信道多维连续信道基本连续信道29具有最大差熵的连续信源29按噪声的统计特性高斯信道白噪声信道高斯白噪声信道有色噪声信道按噪声对信号的作用乘性信道加性信道30按噪声的统计特性30连续信道与波形信道的信息传输率基本连续信道的平均互信息连续信道平均互信息的特性31连续信道与波形信道的信息传输率313232连续信道与波形信道的信道容量单符号高斯加性信道的信道容量限带高斯白噪声加性波形信道的信道容量33连续信道与波形信道的信道容量33香农公式重要的实际指导意义34香农公式重要的实际指导意义343535第五章无失真的信源编码定理编码器36第五章无失真的信源编码定理编码器363737等长码等长信源编码定理38等长码38变长码39变长码394040克拉夫特不等式唯一可译码也满足该不等式。变长信源编码定理41克拉夫特不等式41424243434444第八章无失真的信源编码霍夫曼编码二元霍夫曼编码方法将信源符号按概率由大到小顺序排队给两个概率最小的符号各分配一个码位“0”和“1”，将其概率相加后合并作为一个新的符号，与剩下的符号一起，再重新排队给缩减信源中概率最小的两个符号各分配一个码元重复步骤2、3直至信源剩两个符号为止，此时概率和为1。从最后开始，沿编码路径返回，得到码字。214345第八章无失真的信源编码霍夫曼编码将信源符号按概率由大到小顺r元霍夫曼编码霍夫曼编码的一些说明霍夫曼编码得到的码字并不唯一。首先，每次缩减信源时所分配的码字是任意的，不同的码元分配，得到的具体码字不同，但码长、平均码长都不变，所以没有本质区别。其次，若合并后的新符号的概率与其他符号的概率相等，从编码的方法上来说，这几个符号的次序可任意排列，编出的码都是正确的，但得到的码字不同。若合并后的新符号的概率与其他符号的概率相等，一般将合并的概率放在上面。46r元霍夫曼编码46霍夫曼码的特点霍夫曼码具有最佳性费诺编码费诺码属于概率匹配编码，比较适合于对分组概率相等或接近的信源编码。费诺码属于即时码，但是不一定是最佳码。47霍夫曼码的特点费诺码属于概率匹配编码，比较适合于对分组概率相费诺码的编码步骤对概率按r进行分组，使每组概 率尽可能相等。即编二进制码就分2组，编r元码就分成r组。给每个分组分配一个码元对每个分组重复2、3步，直到不可分为止1234按信源符号的概率从大到小的顺序排队不妨设48费诺码的编码步骤对概率按r进行分组，使每组概 率尽可能相等。第六章有噪信道编码定理错误概率和译码准则最大后验概率译码准则（最小错误概率译码准则）最大似然译码准则49第六章有噪信道编码定理错误概率和译码准则49选择译码规则与计算错误概率的方法判断输入符号的先验概率是否等概率分布。若等概率分布，采用最大似然译码准则直接从信道矩阵中得到译码函数，此时得到的平均错误概率必然最小。译码函数的选择方法：F(bj)应该译成信道矩阵第j列概率最大的那个元素对应的信源符号。平均错误概率的计算方法：按行计算。输入符号概率与其对应行的错误概率之和相乘，然后各行相加。（注意：非等概率分布时，若使用最大似然译码准则，平均错误概率也按此方法计算，只是得到的平均错误概率不一定最小）50选择译码规则与计算错误概率的方法判断输入符号的先验概率是否等若输入符号的先验概率非等概率分布，则采用最小错误概率准则可以使平均错误概率达到最小。译码函数的选择方法：计算信道的联合概率矩阵，F(bj)应该译成联合概率矩阵第j列概率最大的那个元素对应的信源符号。平均错误概率的计算方法：按列计算，即把联合概率矩阵每列的错误概率相加，再对各列相加。51若输入符号的先验概率非等概率分布，则采用最小错误概率准则可以费诺不等式错误概率与编码方法52费诺不等式错误概率与编码方法52可见，消息数M越多，码率越高；码长n越长，码率越低。汉明距离（码字距离）

要发现（检测）e个随机错误，要求dmin≥e+1；要纠正t个随机错误，要求dmin≥2t+1；要纠正t个随机错误的同时检测e个随机错误（e≥t），要求dmin≥t+e+1

53可见，消息数M越多，码率越高；码长n越长，码率越低。有噪信道编码定理有噪信道的信道容量为C，若信息传输率R<C，只要码长n足够长，必然存在一组信道编码和相应的译码规则，使译码的平均错误概率PE为任意小。反之，若R>C则不存在以R传输信息而PE为任意小的码。此定理可以推广到有记忆信道、连续信道、波形信道中。54有噪信道编码定理54信源信道编码定理55信源信道编码定理55第七章保真度准则下的信源编码失真度平均失真度56第七章保真度准则下的信源编码