信息理论基础总结课件_第1页
信息理论基础总结课件_第2页
信息理论基础总结课件_第3页
信息理论基础总结课件_第4页
信息理论基础总结课件_第5页
已阅读5页,还剩29页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

信息理论基础E-mail:提纲一绪论二信息的统计度量三离散信源四离散信道及其容量五无失真信源编码六有噪信道编码七限失真信源编码八连续信源及波形信道九纠错编码一绪论1.信息的概念

信息与消息:信息是消息的内涵,消息是信息的载体。2.通信系统的模型

编码器干扰源信宿译码器信道信源消息信号消息干扰二信息的统计度量

二信息的统计度量二信息的统计度量

二信息的统计度量

三离散信源

四离散信道及其容量

四离散信道及其容量

五无失真信源编码目的:提高传输的有效性1.编码器的模型2.定长码与变长码定长码:码中所有码字的长度都相同变长码:码中的码字长短不一3.奇异码与非奇异码的定义奇异码:码中所有的码字都不相同非奇异码:码中码字至少有两个相同编码器

五无失真信源编码

五无失真信源编码8.变长码变长码的定义变长码存在的条件:Kraft不等式和McMillan不等式9.香农第一定理—变长无失真信源编码定理平均码长:表示编码时,平均每个信源符号需用的码元个数。最佳码:

对于某一信源和某一码元集,若有一种唯一可译码,其平均长度小于所有其他的唯一可译码,则称此码为最佳码(紧致码)。则总可以找到一种编码方法构成唯一可译码,使信源S中的每个信源符号所需的码字与平均长度满足

有一离散无记忆信源S=Si(i=1,2,…,q),输出符号为q个,其熵为H(S),它的N次扩展信源其熵,若用r个码元对信源进行编码其中,为中每个信源符号序列编码所对应的码字的平均码长。变长无失真信源编码定理:六有噪信道编码目的:提高通信的可靠性1.信道编译码模型2.译码规则信道译码函数F是从输出符号集合B到输入符号集合A的映射译码函数又称译码规则

最优的译码规则:最大后验概率译码当输入符号等概时,最大似然译码规则的误码率与最大后验概率译码的误码率相同。信道编码信道译码信道六有噪信道编码3.香农第二定理—有噪信道编码定理一.正定理(香农第二定理)若信道是离散、无记忆、平稳的,且信道容量为C,只要待传送的信息率R<C,就一定能找到一种信道编码方法,使得码长足够大时,平均差错率任意接近于零。二.逆定理若信道是离散、无记忆、平稳的,且信道容量为C,只要待传送的信息率R>C,就一定找不到一种信道编码方法,使得码长足够大时,平均差错率任意接近于零。

信道编码定理告诉我们:R<C时,通过编码可使平均差错率逼近零;逆定理则说明:R>C时,无论如何编码,都不可能使平均差错绿逼近零。因此,信道容量C是确保可靠性传输的信息传输率的上限。七限失真信源编码失真矩阵[d]注意:-----失真函数的形式是依实际情况人为决定的.2.失真度矩阵与平均失真定义:失真函数的数学期望定义为平均失真函数(平均失真度)七限失真信源编码矢量平均失真函数为:

:表示第i个位置上符号的平均失真函数。七限失真信源编码信息率失真函数的定义式(注意和信道容量的区别)含义:率失真函数是在给定信源、规定失真函数后,在满足保真度准则的前提下,为了再现信源信息,信宿从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。

在D允许信道中可以寻找一个信道,使得给定的信源经过此信道传输时,其信道传输率达到最小,这个最小值定义为信息率失真函数,记为:七限失真信源编码4.信息率失真函数的性质1)定义域,[Dmin,Dmax],会求Dmin,Dmax相对应的值域为[0,H(X)];2)R(D)是关于D的凸函数;3)R(D)是关于D的严格单调递减函数。

H(X)R(D)R(D1)0D1DmaxD七限失真信源编码5.会利用反向信道的方式求信息率失真函数例如:某二元信源

其失真矩阵为

求这信源的Dmax、Dmin和R(D)函数。6.香农第三定理—限失真信源编码定理设离散无记忆信源X的信息率失真函数为R(D),当信息率R>R(D)时,只要信源序列长度L足够长,一定存在一种编码方法,其译码失真小于或等于D+ε,ε为任意小的正数;反之,若R<R(D),则无论采用什么样的编码方法,其译码失真必定大于D。八连续信源与波形信道

八连续信源与波形信道

九纠错编码1.检错码和纠错码。检错码:能发现错误但不能纠正错误的码称为检错码;纠错码:不仅能发现错误而且还能纠正错误的码称为纠错码。2.差错控制系统大致可分为前向纠错、重传反馈和混合纠错等三种方式。了解各自的概念。3.随机错误和突发错误的概念4.分组码与卷积码的概念5.码距与码重两个码字之间,对应位取值不同的个数,称为它们之间的汉明距离,简称距离,用d(c1,c2)表示。九纠错编码码字中非零码元的个数,称为该码字的汉明重量,简称重量,用w(c)表示。6.对于任一个(n,k)线性分组码,若要在码字内:

⑴检测e个错误,则要求码的最小距离d

e+1;

⑵纠正t个错误,则要求码的最小距离d

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论