信息论-复习教学课件_第1页
信息论-复习教学课件_第2页
信息论-复习教学课件_第3页
信息论-复习教学课件_第4页
信息论-复习教学课件_第5页
已阅读5页，还剩68页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

本课程主要内容信息论信源一自信息、信息熵信道一互信息、信道容量编码理论俗编码信道编码什么是信息?信息是事物运动状态或存在方式的不确定性的描述不仅仅是形式上的消息或情报,而且包括消息或情报所含的对事物状态或不确定性的描述1.信源可以按照什么特点来分类?按照信源输出符号的符号集的取值是有限的还是连续的可分为离散信源与连续信源按照信源在任意两个不同时刻输出的随机矢量X的各维概率分布是相同还是不相同可分为平稳信源与非平稳信源按照信源发出的符号之间有没有相互依赖关系可分为有记忆信源与无记忆信源;N维随机矢量:由N个符号组成的符号序列N次扩展信源:信源输出的消息是按一定概率选取的由N个符号组成的序列,即输出的是随机矢量几种信源分类之间的关系平稳信源离散信源非平稳信源有记忆信源连续信源无记忆信源2.什么是自信息?它的计算公式是什么?自信息量与获得的信息量之间是什么关系?如果事件a发生的概率为P(an),事件a发生所含有的信息量,就称为自信息量,表示为l(a)=loP(a1)获得的信息量等于自信息量的减少3.自信息量有什么的特点?自信息量的四个特点:1.如果P(a)>P(a2),则IP(a1)<B(a22.当P(a1)=1,则IP(an)=03.当P(a)=0,则P(a)=∞4.两个独立事件联合信息量等于他们分别的信息量之和4什么是信息熵?其计算公式是什么?信息熵定义为信源的平均信息量计算公式为H(X=∑P(a)logP(a1)5.信息熵的九个基本性质是什么?基本性质:对称性、确定性、非负性、扩展性、可加性、强可加性、递增性、极值性、上凸性1)信息熵的对称性当变量P,P2,…,P的顺序任意互换时,熵函数的值不变,即H(1,P2,…,P0)=H(P2,P3…,P,P1)=H(Po,P1,P2;…,P12)信息熵的确定性H(1,0)=H(1,0,0)=H(1,0,0,0)

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论