《通信原理》课件第3讲 信息及其度量_第1页
《通信原理》课件第3讲 信息及其度量_第2页
《通信原理》课件第3讲 信息及其度量_第3页
《通信原理》课件第3讲 信息及其度量_第4页
《通信原理》课件第3讲 信息及其度量_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第3讲信息及其度量信息及其度量（重点）信息：是消息中包含的有效内容如何度量离散消息中所含的信息量?铁路系统运送货物量多少采用“货运量”来度量通信系统中传输信息的多少采用“信息量”来度量。注意：信息量的大小实际上与内容无关一个消息对于接收者很有价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）

【例】“某客机坠毁”这条消息比“今天下雨”这条消息包含有更多的信息。

信息及其量度一条信息发生的概率越小，信息量越大；概率越大（一种极端情况是“必然的事情”信息量为0）则信息量越小于是，对于一条信息x，人们用下列公式表示其信息量I：之所以取对数是由于信息量的“累加性”决定的1.4信息及其量度信息量的单位由对数底的取值决定。若对数以2为底时单位是“比特”（bit—binaryunit的缩写）；若以e为底时单位是“奈特”（nat—natureunit的缩写）；若以10为底时单位是“哈特”（Hart—Hartley的缩写）。通常采用“比特”作为信息量的实用单位。同学们要掌握的[例题1]某信源每天播报某地的天气预报，此地晴天多云、阴、雨的概率分别为1/2、1/4、1/8、1/8，求：（1）晴、多云、阴、雨的各自所含信息量（2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量（3）此信源的每个消息的平均信息量（称为“信息熵”）[例题1]（解）[例题1]（解）称为信息熵，因为其通用公式为这个公式与物理热力学中的熵很相似。但热力学中的熵总是增加的，而信息熵在通信过程中则总是减小的。请注意其量纲[例题2]

一离散信源由“0”，“1”，“2”，“3”四个符号组成，它们出现的概率分别为3/8，1/4，1/4，1/8，且每个符号的出现都是独立的。试求某消息201020130213001203210100321010023102002010312032100120210的信息量。【解】此消息中，“0”出现23次，“1”出现14次，“2”出现13次，“3”出现7次，共有57个符号，故该消息的信息量

每个符号的算术平均信息量为

[例题2]若用熵的概念来计算：则该消息的信息量

以上两种结果略有差别的原因在于，它们平均处理方法不同。前一种按算数平均的方法，结果可能存在误差。这种误差将随着消息序列中符号数的增加而减小。 当消息序列较长时，用熵的概念计算更为方便。习题某信源符号集由A、B、C、D、E、F组成，每个符号独立出现，其概率分别为1

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论