信息与编码理论 第2版 课件 2.7 信源的相关性和剩余度_第1页
信息与编码理论 第2版 课件 2.7 信源的相关性和剩余度_第2页
信息与编码理论 第2版 课件 2.7 信源的相关性和剩余度_第3页
信息与编码理论 第2版 课件 2.7 信源的相关性和剩余度_第4页
信息与编码理论 第2版 课件 2.7 信源的相关性和剩余度_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

2.7信源的相关性和剩余度1.信源的相关性和剩余度

信源的相关性就是信源符号间的依赖程度。信源的极限熵不仅取决于信源符号之间的相关程度，同时还取决于各信源符号出现概率的均匀程度。对于不同平稳信源可以分别计算它的熵（设信源有q个符号）：（独立等概信源）（无记忆信源）（一阶马尔可夫信源）（m阶马尔可夫信源）（记忆长度无限的信源）1.信源的相关性和剩余度（续）

对同一信源，采用不同的模型（假定相关程度不同），计算得到的熵的关系为

结论：

符号间相关性越大，熵越小。1.信源的相关性和剩余度（续1）

定义1：熵的相对率

定义2：信源的剩余度意义：针对最大熵而言，无用信息在其中所占的比例。应用：设计实际通信系统时，考虑效率方面，则应尽量压缩信源冗余度，使平均每发出一个符号的熵最大；考虑可靠性方面，应提高信源冗余度，使平均每个符号携带的平均信息量小，以降低每个符号发生错误时对整体符号的影响力。英文信源：H0=4.76H1=4.03H2=3.32H3=3.1H5=1.65=1.41.信源的相关性和剩余度（续2）英文法文德文

西班牙文

中文（按8千汉字计算）1.信源的相关性和剩余度（续3）例

：

计算汉字的剩余度。假设常用汉字约为

10000个，其中

140个汉字出现的概率占

50%，

625个汉字（含140个）出现的概率占

85%，2400个汉字（含625个）出现的概率占

99.7%，其余

7600个汉字出现的概率占

0.3%，不考虑符号间的相关性，只考虑它的概率分布，在这一级近似下计算汉字的剩余度。

1.信源的相关性和剩余度（续4）解：为了计算方便，假设每类中汉字出现是等概的，得表

类别汉字个数

所占概率每个汉字的概率11400.50.5/1402625-140=4850.85-0.5=0.350.35/48532400-625=17750.997-0.85=0.1470.147/1775476000.0030.003/7600H1=H(X)=9.773b

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论