第2章离散信源及信息测度_第1页
第2章离散信源及信息测度_第2页
第2章离散信源及信息测度_第3页
第2章离散信源及信息测度_第4页
第2章离散信源及信息测度_第5页
已阅读5页，还剩32页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

PAGE2PAGE2主要研究两个方面的问题：从噪声中去有用信号是否出现和定量地综合出存在噪声和干扰时的最佳结构。可见它总结了ShannonWiener以及其他学者的研究意义和对信息的理解，即信息所涉及的因素。1.2 =

x2,L xi,L n p(x),p(x),L,p(x),L n多符号信源 = P(X P(X P(X n如果其中每个矢量有N个符号（ 量）构成，则概率空间为 X

a2,L ai,L aq = ,q=

p(a1),p(a2),L,p(ai),L,p(aq其中ai，为输出序列，共有q种可能取值。这个N维随机矢量也可用随机序列 有信源中当长度为m+1，这种信源称为m阶马尔可夫信源。如果生与消亡等等，都是天文学内一个个离散的… P]:

X x2 L xi L

(X): P(x2 L P(xi L P(xNN P x =Ni=

直观地，传递xN给出了 由此可以合理地推算信源输出的信息量应该是输出的概率的减信息量的另一个直观属性是，某一输出的概率的微小变化不会很大地改变所传递的信息量，即信息量应该是信源输出概率的 xi1与xi2，即xixi1，xi2 并称之为xi的自信息量，如果P(xiP(xj)，则I(xiI(xj)极限情况，若P(xi0I(xi；若P(xi)=1,则I(xi)=0。I(xi,yj)=I(xi)+III(x)=log1iP(x=-logP(xii (2.3) 因为P(0)=P(1)=1/2I(0I(1–log(1/2P(xi)=I(xi)=–log(1/2n)=n例2.312假设一条线上串连了8个灯泡,如下图所示.88 321X＝ 321X＝12312345678log83(bit/符号12345678

log42(bit/符号）H(x)H(x11－－获得1bit

log21(bit/符号）H(x1H(x21－－获得1bit

log10(bit/）H(x2)H(x3)=1－－获得1bit 的不确定性可用不确定度描述，它同样是概率的出现等效成不确定集合的元素的减少，或简)xi(i12,…NI(xi)(i=1,2,…,N)在信源空间P(XP(x1P(x2P(xiP(xN)}中的 定义2.4若信源符号xi的出现概率为P(xi)，自信息量为I(xi)(i=12…N)，则平均自信息量称为信源的信息熵，简称信源熵。其中，定义0log0=0。NN (2.4) [ P]:X P(X) P(1) P(0)解P(1)=p，则P(0)=1-p。H(X)=-plogp-(1-p)log(1-

p0或p=1时，H(X0；p1/2时，H(X1 (p)1.00.80.60.40.2 0.

0.4 0.6 0.8

1. 但可以表源的信息统计测度，也可以表征任何集合I(yjj=1,2,M)MH(Y)=P(yj)I(yj)=P(y)I(y)=-P(y)logP(M

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论