




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、1;.2.1 2.1 信源的描画和分类信源的描画和分类2.2 2.2 离散信源熵和互信息离散信源熵和互信息2.3 2.3 离散序列信源的熵离散序列信源的熵2.4 2.4 延续信源的熵和互信延续信源的熵和互信2.5 2.5 冗余度冗余度23问题:问题: 什么叫不确定度?什么叫不确定度? 什么叫自信息量?什么叫自信息量? 什么叫平均不确定度?什么叫平均不确定度? 什么叫信源熵?什么叫信源熵? 什么叫平均自信息量?什么叫平均自信息量? 什么叫条件熵?什么叫条件熵? 什么叫结合熵?什么叫结合熵? 结合熵、条件熵和熵的关系是什么?结合熵、条件熵和熵的关系是什么?4问题:问题:什么叫后验概率?什么叫后验概
2、率?什么叫互信息量?什么叫互信息量?什么叫平均互信息量?什么叫平均互信息量?什么叫疑义度?什么叫疑义度?什么叫噪声熵或分布度?什么叫噪声熵或分布度?数据处置定理是如何描画的?数据处置定理是如何描画的?熵的性质有哪些?熵的性质有哪些?5设离散信源X,其概率空间为)(log)(iixpxI)()()(2121nnxpxpxpxxxPXI (xi) 含义:当事件xi发生以前,表示事件xi 发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量6自信息量)(log)(iixpxI条件自信息量结合自信息量)|(log)|(jijiyxpyxI)(log)(jijiyxpyxI7离散信源熵H(X)i
3、iiiiixpxpxIxpXH)(log)()()()(信源熵具有以下三种物理含意:信息熵H(X)表示信源输出后,每个离散音讯所提供的平均信息量。信息熵H(X)表示信源输出前,信源的平均不确定性。信息熵H(X)反映了变量X的随机性 。8无条件熵无条件熵)|(log)|()|(jiijijyxpyxpyXH)|(log),()|(jiijjiyxpyxpYXH),(log),(),(jiijjiyxpyxpYXH条件熵条件熵结合熵结合熵iiixpxpXH)(log)()(9设有两个随机事件X和Y ,X取值于信源发出的离散音讯集合, Y取值于信宿收到的离散符号集合有扰信道干扰源信源X信宿Y)()(
4、)(2121nnxpxpxpxxxPX)()()(2121nnypypypyyyPY10假设信道是无噪的,当信源发出音讯xi后,信宿必能准确无误地收到该音讯,彻底消除对xi的不确定度,所获得的信息量就是xi的不确定度I(xi),即xi本身含有的全部信息。普通而言,信道中总是存在着噪声和干扰,信源发出音讯xi,经过信道后信宿只能够收到由于干扰作用引起的某种变型yj 。信宿收到yj 后推测信源发出xi的概率p(xi|yj)称为后验概率。信源发出音讯xi的概率p(xi) 称为先验概率。11互信息定义为 xi的后验概率与先验概率比值的对数)()|(log);(2ijijixpyxpyxI互信息I(xi
5、;yj)表示接纳到某音讯yj后获得的关于事件xi的信息量。)()|(log)()()(log)()|(log);(jijjijiijijiypxypypxpyxpxpyxpyxI)|()()|()();(ijjjiijixyIyIyxIxIyxI12例某地二月份天气 构成的信源为:8/ 18/ 14/ 12/ 1)(雪雨阴晴xpXbitxIxIbitxIbitxI4)()(,2)(,121log)(43221假设得知“今天不是晴天,把这句话作为收到的音讯y1当收到y1后,各种天气发生的概率变成后验概率了p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4
6、, p(x4|y1) = 1/4 0)()|(log);(111211xpyxpyxI求得自信息量分别为 13bitxpyxpyxI14/12/1log)()|(log);(2212212阐明从y1分别得到了x2 x3 x4各 1比特的信息量。音讯y1使x2 x3 x4的不确定度各减少1bit 。bityxIyxI18/14/1log);();(2141314例2-8:一个二进信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示,由于信道中存在噪声,接纳端除收到0和1的符号外,还有不确定符号“2知X的先验概率: p(x0)=2/3, p(x1)= 1/3,符号转移概率: p(y0|
7、x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2,XY0101 23/41/21/21/4信源熵符号/92. 031log3132log32)31,32()(bitHXH15得结合概率: p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p
8、(x1y2) = p(x1) p(y2 |x1) = 1/31/2=1/6条件熵)/()()/()()(jijijijiyxpypxypxpyxp符号/88. 021log6121log6141log6143log21)|(log),()|(bitxypyxpXYHijijji由16结合熵 H(X,Y)H(X)H(Y|X)=1.8bit/符号)()(),()(11imjjijnijixpyxpypyxp得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6
9、 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由符号/47. 161log6131log3121log21)61,31,21()(bitHYH17)()()()()|(1jjinijijijiypyxpyxpyxpyxp由12/12/1)()()|(00000ypyxpyxp得同理 p(x0 |y1)=0 ; p(x1 |y1)=1 p(x0 |y2)=1/2; p(x1 |y2)=1/20)()()|(00101ypyxpyxp符号/33. 0)|(log),()|(bityxpyxpYXHjiijji18H(X):表示接纳到输出符号Y前
10、关于输入变量X的平均不确定度。H(X|Y): 表示接纳到输出符号Y 后关于输入变量X的平均不确定度。符号/92. 031log3132log32)31,32()(bitHXH符号/33. 0)|(log),()|(bityxpyxpYXHjiijji这个对X尚存在的平均不确定度是由于干扰(噪声)引起的 19平均互信息定义 信息= 先验不确定性后验不确定性 = 不确定性减少的量)|()();(YXHXHYXIY未知,X 的不确定度为H(X)Y知,X 的不确定度变为H(X |Y)20有扰信道干扰源信源X信宿Y通讯系统中,假设发端的符号为X ,收端的符号为Y假设是一一对应信道,接纳到Y后,对X的不确
11、定性将完全消除:H(X|Y) = 0普通情况: H(X |Y) H(X),即了解Y后对X的不确定度的将减少经过信道传输消除了一些不确定性,获得了一定的信息。)();(0XHYXI21);()()|(log)()()()(log)()()|(log)();(XYIypxypyxpypxpyxpyxpxpyxpyxpYXIijiijjiijijijijijijiji平均互信息的另一种定义方法: 22例假设一条电线上串联了8个灯泡x1, x2,x8如图,这8个灯泡损坏的概率相等p(xi) = 1/8,现假设只需一个灯泡已损坏,致使串联灯泡都不能点亮。未丈量前,8个灯泡都有能够损坏,它们损坏的先验概率
12、: p(xi)=1/8这时存在的不确定性:bitxpxIii38log)(1log)(223第1次丈量后,可知4个灯泡是好的,另4个灯泡中有一个是坏的,这时后验概率p(xi|y) =1/4尚存在的不确定性所获得的信息量就是丈量前后不确定性减少的量,第1次丈量获得的信息量:bityxpyxIii24log)|(1log)|(2bityxIxIyxIiiji123)|()();(24第2次丈量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为: p(xi|yz) = 1/2尚存在的不确定性:第2次丈量获得的信息量:bityzxpyzxIii12log)|(1log)|(2第3次丈量完全消除了不确定
13、性,能获知哪个灯泡是坏了的。尚存在的不确定性等于零。第3次丈量获得的信息量:bityzxIyxIii112)|()|(bityzxIi1010)|(25信源消息 x1 x2x3x4x5x6x7x8先验概率 1/81/81/81/81/81/81/81/8后验概率第1次测量y1/41/41/41/4第2次测量z1/21/2第3次测量w1bitxpyxpyxI14/12/1log)()|(log);(22222bitxpyzxpyzxI28/12/1log)()|(log);(22222bitxpyzwxpyzwxI38/11log)()|(log);(22222要从8个等能够损坏的串联灯泡中确定
14、哪个灯泡是坏的,至少要获得3个bit的信息量 26方法2:逐个检查第1次:x1坏,获得信息量=3bit,能够性较小1/8;x1通,其他7只中1只坏,坏灯泡的不确定性:log27=2.8073bit获得信息量=3-2.8073=0.1927bit,能够性较大7/8第1次所获得的平均信息量:543. 01927. 0873811184184 “对半开 第1次所获得的平均信息量: 27在有3个变量的情况下,符号xi与符号yj , zk之间的互信息量定义为)|;();()|()|(log)()|(log)|()()|()|(log)()|(log);(jkijijikjiijijiikjijiikji
15、kjiyzxIyxIyxpzyxpxpyxpyxpxpzyxpyxpxpzyxpzyxI)|;();();(kjikikjizyxIzxIzyxI同理28我们定义在知事件zk的条件下,接纳到yj后获得关于某事件xi的条件互信息)|()|()|(log)|()|(log)|()|(log)|;(kjkikjikjkijkikjikjizypzxpzyxpzypzxypzxpzyxpzyxI29)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI熵只是平均不确定性的描画;不确定性的消除(两熵之差)才等于接纳端所获得的信息量。 获得的信息量不应该和不确定性混为一谈 )()(
16、)()|()()|()()(YHXHXYHYXHYHXYHXHXYH30H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)()()()|()()|()();(XYHYHXHXYHYHYXHXHYXI)|()()|()()()()()|()()|()()(XYHYHYXHXHYHXHXYHYXHYHXYHXHXYH31H(X|Y):信道疑义度,损失熵信源符号经过有噪信道传输后所引起的信息量的损失。信源X的熵等于接纳到的信息量加上损失掉的信息量。 H(Y|X):噪声熵,分布熵它反映了信道中噪声源的不确定性。输出端信源Y 的熵H(Y)等于接纳到关于X的信息量I(X;Y)加上H(Y|X),
17、这完全是由于信道中噪声引起的。32I(X;Y) H(X) H(Y) H(X/Y)疑义度 H(Y/X)噪声熵33假设信道是无噪一一对应信道,信道传送概率: )(1)(0)|(xfyxfyxyp)(1)(0)|()()|()()()()|(xfyxfyxypxpxypxpypxypyxp计算得:0)|(; 0)|(XYHYXH)()();(YHXHYXI)()();(YHXHYXI34假设信道输入端X与输出端Y完全统计独立 )()|()()|(xpyxpypxyp那么:)()|();()|(YHXYHXHYXH0);(YXI)|()(YXHXH)|()(XYHYH35第一级处置器第二级处置器XYZ
18、输入 级联处置器数据处置定理 :当音讯经过多级处置器时,随着处置器数目增多,输入音讯与输出音讯间的平均互信息量趋于变小假设Y条件下X和Z相互独立 );();();();(YXIZXIZYIZXI36数据处置定理阐明:当对信号、数据或音讯进展多级处置时,每处置一次,就有能够损失一部分信息,也就是说数据处置睬把信号、数据或音讯变成更有用的方式,但是绝不会发明出新的信息,这就是所谓的信息不增原理。 37三维结合集XYZ上的平均互信息量 )|;();()|;();();()|;()|;();();()|;();();();()|;();();()|;(),();(YZXIZYIXZYIZXIZXYIZYXIYZXIYXIZXIZYXIZXIZYXIYZXIYXZIXYIXYZIYZXIYXIYZXI381.非负性 H(X)H(p1,p2,pn)0式中等号只需在pi =1时成立。2.对称性 H(p1,p2,pn) = H(p2,p1,pn)例如以下信源的熵都是相等的:6 / 12 / 13 / 1321xxxPX2/ 16/ 1
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 人教版七年级历史上册教学计划(及进度表)
- 2025年气相色谱仪项目合作计划书
- 12在天晴了的时候(教学设计)-2024-2025学年语文四年级下册统编版
- 43阿秒科学计数法
- 电视研究杂志投稿经验分享
- 主管工作总结的工作流程规划计划
- 幼儿园课程特色亮点展示计划
- 信息基础操作讲解
- 萨提亚家庭治疗法
- 2025年人工智能物联网项目建议书
- 2025广东深圳证券交易所及其下属单位信息技术专业人员招聘笔试参考题库附带答案详解
- 汽车租赁项目投标书
- 有效咳嗽咳痰课件
- 2024《整治形式主义为基层减负若干规定》全文课件
- 20以内加减法口算题(10000道)(A4直接打印-每页100题)
- SHAFER气液联动执行机构培训
- 油缸设计规范(企业标准)QB2
- 新版《义务教育英语课程标准(2022年版)》PPT课件
- 认识昆虫.ppt
- 体育测量与评价PPT课件-第三章 身体形态的测量与评价
- 小学生电力科普小讲座PPT课件
评论
0/150
提交评论