版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
连续信源的熵与互信息量第四讲1Review离散信源的非平均自信息与熵
离散随机变量的非平均自信息:离散信源的平均自信息即熵:扩展2离散无记忆信源:H∞(X)=HL(X)=H(X)
离散有记忆信源:H∞(X)≤HL(X)≤H(X)Review离散信源序列的熵
信源的序列熵:3Review离散信源的互信息4系统1系统2XYZ两级串联信道的情况X-Y-Z构成Markov链当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。数据处理定理Review5连续信源的熵与互信息量第四讲6
输出消息取值上连续的信源,如语音,电视等,对应的数学工具为连续型随机变量或随机过程。连续信源输出的状态概率用概率密度来表示。连续信源的数学模型7考虑一个定义在[a,b]区间的连续随机变量,如下图
首先把X的取值区间[a,b]等分割为n个小区间,小区间宽度为
△=(b-a)/n,根据概率分布与概率密度曲线区间面积的关系x取值为第i个小区间xi的概率为p(xi).△,
xi为小区间xi中的一点,于是得到分割后的离散信源Xn的概率源空间为:
p(x)
p(xi)△
a0xibx
连续信源的熵?8其中按离散信源熵的定义当△→0,n→∞时,Xn接近于连续随机变量X,这时可得连续信源的熵为:绝对熵相对熵x1x2…xnp(x1)△p(x2)△…p(xn)△9定义:连续随机变量的相对熵为
1)相对熵为绝对熵减去一个无穷大量;2)相对熵不具有非负性,可以为负值;
4)连续信源的绝对熵为一个无穷大量,但当分析互信
息量时是求两个绝对熵的差,当采用相同的量化过
程时,两个无穷大量将被抵消,因而采用相对熵不
影响分析互信息。3)相对熵不等于一个消息状态具有的平均信息量;连续信源的相对熵10定义:连续随机变量的联合熵为
定义:连续随机变量的条件熵为连续信源的相对熵11连续随机变量的联合熵、条件熵和互信息之间关系连续信源的互信息定义:连续随机变量的平均互信息量为12连续随机变量的联合平均互信息量连续信源的互信息连续随机变量的条件平均互信息量13连续随机变量X与离散随机变量Y联合联合熵、条件熵连续信源的熵与平均互信息量连续随机变量X与离散随机变量Y的平均互信息量14例题令X是在区间(a,b)上均匀分布的随机变量,求X的相对熵。解:x的概率密度为
注意:连续变量的微分熵不具有非负性当b-a>1时,
b-a<1时,
b-a=1时,15例令X是数学期望为m,方差为的正态随机变量,求它的熵。解:正态随机变量x的概率密度它的值视的大小可正、可负或零,且与数学期望无关。16均匀分布的连续信源的熵:高斯分布的连续信源的熵:连续熵实例仅与区域的边界有关与数学期望无关,仅与方差有关17设pXY是(xy)二维高斯概率密度函数求X与Y的平均互信息。连续熵实例18例X和Y
的一维概率密度函数容易求得为19X和Y之间的平均互信息由定义有
奈特
表明,两个高斯变量之间的互信息只与相关系数有关,而与数学期望及方差和无关。
20例:设原连续随机变量X是数学期望为m,方差为的正态随机变量,经一个放大倍数为k的放大器放大输出为Y,求Y的相对熵。解:y=kx为数学期望为km,方差为的正态随机变量,
注意:相对熵值通过线性放大器后发生变化.
21指数分布的连续信源的熵:连续熵实例22连续熵可为负值(为什么?连续熵的相对性所致)可加性平均互信息的非负性,对称性,信息处理定理最大连续熵定理连续熵的性质23峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M,即X限于(-M,M)内取值,则X的相对熵当且仅当X为均匀分布时等号成立。平均功率受限的最大熵定理若连续随机变量X的方差为一定,则X服从正态分布时的相对熵最大,即连续信源与离散信源不同,1)它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。最大连续熵定理24峰值功率受限的最大熵定理
若连续随机变量X的峰值不超过M,即X限于(-M,M)内取值,则X的相对熵当且仅当X为均匀分布时等号成立。平均功率受限的最大熵定理若连续随机变量X的方差为一定,则X服从正态分布时的相对熵最大,即最大连续熵定理25证明:应用拉格朗日乘因子法,首先构造函数由相对熵定义,可得当且仅当时,等号成立。将其代入约束条件可得,则有于是有X∈
(-M,M)26峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M,即X限于(-M,M)内取值,则X的相对熵当且仅当X为均匀分布时等号成立。平均功率受限的最大熵定理
若连续随机变量X的方差为一定,则X服从正态分布时的相对熵最大,即最大连续熵定理27证明:考虑到约束条件应用拉格朗日乘因子法计算极大值当且仅当时,等号成立。将其代入两个约束条件,即可求得和于是有X的方差一定28均值受限的最大熵定理若连续随机变量X非负的均值为M,则X服从指数分布时的相对熵最大,即最大连续熵定理29当平均功率受限时,高斯分布信源的熵最大,若令其平均功率为,则其熵为熵功率若平均功率为的信源具有熵为HC(X),则称熵为HC(X)的高斯信源的平均功率为熵功率若另一信源的平均功率仍为,则它的熵一定小于30连续信源的剩余度平均功率受限时,一般信源的熵小于高斯分布信源的熵,所以信号的熵功率总小于信号的实际平均功率。熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差,称为连续信源的剩余度。31思考:设X和Y为连续随机变量,且X的概率密度为条件概率密度为其中-∞
<
x,y<∞。试求Hc(X),Hc(Y/X),Hc(X/Y)和I(X;Y)。32解:33思考:习题2.23设X是在[-1,1]上为均匀分布的随机变量。试求Hc(X),Hc(X2)和Hc(
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 苏教版六年级数学教案
- 北师大版分数乘法二教学设计攻略
- 氯气的制备与实验技巧
- 北师大教授深入剖析一元一次方程
- 新课标人教版小学数学全解教程与心得体会
- 长城的历史价值课件
- 深入了解六年级科学苏教版
- 数学房间让生活更美好
- 苏教版二年级数学上册期中考试资料
- 原子结构与物质的化学反应
- 导游在古建筑导览中的文化解读技巧
- 如何克服学习的拖延症
- 《集体荣誉感》班会课件
- 二 《微写作•抒发情感》(教学设计)-【中职专用】高二语文精讲课堂(高教版2023·职业模块)
- 《品质》上课课件
- (外研版)高一英语必修1(全册)同步练习汇总
- STEM教育在中小学课程中的融合与发展
- 高考作文主题训练:弘扬新时代泰山“挑山工”精神
- 工业管道安装安全应急预案
- 矩阵论智慧树知到课后章节答案2023年下哈尔滨工程大学
- 基于PLC对邮件分拣系统的控制
评论
0/150
提交评论