测量信息论基础

测量信息论

“信息”一词是本世纪20年代人们在研究通信的一般规律时由哈特来（）等人提出。而仙农（）在1948年发表的<通信的数学理论>的著名论文中奠定了信息论的理论基础。信息论源于通信工程，背景是关于通讯中的：

⒈

信息传输的效率⒉

信息传输的准确性⒊

噪声干扰⒋

信道频率特性广义通信系统，即信息流通系统

广义通信系统模型

信息从信息源（informationsource）传送到信宿。发信器（transmitter）又称编码器，把信息变换成物理信号。受信器（receiver）又称译码器，把物理信号转换成信宿能感知的信息的装置。信宿（destination）是信息传输的对象。信息的定量描述——信源模型与信息熵。

自然科学通常都应作定量的描述，定性描述只能解释一些现象。从理论上研究信息大小当作定量描述。Shannon信息理论的贡献在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。

信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。离散信源模型

离散信源模型是离散型概率空间，即:x1,x2,…,xN

描述信源输出的可能状态。P（x1）P（x2）P（xN）

描述各种状态出现的可能性。

信源状态的出现是不相容的。

例如：抛硬币其中，P（x1）=P（x2）=0.5，该系统为等概率事件，称为先验概率。

用超声波检测物体内部有无裂纹

X1代表奴物体云内部啦有裂驶纹X2代表姜物体额内部仿无裂锐纹自信棍息某事季件发继生所红含有眼信息攻量称乎为自斥信息背，它膏是该服事件兰发生话的先舱验概轧率的另函数药，即I（xi）=f代[P（xi）]P（xi）是究事件xi发生酿的先悄验概弦率；I（xi）表月示事童件xi发生如所含塞有的减信息锣量。信源马中某结一状在态发异生的步先验街概率纵很小准，但据一旦恢发生淘，所尾获得峡的信惹息量哄就多现。例如潜：一皮台新骡机器梯，具轻有正岔常工胶作和嚷发生娃事故愚两种忆可能苍状态馋。正常丧工作结概率章为P（x1）=0慌.9荷9，发生治故障腹概率朋为P（x2）=0贷.0浴1。一旦呢发生耐故障残，则胁是一绣件引餐人注层目的尾事件慎。I（xi）与P（xi）有伐以下帮关系辩：I（xi）是P（xi）的军单调制递减且函数刮；当P（xi）=1时，I（xi）=0，必勒然事谱件信冲息量掘为零西；当P（xi）=0时，I（xi）=∞，哗不可收能发办生的旱事件顺发生征了，稠信息帅量为涛无穷镰大；两个断独立旷事件误的联奔合信蔬息量毯，应路等于刮它们灾各自掠信息短量之剃和。I（xi）与P（xi）关萌系用蛙下图俱表示戏：根据破上述弱条件问，I阔（xi）与肉P（率xi）用寸下式唤表达鞭：I（xi）代杠表两库种含低义：A.当事荐件xi发生牌以前愉，表绸示事盼件xi发生谢的不短确定耕性；B.当事讲件xi发生妻以前彻，表梅示事男件xi所含意有的林信息成量。信息枕量单境位取拜决于箩所取锐对数叹之底市：以2为底振，信扣息量虾单位局为比巨特（bi材t），以e为底丈，信载息量诱单位跪为奈故特（na修t），以10为底虏，信珠息量碧单位咬为哈采特（Ha拉rt）。一般父采用胀以2为底供的对创数，当P（xi）=1衣/2，I（xi）=1比特顷。熵---废新的般世界巩观地球洞是一蛙个封龄闭系训统，凡其能疾源、痛资源丘和容胆积有樱限，院人类浓会的无发展嘴增长待必然川有一性个极炕限。热力紫学定购律熵的先概念验是从晚热力画学引鱼导出束来的延。热力伐学第涂0定团律：温度知与热经平衡。17末09松年荷夏兰G翼。D崭。F退ah掏re围nh垦ei帖t建恭立华仍氏温旨标，17晃42耍年瑞货典天偏文学跑家A功。C砌el袭si卫us肯建立林摄氏想温标头，热力箭学第丢一定列律(能量怨守恒匙定律咬)：千能量骗是守腊恒的、食不灭堵的，广只能崖从一野种形渐式转纲变成岛另一衣种形什式。寇从而崇否认腊了第惨一类旋“永脸动机扎”。话物理编学家袭焦耳锋经3嗓0年迈的研壁究，尽于1余84捉8年塞提出漠。热力改学定沸律热力蜘学第蒜二定些律（熵增惠加原女理）制：研究妙热效盏率，叙否认两了第兔二类牛“永标动机沫”（诞即认宅为能厚量是娃取之哀不竭责的）为。1愈85体0年绢科学杯家克遭劳休私斯/械18葛51共年科眨学家足开尔讨芬提逮出。热力更学第科三定狸律：绝对净温度随0K蛛不可川达定底理，即党称能斯但脱定白理。1爬90习6年爷科学扯家能比斯脱恭提出谎。如梁果一层个系悄统的挣温度萄趋近核于绝亿对温建度0洒K时傲，其熵趋王于0，且屑不随史时间陡而变探化，廉即有各：实验揪证明华：是购不能晓达到叨的，纷因此初，上播式也厕不可季能实吉现。熵（炮En梁tr架op滤y）熵的坚定义村：在一当个热者力体已系中肝，热夏能的泼利用翻是与稳环境晚温度局有关炊的。扮蒸汽勇虽然贷有热迫能，摔但如乓果周顽围的央环境尼温度猜与蒸嘉汽一剂样，困则蒸情汽的锤热能帮就无道法利循用。归如果捆周围暮温度雹略为藏降低铸，则汇一部维分蒸腹汽的轿热能膏就可爪变为联功，洞而仍膀有一验部分灰不能们利用筝。不斩论在似任何据热力公体系代中，阔这种吗不能材利用蜡的热趋能可姿以用跃热能默除以仰温度它所得胳的商脖来量钞度它轰，这捏个商萌就定岛义为熵。熵的搬特性物理榆学家余R.喂Cl系au悼si搜us历提出白了热饱熵的侨概念帖，它陕是热对系统夏的一磨个状心态函筛数，伶反映裤状态卖的多牲样性哪和不终可期确望性驼的程厚度。在热其力学岩中，斤“熵缎是能鱼量转什变为椅有用搏功的什能量饿多少始的量亿度”根据机物理权学原茅理，逝自然谋界具讨有三古种平仪衡：力学伴平衡热平砍衡化学处平衡一个拘系统香愈接累近平娱衡，钥则可黑用于爹作功霸的能听量就锯愈少演。因外此，愈一个报系统遮的熵剃愈大住，不她能作赠功的基能量遍就愈殊多，哭能量即的品蚊质就搅愈差悦。熵的备特性能量欺只能阵不可并逆转然地沿尘着一殿个方滋向转反化，谁即从侨对人瓜类来铲说是糖可利烤用的候到不旱可利黄用的节状态脉，从层有效领的到吉无效羊的状马态转恳化。桶用加尔向文的话佛说：千这种滑无效株能量坝已从筋人们菠那里爱不可跌挽回卖地失弦去了舰，尽蹲管它他并没偶有消这灭。熵就是容这种弊不能指再被跨转化芹作功桃的能丢量的丧总和蛇，即熵是无专效能奴量（撑无序兄状态阀）的含总和圣，熵的增纪加就渗意味诱着有端效能悟量的也减少丢。在一耳个封杀闭的捎系统苏里，己所有糠能量屋是从侧有序丸状态最到无望序状蛾态转搂化，您物质交的熵最终祝将达桌到最妙大值喂。当熵处于币最小脑值时瞒，能裹量集偿中程侄度最伞高，粱有效企能量军最大层，系泻统处扬于最灰有序率状态葵；反怎之，熵为最况大时康，有街效能规量完龙全耗韵尽，颜也就致是混漠乱度凶最大巾的状鞠态。景所以段热力要学第凡二定灯律也昌称之渔为熵定律竹。熵定寒律是龙自然白界一钥切定使律中疮的最香高定腹律。热寂落学说吧与大移爆炸--地碌球的采起源年与毁终灭熵定律尤不仅杂适于盟地球蔬，也败适于犁整个补宇宙织。这禁与赫尔判姆霍浑茨的热寂最学说是一来致的龙。他认原为整学个宇银宙是存一个储密集唤能源讲的大叼爆炸顾开始筑的。着当这逼个稠芹密能痒源向戚外膨肠胀时唐，它彼的膨逢胀速往度逐科渐减今慢，面从而边形成河了银摩河系惕、恒愿星、樱行星文和地佳球。能源猾也渐刘渐失吨去原长来的新次序券，最驰后达抹到最女大熵教，即热寂的最仍终热哲平衡鹿状态世，一坝切能惩量差到别趋睁于零贿，所吊有能混量已弟消耗唱一空兆，处指于永郑恒的伏死寂洪。大爆畏炸学往说与熵定律贵是一蹦致的症。熵与遥时间熵是脱时光料之箭，熵定茂律与海时间的概抛念也看是一沸致的团：熵不能村减少冰，时消间也督不能夫倒流勉。时燥间推此延的韵过程劝就是微熵增孤加的列过程蝇，我撒们无残法逆皱转时混间和弄熵的走过程阴，熵缺定律竞展示纯了时俯间的池方向商。人们咽的意彻识与砌时间后、生殊命和袖熵是崇紧密醒联系鼓的。宇宙雪达到因热寂总的平肥衡状渴态，摄任何坟事情击也不麻会发斑生，考时间旋也就阁不复狭存在给了。熵与口生命有机汽体的秘生长俯都伴谨随宇目宙总程熵的罩递增积。科学贺家们衡认识槽到收聋集信楼息和防储存界知识拨都要填花费聋能量爹，因中此也息是熵槽增加妇的过缩慧程。梨从本猜能、肉直觉服、理顾智到昆抽象伪思维雄，人情类思群想都活愈来伯愈复浙杂、饲集中始、抽揭象。盗而且隔信息阁越多湿，反貌而更誓加糊突涂。宝心理劣学家决称之辉为“欠信息数超载驼”。事实毯上能奴源和遮物资裁是一浪项资慢本，踢它不吼是人丹们生效产出雪来的妥，而恋是地病球所恳赋予兵的，等是不类可替颠代的葡有限引资本饰。因必此，垄世界吵非再愤生能啊源和霞物资拆的消碧耗正杆在使熵提高男到一透个危悦险的去水平引。信息封熵发统展历研程信息骄论的讲创始蚊人香丸农（帖）1莫94绞8年葱发表纲的“继通信未的数状学理酷论”瞧中提粪出信御息论齿并提午出信摧息熵悲(e仿nt棍ro顾py狮)—山香农蒸熵和朱互信右息（悟mu逢ty慨al倚i贡nf乱or楚ma厕ti臂on斥）的猎概念译，奠歇定了棋信息朱论基矿础。具有杜划时零代意肤义。汉明脱（）孤提出光：信态息论谁--辜--摘--络信道窃编码猎构造盐理论19溉57框年提蚂出最寒大熵太原理19触59叙年提外出并券为等卫人1异98悬0年藏发展毙的鉴辞别信冶息及漂最小塘鉴别杜信息握(d毫is奸cr领im涝in守at们io卧n盛in概fo蛋rm封at菜io厨n)财原理厅理论信息拉熵发蹦展历女程苏联泉学者资1萝95佳8年举指出赖“熵粉”相脉等是恨动力矮系统当同构炕的必芳要条励件，鹅开辟之了遍刃历理朵论，跌即动尊力系产统的胖熵及垫其在捐同构雨中的嫌应用夫。并草提出饰ε熵住，解套决了届连续汽变量浩下熵术的定痰义问拍题。19珠65慈年提期出信贞息量贴度定惯义的帅三种副方法观：概黎率法司，组兰合法咬，计牧算法19荷68狼年提艇出算白法信抛息理秒论Re圈ny慌i说19圣61盏年提辉出α锐熵概炭念J.丢Ha富vr射da趟1美96勺7年扣提出筝β熵亚概念S.裂Ar评im拉ot午o楚19恳71澡年提怪出γ樱熵概汤念S.游Gu锈ia握su毅1毕97茂7年阁提出喝加权道熵概膊念C.协Fe制rr纱er鹊i谁19对80往年提续出次矩熵19暮57港年提星出的不最大咬熵原呈理是晚信号虚处理珠的一识个重达要方载法。狸最大萍熵谱恼估计艇标志听着熵荣已开差始取拐代其挪它信滥号处责理方孤法。20丹世纪经80粪年代满又提宣出交会叉熵炕的概浊念，夜用于掏信号爪处理材。信息泥熵发膛展历核程信息彩量度阀已系玩统地由发展悲成为觉信息洲处理结的一雅种准渠则，黑并在信关息技槽术领质域逐班步取且代功耀率的践最小咽均方回误差焰准则述。信符息论辟已成鄙为信油号与掌信息纯处理浑的基狼本理础论。信息徐论已园广泛窄应用质于各耽科学谦领域视，测陷试领废域也虫不例砖外。信息摩熵的盖计算Sh销an桨no省n定义注自信拜息的行数学懒期望自为信到息熵竿，即追信源隶的平具均信泼息量熵的印单位乓是[b歪it米/事件]。不同板信源济，其苦统计出特性浆不同指，熵查也不买同。信息愧熵分陆别为叶：信息该熵的糖特性聚（性名质）哲：⒈对称蹲性当概椒率空柿间P（x1），P（x2）…顺序膏任意我互换答时，卡熵函将数值倘不变立。⒉确定传性如果篮信源务的输疲出只淋有一漆个状悲态是岁必然僻的，废即P（x1）=1，P（x2）=狱P（x3）=…末=0，则押信源辈的熵⒊非负床性即H（X）≥0因为殿：0<秆P（xi）<1，所妻取对银数的杏底大户于1，lo群g岔P（xi）<0，-P（xi）lo郊g鞋P（xi）>0，即知熵为教正值席。⒋楼可加忌性统计慨独立类信号杀源X您和Y错的联争合信抱号源脱的熵捡等于辛它们哑各自勤的熵罚之和小。⒌美极值汇性信号的源各膨个状觉态为押等概际率分橡部时争，熵察值最黑大，幸并等才于信竭源输扛出符栋号（妙状态汤）数页。即连续正信源圾及最胃大熵隆定理连续稿信源划的数港学模塑型为蛇连续纪型的爷概率肯空间琴。P（原x）甘是随执机变波量x蒙的概献率密鼓度函汉数。连续傅信源鸭的熵郊为：该熵扫又称斜为相辆对熵弓或差铃熵。最大是熵定岔理在连台续信校源中硬，当众各约刑束条排件不职同时撤，信柄源的欲最大洋相对呜熵值原不同浊。峰值后功率具受限样条件乳下信市源的古最大锋熵概率未密度平均踪蝶功率豪受限割条件引下信攻源的行最大怒熵若一舍个信遥源输锦出的鲁平均就功率奏有限轮，则怒其输筋出信卖号的辉概率乳密度惠分布脉是高纤斯分把布时裳，信秤源有求最大璃熵。一维亡随机柄变量x的概你率密柔度分银布为陪：M是x的均戴值，σ2是x肯的方践差。争该连傍续信概源的地熵正态惑分布顽的连估续信态源的控熵与尺数学萍期望m无关鄙，只充与方皇差σ2有关潜。N维掏：式中学：信息否与熵谁的守枕恒定私律熵描好述了激系统臂的不越确定吵性程吨度，报而信刻息则锋是消戴除了顽系统藏不确适定性封而得投到的肾东西扎。一个荐体系滑的信妇息与柳熵的辱和保纸持恒贩定，辅并等巨于该浴体系谢在给宣定条缸件下震所能磨达到耀的最集多信扑息或捧最大息熵。数学适表达眠式为:式中寒：I——对系析统观闹测后柄所获方得的弟信息糖；Hma幕x——系统邀的原日始熵苏；H——观测抢以后辟系统阵仍具洽有不浙确定曲性所馋具有绩的熵抹。测量辉信息脱论原摔理测量染的目草的是昼为了顽获得蹈被测田对象寺的信钢息，置确定膝被测疮量的丛量值万。因螺此，撤测量份系统洞也就器是一剃个信冈息系少统。单从信虹息的暑角度总来看被，测灭量系脊统的帆作用盐是传岂输信兽息，纳以消熊除观梦察者胖对被贴测量玻的不职确定活性；关于骆测量济误差猛的分净析与秆处理迷，在设前面滚我们鸽是以侍概率临论为竖基础通进行舞的。印然而牙，信现息的视概念适比概满率更串为基堪本，掩信息级方法绿比传昏统数丢理统舍计方廉法的岂应用佳更为帝广泛庸。尤传其在馅误差谨概率翠估计爽、数榜据处削理和企参数像估计剖等分磁析中史，测黑量信秀息论僚具有乞更强怪的能谣力。用测斥量信泪息论陷来处属理测帆量误挎差，前主要免研究悄以下军问题吗：测云量信伸息系成统的谈模型屋；测骆量信蜡息的货量度虹；最丑大信窜息熵霞原理鼠及其育误差选概率姨估计舌；利北用误筑差熵己来计企算测如量不役确定稻度等久。测试鉴系统便的基府本模疏型系统博的输熊入是舅被测哗量A逃，输嚷出是阀经测修量系裕统所桃得的爽测量具值X谈。信息王测量跑的过济程信息烛测量习的过宁程就喝是将详被测暂信息们从无城限多邪个物仆理复箩杂过薯程的陷集合件中分优离出柔来的菠过程食。因必此，喂必须靠去除训多余益信息所：初始斜信息暗形成援，全舟部物斯理信谅息；斥（物理累连接）信息澡结构薪综合现，滤乔除无萌关物努理信崭息；俊（传感缘瑞器）信息第语义静综合炉，提氧取有鸡价值披的信比息，岩实现灵信息勾测量陷；（测量抄原理）信息毅统计赠综合圆，利水用信渔息随化机特薄性的斜计算锐，减盘少信倦息的馆随机泪误差歼；（信息琴熵）信息焦密度选逐渐贵减少条件扛熵由于齐被测占量A载是离斯散随球机变初量，他所以垦，测脖量值即X也臣是随垫机变谜量：顾x1底,x牵2,誓…x杏n。扔由于炒任何鸽一次王测量耕都会石有测邪量误嫁差，奋即测阅量的透不确恭定性炼，因嘱此，纵测量爆到一镰个测杨量值粉后，萍被测呆量值肌与测理量值尽两个茶随机停变量糟之间葛的不超确定勿性，邪可用哨条件拨熵来馅表示茧：条件浮熵表漏示两愿个随数机变醒量之宵间的去统计竿依赖搭关系拴，即谈H（后A/亭X）桑表示看已知龟X时坐，A愈的不伴确定移性；厌H（絮X/浊A）苏表示曲已知斗A时题，X说的不扒确定吨性。测量阶信息膊量测量亮信息死量等颗于测肚量A真的信批息熵事H（蛋A）键减去烤条件海熵H孔（A南/X引），另它等任于从毕测量亦值X娃中提孩取的绸关于湖被测蠢量A砖的信碎息量丹，故降测量锯信息病量可泻表示换为：如果已没有番测量质误差折，测泥量值姿就等笛于被乱测值义，即郑P（奋a1虏/x胸1）垦=1准，也源就是堡H（纽奉A/者X）传=0邪，所偏以，循测量兔信息蜂量就求为：即表盆示测则量可地以获挨得被抹测量敌值的羊全部堂信息亲。然而木，实除际上圣任何沃精确盘的测象量都哈会产摘生测心