测量信息论基础

测量信息论基础第一页，共五十六页，2022年，8月28日信息论源于通信工程，背景是关于通讯中的：

⒈

信息传输的效率⒉

信息传输的准确性⒊

噪声干扰⒋

信道频率特性第二页，共五十六页，2022年，8月28日广义通信系统，即信息流通系统

第三页，共五十六页，2022年，8月28日广义通信系统模型

信息从信息源（informationsource）传送到信宿。发信器（transmitter）又称编码器，把信息变换成物理信号。受信器（receiver）又称译码器，把物理信号转换成信宿能感知的信息的装置。信宿（destination）是信息传输的对象。第四页，共五十六页，2022年，8月28日信息的定量描述——信源模型与信息熵。

自然科学通常都应作定量的描述，定性描述只能解释一些现象。从理论上研究信息大小当作定量描述。Shannon信息理论的贡献在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。

第五页，共五十六页，2022年，8月28日信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。第六页，共五十六页，2022年，8月28日离散信源模型

离散信源模型是离散型概率空间，即:x1,x2,…,xN

描述信源输出的可能状态。P（x1）P（x2）P（xN）

描述各种状态出现的可能性。

第七页，共五十六页，2022年，8月28日信源状态的出现是不相容的。

例如：抛硬币其中，P（x1）=P（x2）=0.5，该系统为等概率事件，称为先验概率。

第八页，共五十六页，2022年，8月28日用超声波检测物体内部有无裂纹

第九页，共五十六页，2022年，8月28日X1

代表物体内部有裂纹X2

代表物体内部无裂纹第十页，共五十六页，2022年，8月28日自信息某事件发生所含有信息量称为自信息，它是该事件发生的先验概率的函数，即

I（xi）=f[P（xi）]P（xi）是事件xi发生的先验概率；

I（xi）表示事件xi发生所含有的信息量。

第十一页，共五十六页，2022年，8月28日信源中某一状态发生的先验概率很小，但一旦发生，所获得的信息量就多。例如：一台新机器，具有正常工作和发生事故两种可能状态。

正常工作概率为P（x1）=0.99，

发生故障概率为P（x2）=0.01。一旦发生故障，则是一件引人注目的事件。第十二页，共五十六页，2022年，8月28日I（xi）与P（xi）有以下关系：

I（xi）是P（xi）的单调递减函数；当P（xi）=1时，I（xi）=0，必然事件信息量为零；当P（xi）=0时，I（xi）=∞，不可能发生的事件发生了，信息量为无穷大；两个独立事件的联合信息量，应等于它们各自信息量之和。第十三页，共五十六页，2022年，8月28日I（xi）与P（xi）关系用下图表示：根据上述条件，I（xi）与P（xi）用下式表达：第十四页，共五十六页，2022年，8月28日I（xi）代表两种含义：

A.当事件xi发生以前，表示事件xi发生的不确定性；B.当事件xi发生以前，表示事件xi所含有的信息量。信息量单位取决于所取对数之底：以2为底，信息量单位为比特（bit），以e为底，信息量单位为奈特（nat），以10为底，信息量单位为哈特（Hart）。一般采用以2为底的对数，当P（xi）=1/2，I（xi）=1比特。

第十五页，共五十六页，2022年，8月28日熵---新的世界观

地球是一个封闭系统，其能源、资源和容积有限，人类会的发展增长必然有一个极限。第十六页，共五十六页，2022年，8月28日热力学定律熵的概念是从热力学引导出来的。热力学第0定律：温度与热平衡。1709年荷兰G。D。Fahrenheit建立华氏温标，1742年瑞典天文学家A。Celsius建立摄氏温标，热力学第一定律(能量守恒定律)：能量是守恒的、不灭的，只能从一种形式转变成另一种形式。从而否认了第一类“永动机”。物理学家焦耳经30年的研究，于1848年提出。第十七页，共五十六页，2022年，8月28日热力学定律热力学第二定律（熵增加原理）：研究热效率，否认了第二类“永动机”（即认为能量是取之不竭的）。1850年科学家克劳休斯/1851年科学家开尔芬提出。热力学第三定律：绝对温度0K不可达定理，即称能斯脱定理。1906年科学家能斯脱提出。如果一个系统的温度趋近于绝对温度0K时，其熵趋于0，且不随时间而变化，即有：实验证明：是不能达到的，因此，上式也不可能实现。第十八页，共五十六页，2022年，8月28日熵（Entropy）熵的定义： 在一个热力体系中，热能的利用是与环境温度有关的。蒸汽虽然有热能，但如果周围的环境温度与蒸汽一样，则蒸汽的热能就无法利用。如果周围温度略为降低，则一部分蒸汽的热能就可变为功，而仍有一部分不能利用。不论在任何热力体系中，这种不能利用的热能可以用热能除以温度所得的商来量度它，这个商就定义为熵。第十九页，共五十六页，2022年，8月28日熵的特性物理学家R.Clausius提出了热熵的概念，它是热系统的一个状态函数，反映状态的多样性和不可期望性的程度。在热力学中，“熵是能量转变为有用功的能量多少的量度”根据物理学原理，自然界具有三种平衡：力学平衡热平衡化学平衡 一个系统愈接近平衡，则可用于作功的能量就愈少。因此，一个系统的熵愈大，不能作功的能量就愈多，能量的品质就愈差。第二十页，共五十六页，2022年，8月28日熵的特性能量只能不可逆转地沿着一个方向转化，即从对人类来说是可利用的到不可利用的状态，从有效的到无效的状态转化。用加尔文的话说：这种无效能量已从人们那里不可挽回地失去了，尽管它并没有消灭。熵就是这种不能再被转化作功的能量的总和，即熵是无效能量（无序状态）的总和，熵的增加就意味着有效能量的减少。在一个封闭的系统里，所有能量是从有序状态到无序状态转化，物质的熵最终将达到最大值。当熵处于最小值时，能量集中程度最高，有效能量最大，系统处于最有序状态；反之，熵为最大时，有效能量完全耗尽，也就是混乱度最大的状态。所以热力学第二定律也称之为熵定律。熵定律是自然界一切定律中的最高定律。第二十一页，共五十六页，2022年，8月28日热寂学说与大爆炸--地球的起源与毁灭熵定律不仅适于地球，也适于整个宇宙。这与赫尔姆霍茨的热寂学说是一致的。他认为整个宇宙是一个密集能源的大爆炸开始的。当这个稠密能源向外膨胀时，它的膨胀速度逐渐减慢，从而形成了银河系、恒星、行星和地球。能源也渐渐失去原来的次序，最后达到最大熵，即热寂的最终热平衡状态，一切能量差别趋于零，所有能量已消耗一空，处于永恒的死寂。大爆炸学说与熵定律是一致的。第二十二页，共五十六页，2022年，8月28日熵与时间熵是时光之箭，熵定律与时间的概念也是一致的：熵不能减少，时间也不能倒流。时间推延的过程就是熵增加的过程，我们无法逆转时间和熵的过程，熵定律展示了时间的方向。人们的意识与时间、生命和熵是紧密联系的。宇宙达到热寂的平衡状态，任何事情也不会发生，时间也就不复存在了。第二十三页，共五十六页，2022年，8月28日熵与生命有机体的生长都伴随宇宙总熵的递增。科学家们认识到收集信息和储存知识都要花费能量，因此也是熵增加的过程。从本能、直觉、理智到抽象思维，人类思想都愈来愈复杂、集中、抽象。而且信息越多，反而更加糊涂。心理学家称之为“信息超载”。事实上能源和物资是一项资本，它不是人们生产出来的，而是地球所赋予的，是不可替代的有限资本。因此，世界非再生能源和物资的消耗正在使熵提高到一个危险的水平。第二十四页，共五十六页，2022年，8月28日信息熵发展历程信息论的创始人香农（）1948年发表的“通信的数学理论”中提出信息论并提出信息熵(entropy)—香农熵和互信息（mutyalinformation）的概念，奠定了信息论基础。具有划时代意义。汉明（）提出：信息论------信道编码构造理论E.T.Jaynes1957年提出最大熵原理S.K.Kullback1959年提出并为等人1980年发展的鉴别信息及最小鉴别信息(discriminationinformation)原理理论第二十五页，共五十六页，2022年，8月28日信息熵发展历程苏联学者A.N.Kolmogorov1958年指出“熵”相等是动力系统同构的必要条件，开辟了遍历理论，即动力系统的熵及其在同构中的应用。并提出ε熵，解决了连续变量下熵的定义问题。1965年提出信息量度定义的三种方法：概率法，组合法，计算法1968年提出算法信息理论Renyi1961年提出α熵概念J.Havrda1967年提出β熵概念S.Arimoto1971年提出γ熵概念S.Guiasu1977年提出加权熵概念C.Ferreri1980年提出次熵E.T.Jaynes1957年提出的最大熵原理是信号处理的一个重要方法。最大熵谱估计标志着熵已开始取代其它信号处理方法。20世纪80年代又提出交叉熵的概念，用于信号处理。第二十六页，共五十六页，2022年，8月28日信息熵发展历程信息量度已系统地发展成为信息处理的一种准则，并在信息技术领域逐步取代功率的最小均方误差准则。信息论已成为信号与信息处理的基本理论。信息论已广泛应用于各科学领域，测试领域也不例外。第二十七页，共五十六页，2022年，8月28日信息熵的计算

Shannon定义自信息的数学期望为信息熵，即信源的平均信息量第二十八页，共五十六页，2022年，8月28日熵的单位是[bit/事件]。

不同信源，其统计特性不同，熵也不同。

第二十九页，共五十六页，2022年，8月28日信息熵分别为：

第三十页，共五十六页，2022年，8月28日信息熵的特性（性质）：

⒈

对称性当概率空间P（x1），P（x2）…顺序任意互换时，熵函数值不变。⒉

确定性如果信源的输出只有一个状态是必然的，即P（x1）=1，P（x2）=P（x3）=…=0，则信源的熵⒊

非负性即

H（X）≥0因为：0<P（xi）<1，所取对数的底大于1，logP（xi）<0，-P（xi）logP（xi）>0，即熵为正值。第三十一页，共五十六页，2022年，8月28日⒋可加性统计独立信号源X和Y的联合信号源的熵等于它们各自的熵之和。⒌极值性信号源各个状态为等概率分部时，熵值最大，并等于信源输出符号（状态）数。即第三十二页，共五十六页，2022年，8月28日第三十三页，共五十六页，2022年，8月28日第三十四页，共五十六页，2022年，8月28日连续信源及最大熵定理

连续信源的数学模型为连续型的概率空间。P（x）是随机变量x的概率密度函数。第三十五页，共五十六页，2022年，8月28日连续信源的熵为：

该熵又称为相对熵或差熵。第三十六页，共五十六页，2022年，8月28日最大熵定理

在连续信源中，当各约束条件不同时，信源的最大相对熵值不同。峰值功率受限条件下信源的最大熵

第三十七页，共五十六页，2022年，8月28日概率密度

第三十八页，共五十六页，2022年，8月28日平均功率受限条件下信源的最大熵

若一个信源输出的平均功率有限，则其输出信号的概率密度分布是高斯分布时，信源有最大熵。一维随机变量x的概率密度分布为：第三十九页，共五十六页，2022年，8月28日M是x的均值，σ2是x的方差。该连续信源的熵

正态分布的连续信源的熵与数学期望m无关，只与方差σ2有关。第四十页，共五十六页，2022年，8月28日N维：

式中：第四十一页，共五十六页，2022年，8月28日信息与熵的守恒定律

熵描述了系统的不确定性程度，而信息则是消除了系统不确定性而得到的东西。一个体系的信息与熵的和保持恒定，并等于该体系在给定条件下所能达到的最多信息或最大熵。数学表达式为:第四十二页，共五十六页，2022年，8月28日式中：I——

对系统观测后所获得的信息；Hmax

——

系统的原始熵；H——

观测以后系统仍具有不确定性所具有的熵。第四十三页，共五十六页，2022年，8月28日测量信息论原理

测量的目的是为了获得被测对象的信息，确定被测量的量值。因此，测量系统也就是一个信息系统。从信息的角度来看，测量系统的作用是传输信息，以消除观察者对被测量的不确定性；第四十四页，共五十六页，2022年，8月28日关于测量误差的分析与处理，在前面我们是以概率论为基础进行的。然而，信息的概念比概率更为基本，信息方法比传统数理统计方法的应用更为广泛。尤其在误差概率估计、数据处理和参数估计等分析中，测量信息论具有更强的能力。第四十五页，共五十六页，2022年，8月28日用测量信息论来处理测量误差，主要研究以下问题：测量信息系统的模型；测量信息的量度；最大信息熵原理及其误差概率估计；利用误差熵来计算测量不确定度等。第四十六页，共五十六页，2022年，8月28日测试系统的基本模型

系统的输入是被测量A，输出是经测量系统所得的测量值X。第四十七页，共五十六页，2022年，8月28日信息测量的过程信息测量的过程就是将被测信息从无限多个物理复杂过程的集合中分离出来的过程。因此，必须去除多余信息：初始信息形成，全部物理信息；（物理连接）信息结构综合，滤除无关物理信息；（传感器）信息语义综合，提取有价值的信息，实现信息测量；（测量原理）信息统计综合，利用信息随机特性的计算，减少信息的随机误差；（信息熵）信息密度逐渐减少第四十八页，共五十六页，2022年，8月28日条件熵

由于被测量A是离散随机变量，所以，测量值X也是随机变量：x1,x2,…xn。由于任何一次测量都会有测量误差，即测量的不确定性，因此，测量到一个测量值后，被测量值与测量值两个随机变量之间的不确定性，可用条件熵来表示：第四十九页，共五十六页，2022年，8月28日条件熵表示两个随机变量之间的统计依赖关系，即H（A/X）表示已知X时，A的不确定性；H（X/A）表示已知A时，X的不确定性。第五十页，共五十六页，2022年，8月28日测量信息量

测量信息量等于测量A的信息熵H（A）减去条件熵H（A/X），它等于从测量值X中提取的关于被测量A的信息量，故测量信息量可表示为：第五十一页，共五十六页，2022年，8月28日如果没有测量误差，测量值就等于被测值，即P（a1/x1