测量信息论基础

1、 测量信息论 “信息”一词是本世纪20年代人们在研究通信的一般规律时由哈特来（R.V.Hartley）等人提出。而仙农（C.E.Shannon）在1948的著名论文中奠定了信息论的理论基础。1信息论源于通信工程，背景是关于通讯中的： 信息传输的效率 信息传输的准确性 噪声干扰 信道频率特性2广义通信系统，即信息流通系统3广义通信系统模型信息从信息源（information source）传送到信宿。发信器（transmitter）又称编码器，把信息变换成物理信号。受信器（receiver）又称译码器，把物理信号转换成信宿能感知的信息的装置。信宿（destination）是信息传输的对象。4信息

2、的定量描述信源模型与信息熵。自然科学通常都应作定量的描述，定性描述只能解释一些现象。从理论上研究信息大小当作定量描述。Shannon信息理论的贡献在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。 5信源的输出是随机的。信源的输出常用随机变量或随机矢量来描述，从随机变量出发研究信息，是shannon信息理论的基本假设。由概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相应的信源称为离散信源及连续信源。6离散信源模型离散信源模型是离散型概率空间，即:x1,x2,xN 描述信源输出的可能状态。P（x1）P（x2）P（xN） 描述各种状态出现

3、的可能性。 7信源状态的出现是不相容的。 例如：抛硬币其中，P（x1）=P（x2）=0.5，该系统为等概率事件，称为先验概率。 8用超声波检测物体内部有无裂纹9X1 代表物体内部有裂纹X2 代表物体内部无裂纹10自信息某事件发生所含有信息量称为自信息，它是该事件发生的先验概率的函数，即 I（xi）=fP（xi）P（xi）是事件xi发生的先验概率； I（xi）表示事件xi发生所含有的信息量。 11 信源中某一状态发生的先验概率很小，但一旦发生，所获得的信息量就多。 例如：一台新机器，具有正常工作和发生事故两种可能状态。 正常工作概率为P（x1）=0.99， 发生故障概率为P（x2）=0.01。一

4、旦发生故障，则是一件引人注目的事件。12I（xi）与P（xi）有以下关系： I（xi）是P（xi）的单调递减函数； 当P（xi）=1时，I（xi）=0，必然事件信息量为零； 当P（xi）=0时，I（xi）=，不可能发生的事件发生了，信息量为无穷大； 两个独立事件的联合信息量，应等于它们各自信息量之和。13I（xi）与P（xi）关系用下图表示：根据上述条件，I（xi）与P（xi）用下式表达： 14I（xi）代表两种含义：A. 当事件xi发生以前，表示事件xi发生的不确定性；B. 当事件xi发生以前，表示事件xi所含有的信息量。信息量单位取决于所取对数之底：以2为底，信息量单位为比特（bit），以

5、e为底，信息量单位为奈特（nat），以10为底，信息量单位为哈特（Hart）。一般采用以2为底的对数，当P（xi）=1/2，I（xi）=1比特。15熵-新的世界观地球是一个封闭系统，其能源、资源和容积有限，人类会的发展增长必然有一个极限。16热力学定律熵的概念是从热力学引导出来的。热力学第0定律：温度与热平衡。1709年荷兰G。D。Fahrenheit建立华氏温标，1742年瑞典天文学家A。Celsius建立摄氏温标，热力学第一定律(能量守恒定律)：能量是守恒的、不灭的，只能从一种形式转变成另一种形式。从而否认了第一类“永动机”。物理学家焦耳经30年的研究，于1848年提出。17热力学定律热力

6、学第二定律（熵增加原理）：研究热效率，否认了第二类“永动机”（即认为能量是取之不竭的）。1850年科学家克劳休斯/1851年科学家开尔芬提出。热力学第三定律：绝对温度0K不可达定理，即称能斯脱定理。1906年科学家能斯脱提出。如果一个系统的温度趋近于绝对温度0K时，其熵趋于0，且不随时间而变化，即有：实验证明：是不能达到的，因此，上式也不可能实现。18熵（Entropy）熵的定义：在一个热力体系中，热能的利用是与环境温度有关的。蒸汽虽然有热能，但如果周围的环境温度与蒸汽一样，则蒸汽的热能就无法利用。如果周围温度略为降低，则一部分蒸汽的热能就可变为功，而仍有一部分不能利用。不论在任何热力体系中，

7、这种不能利用的热能可以用热能除以温度所得的商来量度它，这个商就定义为熵。19熵的特性物理学家R.Clausius提出了热熵的概念，它是热系统的一个状态函数，反映状态的多样性和不可期望性的程度。在热力学中，“熵是能量转变为有用功的能量多少的量度”根据物理学原理，自然界具有三种平衡：力学平衡热平衡化学平衡一个系统愈接近平衡，则可用于作功的能量就愈少。因此，一个系统的熵愈大，不能作功的能量就愈多，能量的品质就愈差。20熵的特性能量只能不可逆转地沿着一个方向转化，即从对人类来说是可利用的到不可利用的状态，从有效的到无效的状态转化。用加尔文的话说：这种无效能量已从人们那里不可挽回地失去了，尽管它并没有消

8、灭。熵就是这种不能再被转化作功的能量的总和，即熵是无效能量（无序状态）的总和，熵的增加就意味着有效能量的减少。在一个封闭的系统里，所有能量是从有序状态到无序状态转化，物质的熵最终将达到最大值。当熵处于最小值时，能量集中程度最高，有效能量最大，系统处于最有序状态；反之，熵为最大时，有效能量完全耗尽，也就是混乱度最大的状态。所以热力学第二定律也称之为熵定律。熵定律是自然界一切定律中的最高定律。21热寂学说与大爆炸-地球的起源与毁灭熵定律不仅适于地球，也适于整个宇宙。这与赫尔姆霍茨的热寂学说是一致的。他认为整个宇宙是一个密集能源的大爆炸开始的。当这个稠密能源向外膨胀时，它的膨胀速度逐渐减慢，从而形成

9、了银河系、恒星、行星和地球。能源也渐渐失去原来的次序，最后达到最大熵，即热寂的最终热平衡状态，一切能量差别趋于零，所有能量已消耗一空，处于永恒的死寂。大爆炸学说与熵定律是一致的。22熵与时间熵是时光之箭，熵定律与时间的概念也是一致的：熵不能减少，时间也不能倒流。时间推延的过程就是熵增加的过程，我们无法逆转时间和熵的过程，熵定律展示了时间的方向。人们的意识与时间、生命和熵是紧密联系的。宇宙达到热寂的平衡状态，任何事情也不会发生，时间也就不复存在了。23熵与生命有机体的生长都伴随宇宙总熵的递增。科学家们认识到收集信息和储存知识都要花费能量，因此也是熵增加的过程。从本能、直觉、理智到抽象思维，人类思

10、想都愈来愈复杂、集中、抽象。而且信息越多，反而更加糊涂。心理学家称之为“信息超载”。事实上能源和物资是一项资本，它不是人们生产出来的，而是地球所赋予的，是不可替代的有限资本。因此，世界非再生能源和物资的消耗正在使熵提高到一个危险的水平。24信息熵发展历程信息论的创始人香农（C.E.Shannom）1948年发表的“通信的数学理论”中提出信息论并提出信息熵(entropy)香农熵和互信息（mutyal information）的概念，奠定了信息论基础。具有划时代意义。汉明（R.W.Hamming）提出：信息论-信道编码构造理论E.T.Jaynes 1957年提出最大熵原理S.K.Kullback

11、 1959年提出并为J.S.Shore等人1980年发展的鉴别信息及最小鉴别信息(discrimination information)原理理论25信息熵发展历程苏联学者A.N.Kolmogorov 1958年指出“熵”相等是动力系统同构的必要条件，开辟了遍历理论，即动力系统的熵及其在同构中的应用。并提出熵，解决了连续变量下熵的定义问题。1965年提出信息量度定义的三种方法：概率法，组合法，计算法1968年提出算法信息理论Renyi 1961年提出熵概念J.Havrda 1967年提出熵概念S.Arimoto 1971年提出熵概念S.Guiasu 1977年提出加权熵概念C.Ferreri 1

12、980年提出次熵E.T.Jaynes 1957年提出的最大熵原理是信号处理的一个重要方法。最大熵谱估计标志着熵已开始取代其它信号处理方法。20世纪80年代又提出交叉熵的概念，用于信号处理。26信息熵发展历程信息量度已系统地发展成为信息处理的一种准则，并在信息技术领域逐步取代功率的最小均方误差准则。信息论已成为信号与信息处理的基本理论。信息论已广泛应用于各科学领域，测试领域也不例外。27信息熵的计算 Shannon定义自信息的数学期望为信息熵，即信源的平均信息量28熵的单位是bit/事件。不同信源，其统计特性不同，熵也不同。 29信息熵分别为： 30信息熵的特性（性质）： 对称性当概率空间P（x

13、1），P（x2）顺序任意互换时，熵函数值不变。 确定性如果信源的输出只有一个状态是必然的，即P（x1）=1，P（x2）= P（x3）=0，则信源的熵 非负性即 H（X）0因为：0 P（xi）1，所取对数的底大于1，log P（xi）0，即熵为正值。31 可加性统计独立信号源X和Y的联合信号源的熵等于它们各自的熵之和。 极值性信号源各个状态为等概率分部时，熵值最大，并等于信源输出符号（状态）数。即32连续信源及最大熵定理连续信源的数学模型为连续型的概率空间。P（x）是随机变量x的概率密度函数。33连续信源的熵为：该熵又称为相对熵或差熵。34最大熵定理在连续信源中，当各约束条件不同时，信源的最大相

14、对熵值不同。峰值功率受限条件下信源的最大熵 35概率密度 36平均功率受限条件下信源的最大熵 若一个信源输出的平均功率有限，则其输出信号的概率密度分布是高斯分布时，信源有最大熵。一维随机变量x的概率密度分布为：37M是x的均值，2是x的方差。该连续信源的熵正态分布的连续信源的熵与数学期望m无关，只与方差2有关。38N维： 式中： 39信息与熵的守恒定律熵描述了系统的不确定性程度，而信息则是消除了系统不确定性而得到的东西。一个体系的信息与熵的和保持恒定，并等于该体系在给定条件下所能达到的最多信息或最大熵。数学表达式为:40式中：I 对系统观测后所获得的信息；Hmax 系统的原始熵；H 观测以后系

15、统仍具有不确定性所具有的熵。41测量信息论原理测量的目的是为了获得被测对象的信息，确定被测量的量值。因此，测量系统也就是一个信息系统。从信息的角度来看，测量系统的作用是传输信息，以消除观察者对被测量的不确定性；42关于测量误差的分析与处理，在前面我们是以概率论为基础进行的。然而，信息的概念比概率更为基本，信息方法比传统数理统计方法的应用更为广泛。尤其在误差概率估计、数据处理和参数估计等分析中，测量信息论具有更强的能力。43用测量信息论来处理测量误差，主要研究以下问题：测量信息系统的模型；测量信息的量度；最大信息熵原理及其误差概率估计；利用误差熵来计算测量不确定度等。44测试系统的基本模型系统的

16、输入是被测量A，输出是经测量系统所得的测量值X。45信息测量的过程信息测量的过程就是将被测信息从无限多个物理复杂过程的集合中分离出来的过程。因此，必须去除多余信息：初始信息形成，全部物理信息；（物理连接）信息结构综合，滤除无关物理信息；（传感器）信息语义综合，提取有价值的信息，实现信息测量；（测量原理）信息统计综合，利用信息随机特性的计算，减少信息的随机误差；（信息熵）信息密度逐渐减少46条件熵由于被测量A是离散随机变量，所以，测量值X也是随机变量：x1,x2,xn。由于任何一次测量都会有测量误差，即测量的不确定性，因此，测量到一个测量值后，被测量值与测量值两个随机变量之间的不确定性，可用条件

17、熵来表示：47条件熵表示两个随机变量之间的统计依赖关系，即H（A/X）表示已知X时，A的不确定性；H（X/A）表示已知A时，X的不确定性。48测量信息量测量信息量等于测量A的信息熵H（A）减去条件熵H（A/X），它等于从测量值X中提取的关于被测量A的信息量，故测量信息量可表示为：49如果没有测量误差，测量值就等于被测值，即P（a1/x1）=1，也就是H（A/X）=0，所以，测量信息量就为：即表示测量可以获得被测量值的全部信息。然而，实际上任何精确的测量都会产生测量误差，因此，P（a1/x1）不等于1，即H（A/X）不等于0，所以，H（A/X）表示了由于测量误差而引起的信息损失，故H（A/X）又称为损失熵。50误差熵如果测量误差与被测量值是相互独立的，且被测值是测量值与误差的线性相加，那么，对于任何被测量A值，测量值X的概率分布与误差概率分布在形式上是一样的，故H（X/A）就称为误差熵，常简写为H（X）。测量信息量的大小，不仅与被测量取值的数目及所取值的概率分布有关，而且与测量误差也有关。误差