卡尔曼滤波对测量数据处理的程序实现方法

1、第1章绪论1.1研究的目的自从1960年卡尔曼滤波提出以来，它已成为控制，信号处理与通信等领域最基本最重要的计 算方法和工具之一，并已成功的应用到航空，航天，工业过程及社会经济等不同领域，比如，在 雷达中，人们感兴趣的是跟踪目标，但目标的位置、速度、加速度的测量值往往在任何时候都有 噪声。卡尔曼滤波利用目标的动态信息 ，设法去掉噪声的影响，得到一个关于目标位置的好的估计。 这个估计可以是对当前目标位置的估计（滤波），也可以是对于将来位置估计（预测），也可以是对过去位置的估计（差值或平滑）。但随着微型计算机的普及应用 ，对卡尔曼滤波的数值稳定性、计算效率、实用性和有效性的要求越来越高，随着微型计

2、算机时代的来临显著地提高了科学计算 的能力，滤波大量复杂的计算在计算机种只需要几分钟就能算出，为此本文将对卡尔曼滤波进行 研究。1.2研究的意义卡尔曼滤波（Kalman , 1960）是当前应用最广的一种动态数据处理方法,它具有最小无偏方差性把变形体视为一个动态系统，将一组观测值作为系统的输出，可以用卡尔曼滤波模型来描述系统的状态动态系统由状态方程和观测方程描述,以监测点的位置、速率和加速率参数为状态向量，可构造一个典型的运动模型状态方程中要加进系统的动态噪声.其滤波方程是一组递推计算公式，计算过程是一个不断预测、修正的过程，在求解时，优点是不需保留用过的观测值序列，并且当得到新的观测数据时，

3、可随时计算新的滤波值，便于实时处理观测成果 把参数估计和预报有机地结合起来.卡尔曼滤波特别适合变形监测数据的动态处理.1.3研究的方法1.4课题的主要内容本文先从现代测量误差处理理论基础开始讲解，细致的写出现代测量误差都有那些函数，并 详细分析讲解这些函数，在继续讲解最小二乘与卡尔曼滤波的关系，如量测值越多，只要处理得 合适，最小二乘估计的均方误差就越小。采用批处理实现的最小二乘算法，需存储所有的量测值。 若量测值数量十分庞大，则计算机必须具备巨大的存储容量，这显然是不经济的。递推最小二乘 估计从每次获得的最小量测值中提取出被估计量信息，用于修正上一步所得的估计。获得量测的 次数越多，修正的次

4、数也越多，估计的精读也越高。这和卡尔曼滤波原理非常相似，本文在详细 讲解了卡尔曼滤波，写出其原理性质，在根据 C+进行编程，使其应用于测量领域。第2章 现代测量误差处理理论基础2.1概述在测量、通信和控制等学科中，为了求得某些未知参数，常常要进行一系列的观测由于测 量上的局限性，往往只能观测未知量的某些函数，且观测值中必然含有误差(或称为噪声)这就产生了根据含有误差的观测值求定未知参数估值的问题下面举几个例子.(1) 为了确定平面或三维控制网中各点的坐标，对控制网的边长和方向(或坐标差)进行了观测，当然，观测值包含有误差设各点的坐标为未知参数向量x，而包括边长和方向的观测值向量为L,贝y L和

5、x之间有函数关系LF(X)式中表示误差向量通过含有误差的观测向量L来求定待定点坐标的最佳估值，就是一个估计问题在测量中，就是一个平差问题.(2) 通信理论中的一个重要问题是从接收到的信号中，提取被发送的信号设被发送的信息调制成信号S(t)，而接收到的信号也就是信号的观测值L(t)，由于大气噪声和电路噪声的干扰，因此有L(t)S(t)n(t)其中n(t)是噪声，t表示时间通信中的主要问题就是从L(t)中将有用的信号 S(t)分离出来，也就是由L(t)求定S(t)的最佳估值.信号 S(t)也是一种未知参数.(3) 生产过程的自动化可以达到高效率和高精度在实现生产过程的控制中，需要通过对生产系统进行

6、状态的不断测量，得到与系统运行状态有关的观测值；然后对观测值进行分析处理得到控制信号，实时地控制生产系统按要求运行但由于观测值中存在误差，所以，为了得到控制信 号，就要求由观测值来估计系统的运行状态(4) 卫星(或其他运动体)的轨道往往可以由如下微分方程确定脊(t)f(X(t),U(t), (t)式中f表示时间；x(t)表示卫星的轨道参数，在此处称为状态向量；U(t)为控制向量；力 是随机的状态噪声为了精确估计或预测卫星的轨道，就需要对卫星进行观测，从而得到大量的观测数据L(t)，然后实时地由含有误差的观测值L(t)来估计卫星的轨道，即估计卫星的轨道参数.以上例中所述的信号或状态都可以说是一种

7、未知参数在测量平差中，通常称非随机的未知参数向量为参数，而称随机参数向量为信号，而称随时间t变化的动态系统中的未知参数向量为状态向量，或筒称为状态可以看到，在上面的例子中，都存在一个对未知参数进行估计的问题.一般说来，若设x为t阶未知参数向量(简称为参数)，L为n阶观测向量(或称观测值)， 表 示n维误差(或噪声)向量那么，所谓估计问题，就是根据含有误差的观测值L,构造一个函数刃(L)，使刃(L)成为未知参数向量 X的最佳估计量，其具体数值称为最佳估值(以后一般不区分其含义)通常将刃(L)简记为X，并记X x Xl) x X称x ；为刃(L)的估计误差可以看到，当厶；的数学期望等于零时,X ;

8、的方差就等于E( X? T?)；而当x为非随机量时，未知参数的估值工的方差Df ；也就等于其误差方差 D( 乂)在估计理论中，通常是用估计量X的误差方差D( 乂)来衡量其精度的.但在经典的最小二乘平差中，由于X一般都是非随机参数，所以习惯上都用估值(平差值)的方差衡量精度.在根据观测值L求未知参数x的估值兄(L)时，总是希望所得到的估值是最优的.由估计理论知道，最优估计量主要应具有以下几个性质：(1) 一致性由观测值得到的估值 刃(L)通常与其真值是不同的，我们希望当观测值个数n增加时，估计量变得更好些；当 n无限增大时，估计量向被估计的参数趋近的概率等于1 即如果对于任意 0,有lim P(

9、X X? X )1(1-1-1)n则称估计量 卞具有一致性；若有lim( X )?)(X XY)0(1-1-2)则称此估计量是均方一致的估计量的一致性是从它的极限性质来看的.(2) 无偏性若估计量 X的数学期望等于被估计量x的数学期望，即E(f) E(X)(1-1-3)如果丑是非随机量，上式即为E(刃)X(1-1-4)则称丘为无偏估计量如果E(>?)X (n )，则称乂为渐近无偏.(3) 有效性.若由观测向量L得到无偏估计量 X的误差方差E(X 刃)(X *)丁)，小于由L得到的任何其他无偏估计量X的误差方差E(X X )(X X )T)，即E(X )?)(X XV)<E(X X*

10、)(X X*)T)或写为D( 0) D( X*)(1-1-5)则称X是有效估计量，也称 X具有有效性或方差最小性.以不同的准则来求定未知参数的最佳估值，可得到不同的估计方法估计方法主要有极大似 然估计，最小二乘估计，极大验后估计，最小方差估计和线性最小方差估计等；经典的测量平差 法都是以最小二乘估计或极大似然估计为根据导出的；而滤波、配置和动态系统的卡尔曼滤波等， 最初是以极大验后估计或最小方差估计为根据导出的因此，概率统计中的估计理论是广义测量 平差的理论基础.2.2多维正态分布正态分布是测量平差理论中最常用的误差分布，是最小二乘平差误差理论的基础.本节在已 学过的一元正态分布的基础上，对多

11、维正态分布做全面阐述广义测量平差理论中还涉及其他分 布，则将分别在相应章节中介绍.2.2.1多维正态分布的定义和性质已知随机变量X的正态分布概率密度为f(x)expx)2(1-2-1)式中两个参数 x和2分别为随机变量X的数学期望和方差.当x =0,2=1时，X为标准正态分布变量.记为 X N(0,1)，其概率密度为f (x) Texp £x2(1-2-2)设有m个互相独立的标准正态随机变量构成的随机向量ZL ZmT它们X1X2MXnAon 1的有限个线性函数乙乙MZm为n维正态随机向量.此时,X的数学期望和方差阵为E(X)DX AAtX的分布函数和概率密度都简称为n维(或n元)正态

12、分布，简记为X Nn( ,AAT)，或写为X Nn( ,Dx).由互相独立的标准正态随机变量组成的随机向量Z,可写为Z N (0, En).En为n阶单位阵.多维正态分布具有以下性质：(1)正态随机向量的线性函数还是正态的.例如,设X Nn( , AAt ), Y BX b则Y N(B b, BAAtBt)设 X Nn( ,AAt),，记XiX2Xi Nr(r 1，DxaatD11D12D21D22i,Dii),X2N(n r2 , d22).2.2.2多维正态分布设有n维正态随机向量 X No (p。，Dx)，其中方差阵 D,为可逆阵，即det(Dx)丰0,则它的概 率密度为f(x) 2()

13、2Dx1exp 1(x2、T 1 ,、X) DX (x X )式中Dx表示Dx的行列式.对于二维正态随机向量若它有可逆方差阵和数学期望为则由(1-2-3)式可得其概率密度为f(x,y)1_2 . X :-gXY因相关系数XYxy和Yexp ax)2 y2(xX)(y2Xy) XY (y Y) X2XYXY红，所以上式可写为f (x, y) =2 exp2 X Y l 1 XY1 (x22(1 xy)x)22(x x)(y y)(y y)22Y(1-2-4)这就是二维正态随机向量概率密度.当XY°或XY=0时，即当X和Y是互不相关的两个正态随机变量时,则有f(X,y)尹-expY(x

14、x)22 X(yy)22 :1exp2 x(x x)22 X1gexp.2 Y(y2y)22Yfx(x) fy(y)这就是说，当XY 0时，x和y是互相独立的所以，对于正态分布来说，随机变量的“互不相关”与“互相独立”是等价的.根据（1-2-4）式绘制二维正态曲面（密度曲面）如图1-1所示曲面在点（x， 丫）处取得最大值如果用平行于XOY面的平面Z Z0 （常数）截此曲面，即得到一族椭圆，椭圆上所有点 的概率密度值均相等，因此，称这些椭圆为等密度椭圆.2.2.3正态随机向量的条件概率密度设有n t维正态随机向量 X且设X!X2,DxDllD12D21D22X1和X分别是由X的前n个分量和后t个

15、分量构成的正态随机变量，即X2Nt（ 2,D22）的概率密度是图1-1n 11f(x) (2 ) 2 Dx 'exp1 %2 x2T1 D 1X2X2(1-2-6)按分块矩阵求逆公式，有或为其中Dx1Dn1dJ D12 D%1 D21D1；D%21D21Dh1D%1(1-2-7)D%1D%11D12D221D22D22 D21D% D12 D22(1-2-8)D% D11D2 D221d12d22d21D21 D11 D12(1-2-9)可将（1-2-7 ）和（1-2-8 ）两式分别写为因DX还可分解为DxDx1Dx1D11D21所以，Dx的行列式之值为利用(1-2-10) 、(1-2

16、-9)f(x)f(x)其中1D11 D12EtEnD22 D210D2Dx式和(1-2-13)f (X1,X2)(2) 2 D11式,D21D21D111Et1D11 D12EDn|D2可将概率密度12gexp1(X11D22 D21D1D120D221(2 ) 2 D%2 °gexpf (X1,X2)(2D2212gexp2(X211(X2m)2 D%1 2gexp根据边际概率密度和多维正态分布的性质可知nf1(X1)(2 ) 2D11f2(X2)(2 ) 2 D2212gexp12gexpD1110E022DED22附(1-2-6)式改写为、T 1 “1 ) D11 (X1%)T

17、 %2 (X2T 12) D22 (X2(1-2-10)(1-2-11)(1-2-12)(1-2-13)1) g%)2) g2(X1材肌)D12D22(X2D21D11(X1!(X11)P(1-2-14)(1-2-15)1(X22)%)(1-2-16)1 (X1 1 )(1-2-17)2) D22 ( X2 2)(1-2-18)又由条件概率密度公式知(1-2-19)XI)晋f (Xi *)f (Xi,X2)f2(X2)(1-2-20)而将(1-2-14)和(1-2-17)两式代人(1-2-19)式，得1 1 1f(X2；X1)(2 ) 2 D%2 2 exp2(X23%)TD%2(X2%)而将

18、(1-2-15)和(1-2-18)两式代人(1-2-20)式，即得m 2 1fgK)(2 ) 2 附 2 exp-(X1%)Tl%11(X1%)(1-2-21)(1-2-22)显然，上两式仍然是正态概率密度，根据条件期望和条件方差的定义和正态概率密度的性质可得E(X1.；X2)%1D12 D22 (X22)E(X Xl )%2 D21 D11 (X11)(1-2-23)D(X x2) D%D11 D12D22 D21D(X xO D%2d22 d21d111d12(1-2-24)因此，(1-2-21 )和(1-2-22)式又可写为f(X2,X1)(2 ) 2 D(X2/xJ 至 exp1X22

19、E(X2.： X1)T D 1(X X1) X2 E(X2.为)m1f(xX2)(2 ) 2 D(XX2)2 expX1E(X1. X2)T D 1(Xv X2) X1E(X1；X2)(1-2-25)正态分布的条件期望具有以下性质:(1) 由(1-2-23)式可知，E(X1；X2)是X2的线性组合，所以，它是正态随机向量；当然E(X2；xJ 也是正态随机向量.设X和Y,为正态随机向量，且设(1-2-26)熔 X E(X.： y)Z AY则X厶是与z互相独立的随机向量.这是因为熔 X xDxyDy1(Yy)1DxyDy Y1DxyDy由协方差传播律可得D(X,Yi)=Dxy因为所以D(焰 Z)E

20、 Dg D：X N( x，Dx)0, D(X,Y2)=Dxy2T1TDxy ADxy Dy Dy A，Y1N( 1,DJ,0,则有E(X. y)E(X,yi,y2)E(X,y) E(X,y,y2)x Dxy1E(X y1,y2)x Dxy1Dxy2E(X,yJ E(X>2)设 X N( x，Dx)，Y N(Y, dY),且E(Y2.Vi),则有E(X.'yi,y2)因为Y% 丫2所以Dxy0DyATY2 N( 2,D2),且 cov(Y1,Y2)=0，而E(X*)E(X；y2)(1-2-27)1dxy Dy (yD1100D211)y)Y1Y21XY2 D2 (y2DxyD2)D

21、11 D12D21 D22E(X. yi,%),DxyDy1XDy2xdXyE(X,yJ E(X.%)2 D21 D11 (Y1d21d111e Y(1-2-28)1)12 D21D11d(Y2)D21 DuED11D21E(丫2)D12D22d(Y%x)d21d1110,D11 D12ED(Y%Y)0E DY1XDy2x1D22D21D11 D 12DY2XD21 D111I dyx利用分块求逆公式和(1-2-29)Dxy Dy1 (Y式得Y)dxy dXY2D11D21D12D22丫1Y2Dxy DXY21(DXY1 D11 D12d(x,Y%)d 1(Y%)1102EgD%21D11 D

22、21Dn10D%2丫1丫2(1-2-29)Dxy2)d MgD21 D11 (丫11D11 D211)丫21DXY1 D11D xy D11 (丫1)E(X*) E(X,%) x2.2.4矩阵反演公式由于正定矩阵的逆阵唯一，故由(1-2-7 )、( 1-2-8 )两式直接可得:(DnD12 D22D21 )Dn11D11 D12( D221D21 D11 D12 )D21 D11(1-2-30)1D11 D12(D221D21 D11 D12 )(D111D12 D22 D21 )D12 D22(1-2-31)就有上两式关系,(1-2-32)由此可知，对于任意矩阵 A B和任意可逆阵 C D,

23、只要在下式中它们可以相乘,般形式为(D ABC) 1 D 1A(C 1 BD 1A) 1BDCB(D ABC) 1 (C 1 BD 1A) 1 BD 1(1-2-33)通常称(1-2-32)、(1-2-33)两式为矩阵反演公式，是两个非常重要的关系式，在测量平差推导公 式时常要用到.矩阵反演公式也可直接证明.令 H (D ABC) 1，则有(D ABC)H E,或 DH+ACBH=E(1-2-34)将上式左乘B,得1 1HDD ACBHBD 1 (C 1 BD 1A)CBH ,(C 1 BD 1A)BD 1 CBH此即(1-2-33)式，代入(1-2-34)式，即得(1-2-32)式.2.3极

24、大似然估计设有参数向量 X，它可以是未知的非随机量，也可以是随机向量，为了估计t 1X,进行了 n次观测.得到了观测向量L的观测值I ,又假定对X的所有可能取值为n 1n 1x ,在X=x的条件下得到的观测向量L的条件概率密度为 f (If X).容易理解, f (L x)是x和I的函数，但对具体的观测值I来说，f(l；x)可以认为只是 X的函数因此，如果?是x中的一个，而f (1;%是f (lx)中的最大乂叫做X的极大似然估值，并记作 ©L(L)或©L这就是说，极大似然估计是以为准则求最佳估值x的方法.显然，它满足于f (1 / x) maxf(Lx)0xx *ML (L

25、)值，那么，?是x的准确值的可能性最大此时把(1-3-1)(1-3-2)由于对数是单调增加函数，因此In f (L x)与f (l；x)在相同的x值达到最大，亦即(1-3-2)式等价In f(I x)0(1-3-3)x *ml(L)此方程称为似然方程，f (lx)称为似然函数，而In f (L x)称为对数似然函数如果参数X是非随机量，则f(l ；x) f (I, x)而(1-3-1)式变为f (L x) max(1-3-4)此时，f (l,x)是L的概率密度，其中的 x只是表示函数与参数 X有关. n 1由似然方程或(1-3-2)式可见，极大似然估值)?ML是观测值L的函数在采用极大似然估计

26、 求姦时，需要首先知道似然函数f (L x)或对数似然函数In f (L x) 2.4最小二乘估计设被估计量是t维未知的参数向量 X，观测向量为L(n t)其观测误差(或称为噪声)向量n 1为m，观测方程L BX(1-4-1)式中B 的秩 rk(B) t,E( )0,D()n tD，设X的估值为X，则有V B)? L(1-4-2)所谓最小二乘估计，就是要求估计值?使下列二次型达到最小值，即VTPVB)? 1_丁卩9乂 L) min(1-4-3)其中P是一个适当选取的对称正定常数阵,X称为x的最小二乘估值，记为Xls 或 £ls (L) n n当参数X的各个分量Xi之间没有确定的函数关

27、系，即它们是函数独立的参数时，可将X对X求自由极值，令其一阶导数为零，得XT V T2VTP 2VTPB 0(1-4-4)*X转置后，得btpvbt p B>? L 0或BTPB>?BTPL(1-4-5)1解得XBTPBBTPL(1-4-6)又因为2BTPB 0所以X使 X达到极小值.最小二乘估计量x的估计误差为? X Xbtpb 1 btp bxBTPB 1 BTP (1-4-7)由此式按协方差传播律可得X的误差方差阵为将对称正定阵则得:且由“矩阵形”只有当P PD ?BTPBD表示为DRt R (R为可逆阵),许瓦茨不等式可得:达到最小，此时有有时将P取为D 1或D 11 bt

28、pd并令a BtR 1b RPB BTPB 1ab BtR 1RPB BtPBD 攵 bTbbtpbTabbtpdVaraaTabPB BTPBPB BtPB 1(1-4-8)TaaT 11(BTD 1B) 102为常数)时，上式才取等号，而使X (BTD 1B) 1btpb 1X的误差方差阵(1-4-9)02时的估计称为马尔柯夫估计，此时应将(1-4-3)式写为VTPV min(1-4-10)可以看到，最小二乘估计具有如下性质:X的估计量 XLS是观测值的线性函数.(2)当观测误差的数学期望为E(0时，因E L BX所以E )?LSBTPBbtpe lbtpb 1 bt PBX X即/?LS

29、具有无偏性.(3) 当观测误差的方差阵为D，而取PD 最小二乘估计是一种线性估计，即或 P D 1 02时，X_S的误差方差阵达到最小值.(4) 最小二乘估计不需要 X的任何先验统计信息当 X是非随机量，或 X虽然是随机量，但完Dl D全不考虑其先验统计信息时，由观测方程(1-4-1)和(1-4-6)式按协方差传播律可知(1-4-11)(1-4-12)DxLSD 忽X是正态随上面是不考虑概率分布，直接将(1-4-3)式作为一种估计准则当观测误差和参数机向量时，这种最小二乘估计准则还可以从极大似然估计导出.设 N(0, D ),X N( x，Dx)，由于X和 一般是互相独立的， 故设Dx0则由观

30、测方程(1-4-1)式可得:LDlE L B bdxbt(1-4-13)DlxBDx而在Xx条件下的条件概率密度为式中f17x 2 5"TexpE LxD 1 Lx l E L xE L' x1Dlx Dx XD LxDlDlx Dx1Dxl将(1-4-13)式代人上式得:x BxL x (BDxBT D )1TBDxDx DxB D由于似然方程等价于D 1 LxE L x min所以也等价于bX" tB笑min(1-4-14)这就由极大似然估计导出了最小二乘估计. X作为随机向考虑到则(l-4-14)式也就是最小二乘估计的准则(1-4-10).从上述讨论看到，在由

31、极大似然估计导出最小二乘估计的过程中，虽然将参数 量，但是在求最小二乘估值 XlS时，并不需要知道 X的先验期望和先验方差因此，从这个意义上可以说，最小二乘估计实际上并没有考虑参数的随机性质正因为如此，当不知道参数的先验 期望和先验方差，或者参数是非随机量时，可以应用上述最小二乘估计求其估值.本节是以间接平差的函数模型为例，说明了最小二乘估计的准则至于其他的各种经典平差法(如条件平差、附有参数的条件平差、附有限制条件的间接平差)，尽管它们各具自己的函数模型，但它们所依据的估计准则不变，其差别仅在于：在不同的函数模型下，它们的具体求解方法有所不同因此可以说，各种经典平差方法，都是依据最小二乘估计

32、准则VTPV min，去求未知参数X的最小二乘估值 X_S和观测值L的平差值L? 2.5极大验后估计如1-3节中所述，极大似然估计是以“ f x lmax ”为准则的估计方法， 而极大验后估计则是以f x l max(1-5-1)为准则的估计方法这里x l是随机参数向量 X在观测向量L't 1n 11的条件下的条件概率密度I仍然表示L的观测值.这个准则的含义在直观上是较明显的.它的含义是：给定了 L的一组子样观测值I，由这组I可以按一定的概率取得参数X的不同估值 £，其中最佳估值的条件概率密度f x l应为极大值.般用 烫MA或XmA ( L)表示由极大验后估计得到的最佳估值

33、，称之为极大验后估值，显然，)?MA应满足ln f x lx(1-5-2)此方程称为验后方程. 因为将上式对x求导，则有ln f x lIn fl,x ln f2ln fx lln f x,lxx(1-5-1)式等价于由此可知，极大验后估计的准则f x,l max2.6最小方差估计最小方差估计是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求得参数X的估值，如果它的误差方差比任何其他估值的方差小，就认为这个估值是最优估值记X的最小方差估值为 乳V或)?MV (L).设任一估值为 £，其估计误差为X X )?，而误差方差阵为TD5?E X )? X )?x x x &q

34、uot; f x, I dxdlx 5? x ?T f x I dx f2 I dl当D X取最小值时的 X就是最小方差估值Xmv 因(1-6-1)式表示的方差阵是阵，所以，为了求得使 D X取得最小值的)?MV，只需要求下式的最小值,f xl dx(1-6-1)个非负定对称(1-6-2)由上式可写为因为所以由于(E X lXldx(x E X IXl(xXl)f xlXl Tx I dxXl )f x l(x Edxf xl dx 1dx xf x I(x E X l )(x E X I(E X l x) E X lTx总是一个非负定阵，所以xl dx)Tf x ldx E)Tx E XI

35、x E XIdxx l dxXI 0f x l dxT f x l dx(1-6-3)(1-6-4)欲使 取得最小值，就应使上式取等号，此时应使E Xl X 0即得参数的最小方差估值为Xmve X l(1-6-5)而最小方差估值XMV的误差方差阵为D £E XXMVE X lXE X lTx EX lx ETX lf x l dx f2 l dl即DXMVDX l f2l dl(1-6-6)它是估计误差的最小方差阵.又因为e XMVE Xlf2 l dlxf x. I dx f2 l dlx f x,l dl dx考虑到f x,l dl f|(x)即得E()?mv)xf1 x dx

36、E X(1-6-7)可见，?MV是X的无偏估计量.可以看到，当X和L都是正态随机向量时，X的最小方差估值)?MV，和它的极大验后估值)?MA是相等的.然而，当 X和L不都是正态随机向量时，)?MV就不一定等于 XMA 了.2.7线性最小方差估计前面所述的极大似然估计、极大验后估计和最小方差估计，均要求知道观测向量L和未知参数向量X的条件概率密度或联合概率密度。它们所得到的估计量)?可以是L的任意函数.而最小二乘估计可以不需要知道任何统计性质，所得到的估计量x。是£的线性函数， 所以说最小二乘估计是一种线性估计本节的线性最小方差估计则是放宽对概率密度的要求，只要求已知L和X的数学期望和

37、方差、协方差，以及限定所求的估计量是观测向量L的线性函数，再以估计量的均方误差达到极小为求最优估计量的准则这样得到的估计量称为线性最小方差估计量，并记为以Xl(l)或 X。设已知观测向量L的数学期望和方差为L和Dl ,参数向量X的先验期望和方差为x和Dxn 1 n nt 1 t t和X的协方差为Dlx，又设估计量 X是L的线性函数n tX的误差向量是刃L(1-7-1)式中a和 是非随机常数向量和系数矩阵此时,t 1 tn刃X X? XL则刃的数学期望和方差分别为(172)DXE XXDxDlLT d T dxl(1-7-3)Dlx(1-7-4)而刃的均方误差阵为E仑?EX*EE対)?E)?EX

38、>TE)?EX*)?ETx>EX1 E XT即得E卞TX*E乂 ETX*D XE)?TEX?DXdl t dLX将上式配方，则有E； E乂 EXTDxlDl1 D1lDxlDlTDx1DxlDl Dlx(1-7-5)上式右边第一、二项都是非负定阵，而第三、四项均与无关.显然，为使(1-7-5)式中的E 乂 T?达到极小，唯一的解就是选取，使(1-7-5)式右边的第一、二项等于零，亦即使(1-7-6)(1-7-7)DxlDl1将(1-7-6)和(1-7-7)两式代入(1-7-3)式可得：(1-7-8)xDxlDl1 l再将(1-7-7)和(1-7-8)两式代入(1-7-1)式，即得线

39、性最小方差估计量)?lxDxlDl1 L l(1-7-9)X的方差D x可由(1-7-5)式得出如果把线性最小方差估计的E则可按求极值的方法求定将(1-7-11)式分别对由( 1-7-12)式可得:代人(1-7-13)式得:即有所以也可得T1X E * x*DxDxl Dl DlxX T?达到最小的准则，改为其迹求导数，并令其为零,可得:(1-7-10)tr(EminltDxlDlDxlDl11DxlDl lX T?)达到最小,(1-7-11)(1-7-12)(1-7-13)(1-7-14)(1-7-15)此匕即(1-7-7) 、(1-7-8)式，小的准则所得到的结果完全相同。有时也称这种以方

40、差阵之迹达到最小为准则的估计方法称之为 最小方差迹估计不难看到，线性最小方差估计(1)由(1-7-9)式可得：由此可知量童。,这种以方差阵之迹达到最小的准则，与前面以方差阵达到最具有以下性质:1x D XL D L E L L x所以，)?L是X的无偏估计，即 XL具有无偏性.其误差(2)盖具有有效性，即)?L的误差方差取得最小值这是显然的因为有E 乂 0 , 方差等于其方差阵.(3)因为估计误差可表为)?1X xDXLDL L L所以刃与观测向量L的协方差阵为COV1X , L DXLDXL DL DL 0可见，估计误差向量乂与观测向量L是不相关的；从几何的角度看，可以将此性质叫做正交.X与

41、L本来不是正交的，但从Y中减去一个由L的线性函数构成的随机向量 X.后,即与L正交因此可以说， X_是X在L上的投影.(4) 当X L的联合概率密度是正态时，因为E XL1x DXLDL L所以，此时X的线性最小方差估计量 x。就等于最小方差估计量Xmv也等于其极大验后估计量2.8贝叶斯估计在1-5节和1-6节中介绍的极大验后估计和最小方差估计, 种形式，因此有必要介绍一些关于贝叶斯估计的概念.可以说是贝叶斯(Bayes)估计的两仍设X是被估计的未知参数向量，L是观测向量，)?(L)是根据L给出的X的一个估计量，其估计误差为X? X刃(L).设有估计误差X的一个标量值函数:CX?C X L(1

42、-8-1)如果它具有性质：1当X21记|时，C於2C X 0；2当刃=°时，C刃=° ;3 C - x? =Cy? .其中|=(T? 舁2则称c X为估计量)?(L)对X的损失函数(或代价函数)，并称其数学期望为刃(L)的贝叶斯风险，记为上述C二EC X E C X X? L的第一个性质说明它是原点到估计精确时，估计的损失为零；第三个特性说明(1-8-2)X?的距离的非减函数；第二个性质的含义是，当C x对称于原点:所谓贝叶斯估计，就是根据使贝叶斯风险达到最小的准则来求定未知参数的估计量刃(L)，也就是使刃(L)满足C x f x,l dxdl min (1-8-3)可以看

43、到，选择不同形式的损失函数，就可得到不同的贝叶斯估计方法和结果下面来说明极 大验后估计和最小方差估计是贝叶斯估计的两种形式2.8.1极大验后估计设选择的损失函数是C >? C XL1"Jx?|X12/2(1-8-4)上式的损失函数称为均匀损失函数，此时，X?的贝叶斯风险为E Cx?x,l dxdl(1-8-5)IIx?2上式可写为1 f x l dx f2 l dII训211f x l dx f2 l dlIM 2若设x的贝叶斯估计量为)?B，因X?兔 min等价于f x/l dx X? x? max当 足够小（0）时，这又等价于f x. Imax(1-8-6)所以，此时 ?

44、又是石的极大验后估计量X?MA。也就是说，当损失函数是 （1-8-4）式且 足够小时，贝叶斯估计就是极大验后估计.2.8.2最小方差估计设选择的损失函数是(1-8-7)式中S为任意对称非负定阵，（1-8-7）式的损失函数称为二次型损失函数.此时X-的贝叶斯风险为)? T S xx, I dxdl(1-8-8)不难看到，上式也可写为矩阵迹的形式，即有tr Sx )? x )? T f x,l dxdlmin(1-8-9)式中的积分就是童的误差方差阵E（ g T?），当取S=E时，选择二次型损失函数的贝叶斯估计，是以估计量的误差方差阵之迹达到最小为准则来求刃的方法因此，可以说，它就是最小方差估计.

45、如果将（1-8-8）式写为Tx X S x X f x l dx f2 l dl min则它也等价于Tx S x f x l dx min（1-8-10）又因为2 S x f x l dxX所以有2 S x X" f 灯1 dx g 凡 0由于S是非负定阵，因此下式成立：XB f x l dx xf x l dx亦即xf x l dx E X, l(1-8-11)又由于因此，当宣XBE(X l)时，确使具有最小值也就是说，根据(1-8-9)式求得的Xb也是X的最小方差估计量)?MV。2.9广义测量平差原理测量平差的主要任务，是根据含有随机误差的观测值来确定被观测量及其函数的平差值，也

46、 就是求定未知参数的最佳估值前面所讨论的各种估计方法也就是广义测量平差的理论基础为 了进一步说明广义测量平差原理，下面先讨论在正态分布的情况下，上述估计方法的关系.从前面的叙述可以看到，对于正态分布来说，极大验后估计所得到的结果，与最小方差估计、 线性最小方差估计相同；而在一定的情况下，可以由极大似然估计导出最小二乘估计因此，本节 主要说明极大似然估计、最小二乘估计与极大验后估计之间的关系.由1-3节知，对于正态分布，极大似然估计的准则，f(l,x) max等价于T 1L E L x D L x L E L x min(1-9-1)若未知参数为X N( x,Dx)，观测误差 N(0, D )

47、, D(X, ) 0 ,并有观测方程L BX(1-9-2)再记V B)? L(1-9-3)则由|-4节知，似然方程等价于最小二乘估计准则VTPVB)?D 1 o B)? L min (1-9-4)其中P D 1 2，若取 2=1，则P D 1 (1-9-3)式也就是观测值 L对应的误差方程又由1-5节知，极大验后估值刃MA。应满足验后方程In f x lf I x f1 xf x.l根据贝叶斯公式可得f2 l因此In f x 丨 ln f l x In f1 x(1-9-5)xxx考虑正态分布的概率密度，f L x和f1 x可知，极大验后估计准则“f x I min ”也等价于(L E(Lx)

48、TD 1(Lx)(L E(Lx) (xx)TDx1(xx) min (1-9-6)而当有观测方程(1-9-2)，且D(X, )0时，上式便等价于(B)? L)D 1(B? L) 0?x)T Dx1?x) min(1-9-7)下面根据(1-9-5)和(1-9-7)式来进行讨论在式(1-9-6)中其左边第一项就是极大似然估计准则的等价公式(1-9-1)的左边项.因此，当X是随机参数时，极大验后估计改善了极大似然估计或最小二乘估计而当X的先验概率密度f1 x为常数时，则有f1 x 0(1-9-8)xIn f x 丨 In f 丨 x(1-9-9)xx所谓先验概率密度 f1 x为常数，也就是说在一定的范围内，参数X在