第1章 估计方法和广义平差

#alnf(x/1)(1-5-2)此方程称为验后方程。因为x=Xmaf(1,x)f(X/1)=f(1)2lnf(x/1)=lnf(1,x)—lnf(1)2将上式对x求导，则有alnf(x/1)alnf(1,x)ax

由此可知，[ax

由此可知，[例1-5-1]ax极大验后估计的准则(1-5-1)式也等价于f(1,x)=max设有观测值L=(LL12]t，观测方程为1-5-3)L=x3+A,(i=l,2,…,n)ii〜N(0,b2)，〜N(0,b2)，0iA〜N(0,b2)，试求x的极大验后估值X?。AMA解因x和A的概率密度为i由此可得所以f1(x)fA(Ai)1f=exp<—2冗b[:fexP<—Ix1v2冗bAx2I2g2JxA2〕

2g2\Af(l/x)if(l/x)f(1,x)f1(x)2(1—x3)2〕:r2g2iAexp[—L(1—X3)2i7=12g2A1（、:2兀）则由验后方程得：ax即有或写为£(1-x3)21ix21-c/=1r2Q2Q2Ax丿expn+1QnQf(l)Ax2£(1-x3)2iQ2A£3x2(x3MAMA2x2Q2xx二xMA-l)2i2x?MA=0Q2x3£・Ii=iQA丿3.x5Q2MAA解此方程就可得到极大验后估值x?MA。下面讨论X和L均为正态随机向量的的情况。x?2MA1?0+x=0Q2MAx因为此时条件概率密度为其中D(X/1)|-2exp<—1(x—E(X/1))TD-1(X/1)(x—E(X/1))1-5-4)1-5-5)E(X/1)=卩+DD-1(L-卩)XLLL-DD-1D(1-5-6)XXLLLX上式中各个符号的意义均与1-3中相同。将(1-5-4)式代入验后方程(1-5-2)，有—fx-E(X/1))tD-1(X/1)(1-E(X/1))「ax则得=0x=XMA所以(X?-E(X/1))TD-1(X/1)=0MA亦即X=E(X//)MA估值j?X?MA的估计误差为=E(X/1)=卩+DD-1(L-卩)xXLLL1-5-8)MAA=X—X=X——DD-1(L—)X?MAMAxXLLL].「X1L由协方差传播律可得X?的误差方差阵为=t—DD-1丄XLL+(DD-1卩一卩)XLLLx(1-5-9)D(A)=tXMA

即得：「DD1「E1DD—1XXLXLLDD—DD-1LXLXLLMAD(A)=DXxMA—DD—1D=D(X/l)XLLLX(1-5-10)(1-5-8)和(1-5-10)式就是当X、L为正态随机向量时，极大验后估计求X的估值£

及其误差方差的基本公式。MA由(1-5-8)式不难看出，£是X的无偏估值。[例1-5-2]设有观测方程MAL=BX+A也设X和△为正态随机向量，A〜N(0,D)，X〜N(卩,D)，cov此时有xX(1-5-11)(X,4=0。X=X=BDXa'卩=E(L)=B卩LxD=BDBT+DLDLX将它们代入1-5-8)式即得：=E(X/l)—卩它的误差方差阵为D(A)=D—DXXXMABT(BDBTXX+D)-1(L—B卩)AxBT(BDBT+D)XXA1BDX1-5-12)(1-5-13)从上面的讨论可知，由于极大验后估计考虑了参数X的先验统计特性，因此，当参数的先验期望卩和先验方差D已知时，极大验后估计改善了最小二乘估计，此时，xX极大验后估值X?的误差方差要小于其最小二乘估值£「J勺误差方差。MALS1-6最小方差估计最小方差估计是-种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求得参数X的估值，如果它的误差方差比任何其它估值的方差小，就认为这个估值是最优枯值。记X的最小方差估值为£或£(L)oMVMV设任-估值为X?，其估计误差为A=X—X?，而误差方差阵为D(A)=E■—X)(X—X)tLJg(x—X)(x—X)Tf(x,l)dxdl、—gX—g彳I—g=JgJg(x—x?)(x—x?)Tf(x/l)dxf(l)dl(1-6-1)—g—g2

—g—g当D(A)取最小值时的£就是最小方差估值X。因(1-6-1)式表示的方差阵是-XMV个非负定对称阵，所以，为了求得使D(A)取得最小值的£，只需要求下式的最XMV小值，即得：屮=J®(x一x)(x一x)tf(x/1)dx(1-6-2)由上式可写出屮二「lx-E(X/1)+E(X/1)-x}{-E(X/1)+E(X/1)-xbf(x/1)dx一®因为J®f(x/1)dx=1-®J®lx-E(X/1)}f(x/1)dx=0-®化简得-®屮=J®L-E(X/1)}{-E(X/1)}tf(x/1)dx+(E(X/1)-x)(E(X/1)-f)t(1-6-3)-®由于(E(X/1)-x)(E(X/1)-x)t总是-个非负定阵，所以1-6-4)1-6-5)V>J®・-E(X/1)}{-E(X/1)}tf(x/1)dx1-6-4)1-6-5)欲使屮取得最小值，就应使上式取等号，此时应使即得参数的最小方差估值为XMV=E(X/1)而最小方差估值X的误差方差阵为MVD(A)=E(X-E(X/1))(X-E(而最小方差估值X的误差方差阵为MVD(A)=E(X-E(X/1))(X-E(X/1))T}XMV=J®-®-®(x-E(X/1))(x-E(X/1))tf(x/1)dx-f(1)d12它是估计误差的最小方差阵。D(A)=J®D(X/1)f(1)d1X2-®E(X)=J®E(X/1)f(1)d12MV-®J®J®(x/1)dx}f(1)d12J®xJ®{f(x,1)d1}xJ®xf(x)dx=E(X)11-6-6)1-6-7)因J®f(x,1)d1=f(x)1-®-®可见，£是X的无偏估计量。MV可以看到，当X和L都是正态随机向量时，X的最小方差估值X和它的极大验后估MV值£是相等的。然而，当X和L不都是正态随机向量时，£就不-定等于£了。MA1-7线性最小方差估计MVMA前面所述的极大似然估计、极大验后估计和最小方差估计，均要求知道观测向量L和未知参数向量x的条件概率密度或联合概率密度，它们所得到的估计量£可以是L的任意函数。而最小二乘估计可以不需要知道任何统计性质，所得到的估计量£是LLS的线性函数，所以说最小二乘估计是-种线性估计。本节的线性最小方差估计则是放宽对概率密度的要求，只要求已知L和X的数学期望和方差、协方差，以及限定所求的估计量是观测向量L的线性函数，再以估计量的均方误差达到极小为求最优估计量的准则。这样得到的估计量称为线性最小方差估计量，并记为J?(L)或。LL设已知观测向量L的数学期望和方差为y和D，参数向量X的先验期望和方差为LLnx1nxny和D，L和X的协方差为D，又设估计量X是L的线性函数xLLX1-7-1)tx1txtnxt1-7-1)X=a+BL式中a和B：只是非随机常数向量和系数矩阵。此时，£的误差向量是tx1txn(1-7-2)a=X—X=X-a+BL(1-7-2)X的数学期望和方差分别为而A.XE(AXXE(A)=y-a而A.XE(AXXE(A)=y-a+BpXxD(A)=D+BDBtXXL的均方误差阵为L-D卩tXL-卩DLX(1-7-3)(1-7-4)即得e(aa)=Xxat)=E(A-E(A)+E(A))(A

"(XX"二EIA,-E(A))(A,XXXJ+E(A))T}XXTX-E(A—E(A))tLE(A)E(A)XX八)X

+BDBTLE(A)E(A)T+D(AXXE(A)E(A)T＋DXXx将上式配方，则有E(AAt)=E(A)E(A)tXXXX+(B-DD-1)D(B-DD-1)+D-DD-1DXLLLXLLXXLLLX-DBt-BDXLLX(1-7-5)上式右边第一、二项都是非负定阵，而第三、四项均与a、B无关。显然，为使(1-7-5)式中的E(AAt)达到极小，惟-的解就是选取a、B，使(1-7-5)式右边的第一、X?X?项等于零，亦即使

(1-7-6)(1-7-7)E(A)=E(X-X)(1-7-6)(1-7-7)X卩=DD-1XLL将(1-7-6)和(1-7-7)两式代入(1-7-3)式可得：a=p-DD-1p(1-7-8)xXLLL再将(1-7-7)和(1-7-8)两式代入(1-7-1)式，即得线性最小方差估计量X=p—+DD-1(L-p)(1-7-9)TOC\o"1-5"\h\zLxXLLL因为E(A)=0，所以，A的方差D(A)可由(1-7-5)式得出XXXD(A)=D-DD-1D(1-7-10)XXXLLLX如果把线性最小方差估计的E(AAT)达到最小的准则，改为其迹tr(E(AAt))VVVV达到最小，即tr(E(AAT))=E(ATA)=EfX-a-PL)(X-a-PL)t}=min(1-7-11)XxXX则可按求极值的方法求定a、p。(1-7-12)1-7-13)将(1-7-11)式分别对a(1-7-12)1-7-13)E(X-a-pL)=0Ef(X-a-pL)LT}=0由(1-7-12)式可得：代入(1-7-13)式得：E\X-p-p(L-p)(L-p+p)t}-pE{}-pE{L-p)(L-p)t}L=EtX-p)(L-p)t即有D-D=0XLLp=p=DD-1XLLa=p-DD-1pxXLLL(1-7-14)(1-7-15)此即(1-7-7)、(1-7-8)式，由此可知，这种以方差阵之迹达到最小的准则，与前面以方差阵达到最小的准则所得到的结果完全相同。有时也称这种以方差阵之迹达到最小为准则的估计方法称为最小方差迹估计。不难看到，线性最小方差估计量壬具有以下性质：L(1)由(1-7-9)式可得：E(X)=p+DD-1(E(L)—p)=pLxXLLLx所以，J?是X的无偏估计，即J?具有无偏性。LL(2)£具有有效”，即J?的误差方差取得最小值。这是显然的，因E(AJ=0,LX其误差方差等于其方差阵。

(3)因为估计误差可表为E(A)=(X—卩)—DD-1(L—p)XxXLLL所以A.与观测向量L的协方差阵为Xcov(A)=D—DD-1D=0XXLXLLL可见，估计误差向量A.与观测向量L是不相关的；从几何的角度看，可以将此性X质叫做A.与L正交。X与L本来不是正交的，但从X中减去-个由L的线性函数构成的X随机向量£后，即与L正交。因此可以说，£是X在L上的投影。LL(4)当X,L的联合概率密度是正态时，因为E(X/L)=p+DD-1(L—p)xXLLL所以，此时x的线性最小方差估计量丸就等于最小方差估计量£mV也等于其极大验后估计量£。MA1-8贝叶斯估计在1-5和1-6中介绍的极大验后估计和最小方差估计，可以说是贝叶斯(Bayes)估计的两种形式，因此有必要介绍-些关于贝叶斯估计的概念。仍设X是被估计的未知参数向量，L是观测向量，£(L)是根据L给出的X的-个估计量，其估计误差为A=X-左(L)。X设有估计误差A.的-个标量值函数：X如果它具有性质：⑴当llAXl如果它具有性质：⑴当llAXl2(2)当||a」卜0时，XC(A)=C(X—X(L))X时，C(AXC(A)>C(A)>0；X2X1)=0；1-8-1)(3)C(—A.)=C(A」。TOC\o"1-5"\h\zXX=(ATA)1/2。，则称C(A)为估计量£(L)对X的损失函数(或代价XXx函数)，并称其数学期望为X(L)的贝叶斯风险，记为I0(A)=Et(A)LEC(X—£(L))*(1-8-2)Xx上述C(A)的第一个性质说明它是原点到A的距离的非减函数；第二个性质的含Xx义是，当估计精确时，估计的损失为零；第三个特性说明C(AJ对称于原点。X所谓贝叶斯估计，就是根据使贝叶斯风险达到最小的准则来求定未知参数的估计量X(L)，也就是使X(L)满足1-8-3)0(A)=E{:(A)*=卜卜C(A)f(x,l)dxdl=min1-8-3)XX—8—8卫

可以看到，选择不同形式的损失函数，就可得到不同的贝叶斯估计方法和结果。下面来说明极大验后估计和最小方差估计是贝叶斯估计的两种形式。1。极大验后估计设选择的损失函数是0,C(AJ=可以看到，选择不同形式的损失函数，就可得到不同的贝叶斯估计方法和结果。下面来说明极大验后估计和最小方差估计是贝叶斯估计的两种形式。1。极大验后估计设选择的损失函数是0,C(AJ=C(X-£(L))眾iX—,8上式的损失函数称为均匀损失函数，此时，Ik」<8/2Xb.卜8/2XX.(L)的贝叶斯风险为i-8-4)p(A)=E右(A)}=jgjXX-g||X.1—f(x,1)dxdl8A.卜8/2i-8-5)卩(A)=E老(AJ=jg<XX5」j—f(x/1)dx>f(1)d1j—f(x/1)dx>f(1)d11.8/28J2J丄-g81-jf(X/1)dx>fA丄8/2J若设x的贝叶斯估计量为£，因B

pl(l)dl2等价于=minX=XBjf(x/1)dx8/2=maxX.=X.BA.当8足够小(8>0)时，这文等价于f(X/1)1.X.所以，此时壬又是X的极大验后估计量X.。也就是说，当损失函数是=miaxX.Bi-8-6)i-8-4)BMA式，且8足够小时，贝叶斯估计就是极大验后估计。2。最小方差估计设选择的损失函数是=AtSA(1-8-7)SXX式中S为任意对称非负定阵，(1-8-7)式的损失函数称为二次型损失函数。此时,C(A=AtSA(1-8-7)SXX式中S为任意对称非负定阵，(1-8-7)式的损失函数称为二次型损失函数。此时,X.X.的贝叶斯风险为(1-8-8)1-8-9)P(A)=E{:(A)}=jgjg(x-X)tS(x-X)f(x,1)dxd1=minX.X(1-8-8)1-8-9)不难看到，上式也可写y矩阵迹的形式，即有|p(A)=trSjgjg(x-X.)(x-X.)Tf(x,1)dxd1=min-g-gX.-g-g式中的积分就是£的误差方差阵E(△.△T)，当取S=E时，选择二次型损失函数的xx贝叶斯估计，是以估计量的误差方差阵之迹达到最小为准则来求X的方法。因此，可以说，它就是最小方差估计。如果将(1-8-8)式写为)}JX0(A)=以说，它就是最小方差估计。如果将(1-8-8)式写为)}JX0(A)=EC(AX则它也等价于八八1(x—X)TS(x—X)f(x/1)dxf(l)dl2=min又因为r/\八Jg(x—X)Ts(x—X)f(x/1)dx=min—g1-8-10)所以有由于S是非负定阵,{'}—2S(x—X)f(x/1)dx—g因此下式成立=0x/l)dxJgXf(xx/l)dxB亦即又由于亦即又由于X=Jgxf(x/1)dx=E(X/1)(1-8-11)B—g2S因此，当壬=E(X/1)时，确使0具有最小值。也就是说，根据(1-8-9)式求得B的£也是X的最小方差估计量£。B1-9广义测量平差原理测量平差的主要任务，是根据含有随机误差的观测值来确定被观测量及其函数的平差值，也就是求定未知参数的最佳估值。前面所讨论的各种估计方法也就是广义测量平差的理论基础。为了进一步说明广义测量平差原理，下面先讨论在正态分布的情况下，上述估计方法的关系。从前面的叙述可以看到，对于正态分布来说，极大验后估计所得到的结果，与最小方差估计、线性最小方差估计相同；而在一定的情况下，可以由极大似然估计导出最小二乘估计。因此，本节主要说明极大似然估计、最小二乘估计与极大验后估计之间的关系。由1-3知，对于正态分布，极大似然估计的准则f(l/x)=max等价于(L—E(L/x))TD-1(L/x)(L—E(L/x))=min(1-9-1)若未知参数为X~N(r,D)，观测误差A〜N(0,D)D=0，并有观测方程xXAXAL=BX+A(1-9-2)

再记则由1-4知，V=BX—L似然方程等价于最小二乘估计准则1-9-3)再记则由1-4知，V=BX—L似然方程等价于最小二乘估计准则1-9-3)Vtpv=(BX—L)tD-g2(BX—L)=minA=D-92右取b2=1,A00其中PA差方程。又由1-5知，极大验后估值£MA(1-9-4)A0则P=D-1。(1-9-3)式也就是观测值L对应的误AA应满足验后方程0lnf(x/1)根据贝叶斯公式可得：x=Xmaf(1,x)f(x/1)=-

f(1)2lnf(x/1)=lnf(1,x)—lnf(1)2将上式对x求导，则有1-9-5)0lnf(x/1)0lnf(1/x)0f(x)

=+—1-9-5)0x0x0x考虑正态分布的概率密度f(1/x)和fl(x)可知，极大验后估计准则f(x/1)=min,也等价于(L—E(L/x))TD-1(L/x)(L—E(L/x))+(x—卩)tD-1(x—卩)=min(1-9-6)TOC\o"1-5"\h\zxXx而当有观测方程(1-9-2)，且D=0时，上式便等价于XA八八八八(BX—L)tD-1(BX—L)+(X—卩)TD-1(X—卩)=min(1-9-7)AxXx下面根据(1-9-5)和(1-9-7)式来进行讨论。在式(1-9-6)中，其左边第-项就是极大似然估计准则的等价公式(1-9-1)的左边项。因此，当X是随机参数时，极大验后估计改善了极大似然估计或最小二乘估计。而当X的先验概率密度f(x)为常数时，则有11-9-8)0f(x)1-9-8)0x0Inf(x/1)=0Inf(1/x)(199)0x0x所谓先验概率密度f(x)为常数，也就是说在-定的范围内，参数X在验前取任何值的概1率都相等，亦即X是不具有先验统计特性的非随机量。上两式表明，极大验后估计在此时便退化为极大似然估计或最小二乘估计。女口果将(1-9-7)式中的未知参数看成非随机量，亦记为X*，将此时的观测向量记为L*；而将X的先验期望r看成是与L*相互独立，且方差为D的虚拟观测值，记为xXL(=r)，相应的虚拟观测误差记为A，则有观测方程为xxX

1-9-10)1-9-11)(1-9-12)L=1-9-10)1-9-11)(1-9-12)xXIL*=BX*+AJ若仍以£表示X*的估值，并记=X-Lxx=BX-L此式也就是误差方程。于是，(1-9-7)式可写为TOC\o"1-5"\h\zVtPV+VtPV=minAxxx式中P=D-1b2,P=D-1Q2AA0xX0当取b2=1时，即有P=D-1,P=D-1，它们表示权矩阵。0AAxX也就是说，在上述情况下，可以对L*和L歹U出误差方程(1-9-11),按(1-9-⑵式来x求非随机参数X*的估计值X。容易看到，(1-9-12)式是1-4中的最小二乘估计准则的扩充，因此，称(1-9-12)式为广义最小二乘原理。而将按广义最小二乘原理进行平差的过程，称为广义测量平差。不难理解，在上述情况下，按极大验后估计(或最小方差估计)求得的壬(或£“丿MAMV同按广义最小二乘原理求得的估值£，在数值上是完全相等的。同时，由于按广义最小二乘原理求£时，X*是非随机量，因此所得到的估值左的方差(D.)也就等于其X误差方差D(AJ，当然它也等于壬的误差方差D(A.)，但一般并不等于壬的攵maXmaMA方差。在以后按广义最小二乘原理进行平差时，一般不区分D(AJ和D0Xx以上的讨论说明，在正态分布的情况下，极大验后估计可以转化为广义最小二乘估计，实际上，随机参数的先验期望和先验方差的精确值一般是不可能得到的，往往只能得到它们的估计值。显然，先验期望的估计值也就是X的观测值。因此，在这种情况下，按极大验后估计求也只能说是近似的；而将此先验期望的估计值作为方差为MAD的虚拟观测值，采用最小二乘估计将更为合理。只有在D和R能够精确得到时,XXx采用极大验后估计才是合理的。但此时，也可按广义最小二乘原理求解，得到的结果与极大验后估计一致。如果在未知参数中除包含随机参数X外，还包含非随机参数Y,则有f(x,y/l)=f(x/l)故此时只要将未知参数中的随机部分，即X的先验期望当作方差为D的虚拟观测值,X

仍可按（1-9-12）表示的广义最小二乘原理求估值£和V。如果全部未知参数都是非随机量，则（1-9-12）式中的VtPV就不存在了，也就变成xxx1-4中的最小二乘原理了。上面的广义最小二乘原理（1-9-12）式，是就正态分布和线性观测方程（1-9-2）且D=0的情况导出的。对于非线性观测方程，可按台劳级数化为线性形式；对于非XA正态分布,也可将它们近似地看成正态分布;而D丰0的情况亦不多见。因此,（1-9-12）XA式的广义最小二乘原理具有一定的普遍意义。下面讨论D丰0的情况。仍假定X、A为正态分布，且有（1-9-2）式的线性观测XA方程。根据数学期望的运算规则和协方差传播律，由（1-9-2）式可得：卩=E（L）=B卩LxD=BDBt+BD+DBt+D\（1-9-11）TOC\o"1-5"\h\zLXXAAXAD=BD+D=DTLXXAXXL由于已知卩，D，并可由（1-9-11）三式得到卩、D、D，因X、L都是服从正xXLLLX态分布的，故可按极大验后估计（或最小方差估计和线性最小方差估计）求得X的估值£为X=E（X/1）=MA1-9-12)=卩+（DBT+D）（BDBT+BD+DBT+D）-1（L—B卩）1-9-12)TOC\o"1-5"\h\zxXXAXXAAXAx它的误差方差阵为现仍从（1-9-6）式来考虑，因为E（L/x）=卩+DD-1（X-卩）LLXXx(1-9-13)=B卩+（BD+D）D-1（X-卩）(1-9-13)xXAXXx=BX+DD-1（X-