最小二乘估计理论

1、最小二乘估计理论(1)随机变量的统计理论加权最小二乘估计是卫星导航算法的基本工具。 本文档讨论的随 机变量默认为离散随机变量， 对于一个随机变量，在估计理论中 常用的统计特征包括数学期望，方差，标准差等等。数学期望/均值：随机变量取值的加权平均_ nE(X) = X = ' x-p(x)i =1方差：随机变量与其均值的偏离程度var(X) = E(X - E(X)2) = E(X2 E2(X) - 2X E(X)=E(X2) E2(X) -2E2(X) = E(X2) - E2(X)标准差：方差开平方根即可得到标准差二,var(X)如果知道随机变量X的期望以x和方差仃2，根据中心极限定

2、理， 可认为X近似服从正态分布X - N(x，12)对于二维随机变量X = Xi, X2T ,除了讨论两个变量各自的期 望和方差之外，还需要讨论两者之间关系的数学期望一一协方差 和相关系数。Xi和X2的协方差定义为Cov(X1,X2) = E(Xi - E(X1)-(X2- E(X2)=E(X1-X2 - XE(X2) - X2-E(X1) E(X1)-E(X2)= E(XX2)-E(Xi)-E(X2)=crxx2X1和X2相关系数定义为：a:X1X2X1X2 <T gjX1 X2相关系数的取值范围为 卜1,1之间，其绝对值越小表明两随机变量的相关性越小。则二维随机变量X的均值和方差为：

3、X1E(X1)E(X)=E(| 1 '1X2 一LE(X2)JD(X) = E(X-E(X)-(X-E(X)t)X1 - E(X1)= E(|' 1X2-E(X2)X1-E(X1)X2- E(X2)IE(X1- E(X1)2), E(X1 - E(XJg(X2 - E(X2) LE(X1- E(")&X2 - E(X2), E(X2 - E(Xz)2) 二2 二 % , X1,X2X1,X2 X2 -!同理对于多维随机变量 X =X1,X2,X3.XnT同理有E(X)=X1E(X1)X2、一 ")E( ) -|. I T IXn_E(Xn)Dxx =

4、E(X -E(X)-(X -E(X)t)E(X1 - E(XJ)2), E(X1 - E(X1)XX2 - E(X2).E(X1 - E(X1).(Xn-E(Xn)2E(Xi - E(Xi乂X2 - E(X2), E(X2 - E(X2)2).E(X2 - E)% - E(X)=III_E(Xi - E(Xi)<Xn- E(Xn)E(Xi- E(Xi)2)j二2 二 二Xi , Xi ,X2 , Xi，Xn: 0 2 Xi ,X2 , X2 , X2，XnI.I (实对称矩阵) a仃2j Xi ,Xn , Xn -现在讨论多维随机变量函数的期望和方差现在假设函数Z = k1gxi + k

5、2 gX2 +kngXn + k0,可令X =Xi，X2,X3XnTK 二ki,k2,k3.kn则函数值Z可表示为Z = K X k0则随机变量Z的期望和方差可表示为E(Z) = E(K X k0) = K E(X) k0Dzz = E(Z- E(Z) (Z- E(Z)t)=E(K(X - E(X) (K(X - E(X)t)= K E(X - E(X) (X - E(X) T) Kt二 Kd-KXX已知随机变量的方差，可以求得随机变量函数的方差这个过程称 为误差传播定律。需要注意的是协方差是相对多个变量而言的，而方差则是相对单个变量而言的进一步讨论多维随机变量函数间的协方差在上面一种情景中我

6、们对随机变量X = X1)X2,X3.XnT引进了一个函数关系 Z = KgX+k0,其中 K=ki,k2,k3.kn, 现在我们对X引进另外一个函数Y =GsX + go ,其中 G =gi，g2，g3g"则有Y和Z是同一多维随机变量 X的函数，它们之间必然存在着相关关系由协方差的定义可知Cov(Y,Z) = E(Y- E(Y) (Z- E(Z)T)=E(G(X - E(X)-(K(X - E(X)t)二 G (E(X - E(X) (X- E(X)t) Kt: G -D -KT xx(2)最小二乘理论公式推导引论：在大多数情况下，我们所感兴趣的变量不能直接得到，得 不到的永远在骚

7、动，所以我们要想尽一切办法去求得它，虽然不可以直接得到，但是能够通过待求变量和已知量之间的函数关系 间接求得。数学模型的建立要考虑到观测值和待估参数的确定性关系和随机关系，用函数模型表征这种确定性关系，用随机模型表征这种 不确定的关系。在任何估计问题中，都要考虑函数模型和随机模 型，两者一起构成了高斯-马尔可夫模型。最小二乘估计的准则 是参数估计使得观测值残差平方和最小。观测方程：4 = NX + % i=i , 2.其中X为待估参数，一般设为一个 n维列向量X =Xi，X2，X3.XnT其中hi是一个n维系数行向量，*表示第i次观测中误差。假设经过多次观测的方程分别为z1 = h1X1z2

8、= h2X2.Zk = hk X k写成矩阵的形式表示为：函数模型：Z - H X观测误差的随机特征由它的统计特征来描述，在大多数情况下观测噪声服从期望值为零的高斯分布-N(0, D)在函数模型中H吠为确定的部分，而为随机部分，观测值的随机特性由观测误差来决定E(Z)= H X随机模型：var(z)= D函数模型：Z = H gX + 马尔可夫模型YE(Z) = H X随机模型：var(z)= d由得到的高斯一马尔可夫模型， 我们通过逆推法假设通过某种观g测得到的参数估计为X，代入观测方程后可以得到估计观测值 ggZ = H X那么估计观测值和真实观测值的差值一一残差可表示为 ggv = Z

9、- Z = H X - Z由于参数估计要使得残差平方和最小，数学表达式表示为：- Tmin = (X )= v vg能够满足上式的解即为最小二乘解 X ls上式子中所有的观测值对参数估计的影响相同，即我们平等看待所有观测数据，但由于观测精度不尽相同， 我们希望精度好的观测值能够比精度差的观测值对参数估计产生的影响大，即方差小 的观测值对参数估计影响大，于是我们给根据观测值的方差给观测值赋予一定的权重，即观测值的权矩阵W,令W =1 0 D 1其中仃；可以为任意值。那么残差平方和最小原则变为加权最小二乘估计- Tmin = (X ) = v W vT=(H X - Z)t W (H X- Z)=XT H T W H X - XT H T W Z - ZT W H X ZT W Z为了使中(X)最小，两边同对x求导让其导数为零取得极小值。则其法方程为T TH T W 二H X - H T W -Z = 0由于H为列满秩矩阵，且 W为满秩实对称阵，则HT§WgH必定为满秩方阵，即一定可逆，由法方程科技估计出-T-1 TXLS = (H WH) H WZ令Qxls =(Ht W到)称为xLs的协因数矩阵，进一步化简可以得到-T-1 TXLS = (HT W H ) 1 H T W ZT 211 T 2_1二(Ht -：D -H ) -HT0D 1 Z二(Ht d Lh )1