小二乘估计课件

1、小二乘估计最小二乘估计最小二乘估计 Least Squares Estimate Least Squares Estimate20102010年年5 5月月小二乘估计最小二乘估计 1、概述 2、线性最小二乘估计 3、线性最小二乘加权估计 4、线性最小二乘递推估计 5、单参量的线性最小二乘估计小二乘估计1、概述 最小二乘估计起源于1795年，当时高斯运用这种估计方法研究行星运动。 最小二乘估计不需要任何先验知识，只需估计量的观测信号模型。 平均估值方法是最小二乘估计的一个特例。小二乘估计最小二乘估计方法设被估计量信号模型为 ，因为存在观测噪声或者信号模型不精确性，设受到扰动的 记为 如果进行N次

2、观测，的估计值设为求达到最小。( )ks( )(1,2,3.)ksk(1,2,.)kx k 21( )( )NkkkJxs我们把这种估计称为最小二乘估计。（5.8.1）小二乘估计2、线性最小二乘估计（1）估计量的构造规则 若被估计矢量是M维的，线性观测方程为：,1, 2,.,kkkxHnkL其中，第k次观测矢量与 同次的观测噪声矢量 同维，但是每个 的维数不一定是相同的，其维数分别记为 ；第k次的观测矩阵 为 。kxknkxkNkHkNM如果把全部L次观测矢量 合成一个维数为 的矢量：(1,2,., )kx kL1LkkNN（5.8.3）小二乘估计12Lxxxx相应的定义NM观测矩阵H和N维观

3、测噪声矢量n如下：1122,LLHnHnHnHn小二乘估计这样，线性观测方程（5.8.3）写成：使（5.8.5）式中 达到最小，这就是线性最小二乘估计量的构造规则。J（ ）（2）估计量的构造公式为了使（5.8.5）式中 达到最小，根据构造规则，有：J（ ）小二乘估计即所求的的最小二乘估计误差为 。minJls（）（3）估计量的性质 估计矢量是观测矢量的线性函数 如果观测噪声矢量N的均值为零，则线性最小二乘估矢量是无偏的。小二乘估计因为，如果E（n）=0，则：所以，是 无偏估计量。ls11n()() ()() (5.8.10)lsTTTTlslsEH HH C H H HMc. 如果观测噪声矢量

4、n的均值矢量为零，协方差矩阵为 ，则线性最小二乘估计矢量的均方误差阵为：nC小二乘估计例：根据以下对二维矢量的两次观测：1122211101412xnxn 求出的线性最小二乘估计矢量。 解：解：由两次观测方程，可得矩阵形式观测方程为：11122221 11 ,01 ,412xHnxHnxHn 小二乘估计利用线性最小二乘矢量的构造公式，得：111()1 11 11 12010101112121241236436113TTlsTTH HH x 小二乘估计3、线性最小二乘加权估计E(n)=0,E(nn )=CTn假定观测噪声矢量n的均值矢量和协方差矩阵为： 线性最小而成加权估计的性能指标是使( )(

5、)()(5.8.11)TWJxHW xH其中W为加权矩阵。将（5.8.11）式求偏导，令结果等于零，得到线性最小二乘加权估计矢量和估计误差为：小二乘估计线性最小二乘加权估计矢量的主要性质： 估计矢量是观测矢量的线性函数； 如果观测噪声矢量n的均值矢量E(n)=0，则估计矢量是无偏估计量；a. 如果观测噪声矢量n的均值矢量E(n)=0,协方差矩阵E(nn )=CTn则估计误差矢量的均方误差阵为:小二乘估计当 时，W才能使均方误差阵取最小值，证明推导过程如下（其中A和B分别为任意两个矩阵）：1W=Cn小二乘估计例：用电表对电压进行两次测量，测量结果分别为216V和220V。观测方程为：122162

6、20nn其中，观测噪声矢量的均值矢量和协方差矩阵分别为：122112220E(n)040E(nn )=E02TTnnEnnnCnn 求电压的最小二乘估计量和最小二乘加权估计量。小二乘估计解：解：122161,2201nxHnn 非加权估计时，电压的最小二乘估计量和估计量的均方误差分别为：1121111222()12161 11 12181220()()111401 11 11 1111025lsTTlsTTTnH HH xVH HH C H H HV 小二乘估计采用加权估计，加权矩阵取最佳加权矩阵，即：12124002optnWC111122222111222()121640401 11 11

7、2200202219.2()1401 13.2102lswTTlswnnTnH CHH CxVH CHV 可见，线性最小二乘加权估计量的均方误差小于非加权估计量的均方误差。小二乘估计4、线性最小二乘递推估计 使用前面两种估计，主要存在两个问题。一是没进行一次观测，需要利用过去的全部观测数据重新进行计算，比较麻烦；而是估计量的计算中需要完成矩阵求逆，这样如果碰到高阶矩阵的话求逆比较有难度，因此我们寻求到了一种递推算法，即利用前一次的估计结果和本次的观测量，通过适当计算，就能获得当前的估计量，这种方法就是线性最小二乘递推估计。具体推算如下：111,1,2,., (5.8.20)kkkxHnkL设第

8、k-1次的线性观测方程为：小二乘估计为了强调进行了k-1次观测，采用如下记号：111122221111(1),(1), (1),(1)kkkkxHnWxHnWx kH kn kW kxHnW小二乘估计小二乘估计求出上述 、 和 后，得到第一个递推公式，再利用第一次的观察矢量 ,由：kMkK1求出 和 。同样，从第二次观测开始进行递推估计。也可以令1x1M000,McIkMkKk其中c1.这样从第一次观测就开始进行递推估计。虽然开始误差较大，但是如果 较大，则增益矩阵 较大，于是经过若干次递推估计后，初始值不准确的影响会逐渐消失，从而获得满意的递推估计结果。小二乘估计5、单参量的线性最小二乘估计,1,2,.,kkkxhn kN(1,2,.,)kn kN2E(n )=0,E(n n )=,()0kjknjkkEn 如果被估计量是单参量，线性观测