最小二乘估计

1、信号检测与估计信号检测与估计Signal Detection and Estimation最小二乘估计最小二乘估计内容安排12345引言线性最小二乘估计序贯最小二乘估计非线性最小二乘估计小结最小二乘估计内容安排12345引言线性最小二乘估计序贯最小二乘估计非线性最小二乘估计小结最小二乘估计引言第一次观测：38.0第二次观测：37.9第三次观测：38.1第四次观测：38.1第五次观测：37.9前后观测五次温度值如下：取个平均！38摄氏度摄氏度最小二乘估计引言l假设信号是 ，经过N次观测，观测数据为： s nA (0,1,2,1)x n nN如何得到A？取个平均！101 NnAx nxN最小二乘估

2、计引言101 NnAx nxN样本均值估计即是一种特殊的最小二乘估计最小二乘估计引言无偏估计的类型确定最小方差观测数据的概率描述各种限制。之前学过的估计方法对观测数据不做任何概率或统计描述仅仅假设一个数学模型最小二乘估计古老但实用！最小二乘估计引言最小二乘估计（Least Square Estimate，LSE）估计的目的是使得所有观测数据和假设信号之间的平方误差最小120( ),0,1,2,1( )NnJnNx ns n2mse( )E均方误差准则最小二乘估计引言假设取决于未知参量 的信号 ，由于噪声或模型不准确，观测信号是受干扰的信号，用观测数据 表示， 的最小二乘估计就是选择使得 最小的

3、 值( )J s n x n通常用于数据的准确统计特性未知，或不能找出最优估计的场合最小二乘估计引言l假设信号是 ，经过N次观测，观测数据为： s nA (0,1,2,1)x n nN101 NnAx nxN120( )( )NnJ Ax nA使得最小,上式对A求导，并令结果为0，可得：100( )NnA x n10*0 NnNAx n最小二乘估计引言最 小 二 乘 估 计最 小 方 差 无 偏 估 计 , x nAw n w n是高斯白噪声最小二乘估计引言l考虑正弦信号，信号模型为：0 cos(2)s nAf n若A是待估计参量， 是已知的：0f若 是待估计参量，A是已知的：0f1200 (

4、 cos(2)NnJ Ax nAf n12000( cos(2)NnJ fx nAf n线性最小二乘非线性最小二乘最小二乘估计内容安排12345引言线性最小二乘估计序贯最小二乘估计非线性最小二乘估计小结最小二乘估计线性最小二乘估计表1中是在不同温度下测量同一热敏电阻的阻值，根据测量值确定该电阻的数学模型，并求出当温度在70摄氏度时的电阻值。最小二乘估计线性最小二乘估计btaRRt数学模型：最小二乘估计线性最小二乘估计21( ( )( )NnJR nabt nLS为：12( ( )( )0NnJR nabt na 12( ( )( ) ( )0NnJR nabt n t nb 求极值，对上式求导

5、：11( )( )NNnnNabt nR n2111( )( )( ( ) ( )NNNnnnat nbtnR n t n二元一次方程！最小二乘估计线性最小二乘估计211112211( )( )( ( ) ( )( )( )( )NNNNnnnnNNnnR ntnR n t nt naNtnt n1112211( ( ) ( )( )( )( )( )NNNnnnNNnnNR n t nR nt nbNtnt n最小二乘估计线性最小二乘估计702.762a 3.4344b tR4344. 3762.702最小二乘估计线性最小二乘估计l矢量最小二乘假设矢量参量 是 维的，信号是待估计参量的线性函

6、数，假设：1pTNssss,2,1 Hs 观测矩阵pN满秩矩阵)()()(HxHxJTLS为：VHx最小二乘估计线性最小二乘估计HHHxxxJTTTT2)(对 求导，并令其值为0，有：022HHxHTT所以：xHHHTT1)(l定理4.1 若观测数据可表示为2(0,)NI则则MVU估计量估计量最小二乘估计线性最小二乘估计当系统测量噪声V是均值为0，方差为R时性质1. 最小二乘估计即是无偏估计，有：)(E0)()()()()()()()()(11111VEHHHxHEHHHxHHHHHHHExHHHEETTTTTTTTTT证 明最小二乘估计线性最小二乘估计当系统测量噪声V是均值为0，方差为R时性

7、质2. 最小二乘估计的均方误差为：11)()(HHRHHHHTTT自行证明最小二乘估计线性最小二乘估计VHx21zzx11HrrR400)(2111111121211zzzz因此：VHx最小二乘估计线性最小二乘估计估计的均方误差为：11)()(HHRHHHHTTT4511111140011111111rrrr缺点：对所有测量数据 同等看待最小二乘估计线性最小二乘估计l加权最小二乘法对不同置信度的测量值采用加权的办法分别对待强调可靠数据的重要性)()()(HxWHxJTLS改为：NN维加权矩阵最小二乘估计线性最小二乘估计WxHWHHTT1)(此时的LSE为：11)()(WHHWRWHHWHHTT

8、T此时估计的均方误差为：l加权最小二乘法xHHHTT1)(一般的LSE为：11)()(HHRHHHHTTT一般的均方误差为：最小二乘估计线性最小二乘估计l加权最小二乘法 ) 1(,),1 (),0(diagNwwwW如果 是零均值和具有方差 的不相关噪声，那么加权因子的合理选择是：)(nw2n21)(nnw当 时，加权最小二乘退化为普通的最小二乘IW最小二乘估计线性最小二乘估计使用加权最小二乘估计)4/(100/1rrW2121151544100111114100111zzzzrrrr第一次测量的权重大了！最小二乘估计线性最小二乘估计使用加权最小二乘估计)4/(100/1rrW11HrrR40

9、0rrrrrrrr54114100111114001111410011111估计的均方误差为：最小二乘估计线性最小二乘估计l小 结WxHWHHTT1)(LSE为：11)()(WHHWRWHHWHHTTT估计的均方误差为：最小二乘估计内容安排12345引言线性最小二乘估计序贯最小二乘估计非线性最小二乘估计小结最小二乘估计序贯最小二乘估计l前面的方法均是等到所有可供使用的数据全部采样后再进行处理。序贯最小二乘估计不必得到全部数据后批处理！求出基于1,1 ,0Nxxx=的最小二乘估计得到Nx对 进行更新，得到新的xHHHTT1)(而不是利用全部数据，套用求得最小二乘估计序贯最小二乘估计l假设信号是

10、，经过N次观测，观测数据为： s nA (0,1,2,1)x n nN1011 NnA Nx nxN利用前面的知识，容易得到：又得到新的样本x N，那么此时的估计为：01 1NnA Nx nN1011( )(* 1)111111NnA Nx nx NNA Nx NNNNA Nx NNN利用前面的LSE和新的观测，可求得新的LSE!最小二乘估计序贯最小二乘估计1111NA NA Nx NNN11( 1)1A NA Nx NA NN老的估计修正项改写形式最小二乘估计序贯最小二乘估计l若对观测数据加权， 21)(nnw120120 11NnnNnnx nA N那么，2202200 11( 1)11N

11、nnNNNnnnnx nA NA Nx NA N2N2N0K N式1最小二乘估计序贯最小二乘估计l若 ，其中 是均值为零，方差为 的噪声 x nAv n2n v n1201var( 1)1NnnA N则：2var( 1)var( 1)NA NK NA N因此有：2201var( 1)var( )1var( 1)1var( 1)NnnnA NA NA NA Nvar( )1 var( 1)A NK NA N式2式3最小二乘估计序贯最小二乘估计1( 1)A NA NK Nx NA N式12var( 1)var( 1)NA NK NA N式2var( )1 var( 1)A NK NA N式3200

12、0var( 0)AxA最小二乘估计内容安排12345引言线性最小二乘估计序贯最小二乘估计非线性最小二乘估计小结最小二乘估计非线性最小二乘估计x1 2 3 4 5 6 7 8y15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6bxaey y不是待估计参量a,b的线性函数！使用参数变换方法最小二乘估计非线性最小二乘估计x1 2 3 4 5 6 7 8y15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6bxaey bxay lnlnlny是lna和b的线性函数！取对数VHx最小二乘估计非线性最小二乘估计xHHHTT1)(,lnba,12111NH6 .117ln5 .20ln3 .15lnx的最小二乘估计！和后，就等于得到和求取baba ln最小二乘估计非线性最小二乘估计l例：设有一个正弦信号模型为： 1, 2 , 1 , 0),2cos(0NnnfAns和已知，希望估计Af0nfAnfns002sinsin2cosAcos参数变换：已知！已知！* sAsinAcos2121n则，令已知量已知量线性了！最小二乘估计内容安排12345引言线性最小二乘估计序贯最小二乘估计非线性最