Chapter1最优估计的基本概念

1、Chapter1 最优估计的基本概念1.6 最小二乘估计 最小方差估计须知道X,Z的全部统计特性。 线性最小方差估计精度低一些，但只需知道X,Z的一阶，二阶矩，降低了对X,Z统计特性的要求。 若对X,Z的统计特性一无可知，仍需对X进行估计，可利用最小二乘法。(Ganes,1809年)方法：被估量X:n维向量，进行k次线性观测（最小二乘估计一定是线性估计）Zi=HiX+Ui （i=1，2，k）Zi：m维观测向量；Hi：mxn测矩阵； Ui：均值为零的m维观测误差向量Z：km维向量；H：kmxn维矩阵；V：km维向量Km =n时，方程数目多余未知数的数目，可根据Z来估计X kkkvvvVhhhHz

2、zzZ.,.,.212121 Z=HX+Vw 若估计值 使J( )=L( )=(Z-H )T(Z-H ). w或Jw( )=L( )=(Z-H )TW(Z-H )极小.称之为最小二乘（加权最小二乘）估计.Wkmxkm ：对称正定加权阵w 因为J( )，Jw( )是标量函数，据确定性求极小值的问题可采用使J( )/JW( )的 梯度等于0的方法求XLs(Z)或XLsw(Z). 上式全为零 当HTH或HTWH为非奇异矩阵 XLs(Z)=(HTH)-1HTZ (3) 或XLsw(Z)=(HTWH)-1HTWZ(4) xxxxxxxxxxxx( )2()(1)( )2()(2)TTwJ xHZH Xx

3、JxH W ZH Xx xxw 使(1),(2)达到极小的充分条件：w 即(HTH)或(HTWH)为正定阵. (3),(4)是观测数据Z求X的最小二乘估计或加权最小二乘估计的表达式. XLs(Z)或XLsw(Z)是观测数据Z的线性函数，是线性估计，是以误差的二次型为性能指标. Zi是标量时，性能指标： J(X)=(Z-H )T(Z-H )= 是估计误差的平方和函数. 所以，上述最优估计XLs(Z)和XLsw(Z)为最小二乘估计或加权最小二乘估计. ( )22( )( )|20( )|20Ls xLswTx xTTwTx xzJ xH Hx xJxH WHx x xx21()kiiiZH Xw说

4、明：w1.该方法是线性观测，不需要知道任何实验知识。但wZ是可有观测数据的全体。需将所有观测数据储存起来统一处理。因此计算量大。w2.XLs(Z)，XLsw(Z)是无偏估计w求X时不要求Vi的平均值为0,但当Vi平均值为0时w3.估计误差的方差阵 11( )()()TTTTLsLswXzH HH ZXH WHH WZ或1111( )()( )() () ( )( )( )()( )()( )( )TTTTLsTTTTLswE XzH HH E zH HH H E xE xE XzH WHH WE zH WHH WHE xE xR=Var(V)=E(VVT)对称正定阵以上考虑E(V)=01111

5、1111111()( )( ) ()() ()()()( ()()()() ()() ()TTTTTTLsLsLsTTTTTTTTTTTTTTTTTTTTVar XE XXzXXzE XH HH Z XH HH ZE XH HHHX VXH HHHX VE XH HH HXH HH V XH HH HXH HH VE H HH VV H H HH HH E1111111111 ()()()()( ) ( )()() ()()()() ()() ;()TTTTTTTTTTTLswLswLswTTTTTTTTTTTTVVH H HH HH RH H HVar XE XXzXXzE XH WHH W

6、Z XH WHH WZE XH WHH W HX VXH WHH W HX VE H WHH WVV H H WHWWH WHH WE VV111()()()TTTTTWH H WHH WHH WRWH H WHw4.W=R-1可得加权最小二乘w5.W=R-1时，加权最小二乘的方差阵达到最小。w 对观测误差获得一些统计知识，即EV=0，VarV=E(VVT)=R。若W=R-1可使估计误差的方差阵Var（XLsw）|W=R-1达到最小。w 若R=STS，S为可逆阵，w 则许百茨不等式 BTB=(AB)T(AAT)-1(AB)，其中A=HTS-1，B=SWH(HTWH)-1，AB=HTS-1SWH

7、(HTWH)-1=Iw 加权W (HTWH)-1HTWRWH(HTWH)-1=BTB=(AB)T (AAT)-1(AB)= (AAT)-1=(HTR-1H)-1 当W=R-1时，上式取等号，此估计为Matlab估计 XLSR -1(Z)=(HTR-1H)-1HTR-1Z1111111111()|()()()()TTTTLswLswW RVar XVar XH R HH R RR H H R HH R H最小二乘类参数辨识方法w 包括最小二乘，增广最小二乘，广义最小二乘，辅助变量法，相关二重法。w5.1 引言w 将过程看作黑箱，只考虑过程的IO特性，不强调过程的机理w输入U(k)输出Z(k)可观

8、测；G(z-1)称为过程模型w描述过程：w 过程除受输入量u(k)作用外，还受不确定因素影响，归结为噪声u(k)，n(k)平稳s.p.均值为零。谱容度是cosw的有理函数。121121111()()()1bbaannnnb zb zb zB zG zA za za z n(k)=N(z-1)V(k) V(k)白噪音;N(z-1)噪音模型 最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k) 增广最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+D(z-1)V(k) 广义最小二乘模型 A(z-1)Z(k)=B(z-1)U(k)+V(k)/C(Z-1) 不同的辨识方法，可用的

9、过程模型一样，只有噪声模型不同。 解决一个实际问题，采用哪种方法取决于模型类的选择，这需要通过多次试验比较最后才确认。11111111()()()1ddccnnnnd zd zD zN zC zc zc z5.2最小二乘的基本概念w1795年高斯提出，估计理论的奠基石w最小二乘法的两种形式： w1.一次完成算法w2.现代递推算法w过程的IO关系描述成以下最小二乘形式wZ(k)=hT(k) +n(k)w其中，Z(k)：过程的输出分量；h(k)：可观测的数据向量；n(k)：均值为零的随机噪声。w利用Z(k)和N(k)极小化，下列准则函数：w 21( ) ( )( ) ( )minlTkJZ khk

10、J的 估计值记作 称为参数 的最小二乘估计weg：w离散SISO 输入序列u(1),u(2),u(L)w观测到的输出序列Z(1),Z(2)，,Z(L)w选择下列模型wZ(k)+aZ(k-1)=bU(k-1)+N(k) a,b待辨识w写成：Z(k)=-aZ(k-1)+bU(k-1)+N(k)=-z(k-1)u(k-1)w w ；N(k)=Z(k)+aZ(k-1)-bU(k-1) 使J=min求a,bw 21( )lkJn k( )aN kb 5.3 最小二乘问题的提法w时不变SISO动态过程的数学模型为wA(z-1)Z(k)=B(z-1)U(k)+N(k) (1) wU(k)输入量；Z(k)输出

11、量；N(k)噪声 A(z-1)=1+a1Z-1+an0Z-n0wB(z-1)=b1z-1+bnbZ-nbw假定模型降次na和nb已经设定，且nanb，当取相同的降次n= na = nbw写成最小二乘格式 Z(k)=hT(k) +n(k)121( )(1),(),(1),(), ;1,2,3,(2)bTabTnnh kZ kZ knU kU kna aabbkL w则方程(2)构成一个线性方程组，写成ZL=HL+nLw(1)的噪声n(k)完全可用一阶和二阶矩描述。设它的均值和协方差阵为 (1), ( ) (1), ( )(0),(1), (0), (1)(1)(1),(), (1), ()( )

12、TLTLTabLTabZzz LNnn LzznuunhHz Lz Lnu Lu LnhL22(1)( )(1),( (1) (2),(1) ( )()()( ( ) (1),( ( ) (2),( )LTLLLnEnE nEn lE nE nnEnn LCov nE n nE n L nE n L nE nLw推导最小二乘结果时，不需要考虑噪声n(k)的统计特性w1.评价最小二乘估计的性质时，需进一步假设n(k)不相关，且同分布。w即假设n(k)是白噪声序列，即w2.有时假设w3.记忆长度LwL(na+nb)2 0 llnE nCov nI2n是噪声n(k)的方差2( )( ,)( )( )

13、En(k)u(k-1)=0;,n kNn ku kk l 与不相关5.4 最小二乘问题的解w引入目的是便于考虑观测数据的可信度weg:现时刻加权值大于过去时刻加权值，可选w若线性时不变系统，或数据的可信度难以肯定，可简单选择w根据噪声的方差对 进行最佳选择。得到的估计值称为Markov估计21( )( )( );( ), ( )( )( ) ( )( ) ( ):k,(k)0TLTkZ khkn kZ k h kJk Z khkn k是可观测数据， ：待估计参数则加权因子；使( );01l kk( )1k( )kw J( )看作衡量模型输出与实际过程输出的临近情况，求极小化J( )的参数 的估

14、计值将使模型输出最好地反应过程的输出。J( )=(Z -H)()(1)=( )00TLLLLLLLLZHlH则是加权阵，一般为正定的对角阵，与n(k)的关系是代表了模型的输出，或者说是过程的输出预极值, . , ( )|min()()( )|0()();2;();wLswLswLswLsTlllllTTTTTTwLsllllllst JZHZHJxx Axx A AxxHHHZ 设为对称阵w通过极小化的计算 的方法称为加权最小二乘法。 为加权最小估计值w若加权阵取w 简称为最小二乘估计值，对应的方法叫做最小二乘法。222T()( )|2;( )|0( )|minwLswLswlsTLLLTTT

15、wLslllllTTlllllHHHHHZJHHHHJJ当为正定矩阵时正定，正定唯一wls1TwlsLslllllIH Z则退化为（H H）wlsLsw获得数据后，可用w求相应的参数估计值，这是一次完成的算法。w1.理论研究方便w2.计算方面碰到矩阵求逆困难w 一次完成算法要求 则矩阵（可逆矩阵），其充要条件是输出信号必须是2n阶持续激励信号w 上述条件称为开环可辨识性条件，这意味着辨识可用的输入信号不能随意选择，否则造成不可辨识。11();()TTTTwlslslllllllllllHHHZH HHZTlllHH22,0, (1),(2),( )00max(,)00TllnllllTll labU UUFU F UF UUUUU lFnn n即其中w目前常用信号：w1.随机序列（eg：白噪声）w2.伪随机序列（eg：M序列或逆M序列）w3.离散序列，对含有n种频率（各频率不满足整数信关系）的正弦组合信号进行采样处理获得的离散序列。weg：过程脉冲响应的识别w设线性过程的输入Z(k)用输入序列u(k)与脉冲响应序列g(i) i=0,1,2,n的卷积和形式表示1212eg：仿真对象z(k)-1.5z(k-1)+0.7z(k-2)=u(k-1)+0.5u(k-2)+u(k);u(k) N(0,1),u(k)采用4阶从序列