最小二乘参数辨识方法

《系统辨识基础》第17讲要点第5章最小二乘参数辨识方法5.9最小二乘递推算法的逆问题辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。5.10最小二乘递推算法的几种变形最小二乘递推算法有多种不同的变形，常用的有七种情况：基于数据所含的信息内容不同，对数据进行有选择性的加权；在认为新近的数据更有价值的假设下，逐步丢弃过去的数据；只用有限长度的数据；加权方式既考虑平均特性又考虑跟综能力；在不同的时刻，重调协方差阵P(k)；设法防止协方差阵P(k)趋于零；选择性加权最小二乘法把加权最小二乘递推算法改写成0(k)=6(k-1)+K(k)[z(f)-h(k)0(k-1)] ]<K(k)=A(k)P(k-1)h(k)k(k)h(k)P(k-1)h(k)+1丄iP(k)=[I-K(k)h(k)]P(k-1)算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择：一种有趣的情况是人(k)取得很大，在极限情况下，算法就退化成正交投影算法。也就是说，当选择人(八[a,h(k)P(k-1)h(k)丰00,h(k)P(k-1)h(k)=0构成了正交投影算法厂八 八 /\0(k)=0(k—1)+K(k)[z(k)—h(k)0(k—1)]<K(k)=—P(k-hk)—h(k)P(k—1)h(k)P(k)=[I—K(k)h(k)]P(k—1)算法初始值取P(0)=I及0(0)=£(任定值)，且当h(k)P(k-1)h(k)=0时，令K(k)=0。第①种加权因子的选择显然是一种极端情况，算法的鲁棒性比较差。为了使算法具有较好的鲁棒性，可把第①种加权因子的选择修改为A(k)=A,h(k)P(k-1)h(k)>£A(k)=1A,h(k)P(k-1)h(k)<s2其中A>A>0,8是指定的阀值。这时算法对数据作了不同的加权，但不排斥任何数据.12按下式选择加权因子，意味着它是过去数据信息量的一种度量广(k1h)h*丰0a(k)—* h(k)h(k)0,h(k)h(k)—0如果由噪声、建模不准确等因素引起的误差上界已知，则可按下式选择加权因子],[辿)—h(k卫(k—世>A2>0A(k)—<o,[z(k)—h(k玄上世小>0、1+h(k)P(k-1)h(k)遗忘因子法遗忘因子算法通过对数据加遗忘因子的办法来降低老数据的信息量，为补充新数据的信息创造条件。取准则函数为J(0)-^卩L-k[z(k)-h(k)0]2k—1其中卩称遗忘因子，取值为0<R<1.极小化这个准则函数，可得到参数辨识算法：0 —(H皿H*)-iH皿z*TOC\o"1-5"\h\zFF LL LL式中z*—[卩L-1z(1),卩L-2z(2),…，z(L)]tL厂 -BL-ih(1)H*—BL-2h⑵L :h(L)_B2—A这种参数辨识方法称作遗忘因子法，记作FF(ForgettingFactoralgorithm)。如果遗忘因子卩—1，算法退化成普通最小二乘法。与推导加权最小二乘递推算法一样，同样可以推导出遗忘因子算法的递推计算形式0(k)—0(k-1)+K(f)[z(k)-h(k)0(k-1X]<K(k)—P(k-1)h(k(k)P(k-1)h(k)+p丄1P(k)—1[I-K(k)h(k)]P(k-1)〔M式中遗忘因子A可按下面的原则取值：1若要求T步后数据衰减至36%，则A—1-—；c Tc卩取作时变因子A(k)-巴A(k-1)+(1-巴)，其中气-099A0)-092遗忘因子A的取值大小对算法的性能会产生直接的影响。a值增加时，算法的跟踪能力下降，但算法的鲁棒性增强；A值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。遗忘因子法和加权最小二乘算法主要的差别：加权方式不同．加权最小二乘法各时刻权重是不相关的，也不随时间变化；遗忘因子

法各时刻权重是有关联的，满足A(k)二-A(k-1)关系，各时刻权重的大小随时间变化，当前时刻的权重总为1。加权的效果不一样．加权最小二乘法获得的是系统的平均特性；遗忘因子法能实时跟踪系统明显的变化，具有跟踪能力。算法的协方差矩阵P(k)的内容不一样，两者的关系为P(k)=a(k)P(k)。FFWLS和加权最小二乘递推算法一样，遗忘因子算法下的残差£(k)与新息~(k)关系：e(k)=疔(k)e(k)=卩+h(k)P(k—1)h(k)或8(k)二[1—h(k)P(k)h(k)]~(k)由此可推出准则函数J(k)的递推计算式:J(k)=AJ(k—1)+Z2(k)

hx(k)P(k—J(k)=AJ(k—1)+式中~(k)二z(k)—h(k)0(k—1)，是k时刻的新息，它与k-1时刻的参数估计值有关。限定记忆法限定记忆法依赖于有限长度的数据，每增加一个新的数据信息，就要去掉一个老数据的信息，数据长度始终保持不变。这种方法的参数估计递推算法如下：0(k+1,k+L)=0(k,k+L)-K(f+1,k+L)[z(k)-h(纠(k,k+L)]K(k+1,k+L)=P(k,k+L)h(k)1—h(k)P(k,k+L)h(kJ1P(k+1,k+L)=[I+K(k+1,k+L)h(k)]P(k,k+L)'八 八 八 算法前三个式0(k,k+L)=0(k,k+L—1)+K(k,k+L)[z(k+L)—h(k+L)0(k,k+L—1)] 一K(k,k+L)=P(k,k+L—1)h(k+L)l+h(k+L)P(k,k+L—1)h(k+L)】1P(k,k+L)=[I-K(k,k+Lh(k+L)]P(k,k+L—1).子用于去掉老数据的信息，后三个式子用来增加新数据的信息，初始值取JP(0,0)=a2I,

〕0(0,0)=8,其中a为充分大实数，8为充分小实向量．相应的准则函数递推计算式为：]~z2(k)J(k+1,k+L)=J(k,k+L—1)— —1—h(k)P(k,k+L)h(k)~z2(k+L)+2,1+h(k+L)P(k,k+L—1)h(k+L)其中r~(k)=z(k)一h(k)0(k,k+L)V 1 八~(k+L)=z(k+L)—h(k+L)0(k,k+L—1)2折息法折息法把加权最小二乘法和遗忘因子法融合起来，形成如下算法：0(k)=0(k-1)+K(k)[z(k)-h(k)0(k-1)]<K(k)=P(k-1)h(k)b(k)P(k-1)h(k)+空丄'L A(k)1P(k)二十[I-K(k)h(k)]P(k-1)〔M(k)折息因子与加权因子和遗忘因子之间的关系为r(k,i)=A(i)nfy(j)，当遗忘因子取常数j=i+1时，折息因子又可表示成r(k,i)=A(i)卩k_i。折息法同时具备加权最小二乘法和遗忘因子法的作用，既可获得系统的平均特性，又具有时变跟踪能力。协方差重调最小二乘法在辨识递推计算过程中，协方差矩阵P(k)衰减很快，此时算法的增益矩阵K(k)也急剧衰减。这种现象的出现，促使人们去考虑一种修正的方案，即在指定的时刻重新调整协方差矩阵P(k)，使算法始终保持较快的收敛速度。这种协方差重调的最小二乘算法描述如下：0(k)=0(k-1)+K(k)[z(k)-hT(k)0(k-D]<K(k)=P(k-1)h(k)h(k)P(k-1)h(k)+1DP(k)=[I-K(k)h(k)]P(k-1)当k电｛k,k，…,k｝时，P(k)按上式算法计算；当k=ke｛k,k，…,k｝时，把P(k)重调1 2 l i 1 2 l为P(k)=aI,0<a <a<a<g。i i minimax协方差修正最小二乘法对时变系统辨识来