递推最小二乘辨识学习教案

1、会计学1递推最小二乘辨识递推最小二乘辨识(bin sh)第一页，共34页。第1页/共34页第二页，共34页。TTT第2页/共34页第三页，共34页。1.2递推算法的思想递推算法的思想(sxing)* 递推辨识算法的思想递推辨识算法的思想(sxing)可以概括成可以概括成 新的参数估计值新的参数估计值=旧的参数估计值旧的参数估计值+修正项修正项 即新的递推参数估计值是在旧的递推估计值的基础上即新的递推参数估计值是在旧的递推估计值的基础上而成，这就是递推的概念而成，这就是递推的概念.递推算法不仅可减少计算量和存储量递推算法不仅可减少计算量和存储量,而且能实现在而且能实现在线实时辨识线实时辨识.*

2、递推算法是依时间顺序递推算法是依时间顺序,每获得一次新的观测数据就每获得一次新的观测数据就修正一次参数估计值修正一次参数估计值,随着时间的推移随着时间的推移,便能获得满便能获得满意的辨识结果意的辨识结果.RLS法即为成批型法即为成批型LS算法的递推化，即将成批型算法的递推化，即将成批型LS算法化成依时间顺序递推计算即可。算法化成依时间顺序递推计算即可。该工作是该工作是1950年由年由Plackett完成的。完成的。第3页/共34页第四页，共34页。baniiiniiizbzzaz1111)(1)(BALLLLY)(1LS已知系统的输入u(k)和输出y(k),求参数ai,bi的估计值。可以(ky

3、)得到向量形式的线性方程组： Y=+eY=y(1), y(2), ., y(L)T=(0), (1), ., (L-1)T, ,-,- )-(,),1-()-(,),1-() 1-(11bannbabbaankukunkykyk第4页/共34页第五页，共34页。11111)() 1-(kkkkkYkkkkkY)()(1其中 和 分别(fnbi)为根据前k次和前k-1次观测/采样数据得到的LS参数估计值.)( k) 1-(kq首先,假定在第k-1次递推中,我们(w men)已计算好参数估计值在第k次递推时,我们已获得新的观测数据向量 (k-1)和y(k),则记k-1= (0), (1), .,

4、(k-2)TY Yk-1=y(1), y(2), ., y(k-1)Tk= (0), (1), ., (k-1)T=(k-1)T (k-1)T第5页/共34页第六页，共34页。Yk=y(1), y(2), ., y(k)T= y(k)T1kY)2()()(1-kkkP将k展开(zhn ki),故有1-1-1-)1-()1-()(kkkkkP1-1 -1 -)1-() 1-(kkkk)3()1-() 1-() 1-(1-1-kkkP第6页/共34页第七页，共34页。=I-BI-C(C-1+DA-1B)+CDA-1B(C-1+DA-1B)-1DA-1=I因此,矩阵反演公式(gngsh)(4)成立.

5、第7页/共34页第八页，共34页。q 下面讨论参数估计值 的递推计算.q 由上一讲的一般(ybn)LS估计式1)-() 1-()1-(1)-() 1-(1)1-(1)-(-1)-()(1kkkkkkkkkPPPPPkkkkkkkkYPY)()()(1-有)()()(1-kkkkYP(5)1)-() 1-(1)-() 1-(1) 1-() 1-(1)-(-kkkkkkkPPPI该乘积(chngj)为标量)3()1-() 1-() 1-()(1-1-kkkkPP)(k(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1第8页/共34页第九页，共34页。)() 1-()1-()()

6、(1kykkkkkYP)() 1-() 1-()(1kykkkkYP)() 1-() 1-() 1-()(1kykkkkPP)() 1-() 1-()1-() 1-(-)()(1kykkkkkkPP)6()1-() 1-(-)()1-()() 1-(kkkykkkP利用公式)()()(1-kkkkYP利用(lyng)公式P(k)=P-1(k-1)+(k-1)T(k-1)-1第9页/共34页第十页，共34页。q 将式(5)和(6)整理可得如下(rxi)RLS估计算法表示)8(1)-() 1-(1)-() 1-(1) 1-() 1-(1)-(-)()7()1-() 1-(-)()1-()() 1-

7、()(kkkkkkkkkkkykkkkPPPIPP其中的计算顺序(shnx)为先计算P(k),然后再计算 .)(k第10页/共34页第十一页，共34页。)11() 1-(1)-() 1-(1) 1-(1)-()()10(1)-()1-()(-)()9()1-() 1-(-)()() 1-()(kkkkkkkkkkkkkykkkPPKPKIPK其中K(k)称为增益向量；令上述算法(sun f)的计算顺序为先计算K(k-1),然后再分别计算 和P(k-1).)(k，) 1-() 1-()( kkky 表示(biosh)基于k-1时刻的历史数据对y(k)的预报值。有时,为计算方便并便于(biny)理

8、解,上述RLS估计算法又可表示为第11页/共34页第十二页，共34页。q 综上所述,RLS法的基本计算步骤可总结如下(rxi):q 1. 确定被辨识系统模型的结构,以及多项式A(z-1)和B(z-1)的阶次;q 2. 设定递推参数初值 ,P(0);q 3. 采样获取新的观测数据y(k)和u(k),并组成观测数据向量(k-1);q 4. 用式(7)(8)或(9)(11)所示的RLS法计算当前参数递推估计值 ;q 5. 采样次数k加1,然后转回到第3步骤继续循环.0)()(k第12页/共34页第十三页，共34页。q下面(xi mian)关于该RLS算法,有关于其实现问题的如下讨论:q递推初始值选取

9、q成批LS与RLS的比较q信号充分丰富与系统充分激励q数据饱和第13页/共34页第十四页，共34页。A. 递推初始值选取递推初始值选取在递推辨识中在递推辨识中,如何选取递推计算中的如何选取递推计算中的 和和P(k)的初值是一个的初值是一个相当相当(xingdng)重要的问题重要的问题.一般来说一般来说,有如下两种选取方法有如下两种选取方法:(1) 选取选取 各元素为零或较小的参数各元素为零或较小的参数,P(0)=I,其中其中为充分为充分大的实数（大的实数（1051010）;(2) 先将大于所需辨识的参数个数的先将大于所需辨识的参数个数的L组数据组数据,利用成批型的利用成批型的LS法求取参数估计

10、值法求取参数估计值LS和协方差阵和协方差阵P(L),并将这些量作为递并将这些量作为递推估计的初值推估计的初值.)(k)0(第14页/共34页第十五页，共34页。 递 推 最 小 二 乘参 数 估 计 算 法 息信有原NNP1N1NP1Ny1N息信出输第15页/共34页第十六页，共34页。第16页/共34页第十七页，共34页。B. LSB. LS法和法和RLSRLS法的比较法的比较LSLS法和法和RLSRLS法的比较法的比较LSLS法是一次完成法是一次完成(wn chng)(wn chng)算法算法, ,适于离线辩识适于离线辩识, ,要记忆全部要记忆全部测量数据测量数据, ,程序长程序长; ;R

11、LSRLS法是递推算法法是递推算法, ,适于在线辩识和时变过程适于在线辩识和时变过程, , 需要记忆的数需要记忆的数据少据少, ,程序简单程序简单; ;RLSRLS法用粗糙初值时法用粗糙初值时, ,如若如若N(N(即样本数少即样本数少) )较小时较小时, ,估计精度不估计精度不如如LSLS法法. .第17页/共34页第十八页，共34页。第18页/共34页第十九页，共34页。第19页/共34页第二十页，共34页。例:采用递推最小二乘估计(gj)辨识模型参数 )() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(212

12、1kVkubkubkzakzakz选择如下(rxi)的辨识模型进行递推最小二乘参数辨识。 第20页/共34页第二十一页，共34页。Matlab 程序：%最小二乘的递推算法%Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+v(k)%=clearclc%=400 个产生M 序列作为输入(shr)=x=0 1 0 1 1 0 1 1 1; %initial valuen=403; %n 为脉冲数目M=; %存放M 序列for i=1:ntemp=xor(x(4),x(9);M(i)=x(9);for j=9:-1:2x(j)=x(j-1);endx(1)=tem

13、p;end%=产生均值为0，方差为1 的高斯白噪声=v=randn(1,400);%=产生观测序列z=第21页/共34页第二十二页，共34页。z=zeros(402,1);z(1)=-1;z(2)=0;for i=3:402z(i)=1.5*z(i-1)-0.7*z(i-2)+M(i-1)+0.5*M(i-2)+v(i-2);end%递推求解P=100*eye(4); %估计方差Pstore=zeros(4,401);Pstore(:,1)=P(1,1),P(2,2),P(3,3),P(4,4);Theta=zeros(4,401); %参数的估计值，存放中间过程估值Theta(:,1)=3;

14、3;3;3;% K=zeros(4,400); %增益(zngy)矩阵K=10;10;10;10;for i=3:402h=-z(i-1);-z(i-2);M(i-1);M(i-2);K=P*h*inv(h*P*h+1);Theta(:,i-1)=Theta(:,i-2)+K*(z(i)-h*Theta(:,i-2);P=(eye(4)-K*h)*P;Pstore(:,i-1)=P(1,1),P(2,2),P(3,3),P(4,4);end第22页/共34页第二十三页，共34页。i=1:401;figure(1)plot(i,Theta(1,:),i,Theta(2,:),i,Theta(3,:),i,Theta(4,:)title(待估参数过渡过程)figure(2)plot(i,Pstore(1,:),i,Pstore(2,:),i,Pstore(3,:),i,Pstore(4,:)title(估计方差变化过程)经过(jnggu)编程计算，各个参数的估计值为3341. 00284. 16802. 04976. 12121bbaals第23页/共34页第二十四页，共34页。第24页/共34页第二十五页，共34页。第25页/共34页第二十六页，共34页。第26页/共34页第二十七页，共34页。计算，所以此方法相对其他一些非迭代算法上运算量较小。第27页/共