递推最小二乘辨识概要课件

常规最小二乘辨识的递推算法常规最小二乘辨识的递推算法1主要内容1.思想及原理2.实例与MATLAB仿真3.应用主要内容1.思想及原理21.递推最小二乘法的思想及原理1.1递推最小二乘法的引入*最小二乘法的缺陷（1）数据量越多，系统参数估计的精度就越高，为了获得满意的辨识结果，矩阵的阶数常常取得相当大。这样矩阵求逆的计算量很大，存储量也很大。（2）每增加一次观测量，都必须重新计算φ，（）-1。（3）如果出现φ列相关，既不满秩的情况，为病态矩阵，则不能得到最小二乘估计值。*递推最小二乘参数辨识，就是当被辨识的系统在运行时，每取得一次新的观测数据后，就在前一次估计结果的基础上，利用新引入的观测数据对前次估计的结果，根据递推算法进行修正，从而递推地得出新的参数估计值。这样，随着新的观测数据的逐次引入，一次接一次的进行参数计算，直到参数估计值达到满意的精确程度为止。1.递推最小二乘法的思想及原理31.2递推算法的思想*递推辨识算法的思想可以概括成

新的参数估计值=旧的参数估计值+修正项

即新的递推参数估计值是在旧的递推估计值的基础上而成，这就是递推的概念.递推算法不仅可减少计算量和存储量,而且能实现在线实时辨识.*递推算法是依时间顺序,每获得一次新的观测数据就修正一次参数估计值,随着时间的推移,便能获得满意的辨识结果.RLS法即为成批型LS算法的递推化，即将成批型LS算法化成依时间顺序递推计算即可。该工作是1950年由Plackett完成的。1.2递推算法的思想4*下面讨论无加权因素时的一般LS法的递推算法的推导.即将成批型算法化等效变换成如下所示的随时间演变递推算法.时不变SISO系统数学模型：A(z-1)y(k)=B(z-1)u(k)+e(k)已知系统的输入u(k)和输出y(k),求参数ai,bi的估计值。可以得到向量形式的线性方程组：Y=+eY=[y(1),y(2),...,y(L)]T=[(0),(1),...,(L-1)]T,*下面讨论无加权因素时的一般LS法的递推算法的推导.已知系统5设在k-1时刻和k时刻,系统的参数估计结果为其中

和

分别为根据前k次和前k-1次观测/采样数据得到的LS参数估计值.首先,假定在第k-1次递推中,我们已计算好参数估计值在第k次递推时,我们已获得新的观测数据向量(k-1)和y(k),则记Φk-1=[(0),(1),...,(k-2)]TYk-1=[y(1),y(2),...,y(k-1)]TΦk=[(0),

(1),...,(k-1)]T=[φ(k-1)Tφ(k-1)]T设在k-1时刻和k时刻,系统的参数估计结果为其中6Yk=[y(1),y(2),...,y(k)]T=[y(k)]T仔细考察上述LS法,可以知道,该算法进行递推化的关键是算法中的矩阵求逆的递推计算问题.因此,下面先讨论该逆矩阵的递推计算.将Φk展开,故有Yk=[y(1),y(2),...,y(k)]T=[7为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公式(设A和C为可逆方阵)(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1(4)该公式可以证明如下:由于(A+BCD)[A-1-A-1B(C-1+DA-1B)-1DA-1]=I-B(C-1+DA-1B)-1DA-1+BCDA-1-BCDA-1B(C-1+DA-1B)-1DA-1=I-B[I-C(C-1+DA-1B)+CDA-1B](C-1+DA-1B)-1DA-1=I因此,矩阵反演公式(4)成立.为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公式(设A和8下面讨论参数估计值

的递推计算.由上一讲的一般LS估计式由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式有该乘积为标量(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1下面讨论参数估计值的递推计算.由式(3)和矩阵9即利用公式利用公式P(k)=[P-1(k-1)+(k-1)T(k-1)]-1即利用公式利用公式P(k)=[P-1(k-1)+(k-1)10将式(5)和(6)整理可得如下RLS估计算法表示其中的计算顺序为先计算P(k),然后再计算.将式(5)和(6)整理可得如下RLS估计算法表示其中的计算顺11其中K(k)称为增益向量；令上述算法的计算顺序为先计算K(k-1),然后再分别计算和P(k-1).

表示基于k-1时刻的历史数据对y(k)的预报值。有时,为计算方便并便于理解,上述RLS估计算法又可表示为其中K(k)称为增益向量；令12综上所述,RLS法的基本计算步骤可总结如下:1.

确定被辨识系统模型的结构,以及多项式A(z-1)和B(z-1)的阶次;2.

设定递推参数初值,P(0);3.

采样获取新的观测数据y(k)和u(k),并组成观测数据向量(k-1);4.

用式(7)~(8)或(9)~(11)所示的RLS法计算当前参数递推估计值;5.

采样次数k加1,然后转回到第3步骤继续循环.综上所述,RLS法的基本计算步骤可总结如下:13下面关于该RLS算法,有关于其实现问题的如下讨论:递推初始值选取成批LS与RLS的比较信号充分丰富与系统充分激励数据饱和下面关于该RLS算法,有关于其实现问题的如下讨论:14A.递推初始值选取在递推辨识中,如何选取递推计算中的和P(k)的初值是一个相当重要的问题.一般来说,有如下两种选取方法:(1)

选取各元素为零或较小的参数,P(0)=I,其中为充分大的实数（105～1010）;(2)

先将大于所需辨识的参数个数的L组数据,利用成批型的LS法求取参数估计值LS和协方差阵P(L),并将这些量作为递推估计的初值.A.递推初始值选取15递推最小二乘辨识概要课件16递推最小二乘辨识概要课件17B.LS法和RLS法的比较LS法和RLS法的比较LS法是一次完成算法,适于离线辩识,要记忆全部测量数据,程序长;RLS法是递推算法,适于在线辩识和时变过程,需要记忆的数据少,程序简单;RLS法用粗糙初值时,如若N(即样本数少)较小时,估计精度不如LS法.B.LS法和RLS法的比较18C.信号充分丰富与系统充分激励对于所有学习系统与自适应系统,信号充分丰富(系统充分激励)是非常重要的.若系统没有充分激励,则学习系统与自适应系统就不能一致收敛.不一致收敛则意味着所建模型存在未建模动态或模型误差较大,这对模型的应用带来巨大隐患.如对自适应控制,未建模动态可能导致系统崩溃.为保证学习系统与自适应系统一致收敛,则所产生的系统的学习样本数据(系统输入输出信号)应具有尽可能多的模态,其频带要足够宽,而且其信号强度不能以指数律衰减.这样才能保证系统具有充分激励,所测取的信号数据是充分丰富的,相关性矩阵P(k)不为病态.C.信号充分丰富与系统充分激励19D.数据饱和在辨识递推计算过程中,协方差矩阵P(k)随着递推的进程将衰减很快,此时算法的增益矩阵K(k)也急剧衰减,使得新数据失去对参数估计值的修正能力.这种现象称为数据饱和.因此需要考虑修正方案,以保持新数据对参数估计值的一定的修正能力,使得能得到更准确的参数估计值,或能适应对慢时变参数的辨识.D.数据饱和20例:采用递推最小二乘估计辨识模型参数

选择如下的辨识模型进行递推最小二乘参数辨识。

2.递推最小二乘法实例与仿真例:采用递推最小二乘估计辨识模型参数选择如下的辨识模型进行21Matlab程序：%最小二乘的递推算法%Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+v(k)%========================================clearclc%==========400个产生M序列作为输入===============x=[010110111];%initialvaluen=403;%n为脉冲数目M=[];%存放M序列fori=1:ntemp=xor(x(4),x(9));M(i)=x(9);forj=9:-1:2x(j)=x(j-1);endx(1)=temp;end%===========产生均值为0，方差为1的高斯白噪声=========v=randn(1,400);%==============产生观测序列z=================Matlab程序：22z=zeros(402,1);z(1)=-1;z(2)=0;fori=3:402z(i)=1.5*z(i-1)-0.7*z(i-2)+M(i-1)+0.5*M(i-2)+v(i-2);end%递推求解P=100*eye(4);%估计方差Pstore=zeros(4,401);Pstore(:,1)=[P(1,1),P(2,2),P(3,3),P(4,4)];Theta=zeros(4,401);%参数的估计值，存放中间过程估值Theta(:,1)=[3;3;3;3];%K=zeros(4,400);%增益矩阵K=[10;10;10;10];fori=3:402h=[-z(i-1);-z(i-2);M(i-1);M(i-2)];K=P*h*inv(h'*P*h+1);Theta(:,i-1)=Theta(:,i-2)+K*(z(i)-h'*Theta(:,i-2));P=(eye(4)-K*h')*P;Pstore(:,i-1)=[P(1,1),P(2,2),P(3,3),P(4,4)];endz=zeros(402,1);23i=1:401;figure(1)plot(i,Theta(1,:),i,Theta(2,:),i,Theta(3,:),i,Theta(4,:))title('待估参数过渡过程')figure(2)plot(i,Pstore(1,:),i,Pstore(2,:),i,Pstore(3,:),i,Pstore(4,:))title('估计方差变化过程')经过编程计算，各个参数的估计值为i=1:401;24仿真图形仿真图形253.递推最小二乘法的应用递推算法具有良好的在线学习、自适应能力，在电力系统扩频通信系统船舶航向控制等方面有相应的应用。3.递推最小二乘法的应用递推算法具有良好的在线学习、自适应能26电力系统基于递归最小二乘法的电压闪变研究随着我国现代工业技术和国民经济的飞速发展，电能质量已经成为电力系统发、供、用电部门十分关注并且去刻意完善的重要指标。为了有效提高电能质量，特别是对一些对电压闪变比较敏感的用户负责，我们必须对电压闪变进行分析研究。对电压闪变进行分析，是采取适当措施降低闪变带来影响的前提。因此对电力系统中的电压闪变的包络线与初相角进行实时跟踪就具有重要的理论意义和现实意义。而递归最小二乘方法，正是可以应用到这种低频信号的一种迭代算法，由于该方法是在最小二乘的基础上发展起来的，所以该方法具有估计误差小的特点。电力系统基于递归最小二乘法的电压闪变研究27电力系统方面在电力系统中使用了一种新的改进递归最小二乘法跟踪闪变包络线和初相角，对电压闪变进行了准确，快速的跟踪。作为常规的处理信号估计的方法，递归最小二乘法具有能够在估计的时候产生相对比较小的误差。该方法采用一种迭代的形式，因为迭代算法只需要在上一次结果的基础上进行进一步的运算，而不需要将数据完全采集完成以后，对所有的数据一起计算，所以此方法相对其他一些非迭代算法上运算量较小。电力系统方面在电力系统中使用了一种新的改进递归最小二乘法跟踪28扩频通信系统基于递归最小二乘法的扩频通信系统中窄带干扰抑制技术的研究扩频技术因其本身固有的干扰抑制特性得到了迅速的发展,其中直接序列扩频通信((DirectSequenceSpreadSpectrum,DSSS)系统是典型的扩频通信系统之一。DSSS系统的抗干扰能力由扩频处理增益决定,可以通过增加带宽来增加扩频增益,但是实际中由于带宽和技术方面的限制扩频增益总是有限的。NBD由于其功率谱密度比宽带干扰高得多,所以它对DSSS系统的破坏性更强,当有强窄带干扰存在时仅靠系统自身的抗干扰能力很难保证系统高质量的通信,甚至可能造成系统通信中断。因此,研究有效的窄带干扰抑制技术具有重大的实际意义。扩频通信系统基于递归最小二乘法的扩频通信系统中窄带干扰抑制技29扩频通信时域线性滤波技术、时域非线性滤波技术和频域变换滤波技术等传统的滤波方法在抑制窄带干扰方面都存在一定的限制和缺陷,在扩频通信系统中应用递归最小二乘法和频率变换技术对这些限制和缺陷做些稍微改进。计算机仿真实验结果表明,这种方法性能良好。扩频通信时域线性滤波技术、时域非线性滤波技术和频域变换滤波技30一种基于递归最小二乘法的强化学习算法及其应用研究船舶使用递归最小二乘瞬时差分法,较通常的瞬时差分法有样本使用效率高,收敛速度快,计算量少等特点。并将基于递归最小二乘的强化学习应用于船舶航向控制,克服了通常智能算法的学习需要一定数量样本数据的缺陷,对控制器的参数进行在线学习与调整,可以在一定程度上解决船舶运动中的不确定性问题,仿真结果表明,在有各种分浪流干扰的条件下,船舶航向的控制仍能取得令人满意的效果,一种基于递归最小二乘法的强化学习算法及其应用研究船舶使用递归31为设定航向)30度时，风力3级，风向30度海况下，航向跟踪信号和操舵控制输出信号仿真曲线。图4为设定航向30度时，风力6级，风向60度海况下，航向跟踪信号和操舵控制输出信号仿真曲线。从对应的曲线可以看出，航向跟踪快且操舵动作合理，适合船舶转向控制要求，控制效果是比较理想的。运用远洋实习船为例进行仿真研究为设定航向)30度时，风力3级，风向30度海况下，航向跟踪信32控制仿真输出控制仿真输出33船舶航向应用使用了递归最小二乘顺势差分法，与通常的顺势差分相比，可以提高样本使用效率，加快收敛速度，减少计算量。并将基于递归最小二乘的强化学习应用与船舶航向控制，克服了通常智能算法的学习需要一定数量样本数据的缺陷，对控制器的参数进行在线学习与调整，可以在一定程度上解决船舶运动的不确定性问题，仿真结果表明，在有各种分量流干扰的条件下，甚至测量仪表存在故障的情况时，船舶航向的控制仍能取得令人满意的效果，说明该算法是有效可行的。船舶航向应用使用了递归最小二乘顺势差分法，与通常的顺势差分相34常规最小二乘辨识的递推算法常规最小二乘辨识的递推算法35主要内容1.思想及原理2.实例与MATLAB仿真3.应用主要内容1.思想及原理361.递推最小二乘法的思想及原理1.1递推最小二乘法的引入*最小二乘法的缺陷（1）数据量越多，系统参数估计的精度就越高，为了获得满意的辨识结果，矩阵的阶数常常取得相当大。这样矩阵求逆的计算量很大，存储量也很大。（2）每增加一次观测量，都必须重新计算φ，（）-1。（3）如果出现φ列相关，既不满秩的情况，为病态矩阵，则不能得到最小二乘估计值。*递推最小二乘参数辨识，就是当被辨识的系统在运行时，每取得一次新的观测数据后，就在前一次估计结果的基础上，利用新引入的观测数据对前次估计的结果，根据递推算法进行修正，从而递推地得出新的参数估计值。这样，随着新的观测数据的逐次引入，一次接一次的进行参数计算，直到参数估计值达到满意的精确程度为止。1.递推最小二乘法的思想及原理371.2递推算法的思想*递推辨识算法的思想可以概括成

新的参数估计值=旧的参数估计值+修正项

即新的递推参数估计值是在旧的递推估计值的基础上而成，这就是递推的概念.递推算法不仅可减少计算量和存储量,而且能实现在线实时辨识.*递推算法是依时间顺序,每获得一次新的观测数据就修正一次参数估计值,随着时间的推移,便能获得满意的辨识结果.RLS法即为成批型LS算法的递推化，即将成批型LS算法化成依时间顺序递推计算即可。该工作是1950年由Plackett完成的。1.2递推算法的思想38*下面讨论无加权因素时的一般LS法的递推算法的推导.即将成批型算法化等效变换成如下所示的随时间演变递推算法.时不变SISO系统数学模型：A(z-1)y(k)=B(z-1)u(k)+e(k)已知系统的输入u(k)和输出y(k),求参数ai,bi的估计值。可以得到向量形式的线性方程组：Y=+eY=[y(1),y(2),...,y(L)]T=[(0),(1),...,(L-1)]T,*下面讨论无加权因素时的一般LS法的递推算法的推导.已知系统39设在k-1时刻和k时刻,系统的参数估计结果为其中

和

分别为根据前k次和前k-1次观测/采样数据得到的LS参数估计值.首先,假定在第k-1次递推中,我们已计算好参数估计值在第k次递推时,我们已获得新的观测数据向量(k-1)和y(k),则记Φk-1=[(0),(1),...,(k-2)]TYk-1=[y(1),y(2),...,y(k-1)]TΦk=[(0),

(1),...,(k-1)]T=[φ(k-1)Tφ(k-1)]T设在k-1时刻和k时刻,系统的参数估计结果为其中40Yk=[y(1),y(2),...,y(k)]T=[y(k)]T仔细考察上述LS法,可以知道,该算法进行递推化的关键是算法中的矩阵求逆的递推计算问题.因此,下面先讨论该逆矩阵的递推计算.将Φk展开,故有Yk=[y(1),y(2),...,y(k)]T=[41为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公式(设A和C为可逆方阵)(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1(4)该公式可以证明如下:由于(A+BCD)[A-1-A-1B(C-1+DA-1B)-1DA-1]=I-B(C-1+DA-1B)-1DA-1+BCDA-1-BCDA-1B(C-1+DA-1B)-1DA-1=I-B[I-C(C-1+DA-1B)+CDA-1B](C-1+DA-1B)-1DA-1=I因此,矩阵反演公式(4)成立.为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公式(设A和42下面讨论参数估计值

的递推计算.由上一讲的一般LS估计式由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式有该乘积为标量(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1下面讨论参数估计值的递推计算.由式(3)和矩阵43即利用公式利用公式P(k)=[P-1(k-1)+(k-1)T(k-1)]-1即利用公式利用公式P(k)=[P-1(k-1)+(k-1)44将式(5)和(6)整理可得如下RLS估计算法表示其中的计算顺序为先计算P(k),然后再计算.将式(5)和(6)整理可得如下RLS估计算法表示其中的计算顺45其中K(k)称为增益向量；令上述算法的计算顺序为先计算K(k-1),然后再分别计算和P(k-1).

表示基于k-1时刻的历史数据对y(k)的预报值。有时,为计算方便并便于理解,上述RLS估计算法又可表示为其中K(k)称为增益向量；令46综上所述,RLS法的基本计算步骤可总结如下:1.

确定被辨识系统模型的结构,以及多项式A(z-1)和B(z-1)的阶次;2.

设定递推参数初值,P(0);3.

采样获取新的观测数据y(k)和u(k),并组成观测数据向量(k-1);4.

用式(7)~(8)或(9)~(11)所示的RLS法计算当前参数递推估计值;5.

采样次数k加1,然后转回到第3步骤继续循环.综上所述,RLS法的基本计算步骤可总结如下:47下面关于该RLS算法,有关于其实现问题的如下讨论:递推初始值选取成批LS与RLS的比较信号充分丰富与系统充分激励数据饱和下面关于该RLS算法,有关于其实现问题的如下讨论:48A.递推初始值选取在递推辨识中,如何选取递推计算中的和P(k)的初值是一个相当重要的问题.一般来说,有如下两种选取方法:(1)

选取各元素为零或较小的参数,P(0)=I,其中为充分大的实数（105～1010）;(2)

先将大于所需辨识的参数个数的L组数据,利用成批型的LS法求取参数估计值LS和协方差阵P(L),并将这些量作为递推估计的初值.A.递推初始值选取49递推最小二乘辨识概要课件50递推最小二乘辨识概要课件51B.LS法和RLS法的比较LS法和RLS法的比较LS法是一次完成算法,适于离线辩识,要记忆全部测量数据,程序长;RLS法是递推算法,适于在线辩识和时变过程,需要记忆的数据少,程序简单;RLS法用粗糙初值时,如若N(即样本数少)较小时,估计精度不如LS法.B.LS法和RLS法的比较52C.信号充分丰富与系统充分激励对于所有学习系统与自适应系统,信号充分丰富(系统充分激励)是非常重要的.若系统没有充分激励,则学习系统与自适应系统就不能一致收敛.不一致收敛则意味着所建模型存在未建模动态或模型误差较大,这对模型的应用带来巨大隐患.如对自适应控制,未建模动态可能导致系统崩溃.为保证学习系统与自适应系统一致收敛,则所产生的系统的学习样本数据(系统输入输出信号)应具有尽可能多的模态,其频带要足够宽,而且其信号强度不能以指数律衰减.这样才能保证系统具有充分激励,所测取的信号数据是充分丰富的,相关性矩阵P(k)不为病态.C.信号充分丰富与系统充分激励53D.数据饱和在辨识递推计算过程中,协方差矩阵P(k)随着递推的进程将衰减很快,此时算法的增益矩阵K(k)也急剧衰减,使得新数据失去对参数估计值的修正能力.这种现象称为数据饱和.因此需要考虑修正方案,以保持新数据对参数估计值的一定的修正能力,使得能得到更准确的参数估计值,或能适应对慢时变参数的辨识.D.数据饱和54例:采用递推最小二乘估计辨识模型参数

选择如下的辨识模型进行递推最小二乘参数辨识。

2.递推最小二乘法实例与仿真例:采用递推最小二乘估计辨识模型参数选择如下的辨识模型进行55Matlab程序：%最小二乘的递推算法%Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+v(k)%========================================clearclc%==========400个产生M序列作为输入===============x=[010110111];%initialvaluen=403;%n为脉冲数目M=[];%存放M序列fori=1:ntemp=xor(x(4),x(9));M(i)=x(9);forj=9:-1:2x(j)=x(j-1);endx(1)=temp;end%===========产生均值为0，方差为1的高斯白噪声=========v=randn(1,400);%==============产生观测序列z=================Matlab程序：56z=zeros(402,1);z(1)=-1;z(2)=0;fori=3:402z(i)=1.5*z(i-1)-0.7*z(i-2)+M(i-1)+0.5*M(i-2)+v(i-2);end%递推求解P=100*eye(4);%估计方差Pstore=zeros(4,401);Pstore(:,1)=[P(1,1),P(2,2),P(3,3),P(4,4)];Theta=zeros(4,401);%参数的估计值，存放中间过程估值Theta(:,1)=[3;3;3;3];%K=zeros(4,400);%增益矩阵K=[10;10;10;10];fori=3:402h=[-z(i-1);-z(i-2);M(i-1);M(i-2)];K=P*h*inv(h'*P*h+1);Theta(:,i-1)=Theta(:,i-2)+K*(z(i)-h'*Theta(:,i-2));P=(eye(4)-K*h')*P;Pstore(:,i-1)=[P(1,1),P(2,2),P(3,3),P(4,4)];endz=zeros(402,1);57i=1:401;figure(1)plot(i,Theta(1,:),i,Theta(2,:),i,Theta(3,:),i,Theta(4,:))title('待估参数过渡过程')figure(2)plot(i,Pstore(1,:),i,Pstore(2,:),i,Pstore(3,:),i,Pstore(4,:))title('估计方差变化过程')经过编程计算，各个参数的估计值为i=1:401;58仿真图形仿真图形593.递推最小二乘法的应用递推算法具有良好的在线学习、自适应能力，在电力系统扩频通信系统船舶航向控制等方面有相应的应用。3.递推最小二乘法的应用递推算法具有良好的在线学习、自适应能60电力系统基于递归最小二乘法的电压闪变研究随着我国现代工业技术和国民经济的飞速发展，电能质量已经成为电力系统发、供、用电部门十分关注并且去刻意完善的重要指标。为了有效提高电能质量，特别是对一些对电压闪变比较敏感的用户负责，我们必须对电压闪变进行分析研究。对电压闪变进行分析，是采取适当措施降低闪变带来影响的前提。因此对电力系统中的电压闪变的包络线与初相角进行实时跟踪就具有重要的理论意义和现实意义。而递归最小二乘方法，正是可以应用到这种低频信号的一种迭代算法，由于该方法是在最小二乘的基础上发展起来的，所以该方法具有估计误差小的特点。电力系统基于递归最小二乘法的电压闪变研究61电力系统方面在电力系统中使用了一种新的改进递归最小二乘法跟踪