递推最小二乘辨识

1、常规最小二乘辨识的递推算法主要内容1.思想及原理2.实例与MATLAB仿真3.应用1.递推最小二乘法的思想及原理1.1递推最小二乘法的引入*最小二乘法的缺陷（1）数据量越多，系统参数估计的精度就越高，为了获得满意的辨识结果，矩阵的阶数 常常取得相当大。这样矩阵求逆的计算量很大，存储量也很大。（2）每增加一次观测量，都必须重新计算，（ ）-1。（3）如果出现列相关，既不满秩的情况， 为病态矩阵，则不能得到最小二乘估计值。*递推最小二乘参数辨识，就是当被辨识的系统在运行时，每取得一次新的观测数据后，就在前一次估计结果的基础上，利用新引入的观测数据对前次估计的结果，根据递推算法进行修正，从而递推地得

2、出新的参数估计值。这样，随着新的观测数据的逐次引入，一次接一次的进行参数计算，直到参数估计值达到满意的精确程度为止。TTT1.2递推算法的思想递推算法的思想* * 递推辨识算法的思想可以概括成 新的参数估计值新的参数估计值= =旧的参数估计值旧的参数估计值+ +修正项修正项 即新的递推参数估计值是在旧的递推估计值的基础上而成，这就是递推的概念.递推算法不仅可减少计算量和存储量,而且能实现在线实时辨识.* * 递推算法是依时间顺序,每获得一次新的观测数据就修正一次参数估计值,随着时间的推移,便能获得满意的辨识结果.RLS法即为成批型LS算法的递推化，即将成批型LS算法化成依时间顺序递推计算即可。

3、该工作是1950年由Plackett完成的。* *下面讨论无加权因素时的一般LS法的递推算法的推导. 即将成批型算法化等效变换成如下所示的随时间演变递推算法.时不变SISO系统数学模型：A(z-1)y(k)=B(z-1)u(k)+e(k)baniiiniiizbzzaz1111)(1)(BALLLLY)(1LS已知系统的输入u(k)和输出y(k),求参数ai,bi的估计值。可以得到向量形式的线性方程组： Y=+eY=y(1), y(2), ., y(L)T=(0), (1), ., (L-1)T, ,-,- )-(,),1-()-(,),1-() 1-(11bannbabbaankukunky

4、kyk设在k-1时刻和k时刻,系统的参数估计结果为11111)() 1-(kkkkkYkkkkkY)()(1其中 和 分别为根据前k次和前k-1次观测/采样数据得到的LS参数估计值.)( k) 1-(kq首先,假定在第k-1次递推中,我们已计算好参数估计值在第k次递推时,我们已获得新的观测数据向量 (k-1)和y(k),则记k-1= (0), (1), ., (k-2)TY Yk-1=y(1), y(2), ., y(k-1)Tk= (0), (1), ., (k-1)T=(k-1)T (k-1)TYk=y(1), y(2), ., y(k)T= y(k)T1kY仔细考察上述LS法,可以知道,

5、该算法进行递推化的关键是算法中的矩阵求逆的递推计算问题.因此,下面先讨论该逆矩阵的递推计算.)2()()(1-kkkP将k展开,故有1-1-1-)1-()1-()(kkkkkP1-1 -1 -)1-() 1-(kkkk)3()1-() 1-() 1-(1-1-kkkP为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公式(设A和C为可逆方阵)(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1 (4)该公式可以证明如下:由于(A+BCD)A-1-A-1B(C-1+DA-1B)-1DA-1=I-B(C-1+DA-1B)-1DA-1+BCDA-1-BCDA-1B(C-1+DA-1B

6、)-1DA-1=I-BI-C(C-1+DA-1B)+CDA-1B(C-1+DA-1B)-1DA-1=I因此,矩阵反演公式(4)成立.q 下面讨论参数估计值 的递推计算.由上一讲的一般LS估计式由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式1)-() 1-()1-(1)-() 1-(1)1-(1)-(-1)-()(1kkkkkkkkkPPPPPkkkkkkkkYPY)()()(1-有)()()(1-kkkkYP(5)1)-() 1-(1)-() 1-(1) 1-() 1-(1)-(-kkkkkkkPPPI该乘积为标量)3()1-() 1-() 1-()(1-1-kkkkPP)(k(

7、A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1即)() 1-()1-()()(1kykkkkkYP)() 1-() 1-()(1kykkkkYP)() 1-() 1-() 1-()(1kykkkkPP)() 1-() 1-()1-() 1-(-)()(1kykkkkkkPP)6()1-() 1-(-)()1-()() 1-(kkkykkkP利用公式)()()(1-kkkkYP利用公式P(k)=P-1(k-1)+(k-1)T(k-1)-1q 将式(5)和(6)整理可得如下RLS估计算法表示)8(1)-() 1-(1)-() 1-(1) 1-() 1-(1)-(-)()7()

8、1-() 1-(-)()1-()() 1-()(kkkkkkkkkkkykkkkPPPIPP其中的计算顺序为先计算P(k),然后再计算 .)(k)11() 1-(1)-() 1-(1) 1-(1)-()()10(1)-()1-()(-)()9()1-() 1-(-)()() 1-()(kkkkkkkkkkkkkykkkPPKPKIPK其中K(k)称为增益向量；令 上述算法的计算顺序为 先计算K(k-1), 然后再分别计算 和P(k-1).)(k，) 1-() 1-()( kkky 表示基于k-1时刻的历史数据对y(k)的预报值。有时,为计算方便并便于理解,上述RLS估计算法又可表示为q 综上所

9、述,RLS法的基本计算步骤可总结如下:1. 确定被辨识系统模型的结构,以及多项式A(z-1)和B(z-1)的阶次;2. 设定递推参数初值 ,P(0);3. 采样获取新的观测数据y(k)和u(k),并组成观测数据向量 (k-1);4. 用式(7)(8)或(9)(11)所示的RLS法计算当前参数递推估计值 ;5. 采样次数k加1,然后转回到第3步骤继续循环.0)()(kq 下面关于该RLS算法,有关于其实现问题的如下讨论: 递推初始值选取递推初始值选取 成批成批LS与与RLS的比较的比较 信号充分丰富信号充分丰富与系统充分激励与系统充分激励 数据饱和数据饱和A. 递推初始值选取递推初始值选取q 在

10、递推辨识中,如何选取递推计算中的 和P(k)的初值是一个相当重要的问题. 一般来说,有如下两种选取方法:(1) 选取 各元素为零或较小的参数,P(0)=I,其中为充分大的实数（1051010）;(2) 先将大于所需辨识的参数个数的L组数据,利用成批型的LS法求取参数估计值 LS和协方差阵P(L),并将这些量作为递推估计的初值.)(k)0( 递 推 最 小 二 乘参 数 估 计 算 法 息信有原NNP1N1NP1Ny1N息信出输B. LSB. LS法和法和RLSRLS法的比较法的比较q LS法和RLS法的比较 LS法是一次完成算法,适于离线辩识,要记忆全部测量数据,程序长; RLS法是递推算法,

11、适于在线辩识和时变过程, 需要记忆的数据少,程序简单; RLS法用粗糙初值时,如若N(即样本数少)较小时,估计精度不如LS法.C. 信号充分丰富与系统充分激励信号充分丰富与系统充分激励对于所有学习系统与自适应系统,信号充分丰富(系统充分激励)是非常重要的.若系统没有充分激励,则学习系统与自适应系统就不能一致收敛.不一致收敛则意味着所建模型存在未建模动态或模型误差较大,这对模型的应用带来巨大隐患.如对自适应控制,未建模动态可能导致系统崩溃.为保证学习系统与自适应系统一致收敛,则所产生的系统的学习样本数据(系统输入输出信号)应具有尽可能多的模态,其频带要足够宽,而且其信号强度不能以指数律衰减.这样

12、才能保证系统具有充分激励,所测取的信号数据是充分丰富的,相关性矩阵P P(k)不为病态.D. 数据饱和数据饱和在辨识递推计算过程中,协方差矩阵P(k)随着递推的进程将衰减很快,此时算法的增益矩阵K(k)也急剧衰减,使得新数据失去对参数估计值的修正能力.这种现象称为数据饱和.因此需要考虑修正方案,以保持新数据对参数估计值的一定的修正能力,使得能得到更准确的参数估计值,或能适应对慢时变参数的辨识.例:采用递推最小二乘估计辨识模型参数 )() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(2121kVkubkubkzak

13、zakz选择如下的辨识模型进行递推最小二乘参数辨识。 2.递推最小二乘法实例与仿真Matlab 程序：%最小二乘的递推算法%Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+v(k)%=clearclc%=400 个产生M 序列作为输入=x=0 1 0 1 1 0 1 1 1; %initial valuen=403; %n 为脉冲数目M=; %存放M 序列for i=1:ntemp=xor(x(4),x(9);M(i)=x(9);for j=9:-1:2x(j)=x(j-1);endx(1)=temp;end%=产生均值为0，方差为1 的高斯白噪声=v=r

14、andn(1,400);%=产生观测序列z=z=zeros(402,1);z(1)=-1;z(2)=0;for i=3:402z(i)=1.5*z(i-1)-0.7*z(i-2)+M(i-1)+0.5*M(i-2)+v(i-2);end%递推求解P=100*eye(4); %估计方差Pstore=zeros(4,401);Pstore(:,1)=P(1,1),P(2,2),P(3,3),P(4,4);Theta=zeros(4,401); %参数的估计值，存放中间过程估值Theta(:,1)=3;3;3;3;% K=zeros(4,400); %增益矩阵K=10;10;10;10;for i=

15、3:402h=-z(i-1);-z(i-2);M(i-1);M(i-2);K=P*h*inv(h*P*h+1);Theta(:,i-1)=Theta(:,i-2)+K*(z(i)-h*Theta(:,i-2);P=(eye(4)-K*h)*P;Pstore(:,i-1)=P(1,1),P(2,2),P(3,3),P(4,4);endi=1:401;figure(1)plot(i,Theta(1,:),i,Theta(2,:),i,Theta(3,:),i,Theta(4,:)title(待估参数过渡过程)figure(2)plot(i,Pstore(1,:),i,Pstore(2,:),i,P

16、store(3,:),i,Pstore(4,:)title(估计方差变化过程)经过编程计算，各个参数的估计值为3341. 00284. 16802. 04976. 12121bbaals仿真图形3.3.递推最小二乘法的应用递推算法具有良好的在线学习、自适应能力，在电力系统扩频通信系统船舶航向控制等方面有相应的应用。电力系统基于递归最小二乘法的电压闪变研究随着我国现代工业技术和国民经济的飞速发展，电能质量已经成为电力系统发、供、用电部门十分关注并且去刻意完善的重要指标。为了有效提高电能质量，特别是对一些对电压闪变比较敏感的用户负责，我们必须对电压闪变进行分析研究。对电压闪变进行分析，是采取适当措

17、施降低闪变带来影响的前提。因此对电力系统中的电压闪变的包络线与初相角进行实时跟踪就具有重要的理论意义和现实意义。而递归最小二乘方法，正是可以应用到这种低频信号的一种迭代算法，由于该方法是在最小二乘的基础上发展起来的，所以该方法具有估计误差小的特点。电力系统方面在电力系统中使用了一种新的改进递归最小二乘法跟踪闪变包络线和初相角，对电压闪变进行了准确，快速的跟踪。 作为常规的处理信号估计的方法，递归最小二乘法具有能够在估计的时候产生相对比较小的误差。该方法采用一种迭代的形式，因为迭代算法只需要在上一次结果的基础上进行进一步的运算，而不需要将数据完全采集完成以后，对所有的数据一起计算，所以此方法相对

18、其他一些非迭代算法上运算量较小。扩频通信系统基于递归最小二乘法的扩频通信系统中窄带干扰抑制技术的研究扩频技术因其本身固有的干扰抑制特性得到了迅速的发展,其中直接序列扩频通信(Direct Sequence Spread Spectrum, DSSS)系统是典型的扩频通信系统之一。DSSS系统的抗干扰能力由扩频处理增益决定,可以通过增加带宽来增加扩频增益,但是实际中由于带宽和技术方面的限制扩频增益总是有限的。NBD由于其功率谱密度比宽带干扰高得多,所以它对DSSS系统的破坏性更强,当有强窄带干扰存在时仅靠系统自身的抗干扰能力很难保证系统高质量的通信,甚至可能造成系统通信中断。因此,研究有效的窄带干扰抑制技术具有重大的实际意义。扩频通信时域线性滤波技术、时域非线性滤波技术和频域变换滤波技术等传统的滤波方法在抑制窄带干扰方面都存在一定的限制和缺陷,在扩频通信系统中应用递归最小二乘法和频率变换技