LS法教学讲解课件

第三讲LS法(1/4)最小二乘法最小二乘(LeastSquare,以下简称LS)法是1795年高斯(Gauss)在星体运动预报研究工作中提出来的.1/4/20231第三讲LS法(1/4)最小二乘法最小二乘(LeastSq第三讲LS法(2/4)LS法在数学各种分支以及其它应用科学中有广泛应用,如:数学计算数学中的曲线拟合和函数逼近概率统计中的回归分析与参数估计非相容(矛盾)方程解理论中的LS解系统与控制科学实验建模(系统辨识)测量理论中的误差分析……1/4/20232第三讲LS法(2/4)LS法在数学各种分支以及其它应用科学第三讲LS法(3/4)系统与控制科学中的随机离散系统辨识的参数估计方法是从数学中的概率统计理论发展而来的.只不过,系统辨识更关注的是动态系统模型的参数估计问题.LS法是概率统计中参数估计的主要方法,也为系统与控制科学中系统辨识的主要参数估计方法.由于LS法原理简单,易于理解,与实际要求吻合,求解与应用也并不困难,所以它颇受人们的重视,应用相当广泛.1/4/20233第三讲LS法(3/4)系统与控制科学中的随机离散系统辨识的第三讲LS法(4/4)本讲主要讲授:回归模型表述LS法的基本原理和算法,LS估计的数值计算,LS法的应用例子,及其LS估计值的统计特性分析.1/4/20234第三讲LS法(4/4)本讲主要讲授:12/26/202241回归模型表述(1/1)1回归模型表述在讨论LS算法之前,下面先讨论在统计回归与系统辨识中的回归模型.静态模型(回归模型)动态模型(自回归模型)1/4/202351回归模型表述(1/1)1回归模型表述12/26/2021回归模型表述—静态模型(1/3)A.静态模型在数理统计中参数估计所讨论的模型可用如下回归式表示y(k)=T(k-1)+w(k)(1)其中y(k)为过程输出,(k)为n维观测数据向量,为n维回归参数向量,w(k)为统计噪声或误差.对回归模型(1),其参数估计问题是:基于已知的观测数据向量(k)在回归误差平方最小的意义下求解回归参数向量.1/4/202361回归模型表述—静态模型(1/3)A.静态模型12/261回归模型表述—静态模型(2/3)在数理统计中,回归式(1)表示的是静态系统,即过程输出y(k)与过去的观测数据向量(i-1)和统计噪声w(i)无直接时间上的逻辑(因果)关系,i<k.对静态回归系统(1)的统计回归问题,一般有如下假定:(1)观测数据向量(k)中各分量可直接测量或根据测量推算得之;(2)噪声w(k)为零均值噪声,且与观测数据向量(k-1)完全统计独立.下面先回顾一个数理统计中常见的回归问题.1/4/202371回归模型表述—静态模型(2/3)在数理统计中,回归式(11回归模型表述—静态模型(3/3)—例1例1某化工反应过程其反应产生的某成分的单位产生速率y与n个参加反应的化学物质的浓度xi有关.若该关系可用线性关系建模,则可得如下回归关系描述y=a1x1+a2x2+…+anxn=T其中ai为回归系数,描述回归因素xi与回归量y的相关系数;=[x1x2…xn]T

=[a1a2…an]T某化工(热工)过程对例1,只要将实验中采集的多组实验数据,利用下面讨论的LS法,即可回归出相关系数ai.1/4/202381回归模型表述—静态模型(3/3)—例1例1某化工反应过1回归模型表述—动态模型(1/7)B.动态模型20世纪中期,LS法引入到系统和控制科学中动态系统建模的系统辨识和参数估计中.对实际的被控对象，在其工作点附近，其动力学模型可用线性动态模型描述。1/4/202391回归模型表述—动态模型(1/7)B.动态模型12/261回归模型表述—动态模型(2/7)如下图所示的直流电机，其电气主回路的电阻与电感、机械转动系统在一定工作范围内都可用线性动静态模型描述。1/4/2023101回归模型表述—动态模型(2/7)如下图所示的直流电机，其1回归模型表述—动态模型(3/7)因此，在动态系统辨识中,所讨论的系统中较典型的如下述定常单输入单输出(SISO)线性系统的数学模型(亦称为受控XAR模型)A(z-1)y(k)=B(z-1)u(k)+w(k)(2)其中y(k),u(k)和w(k)分别为系统输出,输入和随机扰动;1/4/2023111回归模型表述—动态模型(3/7)因此，在动态系统辨识中,1回归模型表述—动态模型(4/7)上述的定常SISO线性系统的数学模型也可表示成如下的自回归方程式y(k)=T(k-1)+w(k)(3)式中在动态系统的辨识中,所讨论的问题是如何利用已知的或检测到的系统(2)的输入输出数据,确定多项式A(z-1)和B(z-1)的未知系数,即自回归方程(3)中的回归参数向量.1/4/2023121回归模型表述—动态模型(4/7)上述的定常SISO线性系1回归模型表述—动态模型(5/7)对动态系统(2)的辨识问题,先明确如下一些基本假设和基本关系.(1)假定模型(2)的阶次或阶次的上界na和nb已知;(2)系统输入输出数据u(k)和y(k)可直接测量或可根据其它直接测量量推算得之;(3)噪声w(k)为零均值噪声,且与系统输入u(k-1)统计独立.1/4/2023131回归模型表述—动态模型(5/7)对动态系统(2)的辨识问1回归模型表述—动态模型(6/7)由前面所定义的回归方程(1)和自回归方程(3)可知,静态系统辨识和动态系统辨识的共同之处为其辨识模型都可归纳为一统一的回归方程.两者不同之处在于,动态系统自回归方程的观测数据向量(k-1)中包含有以往时刻的系统输出y(k-1),...,y(k-na).这样,就使得在上述关于u(k-1)与w(k)统计独立的假定并不能保证观测数据向量(i)与噪声w(j),对任意的i和j都统计独立.因此,静态系统和动态系统的参数估计问题既有共性又有不同之处.1/4/2023141回归模型表述—动态模型(6/7)由前面所定义的回归方程(1回归模型表述—动态模型(7/7)对前面给出的回归方程式(1)和(3),当在k=1,2,...,L,已知系统(1)或(3)的观测数据向量(k-1)时,回归方程式(1)和(3)又可写成如下统一的向量式回归方程YL=L+WL(4)式中YL=[y(1),y(2),...,y(L)]TWL=[w(1),w(2),...,w(L)]TL=[(0),(1),...,(L-1)]T,L×(na+nb)1/4/2023151回归模型表述—动态模型(7/7)对前面给出的回归方程式(2基本算法(1/14)2基本算法对统一的回归方程式,下面讨论LS参数估计方法,然后再分别给出其不同的参数估计值的统计特性分析.LS法最早用于方程求解,数据拟合和数理统计中.所谓最小二乘(LeastSquare),即指其追求在方程求解、拟合和建模中的误差平方和最小.二乘即为平方的意思.对系统辨识问题,即为系统辨识定义三要素中的等价准则(函数)为模型的辨识误差的平方和最小.1/4/2023162基本算法(1/14)2基本算法12/26/2022162基本算法(2/14)LS法的思想是由已知的观测数据对如下准则函数求取最优解而获得未知参数q的估计值式中lk>0为加权因子;LL=diag{l1,l2,...,lL}为加权矩阵.(5)1/4/2023172基本算法(2/14)LS法的思想是由已知的观测数据对如下2基本算法(3/14)引入加权因子的目的是考虑到观测数据的可信度和噪声w(k)的分布对估计值有较大影响,从而利用对观测数据加权而减消其对LS估计的影响.若有理由认为某步的观测数据可靠和重要性程度高,可将该步的加权因子相对取得大一些.1/4/2023182基本算法(3/14)引入加权因子的目的是考虑到观测数据的2基本算法(4/14)下面讨论由函数极值理论,根据准则函数求极值来推导LS法.由于对准则函数求极值涉及对向量变量的偏导,下面先给出对向量变量的导数公式:标量f对n维向量x的导数f/x=[f/x1

f/x2…f/xn]Tm维向量y对n维向量x的导数1/4/2023192基本算法(4/14)下面讨论由函数极值理论,根据准则函数2基本算法(5/14)在不混淆的情况下,向量间导数又记为基于上述向量对向量的导数,有1/4/2023202基本算法(5/14)在不混淆的情况下,向量间导数又记为基2基本算法(6/14)内积对向量的导数.由上述定义的向量和矩阵的导数,有1/4/2023212基本算法(6/14)内积对向量的导数.由上述定义的向量2基本算法(7/14)加权内积对向量的导数.

由上述定义的内积对的导数,有基于上述矩阵、向量对向量的导数的定义,下面进行对LS辨识的准则函数进行求极小化.1/4/2023222基本算法(7/14)加权内积对向量的导数.由上述定义的2基本算法(8/14)由函数优化理论知,使得准则函数为最小的未知变量向量q应满足其对q的偏导为零的函数最优化的必要条件.根据上述向量导数,因此有1/4/2023232基本算法(8/14)由函数优化理论知,使得准则函数为最小这就是加权LS公式2基本算法(9/14)即因此,LS解即为求解上述正则方程.当LTLL可逆时,即信号充分丰富时,则可求得q的如下加权LS估计上面讨论的是极小值的必要条件，其充分条件为：即指标函数的2阶偏导矩阵为正定（偏导大于零）。1/4/202324这就是加权LS公式2基本算法(9/14)即因此,LS解即为2基本算法(10/14)对指标函数求2阶偏导，有因LL为正定矩阵,故只要LTLL可逆即为正定矩阵,即所以加权LS估计qWLS使得J(q)=min,即qWLS是LS指标函数的唯一最优解.1/4/2023252基本算法(10/14)对指标函数求2阶偏导，有因LL为正2基本算法(11/14)因此,所谓LS估计,即通过实验观测数据,构造出系统输出数据向量YL与观测数据矩阵L,然后进行如下矩阵数值计算加权LS估计解的特例当加权矩阵LL取为单位矩阵I时,则加权LS估计qWLS退化成如下一般LS估计1/4/2023262基本算法(11/14)因此,所谓LS估计,即通过实验观测2基本算法(13/14)对系统辨识问题,还存在一个可辨识性问题.当给定输入输出数据时,对假定的模型结构是否能唯一地确定模型的参数,这就是可辨识问题.在上述LS估计问题中,可辨识性即为基于参数模型的辨识问题归结的模型参数的LS最优化问题是否存在唯一解问题.可辨识性直接与系统的结构、系统的输入输出信号的性质相关.与系统结构的关系对输入输出模型,要求系统阶次准确已知,系统传递函数模型的分子分母互质.对状态空间模型,要求系统能控并能观.1/4/2023272基本算法(13/14)对系统辨识问题,还存在一个可辨识性2基本算法(14/14)与输入信号的关系.要求过程的所有模态都必须被输入信号“持续激励”,即系统的输入输出信息“充分丰富”.此外系统的观测数据矩阵L的各列线性无关,输入u(k)应有充分的变化(其频带较宽),还要与输出y(k)相对“独立”.对输出反馈闭环系统,反馈环应存在纯滞后环节.LS估计的可辨识条件为矩阵LTLL必须是非奇异的.常用的输入信号:随机序列、伪随机序列、频带较宽的离散序列.1/4/2023282基本算法(14/14)与输入信号的关系.12/26/20最小二乘估计的统计特性1）无偏性对某一种估计算法，若其估计量的数学期望等于被估计量的真值，即：其中为参数的真值。则称该估计为无偏的。否则称为有偏估计。称为偏差。

无偏估计的含义：同一个待辨识对象的不同组输入输出数据所得到的各估计量将围绕参数的真值而上下摆动。

对于最小二乘估计，若残差序列{e(k)}是独立的零均值白噪声序列，则最小二乘估计是无偏的。1/4/202329最小二乘估计的统计特性其中为参数的真值。则称该估计因为两边取数学期望1/4/202330因为两边取数学期望12/26/2022302）有效性方差：随机变量与其均值的偏离程度的衡量。因此估计量的方差越小，则该估计量处于参数真值附近的概率就越大。设是关于的两个无偏估计，若的方差小于的方差，则称比有效。称对参数的一个估计算法为有效的，若其它任一种算法所得到的估计量的方差都比该估计算法所得的估计量的方差要大。

对于最小二乘估计，若残差序列{e(k)}是同分布、零均值、方差为的白噪声序列，则方差阵为：1/4/202331是关于的两个无偏估计，若如果无偏估计满足Cov()=M-1，则称估计为有效的。其中：称为Fisher信息矩阵，其逆M-1称为Crammer-Rao下界。在一般情况下，有Crammer-Rao不等式：Cov()=E{(-)(-)T}≥M-11/4/202332如果无偏估计满足Cov()=M-1，则称估计为有效的。其中：3）一致性检验在待辨识对象的一次试验或观察中的观测次数(输入输出数据的个数)N越多时，估计量是否越接近被估计量的参数真值。即若下式成立则称估计量有一致性。换句话说：当样本数N无限增大时，若估计量以概率1收敛于真值，则称这样的估计为一致性估计。

对于最小二乘估计，若残差序列{e(k)}是同分布、零均值、方差为的白噪声序列，则它是一致性估计。这是因为：

若u(k)是持续激励的，则依概率1收敛于一个正定矩阵，并且由于方差是有界的，因此1/4/202333则称估计量有一致性。换句话说：当样本数N无限增大时，若即：当时以概率1收敛于真值。即：综上所述，当残差为白噪声时，最小二乘估计是无偏的，有效的和一致的。1/4/202334即：当时以概率1收敛于真值4LS法的应用例子(1/1)3最小二乘法的应用例子为加深对LS辨识算法的理解,下面讨论几个LS辨识方法应用的小例子.测电阻实验数据处理

线性曲线拟合

非线性曲线拟合

不相容方程组

1/4/2023354LS法的应用例子(1/1)3最小二乘法的应用例子12/4LS法的应用例子--例2(1/6)A.测电阻实验数据处理例2某电路实验课,测得某电阻两端的电压和通过其间的电流分别为Vi和Ii,其中i为实验数据的组号.试根据L组该实验数据,推算电阻值R.解由电路理论,电阻的电流与电压满足如下欧姆定律V=RI(11)1/4/2023364LS法的应用例子--例2(1/6)A.测电阻实验数据处基于上述欧姆定律,利用实验数据来推算电阻值的问题,可视为静态系统辨识(回归分析)问题.因此,将L组实验数据分别代入上述欧姆定律,则可得如下向量回归方程YL=L(12)式中=[R];YL=[V1,V2,...,VL]TL=[I1,I2,...,IL]T因此,由上述LS辨识算法,有4LS法的应用例子--例2(2/6)1/4/202337基于上述欧姆定律,利用实验数据来推算电阻值的问题,可视为静态4LS法的应用例子--例2(3/6)一般在进行实验数据处理时,推算电阻值R采用如下算术平均值可以证明,若将在实验中的所有扰动和测量误差都等效地综合反映在方程(11)等式左边的电压上且可以用白噪声w描述,即方程(11)可描述为V=RI+w则LS估计(13)的估计误差的方差可能将远远小于算术平均值估计(14).这就是说,LS法比算术平均法提供更精确的估计值.上述结论可证明如下:1/4/2023384LS法的应用例子--例2(3/6)一般在进行实验数据处理设电压测量值中包含有噪声,即Vi=RIi+wi因此有4LS法的应用例子--例2(4/6)而对一般算术平均值,有1/4/202339设电压测量值中包含有噪声,即4LS法的应用例子--例2(4若噪声wi为同分布的白噪声(即wi与wj统计独立),则有E(RLS)=E(Raverage)=R即两种方法得到的估计值都为期望值无偏的,但对估计值的方差,有4LS法的应用例子--例2(5/6)1/4/202340若噪声wi为同分布的白噪声(即wi与wj统计独立),则有4可以证明,对任意的电流值4LS法的应用例子--例2(6/6)即V(RLS)V(Raverage)故LS估计方法的估计值比算术平均方法的估计值在期望值一致的情况下,但估计值的方差更小,即更加准确.n/(1/a1+1/a2+...+1/an)≤(a1a2...an)1/n≤(a1+a2+...+an)/n≤[(a12+a22+...+an2)/n]1/2调几算方不等式1/4/202341可以证明,对任意的电流值4LS法的应用例子--例2(6/64LS法的应用例子--例4(1/3)B.线性曲线拟合xi12345yi44.5688.5wi21311例4对给定的实验数据点(yi,xi),试用自变量x的n阶多项式函数进行曲线拟合.对例4,可列出如下拟合式y=a0+a1x+a2x2+…+anxn=φT(k-1)其中ai为回归系数;φ=[1x

…xn]T;=[a0

a1…an]T1/4/2023424LS法的应用例子--例4(1/3)B.线性曲线拟合xi只要将待拟合的数据点(yi,xi)代入上述拟合式,利用前面得到的LS估计式,即可回归出相关系数ai.4LS法的应用例子--例4(2/3)xi12345yi44.5688.5wi21311若待拟合的实验数据点(yi,xi)如上表所示,从数据坐标图(右图)中看到各点在一条直线附近.1/4/202343只要将待拟合的数据点(yi,xi)代入上述拟合式,利用前面得故可选择线性函数作拟合曲线,即令拟合函数为y=a0+a1x由加权LS估计式,可求得拟合函数为y=2.77+1.13x该拟合函数如图所示.4LS法的应用例子--例4(3/3)1/4/202344故可选择线性函数作拟合曲线,即令拟合函数为4LS法的应用例C.非线性曲线拟合上述针对线性模型回归分析、系统辨识和曲线拟合中的LS法,还可以应用于一些特殊的(即可通过模型变换为具有线性参数)非线性模型的回归分析、系统辨识和曲线拟合问题.例5在某化学反应里,根据实验所得生成物的浓度与时间关系如下表,求浓度y与时间t的拟合曲线y=f(t)4LS法的应用例子--例5(1/9)t12345678f4.006.408.008.809.229.509.709.86t910111213141516f10.0010.2010.3210.4210.5010.5510.5810.601/4/202345C.非线性曲线拟合4LS法的应用例子--例5(1/9)t4LS法的应用例子--例5(2/9)1/4/2023464LS法的应用例子--例5(2/9)12/26/20224解

从数据坐标图,我们看到开始时浓度增加较快,后来逐渐减弱,到一定时间就基本稳定在一个数上,即当t时,y趋于某个数,故有一水平渐近线.另外,t=0时,反应未开始,浓度为0.根据这些特点,可设想y=f(t)是双曲线型,即y=t/(at+b).它与给定数据的规律大致符合.为了确定a、b,令y=1/y,x=1/t,于是可用x的线性函数y(x)=a+bx拟合数据(xi,yi)(i=1,…,16),xi,yi由原始数据(ti,yi)根据变换计算出来.4LS法的应用例子--例5(3/9)1/4/202347解从数据坐标图,我们看到开始时浓度增加较快,后来逐渐减弱,由前面的LS估计式,解得a=0.0806621,b=0.1616822从而得到y1=t/(0.0806621t+0.1616822).由本例的数据坐标图可看出,符合给定数据的函数还可选为指数形式.此时可令拟合曲线形如y=aeb/t,显然,当t时,ya,当t0时,若b<0,则y0,且t增加时y增加,与给出数据规律相同.为了确定a与b,对上式两边取对数,得lny=lna+b/t4LS法的应用例子--例5(4/9)1/4/202348由前面的LS估计式,解得4LS法的应用例子--例5(4/9令y=lny,A=lna,x=1/t,于是由(ti,yi)计算出(xi,yi),拟合数据(xi,yi)(i=1,…,16)的曲线仍为y2(x)=A+bx.由前面的LS估计式,解得A=2.42704,b=-1.0567,从而求得y2=11.3253e-1.0567/t

所得到的2个拟合函数的效果如下图所示.4LS法的应用例子--例5(5/9)1/4/202349令4LS法的应用例子--例5(5/9)12/26/20224LS法的应用例子--例5(6/9)1/4/2023504LS法的应用例子--例5(6/9)12/26/20225下面简单比较两种非线性曲线拟合的效果.为此先定义在数据点上的拟合误差4LS法的应用例子--例5(7/9)本例经过计算可得两种拟合曲线的最大误差点(拟合误差的-范数)分别为1/4/202351下面简单比较两种非线性曲线拟合的效果.4LS法的应用例子-4LS法的应用例子--例5(8/9)而均方误差(拟合误差的2-范数)分别为由此可知||(2)||2及||(2)||都比较小,所以用y=y2(t)作拟合曲线比较好,即对本例,指数模型就比双曲线模型拟合程度要好得多.1/4/2023524LS法的应用例子--例5(8/9)而均方误差(拟合误差的4LS法的应用例子--例5(9/9)从本例看到选择拟合曲线、回归分析和系统辨识的数学模型,包括数学模型中的自变量因素的个数、非线性函数的形式(即辨识中的模型类)并不是一开始就能选得好,往往通过分析确定若干模型后,再经过实际计算才能选到较好的模型.1/4/2023534LS法的应用例子--例5(9/9)从本例看到选择拟合曲线4LS法的应用例子--例6(1/2)D.不相容方程组例6试求如下不相容(矛盾)方程组使方程组误差LS意义解上式可列为如下向量回归式1/4/2023544LS法的应用例子--例6(1/2)D.不相容方程组上式4LS法的应用例子--例6(2/2)根据前面讨论的LS式,则有使上述不相容方程组的方程误差LS意义的解为方程残差为:1/4/2023554LS法的应用例子--例6(2/2)根据前面讨论的LS式,第三讲LS法(1/4)最小二乘法最小二乘(LeastSquare,以下简称LS)法是1795年高斯(Gauss)在星体运动预报研究工作中提出来的.1/4/202356第三讲LS法(1/4)最小二乘法最小二乘(LeastSq第三讲LS法(2/4)LS法在数学各种分支以及其它应用科学中有广泛应用,如:数学计算数学中的曲线拟合和函数逼近概率统计中的回归分析与参数估计非相容(矛盾)方程解理论中的LS解系统与控制科学实验建模(系统辨识)测量理论中的误差分析……1/4/202357第三讲LS法(2/4)LS法在数学各种分支以及其它应用科学第三讲LS法(3/4)系统与控制科学中的随机离散系统辨识的参数估计方法是从数学中的概率统计理论发展而来的.只不过,系统辨识更关注的是动态系统模型的参数估计问题.LS法是概率统计中参数估计的主要方法,也为系统与控制科学中系统辨识的主要参数估计方法.由于LS法原理简单,易于理解,与实际要求吻合,求解与应用也并不困难,所以它颇受人们的重视,应用相当广泛.1/4/202358第三讲LS法(3/4)系统与控制科学中的随机离散系统辨识的第三讲LS法(4/4)本讲主要讲授:回归模型表述LS法的基本原理和算法,LS估计的数值计算,LS法的应用例子,及其LS估计值的统计特性分析.1/4/202359第三讲LS法(4/4)本讲主要讲授:12/26/202241回归模型表述(1/1)1回归模型表述在讨论LS算法之前,下面先讨论在统计回归与系统辨识中的回归模型.静态模型(回归模型)动态模型(自回归模型)1/4/2023601回归模型表述(1/1)1回归模型表述12/26/2021回归模型表述—静态模型(1/3)A.静态模型在数理统计中参数估计所讨论的模型可用如下回归式表示y(k)=T(k-1)+w(k)(1)其中y(k)为过程输出,(k)为n维观测数据向量,为n维回归参数向量,w(k)为统计噪声或误差.对回归模型(1),其参数估计问题是:基于已知的观测数据向量(k)在回归误差平方最小的意义下求解回归参数向量.1/4/2023611回归模型表述—静态模型(1/3)A.静态模型12/261回归模型表述—静态模型(2/3)在数理统计中,回归式(1)表示的是静态系统,即过程输出y(k)与过去的观测数据向量(i-1)和统计噪声w(i)无直接时间上的逻辑(因果)关系,i<k.对静态回归系统(1)的统计回归问题,一般有如下假定:(1)观测数据向量(k)中各分量可直接测量或根据测量推算得之;(2)噪声w(k)为零均值噪声,且与观测数据向量(k-1)完全统计独立.下面先回顾一个数理统计中常见的回归问题.1/4/2023621回归模型表述—静态模型(2/3)在数理统计中,回归式(11回归模型表述—静态模型(3/3)—例1例1某化工反应过程其反应产生的某成分的单位产生速率y与n个参加反应的化学物质的浓度xi有关.若该关系可用线性关系建模,则可得如下回归关系描述y=a1x1+a2x2+…+anxn=T其中ai为回归系数,描述回归因素xi与回归量y的相关系数;=[x1x2…xn]T

=[a1a2…an]T某化工(热工)过程对例1,只要将实验中采集的多组实验数据,利用下面讨论的LS法,即可回归出相关系数ai.1/4/2023631回归模型表述—静态模型(3/3)—例1例1某化工反应过1回归模型表述—动态模型(1/7)B.动态模型20世纪中期,LS法引入到系统和控制科学中动态系统建模的系统辨识和参数估计中.对实际的被控对象，在其工作点附近，其动力学模型可用线性动态模型描述。1/4/2023641回归模型表述—动态模型(1/7)B.动态模型12/261回归模型表述—动态模型(2/7)如下图所示的直流电机，其电气主回路的电阻与电感、机械转动系统在一定工作范围内都可用线性动静态模型描述。1/4/2023651回归模型表述—动态模型(2/7)如下图所示的直流电机，其1回归模型表述—动态模型(3/7)因此，在动态系统辨识中,所讨论的系统中较典型的如下述定常单输入单输出(SISO)线性系统的数学模型(亦称为受控XAR模型)A(z-1)y(k)=B(z-1)u(k)+w(k)(2)其中y(k),u(k)和w(k)分别为系统输出,输入和随机扰动;1/4/2023661回归模型表述—动态模型(3/7)因此，在动态系统辨识中,1回归模型表述—动态模型(4/7)上述的定常SISO线性系统的数学模型也可表示成如下的自回归方程式y(k)=T(k-1)+w(k)(3)式中在动态系统的辨识中,所讨论的问题是如何利用已知的或检测到的系统(2)的输入输出数据,确定多项式A(z-1)和B(z-1)的未知系数,即自回归方程(3)中的回归参数向量.1/4/2023671回归模型表述—动态模型(4/7)上述的定常SISO线性系1回归模型表述—动态模型(5/7)对动态系统(2)的辨识问题,先明确如下一些基本假设和基本关系.(1)假定模型(2)的阶次或阶次的上界na和nb已知;(2)系统输入输出数据u(k)和y(k)可直接测量或可根据其它直接测量量推算得之;(3)噪声w(k)为零均值噪声,且与系统输入u(k-1)统计独立.1/4/2023681回归模型表述—动态模型(5/7)对动态系统(2)的辨识问1回归模型表述—动态模型(6/7)由前面所定义的回归方程(1)和自回归方程(3)可知,静态系统辨识和动态系统辨识的共同之处为其辨识模型都可归纳为一统一的回归方程.两者不同之处在于,动态系统自回归方程的观测数据向量(k-1)中包含有以往时刻的系统输出y(k-1),...,y(k-na).这样,就使得在上述关于u(k-1)与w(k)统计独立的假定并不能保证观测数据向量(i)与噪声w(j),对任意的i和j都统计独立.因此,静态系统和动态系统的参数估计问题既有共性又有不同之处.1/4/2023691回归模型表述—动态模型(6/7)由前面所定义的回归方程(1回归模型表述—动态模型(7/7)对前面给出的回归方程式(1)和(3),当在k=1,2,...,L,已知系统(1)或(3)的观测数据向量(k-1)时,回归方程式(1)和(3)又可写成如下统一的向量式回归方程YL=L+WL(4)式中YL=[y(1),y(2),...,y(L)]TWL=[w(1),w(2),...,w(L)]TL=[(0),(1),...,(L-1)]T,L×(na+nb)1/4/2023701回归模型表述—动态模型(7/7)对前面给出的回归方程式(2基本算法(1/14)2基本算法对统一的回归方程式,下面讨论LS参数估计方法,然后再分别给出其不同的参数估计值的统计特性分析.LS法最早用于方程求解,数据拟合和数理统计中.所谓最小二乘(LeastSquare),即指其追求在方程求解、拟合和建模中的误差平方和最小.二乘即为平方的意思.对系统辨识问题,即为系统辨识定义三要素中的等价准则(函数)为模型的辨识误差的平方和最小.1/4/2023712基本算法(1/14)2基本算法12/26/2022162基本算法(2/14)LS法的思想是由已知的观测数据对如下准则函数求取最优解而获得未知参数q的估计值式中lk>0为加权因子;LL=diag{l1,l2,...,lL}为加权矩阵.(5)1/4/2023722基本算法(2/14)LS法的思想是由已知的观测数据对如下2基本算法(3/14)引入加权因子的目的是考虑到观测数据的可信度和噪声w(k)的分布对估计值有较大影响,从而利用对观测数据加权而减消其对LS估计的影响.若有理由认为某步的观测数据可靠和重要性程度高,可将该步的加权因子相对取得大一些.1/4/2023732基本算法(3/14)引入加权因子的目的是考虑到观测数据的2基本算法(4/14)下面讨论由函数极值理论,根据准则函数求极值来推导LS法.由于对准则函数求极值涉及对向量变量的偏导,下面先给出对向量变量的导数公式:标量f对n维向量x的导数f/x=[f/x1

f/x2…f/xn]Tm维向量y对n维向量x的导数1/4/2023742基本算法(4/14)下面讨论由函数极值理论,根据准则函数2基本算法(5/14)在不混淆的情况下,向量间导数又记为基于上述向量对向量的导数,有1/4/2023752基本算法(5/14)在不混淆的情况下,向量间导数又记为基2基本算法(6/14)内积对向量的导数.由上述定义的向量和矩阵的导数,有1/4/2023762基本算法(6/14)内积对向量的导数.由上述定义的向量2基本算法(7/14)加权内积对向量的导数.

由上述定义的内积对的导数,有基于上述矩阵、向量对向量的导数的定义,下面进行对LS辨识的准则函数进行求极小化.1/4/2023772基本算法(7/14)加权内积对向量的导数.由上述定义的2基本算法(8/14)由函数优化理论知,使得准则函数为最小的未知变量向量q应满足其对q的偏导为零的函数最优化的必要条件.根据上述向量导数,因此有1/4/2023782基本算法(8/14)由函数优化理论知,使得准则函数为最小这就是加权LS公式2基本算法(9/14)即因此,LS解即为求解上述正则方程.当LTLL可逆时,即信号充分丰富时,则可求得q的如下加权LS估计上面讨论的是极小值的必要条件，其充分条件为：即指标函数的2阶偏导矩阵为正定（偏导大于零）。1/4/202379这就是加权LS公式2基本算法(9/14)即因此,LS解即为2基本算法(10/14)对指标函数求2阶偏导，有因LL为正定矩阵,故只要LTLL可逆即为正定矩阵,即所以加权LS估计qWLS使得J(q)=min,即qWLS是LS指标函数的唯一最优解.1/4/2023802基本算法(10/14)对指标函数求2阶偏导，有因LL为正2基本算法(11/14)因此,所谓LS估计,即通过实验观测数据,构造出系统输出数据向量YL与观测数据矩阵L,然后进行如下矩阵数值计算加权LS估计解的特例当加权矩阵LL取为单位矩阵I时,则加权LS估计qWLS退化成如下一般LS估计1/4/2023812基本算法(11/14)因此,所谓LS估计,即通过实验观测2基本算法(13/14)对系统辨识问题,还存在一个可辨识性问题.当给定输入输出数据时,对假定的模型结构是否能唯一地确定模型的参数,这就是可辨识问题.在上述LS估计问题中,可辨识性即为基于参数模型的辨识问题归结的模型参数的LS最优化问题是否存在唯一解问题.可辨识性直接与系统的结构、系统的输入输出信号的性质相关.与系统结构的关系对输入输出模型,要求系统阶次准确已知,系统传递函数模型的分子分母互质.对状态空间模型,要求系统能控并能观.1/4/2023822基本算法(13/14)对系统辨识问题,还存在一个可辨识性2基本算法(14/14)与输入信号的关系.要求过程的所有模态都必须被输入信号“持续激励”,即系统的输入输出信息“充分丰富”.此外系统的观测数据矩阵L的各列线性无关,输入u(k)应有充分的变化(其频带较宽),还要与输出y(k)相对“独立”.对输出反馈闭环系统,反馈环应存在纯滞后环节.LS估计的可辨识条件为矩阵LTLL必须是非奇异的.常用的输入信号:随机序列、伪随机序列、频带较宽的离散序列.1/4/2023832基本算法(14/14)与输入信号的关系.12/26/20最小二乘估计的统计特性1）无偏性对某一种估计算法，若其估计量的数学期望等于被估计量的真值，即：其中为参数的真值。则称该估计为无偏的。否则称为有偏估计。称为偏差。

无偏估计的含义：同一个待辨识对象的不同组输入输出数据所得到的各估计量将围绕参数的真值而上下摆动。

对于最小二乘估计，若残差序列{e(k)}是独立的零均值白噪声序列，则最小二乘估计是无偏的。1/4/202384最小二乘估计的统计特性其中为参数的真值。则称该估计因为两边取数学期望1/4/202385因为两边取数学期望12/26/2022302）有效性方差：随机变量与其均值的偏离程度的衡量。因此估计量的方差越小，则该估计量处于参数真值附近的概率就越大。设是关于的两个无偏估计，若的方差小于的方差，则称比有效。称对参数的一个估计算法为有效的，若其它任一种算法所得到的估计量的方差都比该估计算法所得的估计量的方差要大。

对于最小二乘估计，若残差序列{e(k)}是同分布、零均值、方差为的白噪声序列，则方差阵为：1/4/202386是关于的两个无偏估计，若如果无偏估计满足Cov()=M-1，则称估计为有效的。其中：称为Fisher信息矩阵，其逆M-1称为Crammer-Rao下界。在一般情况下，有Crammer-Rao不等式：Cov()=E{(-)(-)T}≥M-11/4/202387如果无偏估计满足Cov()=M-1，则称估计为有效的。其中：3）一致性检验在待辨识对象的一次试验或观察中的观测次数(输入输出数据的个数)N越多时，估计量是否越接近被估计量的参数真值。即若下式成立则称估计量有一致性。换句话说：当样本数N无限增大时，若估计量以概率1收敛于真值，则称这样的估计为一致性估计。

对于最小二乘估计，若残差序列{e(k)}是同分布、零均值、方差为的白噪声序列，则它是一致性估计。这是因为：

若u(k)是持续激励的，则依概率1收敛于一个正定矩阵，并且由于方差是有界的，因此1/4/202388则称估计量有一致性。换句话说：当样本数N无限增大时，若即：当时以概率1收敛于真值。即：综上所述，当残差为白噪声时，最小二乘估计是无偏的，有效的和一致的。1/4/202389即：当时以概率1收敛于真值4LS法的应用例子(1/1)3最小二乘法的应用例子为加深对LS辨识算法的理解,下面讨论几个LS辨识方法应用的小例子.测电阻实验数据处理

线性曲线拟合

非线性曲线拟合

不相容方程组

1/4/2023904LS法的应用例子(1/1)3最小二乘法的应用例子12/4LS法的应用例子--例2(1/6)A.测电阻实验数据处理例2某电路实验课,测得某电阻两端的电压和通过其间的电流分别为Vi和Ii,其中i为实验数据的组号.试根据L组该实验数据,推算电阻值R.解由电路理论,电阻的电流与电压满足如下欧姆定律V=RI(11)1/4/2023914LS法的应用例子--例2(1/6)A.测电阻实验数据处基于上述欧姆定律,利用实验数据来推算电阻值的问题,可视为静态系统辨识(回归分析)问题.因此,将L组实验数据分别代入上述欧姆定律,则可得如下向量回归方程YL=L(12)式中=[R];YL=[V1,V2,...,VL]TL=[I1,I2,...,IL]T因此,由上述LS辨识算法,有4LS法的应用例子--例2(2/6)1/4/202392基于上述欧姆定律,利用实验数据来推算电阻值的问题,可视为静态4LS法的应用例子--例2(3/6)一般在进行实验数据处理时,推算电阻值R采用如下算术平均值可以证明,若将在实验中的所有扰动和测量误差都等效地综合反映在方程(11)等式左边的电压上且可以用白噪声w描述,即方程(11)可描述为V=RI+w则LS估计(13)的估计误差的方差可能将远远小于算术平均值估计(14).这就是说,LS法比算术平均法提供更精确的估计值.上述结论可证明如下:1/4/2023934LS法的应用例子--例2(3/6)一般在进行实验数据处理设电压测量值中包含有噪声,即Vi=RIi+wi因此有4LS法的应用例子--例2(4/6)而对一般算术平均值,有1/4/202394设电压测量值中包含有噪声,即4LS法的应用例子--例2(4若噪声wi为同分布的白噪声(即wi与wj统计独立),则有E(RLS)=E(Raverage)=R即两种方法得到的估计值都为期望值无偏的,但对估计值的方差,有4LS法的应用例子--例2(5/6)1/4/202395若噪声wi为同分布的白噪声(即wi与wj统计独立),则有4可以证明,对任意的电流值4LS法的应用例子--例2(6/6)即V(RLS)V(Raverage)故LS估计方法的估计值比算术平均方法的估计值在期望值一致的情况下,但估计值的方差更小,即更加准确.n/(1/a1+1/a2+...+1/an)≤(a1a2...an)1/n≤(a1+a2+...+an)/n≤[(a12+a22+...+an2)/n]1/2调几算方不等式1/4/202396可以证明,对任意的电流值4LS法的应用例子--例2(6/64LS法的应用例子--例4(1/3)B.线性曲线拟合xi12345yi44.5688.5wi21311例4对给定的实验数据点(yi,xi),试用自变量x的n阶多项式函数进行曲线拟合.对例4,可列出如下拟合式y=a0+a1x+a2x2+…+anxn=φT(k-1)其中ai为回归系数;φ=[1x

…xn]T;=[a0

a1…an]T1/4/2023974LS法的应用例子--例4(1/3)B.线性曲线拟合xi只要将待拟合的数据点(yi,xi)代入上述拟合式,利用前面得到的LS估计式,即可回归出相关系数ai.4LS法的应用例子--例4(2/3)xi12345yi44.5688.5wi21311若待拟合的实验数据点(yi,xi)如上表所示,从数据坐标图(右图)中看到各点在一条直线附近.1/4/202398只要将待拟合的数据点(yi,xi)代入上述拟合式,利用前面得故可选择线性函数作拟合曲线,即令拟合函数为y=a0+a1x由加权LS估计式,可求得拟合函数为y=2.