第03讲-LS法讲解

1、2021/3/261 系统辨识篇目录(1/1) 系统辨识篇系统辨识篇 q 第01讲 系统辨识概论 q 第02讲 理论知识准备 q 第03讲 最小二乘法 q 第04讲 递推最小二乘法 q 第05讲 处理有色噪声扰动的最小二乘类方法 q 第06讲 随机逼近法 q 第07讲 多输入多输出系统辨识 q 第08讲 辨识算法比较 q 第09讲 系统辨识研究的发展与问题 2021/3/262 第三讲第三讲 LS法法(1/4) 第三讲 最小二乘法 q 最小二乘(Least Square,以下简 称LS)法是1795年高斯(Gauss)在 星体运动预报研究工作中提出来 的. 2021/3/263 第三讲第三讲

2、LS法法(2/4) LS法在数学各种分支以及其它应用科学中有广泛应用,如: 数学数学 v 计算数学中的曲线拟合和函数逼近 v 概率统计中的回归分析与参数估计 v 非相容(矛盾)方程解理论中的LS解 系统与控制科学系统与控制科学 v 实验建模(系统辨识) 测量理论中的误差分析测量理论中的误差分析 2021/3/264 第三讲第三讲 LS法法(3/4) q 系统与控制科学中的随机离散系统辨识的参数估计方法是从 数学中的概率统计理论发展而来的. 只不过,系统辨识更关注的是动态系统模型的参数估计问 题. LS法是概率统计中参数估计的主要方法,也为系统与控制 科学中系统辨识的主要参数估计方法. 由于LS

3、法原理简单,易于理解,与实际要求吻合,求解与应 用也并不困难,所以它颇受人们的重视,应用相当广泛. 2021/3/265 第三讲第三讲 LS法法(4/4) q 本讲主要讲授: 回归模型表述回归模型表述 LS法的基本原理和算法法的基本原理和算法, LS估计的数值计算估计的数值计算, LS法的应用例子法的应用例子,及其 LS估计值的统计特性分析估计值的统计特性分析. 2021/3/266 1 回归模型表述回归模型表述(1/1) 1 回归模型表述回归模型表述 q 在讨论LS算法之前,下面先讨论在统计回归与系统辨识中的 回归模型. 静态模型静态模型(回归模型) 动态模型动态模型(自回归模型) 2021

4、/3/267 1 回归模型表述回归模型表述静态模型静态模型(1/3) A. 静态模型静态模型 q 在数理统计中参数估计所讨论的模型可用如下回归式表示 y(k)= (k-1) +w(k) (1) 其中y(k)为过程输出, (k)为n维观测数据向量, 为n维回归参数向量, w(k)为统计噪声或误差. q 对回归模型(1),其参数估计问题是: 基于已知的观测数据向量 (k)在回归误差平方最小的意 义下求解回归参数向量 . 2021/3/268 1 回归模型表述回归模型表述静态模型静态模型(2/3) q 在数理统计中,回归式(1)表示的是静态系统,即过程输出y(k)与 过去的观测数据向量 (i-1)和

5、统计噪声w(i)无直接时间上的逻 辑(因果)关系,i0为加权因子; L LL=diagl1, l2, ., lL为加权矩阵. 2021/3/2619 2 基本算法基本算法(3/14) q 引入加权因子的目的是考虑到观测数据的可信度和噪声w(k) 的分布对估计值有较大影响,从而利用对观测数据加权而减消 其对LS估计的影响. 加权因子的取值可考虑如下因素: 1. 若有理由认为某步的观测数据可靠和重要性程度高, 可将该步的加权因子相对取得大一些. v 比如,若认为现时刻的观测数据比过去的要可靠 和重要性程度高,则可取lk=lL-k, 0l J -)( YY LLLLL J 所以加权LS估计WLS使得

6、J()=min,即WLS是LS指标函数 的唯一最优解. 2 LLLL J Y 2021/3/2627 2 基本算法基本算法(11/14) q 因此,所谓LS估计,即通过实验观测数据,构造出系统输出数据 向量YL与观测数据矩阵 L,然后进行如下矩阵数值计算 LLLLLL Y)( 1 WLS 关于上述LS估计的矩阵数值计算,将在后面加以讨论. q 下面讨论加权LS估计解的一些特例 (1) 一般一般LS估计估计. 当加权矩阵L LL取为单位矩阵I时,则加权LS估计WLS 退化成如下一般LS估计 )9()( 1 LSLLLL Y 2021/3/2628 2 基本算法基本算法(12/14) (2) Ma

7、rkov估计估计(最小方差估计最小方差估计). 当回归方程(3)的噪声向量W L的统计协方差矩阵 L=E(WLWL)已知时,取加权矩阵L LL= L-1,则此时的加 权LS估计WLS称为Markov估计MLS,其解的形式为 )10()( 111 MLSLLLLLL Y 2021/3/2629 2 基本算法基本算法(13/14) q 对系统辨识问题,还存在一个可辨识性问题. 当给定输入输出数据时,对假定的模型结构是否能唯一地 确定模型的参数,这就是可辨识问题. 在上述LS估计问题中,可辨识性即为基于参数模型的 辨识问题归结的模型参数的LS最优化问题是否存在 唯一解问题. 可辨识性直接与系统的结构

8、、系统的输入输出信号的性 质相关. 与系统结构的关系 v 对输入输出模型,则有求系统阶次准确已知,系统 传递函数模型的分子分母互质. v 对状态空间模型,则要求系统能控并能观. 2021/3/2630 2 基本算法基本算法(14/14) 与输入信号的关系. v 要求过程的所有模态都必须被输入信号“持续激 励”,即系统的输入输出信息“充分丰富”. o 此外系统的观测数据矩阵 L的各列线性无关, 输入u(k)应有充分的变化(其频带较宽),还要 与输出y(k)相对“独立”. o 对输出反馈闭环系统,反馈环应存在纯滞后环 节. o LS估计的可辨识条件为矩阵 LL LL L必须是 非奇异的. v 常用

9、的输入信号:随机序列、伪随机序列、频带 较宽的离散序列. 2021/3/2631 3 LS估计的数值计算估计的数值计算(1/3) LLLLLL Y)( 3 最小二乘估计的数值计算最小二乘估计的数值计算 q LS估计的计算主要是寻找具有良好数值特性的 正定矩阵 LL LL L的矩阵求逆数值算法,或 求解正则方程正则方程(即为多元线性一次方程组)的数值方法 1 WLS ( ) LLLLLL Y 2021/3/2632 3 LS估计的数值计算估计的数值计算(2/3) q 对正则方程的求解, 可以利用消元法等一系列求解一次线性方程组的方法. 但有时在求解该方程组是会出现矩阵接近于奇异(行列式 数值接近

10、于零,或矩阵的条件数偏大),即所谓“病态病态”的 情况. 由此导致参数估计的结果不稳定,不可信. 出现上述情况的原因可能是由于 v 信号不充分丰富 o 被辨识的过程受到的外加激励不够, o 采样间隔太密; v 或者A/D转换的位数太短,计算舍入误差累计所致. 2021/3/2633 3 LS估计的数值计算估计的数值计算(3/3) 为解决LS计算中可能出现的病态问题,提出了基于矩阵分 解方法的不少改进算法(具体可参阅关于计算方法的文献), 例如: Householder变换法、 改进的平方根法和 U-D分解算法. v 该方法是Bierman 1977提出的改善逆矩阵 ( LL LL L)-1计算

11、性质(对称性、正定性和稳定性) 而又不增加计算量的算法. 总之,我们在使用LS的辨识方法时,应该注意避免出现和克 服病态问题. 2021/3/2634 4 LS法的应用例子法的应用例子(1/1) 3 最小二乘法的应用例子最小二乘法的应用例子 q 为加深对LS辨识算法的理解,下面讨论几个LS辨识方法应用 的小例子. 测电阻实验数据处理测电阻实验数据处理(例例2) 一阶化工被控系统辨识一阶化工被控系统辨识(例例3) 线性曲线拟合线性曲线拟合(例例4) 非线性曲线拟合非线性曲线拟合(例例5) 不相容方程组不相容方程组(例例6) 2021/3/2635 4 LS法的应用例子法的应用例子-例例2(1/6

12、) A. 测电阻实验数据处理测电阻实验数据处理 q 例例2 某电路实验课,测得某电阻两端的电压和通过其间的电流 分别为Vi和Ii,其中i为实验数据的组号. 试根据L组该实验数据,推算电阻值R. q 解 由电路理论,电阻的电流与电压满足如下欧姆定律 V=RI (11) 2021/3/2636 基于上述欧姆定律,利用实验数据来推算电阻值的问题, 可视为静态系统辨识(回归分析)问题. 因此,将L组实验数据分别代入上述欧姆定律,则可得如下 向量回归方程 YL= L (12) 式中 =R; YL=V1, V2, ., VL L=I1, I2, ., IL 因此,由上述LS辨识算法,有 4 LS法的应用例

13、子法的应用例子-例例2(2/6) )13()( 1 2 1 1 LSLS L i i L i iiLLLL IIVRY 2021/3/2637 4 LS法的应用例子法的应用例子-例例2(3/6) 一般在进行实验数据处理时,推算电阻值R采用如下算术 平均值 q 可以证明,若将在实验中的所有扰动和测量误差都等效地综合 反映在方程(11)等式左边的电压上且可以用白噪声w描述,即 方程(11)可描述为 V=RI+w 则LS估计(13)的估计误差的方差可能将远远小于算术平均值估 计(14). 这就是说,LS法比算术平均法提供更精确的估计值法比算术平均法提供更精确的估计值. 上述结论可证明如下: )14(

14、 11 11 average L i i i L i i I V L R L R 2021/3/2638 q 设电压测量值中包含有噪声,即 Vi=RIi+wi 因此有 4 LS法的应用例子法的应用例子-例例2(4/6) 而对一般算术平均值,有 L i i L i ii L i i L i iii L i i L i ii I Iw R I IwRI I IV R 1 2 1 1 2 1 1 2 1 LS )( L i i i L i i ii L i i i I w L R I wRI LI V L R 111 average 111 2021/3/2639 若噪声wi为同分布的白噪声(即wi

15、与wj统计独立),则有 E(RLS)=E(Raverage)=R 即两种方法得到的估计值都为期望值无偏的,但对估计值 的方差,有 4 LS法的应用例子法的应用例子-例例2(5/6) L i iw L i i L i iw L i i L i ii I IIIIwR 1 22 2 1 2 1 22 2 1 2 1 LS / /E)(V L i i w L i i w L i i i ILILI w L R 1 22 2 1 2 2 2 2 1 average 111 E)(V 2021/3/2640 可以证明,对任意的电流值 4 LS法的应用例子法的应用例子-例例2(6/6) L i i L i

16、 i IL I 1 22 1 2 11 1/ 即 V(RLS)V(Raverage) 故LS估计方法的估计值比算术平均方法的估计值在期望 值一致的情况下,但估计值的方差更小,即更加准确. 2021/3/2641 B. 一阶化工被控系统辨识一阶化工被控系统辨识 q 例例3 对某化工被控系统,通过实验可测取得输入输出的采样值 (ui,yi),其中i为采样次数. 试根据L组实验数据,用1阶离散系统辨识该化工被控系统. q 解 设描述该被控系统的1阶系统的模型如下 yk+1=-a1yk+b1uk+wk+1 (15) 将L组实验数据分别代入上述模型,则可得如下回归方程 YL= L +WL (16) 式中

17、 =-a1 b1; YL=y1, y2, ., yL 4 LS法的应用例子法的应用例子-例例3(1/5) 2021/3/2642 因此,由上述LS辨识算法,有 4 LS法的应用例子法的应用例子-例例3(2/5) 2 1 11 1 2 1 1 2 1 1 1 - 1 1 -1 - 1 1 - 1 2 1 - 1 1 - 1 1 -1 - 1 1 - 1 2 1 - 1- LS - - - )( L i kk L i k L i k L i kk L i kk L i kk L i k L i kk L i kk L i kk L i k LLLL uyuy yyuyuyy uyuyyyu Y 1

18、1 00 . LL L uy uy 2021/3/2643 4 LS法的应用例子法的应用例子-例例3(3/5) 当输入uk为平稳随机序列且系统为稳定的, 此时系统的输出亦为平稳的随机序列, 可以证明,随着采样次数L趋于无穷,上述估计式最后收敛于 ) 1 ()0() 1 ()0( ) 1 ()0() 1 ()0( )0()0()0( 1 1 - 11 11 - 11 11 - 11 2 2 1 11 1 2 1 1 2 1 1 1 - 1 1 -1 - 1 1 - 1 2 1 - 1 1 - 1 1 -1 - 1 1 - 1 2 1 - LS yyuyuy yuyuyu yuuy L L i k

19、k L i k L i k L i kk L i kk L i kk L i k L i kk L i kk L i kk L i k RRRR RRRR RRR uy L u L y L yy L uy L uy L y L uy L uy L yy L u L 2021/3/2644 4 LS法的应用例子法的应用例子-例例3(4/5) 其中Ry()和Ry()为自相关函数, Ryu()为互相关函数. q 下面通过分析上述相关函数证明对于本例研究的动态系统辨 识,LS估计可以得到无偏一致估计. 对式(15)所描述的系统有 Ryu(1)=Eyk+1uk =E(-a1yk+b1uk+wk+1)uk

20、 =-a1Ryu(0)+b1Ru(0) Ry(1)=Eyk+1yk =E(-a1yk+b1uk+wk+1)yk =-a1Ry(0)+b1Ryu(0) 2021/3/2645 4 LS法的应用例子法的应用例子-例例3(5/5) 1 1 2 1111 1111 2 LS - )0(-)0()0( )0()0(-)0(-)0()0(-)0( )0()0(-)0(-)0()0(-)0( ) 1 ()0(-) 1 ()0( ) 1 ()0(-) 1 ()0( )0(-)0()0( 1 b a RRR RbRaRRbRaR RbRaRRbRaR RRRR RRRR RRR yuuy yuyyuuyuy u

21、yuyuyuyu yyuyuy yuyuyu yuuy 即对于上述动态系统,LS估计值可收敛于所需估计的参数. q 下面通过例子说明上述LS法还可以用于求解计算数学中曲 线拟合问题、方程论中不相容(矛盾)方程求解问题. 因此,有 2021/3/2646 4 LS法的应用例子法的应用例子-例例4(1/3) C. 线性曲线拟合线性曲线拟合 xi12345 fi4 4.5 68 8.5 wi21311 q 例例4 对给定的实验数据点(yi,xi),试用 自变量x的n阶多项式函数进行曲线 拟合. 对例4,可列出如下拟合式 y=a0+a1x+a2x2+anxn=(k-1) 其中ai为回归系数; =1 x

22、 xn; =a0 a1 an 2021/3/2647 只要将待拟合的数据点(yi,xi)代 入上述拟合式,利用前面得到的 LS估计式,即可回归出相关系数 ai. 4 LS法的应用例子法的应用例子-例例4(2/3) xi12345 fi4 4.5 68 8.5 wi21311 若待拟合的实验数据点(yi,xi)如上表所示,从数据坐标图 (右图)中看到各点在一条直线附近. 2021/3/2648 故可选择线性函数作拟合曲线,即令拟合函数为 y=a0+a1x 由加权LS估计式,可求得拟合函数为 y=2.77+1.13x 该拟合函数如图所示. 4 LS法的应用例子法的应用例子-例例4(3/3) 2 4

23、 6 8 10 0246 f(x) y 2021/3/2649 C. 非线性曲线拟合非线性曲线拟合 q 上述针对线性模型回归分析、系统辨识和曲线拟合中的LS法, 还可以应用于一些特殊的(即可通过模型变换为具有线性参数) 非线性模型的回归分析、系统辨识和曲线拟合问题. q 例例5 在某化学反应里,根据实验所得生成物的浓度与时间关系 如下表,求浓度y与时间t的拟合曲线y=f(t) 4 LS法的应用例子法的应用例子-例例5(1/9) t12345678 f4.006.408.008.809.229.509.709.86 t910111213141516 f 10.0 0 10.2 0 10.3 2

24、10.4 2 10.5 0 10.5 5 10.5 8 10.6 0 2021/3/2650 4 LS法的应用例子法的应用例子-例例5(2/9) f(t) 3 5 7 9 11 024681012141618 f(t) 2021/3/2651 q 解解 从数据坐标图,我们看到开始时浓度增加较快,后来逐渐减 弱,到一定时间就基本稳定在一个数上,即当t时,y趋于某个 数,故有一水平渐近线. 另外,t=0时,反应未开始,浓度为0. 根据这些特点,可设想y=f(t)是双曲线型1/y=a+b/t,即y= t/(at+b).它与给定数据的规律大致符合. 为了确定a、b,令 y=1/y, x=1/t, 于是

25、可用x的线性函数y(x)=a+bx拟合数据(xi,yi)(i=1, 16),xi,yi由原始数据(ti,yi)根据变换计算出来. 4 LS法的应用例子法的应用例子-例例5(3/9) 2021/3/2652 由前面的LS估计式,解得 a=0.0806621, b=0.1616822 从而得到 y1=t/(0.0806621t+0.1616822). 由本例的数据坐标图可看出,符合给定数据的函数还可选 为指数形式.此时可令拟合曲线形如 y=aeb/t, 显然,当t时,ya,当t0时,若b0,则y0,且t增加时y 增加,与给出数据规律相同.为了确定a与b,对上式两边取 对数,得 lny=lna+b/

26、t 4 LS法的应用例子法的应用例子-例例5(4/9) 2021/3/2653 令 y=lny, A=lna, x=1/t, 于是由(ti,yi)计算出(xi,yi),拟合数据(xi,yi)(i=1,16)的曲线仍 为S2(x)=A+bx. 由前面的LS估计式,解得 A=2.42704, b=-1.0567, 从而求得 y2=11.3253e-1.0567/t q 所得到的2个拟合函数的效果如下图所示. 4 LS法的应用例子法的应用例子-例例5(5/9) 2021/3/2654 4 LS法的应用例子法的应用例子-例例5(6/9) 3 5 7 9 11 024681012141618 f(t)

27、y1 y2 2021/3/2655 q 下面简单比较两种非线性曲线拟合的效果. 为此先定义在数据点上的拟合误差 4 LS法的应用例子法的应用例子-例例5(7/9) 16,.,1 )( )( 2 (2) 1 (1) i tyy tyy iii iii 本例经过计算可得两种拟合曲线的最大误差点(拟合误差 的-范数)分别为 277. 0|max ,568. 0|max )2(2) )1(1) i i i i 2021/3/2656 4 LS法的应用例子法的应用例子-例例5(8/9) 而均方误差(拟合误差的2-范数)分别为 085. 0) ( 1 ,297. 0) ( 1 1 2)2( 2 (2) 1

28、 2)1( 2 (1) m i i m i i m m 由此可知|(2)|2及|(2)|都比较小,所以用y=y2(t)作拟合 曲线比较好,即对本例, 指数模型就比双曲线模型拟合程度要好得多. 2021/3/2657 4 LS法的应用例子法的应用例子-例例5(9/9) q 从本例看到选择拟合曲线、回归分析和系统辨识的数学模型, 包括数学模型中的自变量因素的个数、非线性函数的形式(即 辨识中的模型类)并不是一开始就能选得好, 往往通过分析确定若干模型后, 再经过实际计算才能选到较好的模型. 2021/3/2658 4 LS法的应用例子法的应用例子-例例6(1/2) E. 不相容方程不相容方程组组

29、q 例例6 试求如下不相容(矛盾)方程组使方程组误差LS意义解 22 62 3 21 21 21 xx xx xx 上式可列为如下向量回归式 2 6 3 12 21 11 2 1 x x 2021/3/2659 4 LS法的应用例子法的应用例子-例例6(2/2) 根据前面讨论的LS式,则有使上述不相容方程组的方程误 差LS意义的解为 37/11 7/11 2 6 3 121 211 12 21 11 121 211 1 LS 2 1 x x 方程残差为: 1/11 1/11 3/11 2 6 3 12 21 11 2 1 x x 2021/3/2660 5 统计特性统计特性(1/8) 5 统计

30、特性统计特性 q 对于应用者来说,上述的LS估计值的质量,即它的统计特性如 何是一个相当重要的问题. 下面我们分别给出关于静态系统的LS估计值的如下统计 特性的定理. 无偏性无偏性(定理1) 有效性有效性(定理2) 一致性一致性(定理3) 以及关于动态系统LS估计值的无偏一致性无偏一致性(定理4)的定理. 2021/3/2661 5 统计特性统计特性(2/8)定理定理1 q 定理1 如果静态系统(1)的噪声向量WL的均值为零,且与观测 数据矩阵 L统计独立,则加权LS参数估计值 WLS是无偏估计量, 即 E WLS=0 (17) 式中 0表示参数的真实值. q 证明 根据(7)式和本定理条件,

31、参数估计值 WLS的数学期望为 )(EE 1 WLSLLLLLL Y 所以 WLS是无偏估计值.(证毕). 0 1 0 0 1 )(E )()(E LLLLLL LLLLLLL W W 代入回归方程 2021/3/2662 5 统计特性统计特性(3/8) q 定理1告诉我们,对静态系统(1),只要WL与 L统计独立,利用LS 法可以获得无偏一致估计量. 值得指出的是该定理中并未要求扰动量WL一定是白噪声. q 无偏性仅反映的是参数估计值与真实值之间偏差的期望(统计 平均)是否为零,不能反映参数估计值与真实值之间实际偏差 可能的大小(参数估计值与真实值之间偏离的程度). 为此,引入度量参数估计值与真实值之间偏离的程度的有 效性度量(参数估计值与真实值之间偏差的协方差). 2021/3/2663 5 统计特性统计特性(4/8)定理定理2 )18()()(E Cov 11 WLS LLLLLLLLLLL q 证明 根据(7)式和定理2的条件,有 -)()