最小二乘参数辨识方法及原理PPT课件

1、1系统辨识第第4章章 最小二乘参数辨识方法最小二乘参数辨识方法主讲教师：赵龙主讲教师：赵龙办公地点：新主楼办公地点：新主楼e402网网 站：站：email：21、最小二乘辨识的基本概念2、一般最小二乘辨识方法3、加权最小二乘辨识方法4、递推最小二乘参数辨识方法5、增广最小二乘辨识方法6、多变量最小二乘辨识方法 本章内容本章内容3 本章的学习目的本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识4 )(zg )(kt)(kym次独立试验的数据),(11yt),(22yt),(mmyt)

2、()()()(22110thathathaatfnn1、引言、引言 zt)(5 1801年初，天文学家皮亚齐发现了谷神星。1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。1802年又成功地预测了智神星的轨道。 高斯自己独创了一套行星轨道计算 理论。 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测1794年，高斯提出了最小二乘的思想。6 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1794年，高斯提出的最小二乘的基本原理是72、最小二乘辨识方法的基本概念、最小二乘辨识方法的基本概念通过试验确定热敏电阻阻值和温度间的关系 当

3、测量没有任何误差时，仅需2个测量值。 每次测量总是存在随机误差。btar8iiiiiibtayvryv或 使使 最小最小 /* minimax problem */ |max1iiniry 太复杂太复杂 使使 最小最小niiiry1|不可导，求解困难不可导，求解困难 使使 最小最小miiiry12|测量误差的平方和最小测量误差的平方和最小常见做法：常见做法：92.1 利用最小二乘法求模型参数利用最小二乘法求模型参数根据最小二乘的准则有niiiniibtarvj1212min)(根据求极值的方法，对上式求导niiiibbniiiaatbtarbjbtaraj110)(20)(10niiiibbn

4、iiiaatbtarbjbtaraj110)(20)(2niniiiniiininiiitrtbtartban112112111211211121niiniiniiniiniiiniiniiniiniiiniiniittntrtrnbttnttrtr122.1 利用最小二乘法求模型参数利用最小二乘法求模型参数762.702 a4344. 3bct 70168.943r2112111211211121niiniiniiniiniiiniiniiniiniiiniiniittntrtrnbttnttrtrabtar142.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 )(zg )(ku)(

5、ky)(kv)(kz图 3.4 siso 系统的“黑箱”结构 nnnnzazazazbzbzbkukyzg221122111)()()(niiniiikubikyaky11)()()(152.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 )(zg )(ku)(ky)(kv)(kz图 3.4 siso 系统的“黑箱”结构 若考虑被辨识系统或观测信息中含有噪声 )()()()(16)()()()(11kvikubikyakzniinii)(,),2(),1(),(,),2(),1()(nkukukunkykykykh如果定义tnnbbbaaa,2121)()()(kvkhkz2.2 一般最

6、小二乘法原理及算法一般最小二乘法原理及算法17)()()(kvkhkz)()2() 1 (mzzzzm)() 1()() 1()2 () 1 ()2 () 1 ()1 () 0 ()1 () 0 ()() 2 () 1 (nmumunmymynuunyynuunyymhhhhmtnnbbaa11tmmvvvv)()2() 1 (2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法mmmvhz182.2 一般最小二乘法原理及算法一般最小二乘法原理及算法min)()()(mmtmmhzhzj0)(2mmtmhzhjmtmmtmzhhh192.2 一般最小二乘法原理及算法一般最小二乘法原理及算法

7、mtmmtmzhhh1)(202.2 一般最小二乘法原理及算法一般最小二乘法原理及算法11)()()(mtmmtmmtmthhrhhhhe21证明：mtmmtmzhhh1)()()()(1mtmmtmzhhheee)()()()(11mtmmtmmtmmtmzhhhhhhhee)()(1mmtmmtmzhehhh)()(1mtmmtmvehhh2211)()()(mtmmtmmtmthhrhhhhe证明：11)()()()(mtmmtmmtmmtmthhhvvehhhe11)()(mtmmtmmtmhhrhhhh根据第（1）式的证明，显然有232.2 一般最小二乘法原理及算法一般最小二乘法原理

8、及算法解：由题意得量测方程222vhz212zzz112hrrr24)(2111111121211zzzzrrrret45111111400111111)(112.2 一般最小二乘法原理及算法一般最小二乘法原理及算法222vhz212zzz112hrrr252.3 加权最小二乘法原理及算法加权最小二乘法原理及算法 一般最小二乘估计精度不高的原因之一是对测量数据同等对待 各次测量数据很难在相同的条件下获得的 有的测量值置信度高，有的测量值置信度低的问题 对不同置信度的测量值采用加权的办法分别对待 置信度高的，权重取得大些；置信度低的，权重取的小些min)()()(mmtmmhzhzjmin)()

9、()(mmmtmmhzwhzj )(,),2(),1 (diagm26min)()()(mmmtmmhzwhzj2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法0)(2mmmtmhzwhjmmtmmmtmzwhhwh1)(272.3 加权最小二乘法原理及算法加权最小二乘法原理及算法11)()()(mmtmmmmtmmmtmthwhhrwwhhwhe282.3 加权最小二乘法原理及算法加权最小二乘法原理及算法mmtmmmtmzwhhwh1)(mtmmtmzrhhrh111)(马尔可夫估计马尔可夫估计11)()()(mmtmmmmtmmmtmthwhhrwwhhwhe1111)()()(m

10、tmmmtmmmmtmmmtmhrhhwhhrwwhhwh292.3 加权最小二乘法原理及算法加权最小二乘法原理及算法30例例3.2 用用2台仪器对未知标量各直接测量一次，台仪器对未知标量各直接测量一次，量测量分别为量测量分别为z1和和z2，仪器的测量误差均值为，仪器的测量误差均值为0，方，方差分别为差分别为r和和4r的随机量，求其最小二乘估计，并的随机量，求其最小二乘估计，并计算估计的均方误差。计算估计的均方误差。2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法212zzz112h解：由题意得量测方程222vhzrrrwm4100112121151544100111114100111

11、zzzzrrrrrrrrrrrret541141001111140011114100111)(31例3.4 考虑仿真对象)() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kvkukukzkzkz)() 2() 1() 2() 1()(2121kvkubkubkzakzakz选择如下的辨识模型进行一般的最小二乘参数辨识。 iwm2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法324阶m序列输出信号)16()4() 3(zzzzm)14()15()14()15()2()3()2()3() 1 ()2() 1 ()2()16()4()3(uuzzuuzzuuzzhhhhm

12、2121bbaamtmmtmzhhh1)(34 开始 产生输入信号 m 序列 产生输出信号 z（k） 给出样本矩阵mh和mz 估计参数 分离估计参数1a、2a、1b和2b 结束 画图：输入/输出信号和估计参数 一般最小二乘参数辨识流程图353.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 )(zg )(ku)(ky)(kv)(kz图 3.4 siso 系统的“黑箱”结构 一般最小二乘或加权最小二乘为一次完成算法或批处理算法。 计算量大、存储大、不适合在线辨识。 采用参数递推估计递推最小二乘算法。 363.3 递推最小二乘法原理及算法递推最小二乘法原理及算法mmtmmmtmmzwhhwh

13、1)() 1() 1() 1(mvmhmz111mmmvhz373.3 递推最小二乘法原理及算法递推最小二乘法原理及算法111mmmvhz) 1(1mzzzmm) 1(1mhhhmm) 1(1mvvvmm11111111)(mmtmmmtmmzwhhwhmmtmmmtmmzwhhwh1)() 1(001mwww383.3 递推最小二乘法原理及算法递推最小二乘法原理及算法1mmtmmhwhp11111mmtmmhwhp如果设则有11111111)(mmtmmmtmmzwhhwhmmtmmmtmmzwhhwh1)(mmtmmmzwhp11111mmtmmmzwhp) 1(1mzzzmm) 1(1m

14、hhhmm) 1(001mwww39) 1() 1(00) 1(11mzzmwwmhhpmmttmmm) 1() 1() 1(11mzmwmhpzwhptmmmtmmmmtmmmzwhpmmmmtmpzwh1) 1() 1() 1(1111mzmwmhppptmmmmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法403.3 递推最小二乘法原理及算法递推最小二乘法原理及算法1)1() 1() 1(mhmwmhhwhtmmtm11) 1() 1(00) 1(mhhmwwmhhpmmttmm1111111)()(dabdacbaabcdamtmtmmmpmhmhpmhmwmhppp) 1

15、()1() 1() 1()1(111) 1() 1() 1(111mhmwmhpptmm111)1() 1() 1(mhmwmhppt41) 1() 1() 1(1111mzmwmhppptmmmmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法mtmmmmhmwmhpp)1() 1() 1(1111) 1() 1() 1(1mzmwmhptmmtmmmmhmwmhp) 1() 1() 1(11) 1() 1() 1(1mzmwmhptm) 1() 1()1() 1(11mtmmmmhmzmwmhp42) 1() 1()1() 1(11mtmmmmhmzmwmhp3.3 递推最小二乘

16、法原理及算法递推最小二乘法原理及算法) 1() 1(11mwmhpktmm令mtmtmmmpmhmhpmhmwmhppp) 1()1() 1() 1()1(111111)1() 1() 1()1(mhpmhmwmhpktmt43mtmtmmmpmhmhpmhmwmhppp) 1()1() 1() 1()1(111111)1() 1() 1()1(mhpmhmwmhpktmtmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法) 1() 1(11mmmmmhmzk443.3 递推最小二乘法原理及算法递推最小二乘法原理及算法)()() 1(453.3 递推最小二乘法原理及算法递推最小二乘法

17、原理及算法463.3 递推最小二乘法原理及算法递推最小二乘法原理及算法473.3 递推最小二乘法原理及算法递推最小二乘法原理及算法例3.5 对3.4采用递推最小二乘估计辨识模型参数 )() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kvkukukzkzkz)() 2() 1() 2() 1()(2121kvkubkubkzakzakz选择如下的辨识模型进行递推最小二乘参数辨识。 iw49 503.4 增广最小二乘法原理及算法增广最小二乘法原理及算法 )(zg )(ku)(ky)(kv)(kz图 3.4 siso 系统的“黑箱”结构 niiniiniiikvcikubikya

18、ky111)()()()(niiniiniiikvckvikubikyakz111)()()()()( )(zg )(ku)(ky)(kv)(kz)(zn )(51niiniiniiikvckvikubikyakz111)()()()()(3.4 增广最小二乘法原理及算法增广最小二乘法原理及算法)( ,),1( ),(,),2(),1(),(,),2(),1()(nkvkvnkukukunkykykykhtnnnccbbbaaa,12121)()()(kvkhkz) 1() 1(11mmmmmhmzkmtmtmmmpmhmhpmhmwmhppp) 1()1() 1() 1()1(111111)

19、1() 1() 1()1(mhpmhmwmhpktmt523.4 增广最小二乘法原理及算法增广最小二乘法原理及算法例3.6 考虑理想数学模型为选择如下的辨识模型进行增广递推最小二乘参数辨识。 iwm)2(2 . 0) 1()(2 . 1)2(5 . 0) 1()2(7 . 0) 1(5 . 1)(kvkvkvkukukzkzkz)2() 1()()2() 1()2() 1()(54 553.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 mrmmrwwwwww21112111v2vmv1u2uru1y2ymymimo系统563.5.1 多变量系统的最小二乘辨识的原理多变量

20、系统的最小二乘辨识的原理 mimo系统的子系统 57)()() 1()()() 1()(101kvnkubkubkubnkyakyakynn3.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 58)()() 1()()() 1()(101kvnkubkubkubnkyakyakynn)()()()(21kykykykym)()()()(21kukukukur)()()()(21kvkvkvkvmimmimimimiiimiiiaaaaaaaaaa212222111211ni, 1 imrimimiriiiriiibbbbbbbbbb212222111211ni, 1 ,

21、03.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 59)()() 1()()() 1()(101kvnkubkubkubnkyakyakynn)()()()()(11kvkuzbkyzaiininnzaizazaiza1111)(iininnzbzbzbbzb01101)(mrnnm) 1(2待辨识的参数：3.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 603.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 )()()()()(11kvkuzbkyza)()() 1()()() 1()(101kvnkubku

22、bkubnkyakyakynn)()()()(21212222111211ikyikyikyaaaaaaaaaikyamimmimimimiiimiii)()()()(21212222111211ikuikuikubbbbbbbbbikub613.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 )()()()()(11kvkuzbkyza)()() 1()()() 1()(101kvnkubkubkubnkyakyakynn)2() 1() 1()(1211111kyakyakyakyjmjmjj)()()2(112nkyankyakyamnjmnjmjm)

23、1()()()(1110202101kubkubkubkubjrjrjj)() 1() 1(111212nkubkubkubnjrjrj)()()(623.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 nk1令，可得到n个方程，并令) 2() 1() 1()(1211111kyakyakyakyjmjmjj)(nkyamnjm) 1()()()(1110202101kubkubkubkubjrjrjj)() 1() 1(111212nkubkubkubnjrjrj)()()(22kvnkubnkubjrnjrnj)()2(633.5.2 多变量系统的最小二乘

24、辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 )()()()(21ikyikyikyikymjni, 1 , 0)()2() 1 (nvvvvjjjj)()()()(21ikuikuikuikurni, 2 , 1)()()() 1()2()2()2() 1 ()1 () 1 ()1 ()0(nnununnynynuunyynuunyyhtttjtjtttjtjtttjtjjt643.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 nk1令，可得到n个方程，并令jjjjvhy) 2() 1() 1()(1211111kyakyakyakyjmjmjj)

25、(nkyamnjm) 1()()()(1110202101kubkubkubkubjrjrjj)() 1() 1(111212nkubkubkubnjrjrj)()()(22kvnkubnkubjrnjrnj)()2(653.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 jjjjvhymj, 2 , 1m,21immimimimiiimiiaaaaaaaaa212222111211imrimimiriiiriibbbbbbbbb212222111211jtjjtjjyhhh1)()()()()()(11kvkuzbkyzat663.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 ) 1()1()1()1(jntnjjnjjnnjhnyk1)1()1()1()1(1 njjntnjnjjnnjhphhpkjnnjnjjntnjnjjnjnnjphhphhppp) 1(1) 1() 1() 1