最小二乘参数辨识方法及原理

1、系统辨识第第4章章 最小二乘参数辨识方法最小二乘参数辨识方法1、最小二乘辨识的基本概念2、一般最小二乘辨识方法3、加权最小二乘辨识方法4、递推最小二乘参数辨识方法5、增广最小二乘辨识方法6、多变量最小二乘辨识方法 本章内容本章内容 本章的学习目的本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识1、问题的提出、问题的提出1、问题的提出、问题的提出辨识目的：辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。ProcessInputOutput工程实践 目 的模

2、型结构参数辨识模型校验模型确定1、问题的提出、问题的提出极大似然：极大似然：构造一个以数据和未知参数为自变量的似然函数。ProcessInputOutput)|(maxZPJ要求：独立观测条件下，知道输出量的概率分布要求：独立观测条件下，知道输出量的概率分布缺点：输出量概率密度分布未知，极大似然无法工作缺点：输出量概率密度分布未知，极大似然无法工作 计算量大，得不到解析解计算量大，得不到解析解VaX,tdttavv00)(tdttvXX00)(1、问题的提出、问题的提出惯性器件标定惯性器件标定1、问题的提出、问题的提出惯性器件标定惯性器件标定POOPOIIOPPOOIIFaaKaaKaKaKa

3、KKy222PPPOOOIIIIPPIaKaKaKaaKSOOSOIIOSSOOIIdaaKaaKaKaKaKK222SSSOOOIIIISSIaKaKaKaaK零偏标度因数输出轴灵敏度误差系数摆轴灵敏度误差系数二阶非线性误差系数1、问题的提出、问题的提出惯性器件标定惯性器件标定1、问题的提出、问题的提出惯性器件标定惯性器件标定POOPOIIOPPOOIIFaaKaaKaKaKaKKy222PPPOOOIIIIPPIaKaKaKaaKyxnybxbbyaxaafhhyxfcr,210210101、问题的提出、问题的提出景像匹配景像匹配1、问题的提出、问题的提出景像匹配景像匹配1、问题的提出、问

4、题的提出摄像机标定摄像机标定摄摄像像机机坐坐标标系系ZXYOMm),(cccZYXccXZfx ccYZfy xypfy0Sx0o1、问题的提出、问题的提出摄像机标定摄像机标定1、问题的提出、问题的提出摄像机标定摄像机标定110tR010000001T00wwwyxcZYXvuvuZwwwcZYXmmmmmmmmmmmmvuZ34333231242322211413121111、问题的提出、问题的提出摄像机标定摄像机标定3433323114131211muZmuYmuXmumZmYmXmiwiiwiiwiiwiwiwi3433323124232221mvZmvYmvXmvmZmYmXmiwii

5、wiiwiiwiwiwiNi, 2 , 1m次独立试验的数据),(11yt),(22yt),(mmyt)()()()(22110thathathaatynn )(kG )(kt)(ky)(kv)(kz )(kG )(kt)(ky1、问题的提出、问题的提出)()()(kvkykzm次独立试验的数据),(11yt),(22yt),(mmyt)()()()()(22110kvkhakhakhaakznn zt)(tf1795年，高斯提出了最小二乘方法。 )(kG )(kt)(ky)(kv)(kz1、问题的提出、问题的提出 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的

6、和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出、问题的提出Gauss（1777-1855）)()()(kvkykz使使 最小最小mkkykzkw12| )()(| )( 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是1、问题的提出、问题的提出Gauss（1777-1855）)()()(kvkykz使使 最小最小mkkykzkw12| )()(| )(2、最小二乘辨识方法的基本概念、最小二乘辨识方法的基本概念通过试验确定热敏电阻阻值和温度间的关系 当测量没有任何误差时，仅需2个测量值。 每次测

7、量总是存在随机误差。btaRiiiiiibtayvRyv或2.1 利用最小二乘法求模型参数利用最小二乘法求模型参数根据最小二乘的准则有NiiiNiibtaRvJ1212min)(根据求极值的方法，对上式求导NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiNiiiNiiiNiNiiitRtbtaRtbaN1112112112111211211121NiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRa2.1 利用最小二乘法求模型参数利用最小二乘法

8、求模型参数762.702 a4344. 3bCt 70168.943R2112111211211121NiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRabtaR2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 )(kG )(ku)(ky)(kv)(kz图 3.4 SISO 系统的“灰箱”结构 nnnnzazazazbzbzbzuzyzG221122111)()()(niiniiikubikyaky11)()()(2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 )(zG )(ku)(ky)(kv)(kz图 SISO 系统的

9、“灰箱”结构 若考虑被辨识系统或观测信息中含有噪声 )()()()(11kvikubikyakzniinii)()()()(11kvikubikyakzniinii)(,),2(),1(),(,),2(),1()(nkukukunkykykykh如果定义Tnnbbbaaa,2121)()()(kvkhkz2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法)()()(kvkhkz)()2() 1 (mzzzZm)() 1()() 1()2 () 1 ()2 () 1 ()1 () 0 ()1 () 0 ()() 2 () 1 (nmumunmymynuunyynuunyymhhhHmTnn

10、bbaa11TmmvvvV)()2() 1 (2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法mmmVHZ )(zG )(ku)(ky)(kv)(kz图 SISO 系统的“灰箱”结构 2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法min)()()(mmTmmHZHZJ0)(2mmTmHZHJmTmmTmZHHH2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法mTmmTmZHHH1)(2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法mTmmTmZHHH1)(mmmVHZ zt)(tf2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 最小二乘法的几何解释m

11、mmVHZ)()2() 1 (mzzzZm)() 1()() 1()2 () 1 ()2 () 1 ()1 () 0 ()1 () 0 ()() 2 () 1 (nmumunmymynuunyynuunyymhhhHmTnnbbaa11的线性组合维空间中基向量是)(),2(),1 (mhhhmZm的近似是在最小二乘意义下对mmZH的张成的空间的投影。在应该等于)(),2(),1 (mhhhZHmm2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法 最小二乘法的几何解释222VHZ2Z) 1 (h)2(hV2H)2() 1 (2zzZTnnbbaa11)2() 1 (2hhH2.2 一般最

12、小二乘法原理及算法一般最小二乘法原理及算法11)()()(mTmmTmmTmTHHRHHHHE0)|(|limmmp最小证明：mTmmTmZHHH1)()()()(1mTmmTmVHHHEEE)()(1mmTmmTmZHHHHmTmmTmVHHH1)(0mTmmTmmTmmTmZHHHHHHH11)()()()()(1mTmmTmVEHHH2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法如果由测量噪声及模型误差等引起的误差如果由测量噪声及模型误差等引起的误差v 的均值为的均值为0，且，且v 与输入矢量与输入矢量X是统计独立的，最小二乘的估计值是无偏的。是统计独立的，最小二乘的估计值是无

13、偏的。11)()()(mTmmTmmTmTHHRHHHHE证明：11)()()()(mTmmTmmTmmTmTHHHVVEHHHE11)()(mTmmTmmTmHHRHHHH根据第（1）式的证明，显然有2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法112)()(mTmmTmmTmHHHHHH12)(mTmHH独立随机变量同分布、零均值、中的各个量是mVIR2证明：2.2 一般最小二乘法原理及算法一般最小二乘法原理及算法0)|(|limmmp12121)(limlimmTmmmTmmHHmmHH0)(12limmTmmHH奇异常数阵是非mTmHH2.2 一般最小二乘法原理及算法一般最小

14、二乘法原理及算法解：由题意得量测方程222VHZ212zzZ112HrrR400)(2111111121211zzzzrrrrET45111111400111111)(112.2 一般最小二乘法原理及算法一般最小二乘法原理及算法222VHZ212zzZ112HrrR4002.3 加权最小二乘法原理及算法加权最小二乘法原理及算法 一般最小二乘估计精度不高的原因之一是对测量数据同等对待 各次测量数据很难在相同的条件下获得的 有的测量值置信度高，有的测量值置信度低 对不同置信度的测量值采用加权的办法分别对待 置信度高的，权重取得大些；置信度低的，权重取的小些min)()()(mmTmmHZHZJmi

15、n)()()(mmmTmmHZWHZJ )(,),2(),1 (diagmwwwWmmin)()()(mmmTmmHZWHZJ2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法0)(2mmmTmHZWHJmmTmmmTmZWHHWH1)(2.2 加权最小二乘法原理及算法加权最小二乘法原理及算法0)|(|limmmp1)()(mTmTRHHE2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法11)()()(mmTmmmmTmmmTmTHWHHRWWHHWHE2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法mmTmmmTmZWHHWH1)(mTmmTmZRHHRH111)(马尔

16、可夫估计马尔可夫估计11)()()(mmTmmmmTmmmTmTHWHHRWWHHWHE1111)()()(mTmmmTmmmmTmmmTmHRHHWHHRWWHHWH2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法例例3.2 用用2台仪器对未知标量各直接测量一次，台仪器对未知标量各直接测量一次，量测量分别为量测量分别为z1和和z2，仪器的测量误差均值为，仪器的测量误差均值为0，方，方差分别为差分别为r和和4r的随机量，求其最小二乘估计，并的随机量，求其最小二乘估计，并计算估计的均方误差。计算估计的均方误差。2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法212zzZ112H解

17、：由题意得量测方程222VHZrrRWm4100112121151544100111114100111zzzzrrrrrrrrrrrrET541141001111140011114100111)(11例3.4 考虑仿真对象)() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(2121kVkubkubkzakzakz选择如下的辨识模型进行一般的最小二乘参数辨识。 IWm2.3 加权最小二乘法原理及算法加权最小二乘法原理及算法4阶M序列输出信号)16()4() 3(zzzZm)14()15()14()15()2()3(

18、)2()3() 1 ()2() 1 ()2()16()4()3(uuzzuuzzuuzzhhhHm2121bbaamTmmTmZHHH1)( 开始 产生输入信号 M 序列 产生输出信号 z（k） 给出样本矩阵mH和mZ 估计参数 分离估计参数1a、2a、1b和2b 结束 画图：输入/输出信号和估计参数 一般最小二乘参数辨识流程图3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 )(kG )(ku)(ky)(kv)(kz图 SISO 系统的“灰箱”结构 一般最小二乘或加权最小二乘为一次完成算法或批处理算法。 计算量大、存储大、不适合在线辨识。 采用参数递推估计递推最小二乘算法。 3.3

19、递推最小二乘法原理及算法递推最小二乘法原理及算法mmTmmmTmmZWHHWH1)() 1() 1() 1(mvmhmz111mmmVHZ3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法111mmmVHZ) 1(1mzZZmm) 1(1mhHHmm) 1(1mvVVmm11111111)(mmTmmmTmmZWHHWHmmTmmmTmmZWHHWH1)() 1(001mwWWmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法1mmTmmHWHP11111mmTmmHWHP如果设则有11111111)(mmTmmmTmmZWHHWHmmTmmmTmmZWHHWH1)(mmTmm

20、mZWHP11111mmTmmmZWHP) 1(1mzZZmm) 1(1mhHHmm) 1(001mwWWmm) 1() 1(00) 1(11mzZmwWmhHPmmTTmmm) 1() 1() 1(11mzmwmhPZWHPTmmmTmmmmTmmmZWHPmmmmTmPZWH1) 1() 1() 1(1111mzmwmhPPPTmmmmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法1)1() 1() 1(mhmwmhHWHTmmTm11) 1() 1(00) 1(mhHmwWmhHPmmTTmm1111111)()(DAB

21、DACBAABCDAmTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111) 1() 1() 1(111mhmwmhPPTmm111)1() 1() 1(mhmwmhPPTmm) 1() 1() 1(1111mzmwmhPPPTmmmmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法mTmmmmhmwmhPP)1() 1() 1(1111) 1() 1() 1(1mzmwmhPTmmTmmmmhmwmhP) 1() 1() 1(11) 1() 1() 1(1mzmwmhPTm) 1() 1()1() 1(11mTmmmmhmzmwmhP) 1() 1(

22、)1() 1(11mTmmmmhmzmwmhP3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法) 1() 1(11mwmhPKTmm令mTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)1() 1() 1()1(mhPmhmwmhPKTmTmmmTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)1() 1() 1()1(mhPmhmwmhPKTmTmm3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法) 1() 1(11mmmmmhmzK3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法)(

23、)() 1(maxmmmiiii3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法例3.5 对3.4采用递推最小二乘估计辨识模型参数 )() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(2121kVkubkubkzakzakz选择如下的辨识模型进行递推最小二乘参数辨识。 IWm 1a2a1b2b3.3 递推最小二乘法原理及算法递推最小二乘法原

24、理及算法mTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)1() 1() 1()1(mhPmhmwmhPKTmTmm) 1() 1(11mmmmmhmzKIWmmTmTmmmPmhmhPmhmhPPP) 1()1() 1(1)1(1111)1()1(1)1(mhPmhmhPKTmTmm) 1() 1(11mmmmmhmzK3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 数据饱和后，由于递推计算的舍入误差，不仅新的观测数据饱和后，由于递推计算的舍入误差，不仅新的观测值对参数估计不起修正作用，反而使值对参数估计不起修正作用，反而使 失去正定性，

25、导致失去正定性，导致估计误差增加。估计误差增加。)(mP) 1() 1(11mmmmmhmzKmTmTmmmPmhmhPmhmhPPP) 1()1() 1(1)1(1111)1()1(1)1(mhPmhmhPKTmTmm数据饱和数据饱和3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 当系统参数随时间变化时，因新数据被旧数据所当系统参数随时间变化时，因新数据被旧数据所淹没，递推算法无法直接使用。为适应时变参数的情淹没，递推算法无法直接使用。为适应时变参数的情况，修改算法时旧数据的权重况，修改算法时旧数据的权重(降低降低)，增加新数据的，增加新数据的作用。作用。 主要方法有数据窗法和主要

26、方法有数据窗法和Kalman滤波法。滤波法。数据窗法主要有矩形窗和指数窗。数据窗法主要有矩形窗和指数窗。3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 矩形窗矩形窗oi1mimi1ik0 . 1imiTimiTimiimiimiPmihmihPmihmiwmihPPP, 11, 11, 1, 1,)()()()()(1, 11, 1,)()()()(mihPmihimwmihPKTimiTimiimi)()(, 1, 1,imiimiimiimimihmizK，于是，获得新观测数据在)(mizmik3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 矩形窗矩形窗oi1mimi1

27、ik0 . 1imiTimiTimiimiimiPihihPihmiwihPPP,1,1,1,)()()()()(1,11 ,1,)()() 1()(ihPihmwihPKTimiTmiimi)()(,1,1,imiimiimiimiihizK，于是时刻的观测，剔除为了保持数据窗的长度)(izim3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 指数窗指数窗om1nk0 . 1) 1(111mmmmPmhKPP111)1()1()1(mhPmhmhPKTmmm) 1() 1(11mmmmmhmzKimmiVVJmTmim,2 , 1min,)(3.3 递推最小二乘法原理及算法递推最小二

28、乘法原理及算法) 1() 1(11mmmmmhmzK) 1(111mmmmPmhKPP111)1() 1()1(mhPmhmhPKTmmm加权最小二乘加权最小二乘) 1(11mmmmPmhKPP111)1() 1(1)1(mhPmhmhPKTmmm一般最小二乘一般最小二乘1可适用时变参数系统只适用于时不变系统0)|(|limmmp0limmmP0limmmK0limmmK0limmmP3.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 指数窗指数窗om1nk0 . 1) 1(111mmmmPmhKPP111)1()1()1(mhPmhmhPKTmmm) 1() 1(11mmmmmhmzK

29、im99. 09 . 03.4 增广最小二乘法原理及算法增广最小二乘法原理及算法 )(kG )(ku)(ky)(kv)(kz图 3.4 SISO 系统的“灰箱”结构 niiniiniiikvcikubikyaky111)()()()(niiniiniiikvckvikubikyakz111)()()()()( )(kG )(ku)(ky)(kv)(kz)(kN )(kvniiniiniiikvckvikubikyakz111)()()()()(3.4 增广最小二乘法原理及算法增广最小二乘法原理及算法)( ,),1( ),(,),2(),1(),(,),2(),1()(nkvkvnkukukun

30、kykykykhTnnnccbbbaaa,12121)()()(kvkhkz) 1() 1(11mmmmmhmzKmTmTmmmPmhmhPmhmwmhPPP) 1()1() 1() 1()1(111111)1() 1() 1()1(mhPmhmwmhPKTmTmm3.4 增广最小二乘法原理及算法增广最小二乘法原理及算法例3.6 考虑理想数学模型为选择如下的辨识模型进行增广递推最小二乘参数辨识。 IWm)2(2 . 0) 1()(2 . 1)2(5 . 0) 1()2(7 . 0) 1(5 . 1)(kvkvkvkukukzkzkz)2() 1()()2() 1()2() 1()(321212

31、1kvckvckvckubkubkzakzakz 1a1b2a2b1c2c3c3.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 mrmmrwwwwww21112111v2vmv1u2uru1y2ymyMIMO系统3.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 MIMO系统的子系统 )()() 1()()() 1()(101kVnkUBkUBkUBnkYAkYAkYnn3.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 )()() 1()()() 1()(101kVnkUBkUBkUBnkYAkYAkYnn)()()()(2

32、1kykykykYm)()()()(21kukukukUr)()()()(21kvkvkvkVmimmimimimiiimiiiaaaaaaaaaA212222111211ni, 1 imrimimiriiiriiibbbbbbbbbB212222111211ni, 1 , 03.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 )()() 1()()() 1()(101kVnkUBkUBkUBnkYAkYAkYnn)()()()()(11kVkUzBkYzAiininnzAIzAzAIzA1111)(iininnzBzBzBBzB01101)(mrnnm) 1(2待辨识的

33、参数：3.5.1 多变量系统的最小二乘辨识的原理多变量系统的最小二乘辨识的原理 3.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 )()()()()(11kVkUzBkYzA)()() 1()()() 1()(101kVnkUBkUBkUBnkYAkYAkYnn)()()()(21212222111211ikyikyikyaaaaaaaaaikYAmimmimimimiiimiii)()()()(21212222111211ikuikuikubbbbbbbbbikUBrimrimimiriiiriii3.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统

34、的最小二乘辨识的算法与设计 )()()()()(11kVkUzBkYzA)()() 1()()() 1()(101kVnkUBkUBkUBnkYAkYAkYnn)2() 1() 1()(1211111kyakyakyakyjmjmjj)()()2(112nkyankyakyamnjmnjmjm) 1()()()(1110202101kubkubkubkubjrjrjj)() 1() 1(111212nkubkubkubnjrjrj)()()(22kvnkubnkubjrnjrnj3.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 Nk1令，可得到N个方程，并令

35、) 2() 1() 1()(1211111kyakyakyakyjmjmjj)(nkyamnjm) 1()()()(1110202101kubkubkubkubjrjrjj)() 1() 1(111212nkubkubkubnjrjrj)()()(22kvnkubnkubjrnjrnj)()2(112nkyakyanjmjm3.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 )()()()(21ikyikyikyikYmjni, 1 , 0)()()()(21ikuikuikuikUrni, 2 , 1)()()() 1()2()2()2() 1 ()1 ()

36、 1 ()1 ()0(nNUNUnNYNYnUUnYYnUUnYYHTTTjTjTTTjTjTTTjTjjTnjrnjjrjnjmnjjmjjbbbbaaaa10011111)()2()1 (NvvvVjjjj3.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 Nk1令，可得到N个方程，并令jjjjVHY) 2() 1() 1()(1211111kyakyakyakyjmjmjj)(nkyamnjm) 1()()()(1110202101kubkubkubkubjrjrjj)() 1() 1(111212nkubkubkubnjrjrj)()()(22kvnkubnkubjrnjrnj)()2(112nkyakyanjmjm3.5.2 多变量系统的最小二乘辨识的算法与设计多变量系统的最小二乘辨识的算法与设计 jjjjVHYmj, 2 , 1m,21immimimimiiimiiaaaaaaaaa212222111211imrimimiriiiriib