第四章-最小二乘参数辨识方法及原理

1、建模与辨识第第4章章 最小二乘参数辨识方法最小二乘参数辨识方法4.1、输入输出模型、输入输出模型4.2 最小二乘法（最小二乘法（LS）4.3 递推最小二乘法（递推最小二乘法（RLS）4.4 数据饱和现象及适应性算法数据饱和现象及适应性算法 4.4.1 数据饱和现象数据饱和现象 4.4.2 渐消记忆法渐消记忆法(遗忘因子法遗忘因子法) 4.4.3 限定记忆法（固定窗）法限定记忆法（固定窗）法 4.4.4 辅助变量法（辅助变量法（IV） 4.4.5 递推辅助变量法（递推辅助变量法（RIV）4.5 广义最小二乘法（广义最小二乘法（GLS）4.6 递推广义最小二乘法（递推广义最小二乘法（RGLS）4.

2、7 增广矩阵法（增广矩阵法（ELS/RELS）（增广最小二乘法）（增广最小二乘法）4.8 多阶段最小二乘法（多阶段最小二乘法（MSLS）4.9 几种最小二乘类辨识算法的比较几种最小二乘类辨识算法的比较 本章内容本章内容 本章的学习目的本章的学习目的1、掌握最小二乘参数辨识方法的基本原理2、掌握常用的最小二乘辨识方法3、熟练应用最小二乘参数辨识方法进行模型参数辨识4、能够编程实现最小二乘参数辨识回回 顾顾辨识目的：辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。ProcessInputOutput工程实践 目 的模型结构参数辨识模型校验模型确定 )(kG ( )u k

3、( )x k)(kv( )y k )(kG ( )u k)(ky4.1 输入输出模型输入输出模型( )( )( )y kx kv k随机模型随机模型确定性模型确定性模型1.确定性模型确定性模型 )(kG )(ku)(kyn阶差分方程描述：012012a( )(1)(2)()b( )(1)(2)()nmy ka y ka y ka y knu kbu kb u kb u km010( )()()nmiiiia y ka y kibu ki01,amn令10( )()()nniiiiy ka y kibu ki1.确定性模型确定性模型 )(zG )(ku)(ky脉冲传递函数描述：1101111(

4、)()( )=( )1()nnnnbb zb zY zB zG zU za za zA z2.随机模型随机模型10 x( )x()()nniiiikakibu ki观测值可表示为：( )x( )v( )y kkk系统真实输入输出之间的关系为： )(kG u( )kx( )k)(kvy( )k整理得：101( )()()+v(k)+v()nnniiiiiiy ka y kibu kiaki( )k2.随机模型随机模型 )(kG u( )kx( )k)(kvy( )k10( )()+()(k)nniiiiy ka y kibu ki 相当于进行m次独立试验，得到11( ,)u y22(,)uy(,

5、)mmuy(1)(2)( )myyYy m(1)(0)(1)(0)(1)(2)(1)(2)(1)(2)( )(1)()(1)()myynuunyynuunmy my m nu mu m n 10Tnnaabb(1)(2)( )TmVmmmmYV m次独立试验的数据11( ,)u y22(,)uy(,)mmuy yu( )f u1795年，高斯提出了最小二乘方法。 )(kG ( )u k( )x k)(kv( )y k 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是Gauss（1777-1855）( )( )(

6、)y kx kv k使使 最小最小21( )| ( )( )|mkw ky kx k 未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。1795年，高斯提出的最小二乘的基本原理是Gauss（1777-1855）)()()(kvkykz使使 最小最小mkkykzkw12| )()(| )(3、最小二乘辨识方法的基本概念、最小二乘辨识方法的基本概念通过试验确定热敏电阻阻值和温度间的关系 当测量没有任何误差时，仅需2个测量值。 每次测量总是存在随机误差。btaRiiiiiibtayvRyv或3利用最小二乘法求模型参数利用最小二乘法求模型参数根据最小二乘的准则有N

7、iiiNiibtaRvJ1212min)(根据求极值的方法，对上式求导NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiiiibbNiiiaatbtaRbJbtaRaJ110)(20)(2NiNiiiNiiiNiNiiitRtbtaRtbaN1112112112111211211121NiiNiiNiiNiiNiiiNiiNiiNiiNiiiNiiNiittNtRtRNbttNttRtRa3 利用最小二乘法求模型参数利用最小二乘法求模型参数762.702 a4344. 3bCt 70168.943R2112111211211121NiiNiiNiiNiiNiiiNii

8、NiiNiiNiiiNiiNiittNtRtRNbttNttRtRabtaRmmmYV zt)(tf4.2 最小二乘法 一个单输入单输出线性定常系统可用图4-1表示。系统的差分方程为 120112121,2,nnx ka x ka x ka x knb u kbu kb u knk(4-1) )(kG )(ku)(kx)(kv)(ky为随机干扰。由上式得 把式 (4-3)代入式(4-1)，得 12011212112nnny ka y ka y ka y knb u kbu kb u knv ka v ka v ka v kn观测值 用下式表示： y k y kx kv k(4-2) v k x

9、 ky kv k(4-3)即 101nnniiiiiiy ka y kibu kiv ka v ki (4-4)如果 也有测量误差，则在 中应包含这一测量误差。 u k k则式(4-4)变成 10( )nniiiiy ka y kibu kik (4-6)假设 是均值为零的独立分布的平稳随机序列，且与序列 相互独立。设 1,2,v kkn 1,2,u kkn 0niikv ka v ki(4-5) 现在分别测出个 输出值和输入值： 及 。则可写出N个方程：nN 12yyy nN， ， 12uuu nN， ，)()()()() 2() 1()() 1() 1 ()() 1() 1 () 1()(

10、) 1(0211021NnNubNnubNyaNnyaNnyaNnynubnubnubyanyanyanynnnn1201(1)( )(1)(1)(1)(1)(2)(1)(2)(2)(2)(2)()(1)() ()()()nnaay ny nyu nunay ny nyu nunby nNy nNy N u nNu NnNbb上述N个方程可写成下列向量矩阵形式 式中 为N个输出值组成的向量； 所组成的n维向量， 所组成的 维向量；所组成的N维噪声， 即 y12naaaa， ， ，为01nbbbb， ， ，为1n 12nnnN， ，为101122,nnay nnay nnby nNnNb ayb

11、，或 ayY Ub(4-7) 为输出值 所组成的 阵块； 为输入值 所组成的 矩阵块。即Y 121yyy nN，N nU 12uuu nN，1Nn 111112112121y ny nyu nu nuy ny nyu nu nuy n Ny n Ny Nu n N u n Nu N Y U(4-8)式(4-7)也可写成 y(4-9)式中 aY Ub， 为 维测量矩阵， 为 维参数向量。因此，式(4-9)是一个含有 个未知参数的N个方程组成的联立方程组。如果 ，则方程组是不定的，不能唯一地确定参数向量。如果 ，则当测量误差 时，就能准确地解出参数向量，即21Nn21n21n21Nn21Nn 01

12、 y(4-10)如果测量误差不等于零，则11 y(4-11) 从上式可看出，随机测量噪声 对参数 的估计值有影响，为了尽量减小 对 的估值的影响，应该取 ，即方程数目大于未知数数目。在这种情况下，不能用解方程的方法求 ，而要采用数理统计的方法求 的估值。这样可减小 对 的估值的影响。这种给定测量向量 和测量矩阵 求参数 估值的问题，就是系统参数的辨识问题。21Nny式中12,y ny ny nN ayb写出式(4-12)的某一行，得 1012nniiiiy ka y kibu kiknnnN ， ，(4-13)设 表示 的最优估值， 表示 的最优估值，则有 yy y(4-12)设 表示 与 之

13、差，通常称它为残差。 e k y k y k 1012nniiiie ky ky ky ka y kibu kiknnnN ， ，(4-14)由式(4-14)得 10nniiiiy ka y kibu kie k (4-15) 把 分别代入式(4-14)，可得残差 把这些残差写成向量形式：12knnnN， ，1e n ，2e ne nN， ，12e ne ne nNeyy(4-16)最小二乘法估计要求残差的平方和为最小，即按照指标函数 TTJe eyy为最小确定估值 。 (4-17)可按 来求 的最小二乘法估计值 。0J20TJy 即TT y由此式用 左乘等号的两边，得 1T 1TT y(4-

14、18)显然，当矩阵 存在时，式(4-18)才有解。一般说来，如果 是随机序列或伪随机二位式序列，则矩阵 是非奇异的，即 存在，式(4-18)有解。1T u k1T T J为极小值的充分条件是为极小值的充分条件是220TJ (4-19) 因为 有解与 正定等价，所以可以保证 正定来确定对输入 序列的要求。由式(4-9)可知T T u k Y U(4-20)则TTTTTTTY YYY UY UUU YU U 因此，要求 正定，根据正定矩阵的性质，必须保证 正定。这个条件称为 阶持续激励条件。通常，输入 序列采用随机序列或M序列时，它们都满足这个持续激励条件。显然，若为常值序列时， 为奇异阵，不满足

15、持续激励条件。T TU Un u k u kTU U 因输出值 是随机的，所以 是随机的，但要注意到 不是随机的。如果y EE 则称 是 的无偏估计。 如果式(4-6)中的 是不相关随机序列，且其均值为零（实际上 往往是相关随机序列，对这种情况，以后专门讨论。并假设序列 与 不相关。当 为不相关随机序列时， 只与 及其以前的 有关，而与 及其以后的 等无关。从 的展开式可看出， 与 不相关。 k k k n k k y k k12kk， ，1k23kk， ， ，T 的展开式如下所示：T 11112212121112Ty ny ny nNny ny ny nNnyyy Nu nu nu nNu

16、nu nu nNnNuuu N(4-22) 1TTEEE 对上式等号两边取数学期望 由于 与 不相关， 则式(4-18)给出的 是 的无偏估计。把式(4-9)代入式(4-18)，得11TTTT (4-23)只要 ，便有 0E 1TTEEE 式(4-24)表明 ， 是 的无偏估计。(4-24) 显然，根据这一条件，要使最小二乘估计为无偏，可不必要求 。当 时，如何构造无偏估计，这是本章将要讨论的辅助变量法所要解决的问题。 0E 0E 在上面我们要求 是零均值的不相关随机序列，并要求 与 无关，则 与 无关。这是最小二乘估计为无偏估计的充分条件，但不是必要条件。 k k u k10TTE (4-2

17、5) 以上分析表明，当 时， 以概率1趋近于 。因此，当 为不相关随机序列时，最小二乘估计具有一致性和无偏性。如果系统的参数估计具有这种特性，就说系统具有可辨识性。N k例4.2 考虑仿真对象)() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz)() 2() 1() 2() 1()(2121kVkubkubkzakzakz选择如下的辨识模型进行一般的最小二乘参数辨识。 4阶M序列输出信号)16()4() 3(zzzZm(3)(2)(1)(2)(1)(4)(3)(2)(3)(2)(16)(15)(14)(15)(14)mzzuuzzuuzzuu2121b

18、baa1()TTmmmmZ 开始 产生输入信号 M 序列 产生输出信号 y（k） 给出样本矩阵m和mY 估计参数 分离估计参数1a、2a、01,b b和2b 结束 画图：输入/输出信号和估计参数 一般最小二乘参数辨识流程图作业作业11111113101012113110110110110110120122133TTTTTTYVrYRrrrrER y其中：，由最小二乘法计算公式可得：均方误差为：1233rr4.3 递推最小二乘法原理及算法递推最小二乘法原理及算法 )(kG )(ku( )x k)(kv( )y k图 SISO 系统的“灰箱”结构 一般最小二乘或加权最小二乘为一次完成算法或批处理算

19、法。 计算量大、存储大、不适合在线辨识。 采用参数递推估计递推最小二乘算法。 4.3 递推最小二乘法辨识 递推最小二乘法辨识是一种在线算法。这种方法的辨识精度随着观测次数的增加而提高。 设已得到的观测数据长度为N，把式(4-9) 中的 分别用 代替，即y、和NNNy 、及NNN y(4-32)用 表示 的最小二乘估计，则N1TTNNNNN y(4-33)估计误差为1TTNNNNNN (4-34)估计误差 的方差阵为N122VarTNNNN P (4-35)上式中，设1TNNN P (4-36)于是，式(4-33)变成 TNNNNyP (4-37)式中1111,111 ,11NNTNyy nNn

20、Ny nNy nNy Nu nNu N ， ， ， 如果再获得一组新的观测值 和 ，则又增加一个方程1y nN1u nN111TNNNy(4-38)将式(4-32)和式(4-33)合并，写成分块矩阵形式，可得111TNNNTNNNyy(4-39)由上式给出新的参数估值111111111TTNNNNNTTTNNNNTNNNNN yyPyy(4-40)式中11111111111TNNTTNNNNNTTNNTNNN PP(4-41)令A=PN-1 ，B=C= 展开式(4-41)的右端， 于是得到 和 的递推关系式：1NPNP111111TTNNNNNNNNNPPPIPP(4-42)111111()(

21、)TTTABCAA B IC A BC A应用矩阵求逆引理，1N 矩阵 为 矩阵，求这个矩阵的逆阵的逆阵是很麻烦的。应用矩阵求逆引理之后，就可把求 的逆阵转变为求标量 的倒数，这样可大大节省计算量，同时又得到 与 的简单递推关系式。111TNNNP2121nn2121nn111TNNNP1NPNP由于 为标量，因此式(4-42)可写成11TNNNP111111TNNNNNNTNNNPPPPP(4-43)由式(4-40)和式(4-37)得111111111111TNNNNNNTNNNNNNNNNNNNPyyPP PyyPPy把式(4-43)代入上式得11111111111111111111111111TTNNNNNNNNNNNNNTTNNNNNNNNNNNTTNNNNNNNNNPPPPPyPPPyPPPy上式的后两项为 111111111111111111111111111111111TTNNNNNNNNNNNNTTNNNNNNNNNTTNNNNNNNNNTNNNNNNPyPPPy