第四章-最小二乘参数辨识方法及原理

1、建模与辨识 第第4章章 最小二乘参数辨识方法最小二乘参数辨识方法 4.1、输入输出模型、输入输出模型 4.2 最小二乘法（最小二乘法（LS） 4.3 递推最小二乘法（递推最小二乘法（RLS） 4.4 数据饱和现象及适应性算法数据饱和现象及适应性算法 4.4.1 数据饱和现象数据饱和现象 4.4.2 渐消记忆法渐消记忆法(遗忘因子法遗忘因子法) 4.4.3 限定记忆法（固定窗）法限定记忆法（固定窗）法 4.4.4 辅助变量法（辅助变量法（IV） 4.4.5 递推辅助变量法（递推辅助变量法（RIV） 4.5 广义最小二乘法（广义最小二乘法（GLS） 4.6 递推广义最小二乘法（递推广义最小二乘法（

2、RGLS） 4.7 增广矩阵法（增广矩阵法（ELS/RELS）（增广最小二乘法）（增广最小二乘法） 4.8 多阶段最小二乘法（多阶段最小二乘法（MSLS） 4.9 几种最小二乘类辨识算法的比较几种最小二乘类辨识算法的比较 本章内容本章内容 本章的学习目的本章的学习目的 1、掌握最小二乘参数辨识方法的基本原理 2、掌握常用的最小二乘辨识方法 3、熟练应用最小二乘参数辨识方法进行模型参数辨识 4、能够编程实现最小二乘参数辨识 回回 顾顾 辨识目的：辨识目的：根据过程所提供的测量信息，在某种准则意 义下，估计模型的未知参数。 Process InputOutput 工程实践 目 的模型结构 参数辨识

3、模型校验 模型确定 )(kG ( )u k( )x k )(kv ( )y k )(kG ( )u k )(ky 4.1 输入输出模型输入输出模型 ( )( )( )y kx kv k 随机模型随机模型 确定性模型确定性模型 1.确定性模型确定性模型 )(kG )(ku)(ky n阶差分方程描述： 012 012 a( )(1)(2)() b( )(1)(2)() n m y ka y ka y ka y kn u kbu kb u kb u km 0 10 ( )()() nm ii ii a y ka y kibu ki 0 1,amn令 10 ( )()() nn ii ii y ka

4、y kibu ki 1.确定性模型确定性模型 )(zG )(ku)(ky 脉冲传递函数描述： 11 01 11 1 ( )() ( )= ( )1() n n n n bb zb zY zB z G z U za za zA z 2.随机模型随机模型 10 x( )x()() nn ii ii kakibu ki 观测值可表示为： ( )x( )v( )y kkk 系统真实输入输出之间的关系为： )(kG u( )k x( )k )(kv y( )k 整理得： 101 ( )()()+v(k)+v() nnn iii iii y ka y kibu kiaki ( )k 2.随机模型随机模型

5、)(kG u( )k x( )k )(kv y( )k 10 ( )()+()(k) nn ii ii y ka y kibu ki 相当于进行m次独立试验，得到 11 ( ,)u y 22 (,)uy (,) mm uy (1) (2) ( ) m y y Y y m (1)(0)(1)(0)(1) (2)(1)(2)(1)(2) ( )(1)()(1)() m yynuun yynuun my my m nu mu m n 10 T nn aabb(1)(2)( ) T m Vm mmm YV m次独立试验的数据 11 ( ,)u y 22 (,)uy (,) mm uy y u ( )f

6、 u 1795年，高斯提出了最小二乘方法。 )(kG ( )u k( )x k )(kv ( )y k 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘 以其精确度的数值以后的和为最小。 1795年，高斯提出的最小二乘的基本原理是 Gauss（1777-1855） ( )( )( )y kx kv k 使使 最小最小 2 1 ( )| ( )( )| m k w ky kx k 未知量的最可能值是使各项实 际观测值和计算值之间差的平方乘 以其精确度的数值以后的和为最小。 1795年，高斯提出的最小二乘的基本原理是 Gauss（1777-1855） )()()(kvkykz 使使 最小

7、最小 m k kykzkw 1 2 | )()(| )( 3、最小二乘辨识方法的基本概念、最小二乘辨识方法的基本概念 通过试验确定热敏电阻阻值和温度间的关系 当测量没有任何误差时，仅需2个测量值。 每次测量总是存在随机误差。 btaR iiiiii btayvRyv或 3利用最小二乘法求模型参数利用最小二乘法求模型参数 根据最小二乘的准则有 N i ii N i i btaRvJ 1 2 1 2 min )( 根据求极值的方法，对上式求导 N i iii bb N i ii aa tbtaR b J btaR a J 1 1 0)(2 0)(2 N i iii bb N i ii aa tbt

8、aR b J btaR a J 1 1 0)(2 0)(2 N i N i ii N i ii N i N i ii tRtbta RtbaN 111 2 11 2 11 2 111 2 11 2 111 2 1 N i i N i i N i i N i i N i ii N i i N i i N i i N i ii N i i N i i ttN tRtRN b ttN ttRtR a 3 利用最小二乘法求模型参数利用最小二乘法求模型参数 762.702 a 4344. 3 b Ct 70 168.943R 2 11 2 111 2 11 2 111 2 1 N i i N i i N

9、 i i N i i N i ii N i i N i i N i i N i ii N i i N i i ttN tRtRN b ttN ttRtR a btaR mmm YV z t )(tf 4.2 最小二乘法 一个单输入单输出线性定常系统可用图4-1表示。系统的差 分方程为 12 01 12 121,2, n n x ka x ka x ka x kn b u kbu kb u knk (4-1) )(kG )(ku)(kx )(kv )(ky 为随机干扰。由上式得 把式 (4-3)代入式(4-1)，得 12 01 12 12 1 12 n n n y ka y ka y ka y

10、kn b u kbu kb u kn v ka v ka v ka v kn 观测值 用下式表示： y k y kx kv k(4-2) v k x ky kv k(4-3) 即 101 nnn iii iii y ka y kibu kiv ka v ki (4-4) 如果 也有测量误差，则在 中应包含这一测量误差。 u k k 则式(4-4)变成 10 ( ) nn ii ii y ka y kibu kik (4-6) 假设 是均值为零的独立分布的平稳随机序列，且与 序列 相互独立。设 1,2,v kkn 1,2,u kkn 0 n i i kv ka v ki (4-5) 现在分别测出

11、个 输出值和输入值： 及 。则可写出N个方程： nN 12yyy nN， ， 12uuu nN， ， )()()()() 2() 1()( ) 1() 1 ()() 1() 1 () 1()() 1( 021 1021 NnNubNnubNyaNnyaNnyaNny nubnubnubyanyanyany nn nn 1 2 0 1 (1)( )(1)(1)(1)(1) (2)(1)(2)(2)(2)(2) ()(1)() ()()() n n a a y ny nyu nun ay ny nyu nun b y nNy nNy N u nNu NnNb b 上述N个方程可写成下列向量矩阵形式

12、 式中 为N个输出值组成的向量； 所组成的n维向量 ， 所组成的 维向量； 所组成的N维噪声， 即 y 12n aaaa， ， ，为 01n bbbb， ， ，为1n 12nnnN， ，为 1 0 11 22 , n n a y nn a y nn b y nNnN b a y b ， 或 a yY U b (4-7) 为输出值 所组成的 阵块； 为输 入值 所组成的 矩阵块。即 Y 121yyy n N， N nU 12uuu nN，1Nn 1111 12112 121 y ny nyu nu nu y ny nyu nu nu y n Ny n Ny Nu n Nu n Nu N Y U

13、(4-8) 式(4-7)也可写成 y (4-9) 式中 a Y U b ， 为 维测量矩阵， 为 维参数向量。因此，式(4-9) 是一个含有 个未知参数的N个方程组成的联立方程组。如果 ，则方程组是不定的，不能唯一地确定参数向量。如 果 ，则当测量误差 时，就能准确地解出参数向量， 即 21Nn21n 21n 21Nn 21Nn0 1 y(4-10) 如果测量误差不等于零，则 11 y(4-11) 从上式可看出，随机测量噪声 对参数 的估计值有影响，为了 尽量减小 对 的估值的影响，应该取 ，即方程数目大于 未知数数目。在这种情况下，不能用解方程的方法求 ，而要采用 数理统计的方法求 的估值。

14、这样可减小 对 的估值的影响。这 种给定测量向量 和测量矩阵 求参数 估值的问题，就是系统参 数的辨识问题。 21Nn y 式中 1 2 , y n y n y nN a y b 写出式(4-12)的某一行，得 10 12 nn ii ii y ka y kibu kiknnnN ， ， (4-13) 设 表示 的最优估值， 表示 的最优估值，则有 y y y (4-12) 设 表示 与 之差，通常称它为残差。 e k y k y k 10 12 nn ii ii e ky ky ky ka y kibu ki knnnN ， ， (4-14) 由式(4-14)得 10 nn ii ii y

15、ka y kibu kie k (4-15) 把 分别代入式(4-14)，可得残差 把这些残差写成向量形式： 12knnnN， ， 1e n ， 2e ne nN， ， 1 2 e n e n e nN eyy (4-16) 最小二乘法估计要求残差的平方和为最小，即按照指标函数 T T Je eyy 为最小确定估值 。 (4-17) 可按 来求 的最小二乘法估计值 。0 J 20 T J y 即 TT y 由此式用 左乘等号的两边，得 1 T 1 TT y (4-18) 显然，当矩阵 存在时，式(4-18)才有解。一般说来，如果 是随机序列或伪随机二位式序列，则矩阵 是非奇异的 ，即 存在，式

16、(4-18)有解。 1 T u k 1 T T J为极小值的充分条件是为极小值的充分条件是 2 2 0 T J (4-19) 因为 有解与 正定等价，所以可以保证 正定来确定对 输入 序列的要求。由式(4-9)可知 T T u k Y U(4-20) 则 TTT T TTT Y YYY U Y U UU YU U 因此，要求 正定，根据正定矩阵的性质，必须保证 正定 。这个条件称为 阶持续激励条件。通常，输入 序列采用随 机序列或M序列时，它们都满足这个持续激励条件。显然，若 为常值序列时， 为奇异阵，不满足持续激励条件。 T T U U n u k u k T U U 因输出值 是随机的，所

17、以 是随机的，但要注意到 不是随机 的。如果 y EE 则称 是 的无偏估计。 如果式(4-6)中的 是不相关随机序列，且其均值为零（ 实际上 往往是相关随机序列，对这种情况，以后专门讨论。 并假设序列 与 不相关。当 为不相关随机序列时， 只与 及其以前的 有关，而与 及其 以后的 等无关。从 的展开式可看出， 与 不相关。 k k k n k k y k k12kk， ，1k 23kk， ， ， T 的展开式如下所示： T 11 1 12 2 12 12 11 12 T y ny ny nN n y ny ny nN n yyy N u nu nu nN u nu nu nN nN uuu

18、 N (4-22) 1 TT EEE 对上式等号两边取数学期望 由于 与 不相关， 则式(4-18)给出的 是 的无偏估计。把式 (4-9)代入式(4-18)，得 11 TTTT (4-23) 只要 ，便有 0E 1 TT EEE 式(4-24)表明 ， 是 的无偏估计。 (4-24) 显然，根据这一条件，要使最小二乘估计为无偏，可不必要求 。当 时，如何构造无偏估计，这是本章将要讨论 的辅助变量法所要解决的问题。 0E 0E 在上面我们要求 是零均值的不相关随机序列，并要求 与 无关，则 与 无关。这是最小二乘估计为无偏估计的充 分条件，但不是必要条件。 k k u k 1 0 TT E (

19、4-25) 以上分析表明，当 时， 以概率1趋近于 。因此，当 为不相关随机序列时，最小二乘估计具有一致性和无偏性。如果 系统的参数估计具有这种特性，就说系统具有可辨识性。 N k 例4.2 考虑仿真对象 )() 2(5 . 0) 1() 2(7 . 0) 1(5 . 1)(kVkukukzkzkz )() 2() 1() 2() 1()( 2121 kVkubkubkzakzakz 选择如下的辨识模型进行一般的最小二乘参数辨识。 4 阶 M 序 列 输 出 信 号 )16( )4( ) 3( z z z Z m (3)(2)(1)(2)(1) (4)(3)(2)(3)(2) (16)(15)

20、(14)(15)(14) m zzuu zzuu zzuu 2 1 2 1 b b a a 1 () TT mmmm Z 开始 产生输入信号 M 序列 产生输出信号 y（k） 给出样本矩阵 m 和 m Y 估计参数 分离估计参数 1 a、 2 a、 01 ,b b和 2 b 结束 画图：输入/输出信号和估计参数 一般最小二乘参数辨识流程图 作业作业1 1 1 11 113 101 012 113 1101101 101 1011012 012 21 33 TT TTTT YV r YRr r rr ER y 其中： ， 由最小二乘法计算公式可得： 均方误差为： 12 33 rr 4.3 递推最

21、小二乘法原理及算法递推最小二乘法原理及算法 )(kG )(ku( )x k )(kv ( )y k 图 SISO 系统的“灰箱”结构 一般最小二乘或加权最小二乘为一次完成算法或批处理算法。 计算量大、存储大、不适合在线辨识。 采用参数递推估计递推最小二乘算法。 4.3 递推最小二乘法辨识 递推最小二乘法辨识是一种在线算法。这种方法的辨识精度随 着观测次数的增加而提高。 设已得到的观测数据长度为N，把式(4-9) 中的 分别用 代替，即 y、和 NNN y 、及 NNN y (4-32) 用 表示 的最小二乘估计，则 N 1 TT NNNNN y (4-33) 估计误差为 1 TT NNNNNN

22、 (4-34) 估计误差 的方差阵为 N 1 22 Var T NNNN P (4-35) 上式中，设 1 T NNN P (4-36) 于是，式(4-33)变成 T NNNN yP (4-37) 式中 11 1 1,1 11 ,11 NN T N yy nNnN y nNy nNy Nu nNu N ， ， ， 如果再获得一组新的观测值 和 ，则又增加 一个方程 1y nN1u nN 111 T NNN y (4-38) 将式(4-32)和式(4-33)合并，写成分块矩阵形式，可得 111 T NNN T NNN y y (4-39) 由上式给出新的参数估值 1 1 1111 111 TT

23、NNNN N TTT NNNN T NNNNN y y Pyy (4-40) 式中 1 1 111 11 1 1 11 T NN TT NNNNN TT NN T NNN P P (4-41) 令A=PN-1 ，B=C= 展开式(4-41)的右端， 于是得 到 和 的递推关系式： 1N P N P 1 11111 TT NNNNNNNNN PPPIPP(4-42) 111111 ()() TTT ABCAA B IC A BC A 应用矩阵求逆引理， 1N 矩阵 为 矩阵，求这个矩阵的逆阵的逆 阵是很麻烦的。应用矩阵求逆引理之后，就可把求 的 逆阵转变为求标量 的倒数，这样可大大节省计算量 ，

24、同时又得到 与 的简单递推关系式。 1 11 T NNN P 21 21nn 21 21nn 11 1 T NNN P 1N P N P 由于 为标量，因此式(4-42)可写成 11 T NNN P 11 1 11 1 T NNNN NN T NNN PP PP P (4-43) 由式(4-40)和式(4-37)得 1111 1 111 1 111 T NNNNNN T NNNNNNN NNNNN Pyy PP Pyy PPy 把式(4-43)代入上式得 1 1 1111111 1 111111 1 111111 1 1 1 TT NNNNNNNNNNNNN TT NNNNNNNNNNN TT NNNNNNNNN PPPPPy PPPy PPPy 上式的后两项为 1 11111111 1 111111 1 111111 1 1111 1 11 1 1 TT NNNNNNNNNNNN TT NNNNNNNNN TT NNNNNNNNN T NNNNNN PyPP