第6章梯度校正参数辩识方法1ppt课件

1、1.26.1 引言6.2 确定性问题的梯度校正参数辨识方法 6.3 随机性问题的梯度校正参数辨识方法6.4 形状方程的参数辨识 6.5 差分方程的参数辨识6.6 随机逼近法36.1 引言引言最小二乘类参数辩识递推算法最小二乘类参数辩识递推算法新的参数估计值新的参数估计值=老的参数估计值老的参数估计值+增益矩阵增益矩阵 新息新息梯度校正参数辨识的递归算法的构造好像上式，但其根本梯度校正参数辨识的递归算法的构造好像上式，但其根本思想与最小二乘类算法不同，它是经过沿着如下准那么函思想与最小二乘类算法不同，它是经过沿着如下准那么函数的负梯度方向，逐渐修正模型参数估计值，直至准那么数的负梯度方向，逐渐修

2、正模型参数估计值，直至准那么函数到达最小：函数到达最小：其中其中 代表模型输出与系统输出的偏向。代表模型输出与系统输出的偏向。 min),(21)()()(2kkkJh h)()()(kkykT4本章主要讨论的问题：本章主要讨论的问题：确定性问题的梯度校正参数辨识方法；确定性问题的梯度校正参数辨识方法；随机性问题的梯度校正参数辨识方法；随机性问题的梯度校正参数辨识方法；梯度校正参数辨识方法在动态过程辨识中梯度校正参数辨识方法在动态过程辨识中的运用；的运用；随机逼近法。随机逼近法。56.2 确定性问题的梯度校正参数辩识方法确定性问题的梯度校正参数辩识方法确定性问题的输入和输出都是可以准确的丈量，

3、没有噪声。确定性问题的输入和输出都是可以准确的丈量，没有噪声。设过程的输出设过程的输出参数参数 的线性组合的线性组合假设输出假设输出 和输入和输入 是可以准是可以准确丈量的，那么确丈量的，那么 式过程称作确定性过程式过程称作确定性过程)(tyN,21NNthththty)()()()(2211)(ty)(,),(),(21thththN6n确定性过程确定性过程n置置0TNTNthththth,)(,),(),()(2121过程 ( )h k( )y k7假设过程参数的真值记作假设过程参数的真值记作那么那么在离散时间点可写成在离散时间点可写成其中其中00)()(thtyT0)()(khkyTTN

4、khkhkhkh)(,),(),()(218例如例如用差分方程描画确实定性过程用差分方程描画确实定性过程可以化成可以化成)() 1()(1nkyakyakyn)() 1(1nkubkubnnnbbbaaankukunkykykh,)(,),1(),(,),1()(21219如今的问题如今的问题如何利用输入输出数据如何利用输入输出数据 和和确定参数确定参数 在在 时辰的估计值时辰的估计值使准那么函数使准那么函数式中式中)(kh)(kyk)(kmin| ),(21| )()(2)(kkkJ)()(),(khkyk10处理上述问题的方法处理上述问题的方法可以是梯度校正法，通俗地说最速下降法可以是梯度

5、校正法，通俗地说最速下降法沿着沿着 的负梯度方向不断修正的负梯度方向不断修正 值值直至直至 到达最小值到达最小值)(J)(k)(J11 梯度校正参数辨识方法的参数估计递推方式可梯度校正参数辨识方法的参数估计递推方式可以由下式给出以由下式给出 - 维的对称阵，称作加权阵维的对称阵，称作加权阵 - 准那么函数准那么函数 关于关于 的梯的梯度度)(|)()()() 1(kJgradkRkk)(Jgrad)(kRN)(J12n当准那么函数当准那么函数 取取 式时式时)(J)(2)(),(21|)(kkkddJgrad)(),(khkk)()()()(khkkhky13 式可写成式可写成 - - 确定性

6、问题的梯度校正参数估计递推公式确定性问题的梯度校正参数估计递推公式其中权矩阵的选择至关重要，它的作用是用来控其中权矩阵的选择至关重要，它的作用是用来控制各输入分量对参数估计值的影响程度。制各输入分量对参数估计值的影响程度。)()()()()()() 1(kkhkykhkRkk14n权矩阵权矩阵 的作用是用来控制各输入分量的作用是用来控制各输入分量对参数估计的影响程度的，普通地，我们对参数估计的影响程度的，普通地，我们选择权矩阵的方式为选择权矩阵的方式为 n只需适中选择只需适中选择 ，就能控制各输入分量，就能控制各输入分量 对参数估计值的影响。例如，假设选择对参数估计值的影响。例如，假设选择n意

7、味着输入分量意味着输入分量 对参数估计值的影对参数估计值的影响较响较 弱，显然这种情况弱，显然这种情况 对参数估对参数估计值的影响最小。假设选择计值的影响最小。假设选择 n那么各输入分量的加权值一样，它们对参那么各输入分量的加权值一样，它们对参数估计值的影响是一样的。数估计值的影响是一样的。)(,),(),()()(21kkkdiagkckRN)(kR R)(kiNikii, 2 , 1; 10 ,)()(1khi)(khi)(khNIkkkdiagN)(,),(),(2115定理定理6.1: 确定性问题的梯度校正参数辨识确定性问题的梯度校正参数辨识方法的参数估计递推公式为：方法的参数估计递推

8、公式为：并且权矩阵选取如下方式：并且权矩阵选取如下方式：)()()()()()() 1(kkkykkkkR Rhh)(,),(),()()(21kkkdiagkckNR R如何合理地选择权矩阵，由下面的定理给出。如何合理地选择权矩阵，由下面的定理给出。16假设假设R (k)满足如下条件：满足如下条件：12N个个 中至少存在一个中至少存在一个 ，使得，使得或或3), 2 , 1()(0NikHiL)() 1()()() 1()(kkkkkkiiimmm)() 1()() 1(kkkkiimmNiiikhkkc12)()(2)(0)(ki)(km17 4 与与 不正交不正交 那么不论参数估计值的初

9、始值如何选那么不论参数估计值的初始值如何选取，参数估计值取，参数估计值 总是大范围一致渐近总是大范围一致渐近收敛的，即收敛的，即留意：条件留意：条件1确定了权的选择范围，条件确定了权的选择范围，条件2是推导条件是推导条件3的前提，条件的前提，条件3是保证参数是保证参数估计全局一致收敛的条件。估计全局一致收敛的条件。 )(kh)(k0)(limkk)()(0kk证明思绪证明思绪根据定义，参数估计值的偏向为根据定义，参数估计值的偏向为可得可得)()(0kk)()()()() 1(kkhkhkIkR R设标量函数设标量函数NiiimkkkkkV12)()()(),(可以证明可以证明V是上述动态方程的

10、是上述动态方程的Lyapunov 函数，利用函数，利用Lyapunov稳定性定理可以证明，当条件稳定性定理可以证明，当条件2、3成立时，上述方程在平衡形状成立时，上述方程在平衡形状 点上是大范围一点上是大范围一致渐近稳定的。致渐近稳定的。0)(ka ，对于一切的，对于一切的 ；b ，对于一切的，对于一切的 ；c当当 时，有时，有 ；d ，对，对一切的一切的 。 由定理给定的条件可知由定理给定的条件可知a、b和和c一一定满足。定满足。0),(kkV0 0)(k0),(kkV0 0)(k)(k),(kkV0),( 1),1(,kkVkkVkV0 0)(k20权矩阵的选择权矩阵的选择 普通的选择普通

11、的选择或者或者20)(,),(),()()()(2112ckkkdiagkhkckRNNiii2)()(khckRI I21最正确权矩阵的选择最正确权矩阵的选择Lyapunov最正确权矩阵最正确权矩阵 )(,),(),()()(1)(2112kkkdiagkhkkNNiiiR R22 留意留意权矩阵权矩阵 的作用是控制各输入分量对参数估的作用是控制各输入分量对参数估计的影响程度；计的影响程度；假设假设 与与 正交，或正交，或k大于一定的值后大于一定的值后 与与 正交，那么得不到全局稳定性，即正交，那么得不到全局稳定性，即 时，时， 不趋于零。不趋于零。)(kR R)(k)(kh)(k)(khk

12、)(k236.3 随机性问题的梯度校正参数辩识方法随机性问题的梯度校正参数辩识方法n随机性问题的提法随机性问题的提法n确定性问题的梯度校正法与其他辩识方法相比确定性问题的梯度校正法与其他辩识方法相比n最大的优点：计算简单最大的优点：计算简单n缺陷：假设过程的输入输出含有噪声，这种方缺陷：假设过程的输入输出含有噪声，这种方法不能用法不能用n随机性问题的梯度校正法随机性问题的梯度校正法n特点：计算简单，可用于在线实时辩识特点：计算简单，可用于在线实时辩识n缺陷：事先必需知道噪声的一阶矩和二阶矩统缺陷：事先必需知道噪声的一阶矩和二阶矩统计特性计特性随机性问题随机性问题2425n设过程的输出设过程的输

13、出n模型参数模型参数 的线性组合的线性组合n输入输出数据含有丈量噪声输入输出数据含有丈量噪声)(kyN,21NNkhkhkhky)()()()(2211Nikskhkxkwkykziii, 2 , 1),()()()()()(26n其中其中n 和和 为零均值的不相关随机噪声为零均值的不相关随机噪声)(kw)(ksijijiksksEsiji, 0,)()(227置置那么那么NNNNkskskskskhkhkhkhkxkxkxkx,)(,),(),()()(,),(),()()(,),(),()(21212121)()()()()()(kwkhkzkskhkx28如今的问题如今的问题利用输入输出

14、数据利用输入输出数据 和和确定参数确定参数 在在 时辰的估计值时辰的估计值使准那么函数使准那么函数其中其中)(kx)(kzk)(kmin| ),(21| )()(2)(kkkJ)()(),(kxkzk29随机性辨识问题的分类随机性辨识问题的分类第一类随机性辨识问题第一类随机性辨识问题要求丈量噪声要求丈量噪声w(k)是统计独立的是统计独立的)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)( kh)(ks)( ky)( kw)( kz)(kz)(kz)(k)( kx)( kx30 此问题满足以下条件此问题满足以下条件1 ；即；即 与与 相互独立，相互独立

15、， 的方差不用知；的方差不用知；2 ， 为正定为正定常数矩阵，不用知；常数矩阵，不用知；3输入向量的丈量噪声输入向量的丈量噪声 是零均值，协方差是零均值，协方差为为 的不相关离散随机向量，且与的不相关离散随机向量，且与 和和 是统计独立的。即是统计独立的。即0)()(kwkEh h)(kh h)(kw)(kw)()( )()()(kkEkkkEh hh hh hh h0)()(0)()()(,)()(0)(22221kkEkwkEdiagkkEkEssssNs sh hs ss ss ss s已知)(kss)(kh)(kw 第二类问题第二类问题丈量噪声丈量噪声w(k)中有一部分分量与中有一部分

16、分量与h(k)是相关是相关的。的。31)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)( kwd)( kwm)( kr)( kr)(ks)( kh)( kx)( kx)( ky)( kw)(k)(kz)(kz)( kz)( kwm)( kwd32 此问题满足以下条件此问题满足以下条件1 ；其中；其中 是丈量噪声是丈量噪声 ， 是扰动噪声，扰动噪声经过动态环节与是扰动噪声，扰动噪声经过动态环节与 相关。相关。知知 ，其方差不用先知。，其方差不用先知。2 ， 为正定常为正定常数矩阵，不用知；数矩阵，不用知；3输入向量的丈量噪声输入向量的丈量噪声 是零均值

17、，协方差为是零均值，协方差为 的不相关离散随机向量，且与的不相关离散随机向量，且与 和和 是统计独立的。是统计独立的。即即0)()(0)()()(,)()(0)(22221kkEkwkEdiagkkEkEssssNs sh hs ss ss ss s已知)()()(kwkwkwdm)(kwm)(kwd)(kh h0)(kwE)()( )()()(kkEkkkEh hh hh hh h)(kss)(kh)(kw33第三类随机性辨识问题第三类随机性辨识问题此问题不仅此问题不仅 与与 相关，而且相关，而且 也和也和 相关。相关。)(kw)(kh h)(kh h)(k第三类随机性辨识问题第三类随机性辨

18、识问题34)(ks)(kz)( kh)( kx)( ky)( kz)( kx)(kz)(k)( kw)( kwd)( kwm)( kr)( kr)(ks)( kh)( kx)( kx)( ky)( kw)(k)(kz)(kz)( kz)( kwm)( kwd)(k35随机性问题的梯度校正参数辨识方法随机性问题的梯度校正参数辨识方法根本思想与确定性问题一样，也是利用最速下降根本思想与确定性问题一样，也是利用最速下降法原理，从给定的初始值法原理，从给定的初始值 出发，沿着准那么出发，沿着准那么函数函数 的负梯度方向修正参数估计值的负梯度方向修正参数估计值 ，直，直至准那么函数至准那么函数 到达最小

19、值到达最小值 。根本公式：。根本公式： A留意，此式给出的参数估计是渐近有偏估计，留留意，此式给出的参数估计是渐近有偏估计，留意步长选择的原那么是使第一、二类随机性辨识意步长选择的原那么是使第一、二类随机性辨识问题的条件条件方差：问题的条件条件方差： 满足。满足。)()()()()()()(kkkzkkklkx xx xR R)()( )()()(kkEkkkEh hh hh hh h)0()(J)(k)(J)(J36定理定理6.2：对于第二类随机性辨识问题，利用：对于第二类随机性辨识问题，利用A式所获得的参数估计值是渐近有偏的估式所获得的参数估计值是渐近有偏的估计值，即：计值，即：其中：其中

20、： 是过程的真实参数，且是过程的真实参数，且0021)()()(limTkEsk)()( )()()(,)()()()(222221kkEkkkEdiagkkEkwkETNssssh hh hh hh hs ss sh h037推论推论6.1：对于第一类随机性辨识问题，当输入：对于第一类随机性辨识问题，当输入向量不含丈量噪声时，利用向量不含丈量噪声时，利用A式所获得的式所获得的参数估计值是渐近无偏的估计值，即参数估计值是渐近无偏的估计值，即0)(limkEk381.第一类随机性辨识问题的梯度校正渐近第一类随机性辨识问题的梯度校正渐近无偏估计算法无偏估计算法由第一类问题的条件，由第一类问题的条件

21、， 有，因此有，因此而而02T01)()(limskkE)()()()()(0kEkRkRkElkEs因此，修正因此，修正A式，在式，在A式的右边添加一项式的右边添加一项 )()(kkRs)()()()(0kEkRkElkE39此时有：此时有：即即 是是 的渐近无偏估计。由此可以得到第一的渐近无偏估计。由此可以得到第一类随机性辨识问题的梯度校正渐近无偏估计算类随机性辨识问题的梯度校正渐近无偏估计算法如下：法如下： P留意：留意： 是知的，是知的，l步长的选择必需满足条件步长的选择必需满足条件2。 0)(limkEk)(k0)()()()()()()()(kkkzkkRkkRlksx xx xI

22、 Is402. 第二类随机性辨识问题的梯度校正渐近无第二类随机性辨识问题的梯度校正渐近无偏估计算法偏估计算法由第二类问题的条件，有由第二类问题的条件，有 ，为了获得参数，为了获得参数的渐近无偏估计，必需在的渐近无偏估计，必需在A式中添加两项，式中添加两项，即需求添加即需求添加 ： 和和 两项。于是可得两项。于是可得第二类随机性辨识问题的梯度校正渐近无偏估计第二类随机性辨识问题的梯度校正渐近无偏估计算法如下：算法如下：留意：此时要求留意：此时要求 和和 知。知。02T)()(kkRs2)(TkR)()()()()()()()()(2kkkzkkRTkRkkRlksx xx xI Is)()(2k

23、wkETh hB 41假设假设 与与 之间具有以下的线性关系：之间具有以下的线性关系：其中：其中： 是是N维向量，维向量，M是是n阶方阵。阶方阵。 此时可用此时可用 来估计来估计 ，即取，即取 ，由此，由此，B式可以写成：式可以写成：此时有：此时有：因此因此C式可以作为第二类随机性辨识问题的梯度校正渐近式可以作为第二类随机性辨识问题的梯度校正渐近无偏估计算法，此时的无偏估计算法，此时的 和和M为参变量，由实践问题可以独为参变量，由实践问题可以独一确定。一确定。02MT)(kM2T)(2kMT)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I0)(li

24、mkEk0)()(2kwkETh hC 423. 步长间隔的选择步长间隔的选择选择的根本原那么：使输入向量选择的根本原那么：使输入向量 与参数估计值与参数估计值 不相关。不相关。由估计式由估计式P和和C，我们有：，我们有：其中其中 代表函数关系代表函数关系 当当 时：时：当当 时时 )(kh h)(k)(),(),(),()(kwkkkflks sh h)(f0k)0(),0(),0(),0()0(),0(),0(),0()(1wgwfls sh hs sh hlk )(),(),(),0(),0(),0(),0()(),(),(),0(),0(),0(),0()(),(),(),()2(2l

25、wllwglwllwflwlllfls sh hs sh hs sh hs sh hs sh h43以此类推，得到：以此类推，得到：由此可知，由此可知， 时辰的参数估计值时辰的参数估计值 与时辰与时辰 以前的信息，即输入向量以前的信息，即输入向量 、输入丈量噪、输入丈量噪声声 及输出丈量噪声及输出丈量噪声 是相关的。是相关的。)(),(),(,),0(),0(),0(),0()(),(),(),()(lmlwlmllmlwglmlwlmllmllmlfmlms sh hs sh hs sh hmlk )(klk )(,),0(lk h hh h)(,),0(lk s ss s)(,),0(lk

26、ww44由此，选择步长间隔由此，选择步长间隔l使输入向量使输入向量 与参数估计值与参数估计值 不相关的问题，可以转变成选择步长间隔不相关的问题，可以转变成选择步长间隔l使使 与时辰与时辰 以前的信息不相关的问题。以前的信息不相关的问题。根据第一、二类随机性辨识问题的条件，知根据第一、二类随机性辨识问题的条件，知 与与 时辰以前的时辰以前的 和和 是不相关的，所以只是不相关的，所以只需选择需选择l，使得，使得 与与 不相关，就可以使得条件不相关，就可以使得条件2成立，保证估计式成立，保证估计式P和和C都是渐近无偏估计。都是渐近无偏估计。)(kh h)(k)(kh h)(lk )(kh h)(lk

27、 )(is slkiiw, 2 , 1),()(kh h)(lk h h45结论：选择结论：选择l，必需使得输入向量，必需使得输入向量 与与 统计不相关。统计不相关。普通做法：过程是普通做法：过程是n阶的差分方程方式，那么阶的差分方程方式，那么步长步长l选择不能低于阶次选择不能低于阶次n。)(kh h)(lk h h464.权矩阵的选择权矩阵的选择估计式估计式P和和C是第一、二类随机性辨识问题的渐是第一、二类随机性辨识问题的渐近无偏估计式，只需选择步长近无偏估计式，只需选择步长l，使得，使得 与与 不相不相关即可。但此时估计式并不是均方一致估计或依概率一关即可。但此时估计式并不是均方一致估计或

28、依概率一致估计，即有：致估计，即有：但但 (D)两式不一定成立。两式不一定成立。 0)(limkEk1)(lim)(lim0200 0kPkEkk)(kh h)(lk h h47问题：如何选择权矩阵使得问题：如何选择权矩阵使得D式成立？式成立？定理定理6.3：假设步长选择满足：假设步长选择满足 与与 不不相关，且相关，且假设权矩阵选择如下方式假设权矩阵选择如下方式 )()()( )()()()()(2222kkwkEkkkkEkwEx xx xx xx x)(kh h)(lk h h)(,),(),()()(21kkkdiagkckRNE48满足：满足：那么由那么由P和和C给出的参数估计值给出

29、的参数估计值 在均方意义下一致收敛或依概率在均方意义下一致收敛或依概率1收敛。收敛。121)(,)(0)(lim, 0)(dim, 2 , 1,)(0kkkHiLkckckckkcNNik)(lk 49留意：留意：条件条件E是比较弱的条件，普通问题都是比较弱的条件，普通问题都能满足；能满足； 中的中的 可取可取可以分段选择可以分段选择 ，加快收敛速度。，加快收敛速度。)(kR)(kc0, 121,1)(kpkkcp)(kR506.4 形状方程的参数辨识梯度校正法形状方程的参数辨识梯度校正法要处理的关键问题：为了处置第二类随机辨识问题，要处理的关键问题：为了处置第二类随机辨识问题，其梯度校正渐近

30、无偏递推估计算法为：其梯度校正渐近无偏递推估计算法为：其中：其中： ，用，用 来估计来估计 ，其中其中 ，因此如何选择参变量，因此如何选择参变量 和方和方阵阵M是用此方法的关键。是用此方法的关键。)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I)()(2kwkETh h)(kM2T02MT51思索思索SISO过程，形状方程描画如下：过程，形状方程描画如下： A其中：其中：)()()()()() 1(kkykkukAkx xc cd db bx xx x121100001000010aaaaAnnn0, 0, 1 ,2121c cd db bnndd

31、dbbb 为均值为零，方差为为均值为零，方差为 的白噪声；的白噪声； 为噪声模型的参为噪声模型的参数，为知；数，为知； 和和 为未知待辨识的参数。为未知待辨识的参数。)(k2d dAb b52设输入、输出变量设输入、输出变量 和和 对应的丈量值可以记对应的丈量值可以记为：为：其中：其中： 和和 分别为均值为零、方差为分别为均值为零、方差为 和和 的的白噪声，且白噪声，且 和和 统计独立。统计独立。)(ku)(ky)()()()()()(kskukxkwkykz)(ks)(kw2s2w)(kw)(ks s53将形状方程将形状方程A变换为差分方程，我们有：变换为差分方程，我们有：其中：其中：)()

32、 1()() 1()() 1()(111nkdkdnkbkubnkyakyakynnnb bb bPbbbn,21d dd dPdddn,211011121121aaaaaaPnn54假设记：假设记：n那么有： )(,),1()()()()() 1()()()(,),1(),(,),1()(,)(,),1(),(,),1()()(,),1(),(,),1()(111nkkkkkwnkdkdkwkenksksnkwkwkbbaankxkxnkzkzknkukunkykyknnnd ds sx xh h)()()()()()(kekkzkkkh hs sh hx x55这样就将形状方程模型辨识问题

33、化为第二类随机这样就将形状方程模型辨识问题化为第二类随机梯度校正参数辨识问题，因此可得参数的渐近无梯度校正参数辨识问题，因此可得参数的渐近无偏估计算法：偏估计算法：)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I)2()2(2200)()(nnnsnwsIIkkEs ss snikkkpkkkdiagkkRHiLnp2 , 2 , 1,)()()(0, 121)(,),(),(1)(221并且参变量并且参变量 和方阵和方阵M满足：满足：02)()(h hMkekET 留意：向量留意：向量 可由输入、输出丈量数据可由输入、输出丈量数据 和和 获得；步

34、长获得；步长l取大于取大于n的值，以保证的值，以保证 和和 不相关。不相关。)(kx x)(x)(z)(kh h)(lk h h下面讨论参变量下面讨论参变量 和方阵和方阵M的详细求法的详细求法:(1) 求解形状方程求解形状方程A得：得：及输出变量及输出变量kiikkiiuAAk1)1() 1()0()(d db bx xx xkiikkiiuAAky1)1() 1()0()(d db bc cx xc c58(2) 确定确定 与与 的函数关系。的函数关系。由由B及及1的结果，留意到白噪声的结果，留意到白噪声 和和 的统计特性，我们有：的统计特性，我们有：)(kw)(kd dd dd dc c0

35、 , 0 , 0)() 1()() 1(2111121112211121212111niiiiniiniiiniinkiikdddddddPdddkiEAkekyE)()(kekEh h0d dd dd dc c0 , 0 , 0 , 0 )() 1()() 2(3111131212121222122212212niiiiniiniiiniiiniinkiikdddddddddPdddkiEAkekyEd dd dd dc c0 , 0 , 0 , 0)() 1()() 1(11211121121212111iiiiiniiinnkiinkdddddddPdkiEAkenkyE0)()(ken

36、kyE将上面的式子写成矩阵方式，即有：将上面的式子写成矩阵方式，即有： n其中：02)()(h hMkekET1)2(1112121112niniiniiiniiidddddd0 00000001121133112121123122111122iiiniiniiiniiiniiniiiniiiniidddddddddddddMn上面的矩阵上面的矩阵M为为2n阶对称矩阵，并且可阶对称矩阵，并且可由噪声模型参数向量由噪声模型参数向量 独一确定，参数独一确定，参数 亦可由噪声模型参数向量亦可由噪声模型参数向量 独一确定。独一确定。d dd d7.5 差分方程的参数辨识差分方程的参数辨识下面直接辨识差

37、分方程模型：下面直接辨识差分方程模型：一切关于噪声的假设同上一节，并且噪声模型的一切关于噪声的假设同上一节，并且噪声模型的参数知，同上一节的推导过程一样，由：参数知，同上一节的推导过程一样，由：)() 1()() 1()() 1()(111nkdkdnkbkubnkyakyakynnnkiikiiuAAky1)1() 1()0()(d db bc cx xc c因此，有：因此，有：d dd dd dc cd dd dc c1132211111110 ,)() 1()() 1()() 1(PddddkiEPAkiEAkekyEnnkiikkiikd dd dd dc cd dd dc c1432

38、21122120 , 0 ,)() 1()() 1()()2(PdddkiEPAkiEAkekyEnkiikkiikd dd dd dc cd dd dc c1211111110 , 0 , 0 , 0 ,)() 1()() 1()() 1(PdkiEPAkiEAkenkyEnnkiinknkiink最后，我们得到：最后，我们得到：1)2(11431132220, 0 ,0, 0 ,0 ,)()(nnnnnPdPdddPddddkekET0 0d dd dd dh h留意：当留意：当 时，上式时，上式 不能化为待辨识参数不能化为待辨识参数的线性方式，因此不能确定参变量的线性方式，因此不能确定参

39、变量 和方阵和方阵M。此时，假设在上式中，利用。此时，假设在上式中，利用 替代替代P，那么直接用以下算法：，那么直接用以下算法：估计模型参数估计模型参数 。3n2T)(kPP)()()()()()()()()(2kkkzkkRTkRkkRlksx xx xI In当当 ，上式，上式 可以化为待辨识参数的线性可以化为待辨识参数的线性方式，因此可以利用算法方式，因此可以利用算法 n估计模型参数估计模型参数 。3n2T)()()()()()()()()()(kkkzkkRkRkMkRkRlksx xx xI I例如：当例如：当 时，我们有：时，我们有：因此有：因此有：3n13321121212111

40、1122111121,101001,101001ddadadaddaddPaaaaPaaaPd dd dh hMddddaddddPdPddkekET000000000, 0 ,0 ,)()(31311322121313222其中：0 , 0 , 0 , 0 ,3132212dddddd0000000000031ddM,321321bbbaaa727.5 随机逼近法随机逼近法n随机逼近法随机逼近法n梯度校正法的一种类型梯度校正法的一种类型n颇受注重的参数估计方法颇受注重的参数估计方法73随机逼近原理随机逼近原理n思索如下模型的辩识问题思索如下模型的辩识问题n - 均值为零的噪声均值为零的噪声n

41、模型的参数辩识模型的参数辩识n经过极小化经过极小化 的方差来实现的方差来实现n即求参数即求参数 的估计值使以下准那么函数到达的估计值使以下准那么函数到达极小值极小值)()()(kekhkz)(ke)(ke)()(21)(21)(22khkzEkeEJ74n准那么函数的一阶负梯度准那么函数的一阶负梯度n令其梯度为零令其梯度为零)()()()(khkzkhEJ ( ) ( )( ) 0E h kz kh k 75原那么上原那么上由由 式可以求得使式可以求得使 的参数估计的参数估计值值但，由于但，由于 的统计性质不知道的统计性质不知道因此因此 式实践上还是无法解的式实践上还是无法解的min)(J)(

42、ke76假设假设 式左边的数学期望用平均值来近似式左边的数学期望用平均值来近似那么有那么有这种近似使问题退化成最小二乘问题这种近似使问题退化成最小二乘问题0)()()(11LkkhkzkhLLkLkkzkhkhkh111)()()()(77研讨研讨 式的随机逼近法解式的随机逼近法解设设 是标量，是标量， 是对应的随机变量是对应的随机变量 是是 条件下条件下 的概率密度函数的概率密度函数那么随机变量那么随机变量 关于关于 的条件数学期望为的条件数学期望为记作记作它是它是 的函数，称作回归函数的函数，称作回归函数x)(xy)|(xypxyyx)|(|xyydpxyE|)(xyExhx78对于给定的

43、对于给定的设以下方程，具有独一的解设以下方程，具有独一的解当当 函数的方式及条件概率密度函数函数的方式及条件概率密度函数 都不知道时，求上述方程的解析解是困难都不知道时，求上述方程的解析解是困难的，可以利用随机逼近法求解。的，可以利用随机逼近法求解。|)(xyExh)(xh)|(xyp79n随机逼近法随机逼近法n利用变量利用变量 及其对应的随机变量及其对应的随机变量n经过迭代计算经过迭代计算n逐渐逼近方程逐渐逼近方程2929式的解式的解,21xx),(),(21xyxy80n常用的迭代算法常用的迭代算法nRobbins Monro 算法算法nKiefer Wolfowitz 算法算法Robbi

44、ns Monro Robbins Monro 算法算法n其中：其中： 称为收敛因子。假设满足：称为收敛因子。假设满足：n那么由那么由C确定的确定的 在均方意义下收敛于在均方意义下收敛于方程方程29式的解。式的解。 )()()() 1(kxykkxkx D121)(;)(0)(lim;,0)(kkkkkkkk)(k)(kxC普通普通 取：取： n另外：当满足以下条件时另外：当满足以下条件时n由由C确定的满足：确定的满足：)(kkabkkk)(;1)(0)(inf,0,)(,)();(,)(,)()()(2012121002xhxxxhxxxhxxdcxhxydpxhyxx1)(limPr0 xk

45、xobkKieferWolfowitz算法：算法：n目的：确定回归函数目的：确定回归函数 的极值点。的极值点。n假设收敛因子假设收敛因子 满足条件满足条件D，那么由，那么由E确定的收敛到回归函数的极值点。确定的收敛到回归函数的极值点。)()()() 1(kxdxdykkxkx)(k)(xhEn调查准那么函数调查准那么函数 的极值问题，假设的极值问题，假设 在在点上点上 获得极值获得极值 ，那么，那么 的迭代算法为：的迭代算法为：n假设收敛因子满足条件假设收敛因子满足条件D，那么，那么 在均在均方意义下收敛于真值方意义下收敛于真值 ，即，即)()()()() 1(kJkkk)(J)(J0)()(

46、lim00kkEk0F)(k随机逼近参数估计方法随机逼近参数估计方法调查参数辨识问题：调查参数辨识问题：设准那么函数为：设准那么函数为：其中：其中： 为标量函数；为标量函数； 表示时辰表示时辰k以前的输入以前的输入输出数据集合。输出数据集合。)()()(kekkzh h),()(khEJD D)(hkD DG准那么函数的一阶负梯度为：准那么函数的一阶负梯度为：n那么参数辨识问题那么参数辨识问题G可以归结为求解以下方可以归结为求解以下方程程n由随机逼近原理，可得：由随机逼近原理，可得：n其中其中 为满足条件为满足条件D的收敛因子。的收敛因子。),(),()(kkhEJD Dq qD D0 0D

47、Dq q),(k),1()() 1()(kkkkkD Dq q)(k假设详细的准那么函数取：假设详细的准那么函数取：n那么有：那么有：n下面调查以下参数辨识问题：下面调查以下参数辨识问题：n其中：其中： 是均值为零，方差为是均值为零，方差为 的白噪声的白噪声，输入输出带有噪声，即，输入输出带有噪声，即)()(21)(21)(22h hkkzEkeEJ)1()()()()() 1()(kkkzkkkkh hh h)()()()()(11kvkuzBkyzA)()()()()()(kskukxkwkykz)(kv2vHn其中其中 和和 分别是均值为零，方差为分别是均值为零，方差为 和和 的白噪声，并且的白噪声，并且 、 、 和和 两两两两不相关，且不相关，且n令：令：bbaannnnzbzbzbzBzazazazA2211122111)(1)()(ks)(kw2s2w)(kv)(ks)(kw)(ku)()()()()()(,)(,),1(),(,),1()(112121kvkszBkwzAkebbbaaankxkxnkzkzkbannbah h那么模型那么模型H化为最小二乘格式：化为最小二乘格式：其中的噪声具有以下性质：其中的噪声具有以下性质：取准那么函数：取准那么函数：)()()(kekkzh h0)()(,max,0,)()(0)(kek