梯度校正参数辩识方法[]（ppt x页）

1 . 第第6 6章章 梯度校正参数辩识方法梯度校正参数辩识方法 2 6.1 引言 6.2 确定性问题的梯度校正参数辨识方法 6.3 随机性问题的梯度校正参数辨识方法 6.4 状态方程的参数辨识 6.5 差分方程的参数辨识 6.6 随机逼近法 3 6.1 引言 最小二乘类参数辩识递推算法 n新的参数估计值=老的参数估计值+增益矩阵 新息 梯度校正参数辨识的递归算法的结构如同上式，但其基本 思想与最小二乘类算法不同，它是通过沿着如下准则函数 的负梯度方向，逐步修正模型参数估计值，直至准则函数 达到最小： 其中 代表模型输出与系统输出的偏 差。 4 本章主要讨论的问题： n确定性问题的梯度校正参数辨识方法； n随机性问题的梯度校正参数辨识方法； n梯度校正参数辨识方法在动态过程辨识 中的应用； n随机逼近法。 5 6.2 确定性问题的梯度校正参数辩识方法 确定性问题的输入和输出都是可以准确的测量，没有噪声 。 设过程的输出 参数 的线性组合 n如果输出 和输入 是可 以准确测量的，则 式过程称作确定性过程 6 n确定性过程 置 过程 7 若过程参数的真值记作 则 在离散时间点可写成 其中 8 例如 用差分方程描述的确定性过程 可以化成 9 现在的问题 如何利用输入输出数据 和 确定参数 在 时刻的估计值 使准则函数 式中 10 解决上述问题的方法 可以是梯度校正法，通俗地说最速下降法 沿着 的负梯度方向不断修正 值 直至 达到最小值 11 梯度校正参数辨识方法的参数估计递推形式可 以由下式给出 n - 维的对称阵，称作加权阵 n - 准则函数 关于 的梯度 12 n当准则函数 取 式时 13 式可写成 - 确定性问题的梯度校正参数估计递推公式 n其中权矩阵的选择至关重要，它的作用是用来控制 各输入分量对参数估计值的影响程度。 14 n权矩阵 的作用是用来控制各输入分量 对参数估计的影响程度的，一般地，我们 选择权矩阵的形式为 n只要适当选择 ，就能控制各输入分量 对参数估计值的影响。例如，如果选择 n意味着输入分量 对参数估计值的影 响较 弱，显然这种情况 对参数估 计值的影响最小。如果选择 n则各输入分量的加权值相同，它们对参数 估计值的影响是相同的。 15 定理6.1: 确定性问题的梯度校正参数辨识 方法的参数估计递推公式为： 并且权矩阵选取如下形式： 如何合理地选择权矩阵，由下面的定理给出 。 16 如果R (k)满足如下条件： （1） （2）N个 中至少存在一个 ，使得 或 （3） 17 （4） 与 不正交 那么不管参数估计值的初始值如何选 取，参数估计值 总是大范围一致渐近 收敛的，即 注意：条件1确定了权的选择范围，条件2 是推导条件3的前提，条件3是保证参数 估计全局一致收敛的条件。 证明思路 根据定义，参数估计值的偏差为 可得 设标量函数 可以证明V是上述动态方程的Lyapunov 函数，利用 Lyapunov稳定性定理可以证明，当条件（2）、（3） 成立时，上述方程在平衡状态 点上是大范围一 致渐近稳定的。 （a） ，对于所有的 ； （b） ，对于所有的 ； （c）当 时，有 ； （d） ，对 所有的 。 由定理给定的条件可知（a）、（b）和（c）一 定满足。 20 权矩阵的选择 一般的选择 或者 21 最佳权矩阵的选择（Lyapunov最佳权矩阵） 22 注意 n权矩阵 的作用是控制各输入分量对参数 估计的影响程度； n若 与 正交，或k大于一定的值后 与 正交，则得不到全局稳定性，即 时， 不趋于零。 23 6.3 随机性问题的梯度校正参数辩识方法 n随机性问题的提法 n确定性问题的梯度校正法与其他辩识方法相比 n最大的优点：计算简单 n缺点：如果过程的输入输出含有噪声，这种方法不能用 n随机性问题的梯度校正法 n特点：计算简单，可用于在线实时辩识 n缺陷：事先必须知道噪声的一阶矩和二阶矩统计特性 随机性问题 24 设输入输出均含噪声的随机性问题如下图：设输入输出均含噪声的随机性问题如下图： 系统模型系统模型 参数参数 h(kh(k) ) s(ks(k) ) x(kx(k) ) y(ky(k) ) w(kw(k) ) z(kz(k) ) 25 n设过程的输出 n模型参数 的线性组合 n输入输出数据含有测量噪声 26 n其中 n 和 为零均值的不相关随机噪声 27 置 则 28 现在的问题 利用输入输出数据 和 确定参数 在 时刻的估计值 使准则函数 其中 29 随机性辨识问题的分类 第一类随机性辨识问题 要求测量噪声w(k)是统计独立的 系统参数系统参数 + + + + + + + + - - 模型参数模型参数 辨识算法辨识算法 + + 30 此问题满足以下条件 （1） ；即 与 相互独立 ， 的方差不必已知； （2） ， 为正定 常数矩阵，不必已知； （3）输入向量的测量噪声 是零均值，协方差 为 的不相关离散随机向量，且与 和 是统计独立的。即 第二类问题 测量噪声w(k)中有一部分分量与h(k)是相关 的。 31 系统参数系统参数 + + + + + + + + + + - - 模型参数模型参数 辨识算法辨识算法 动态环节动态环节 32 此问题满足以下条件 （1） ；其中 是测量噪声 ， 是扰动噪声，扰动噪声通过动态环节与 相关。已知 ，其方差不必先知。 （2） ， 为正定常 数矩阵，不必已知； （3）输入向量的测量噪声 是零均值，协方差为 的不相关离散随机向量，且与 和 是统计独立的。 即 33 第三类随机性辨识问题 此问题不仅 与 相关，而且 也和 相关。 第三类随机性辨识问题 34 系统参数系统参数 + + + + + + + + + + - - 模型参数模型参数 辨识算法辨识算法 动态环节动态环节 35 随机性问题的梯度校正参数辨识方法 基本思想与确定性问题一样，也是利用最速下降 法原理，从给定的初始值 出发，沿着准则函 数 的负梯度方向修正参数估计值 ，直至 准则函数 达到最小值 。基本公式： （A） 注意，此式给出的参数估计是渐近有偏估计，注 意步长选择的原则是使第一、二类随机性辨识问 题的条件（条件方差）： 满足。 36 定理6.2：对于第二类随机性辨识问题，利用 （A）式所获得的参数估计值是渐近有偏的估 计值，即： 其中： 是过程的真实参数，且 37 推论6.1：对于第一类随机性辨识问题，当输入 向量不含测量噪声时，利用（A）式所获得的 参数估计值是渐近无偏的估计值，即 38 1.第一类随机性辨识问题的梯度校正渐近 无偏估计算法 由第一类问题的条件， 有，因此 而 因此，修正（A）式，在（A）式的右边边增加一项项 39 此时有： 即 是 的渐近无偏估计。由此可以得到第一 类随机性辨识问题的梯度校正渐近无偏估计算 法如下： （P） 注意： 是已知的，l步长的选择必须满足条件 （2）。 40 2. 第二类随机性辨识问题的梯度校正渐近无 偏估计算法 由第二类问题的条件，有 ，为了获得参数 的渐近无偏估计，必须在（A）式中增加两项， 即需要增加 ： 和 两项。于是可得 第二类随机性辨识问题的梯度校正渐近无偏估计 算法如下： 注意：此时要求 和 已知。 （B ） 41 如果 与 之间具有以下的线性关系： 其中： 是N维向量，M是n阶方阵。 此时可用 来估计 ，即取 ，由此 ，（B）式可以写成： 此时有： 因此（C）式可以作为第二类随机性辨识问题的梯度校正渐近 无偏估计算法，此时的 和M为参变量，由实际问题可以唯 一确定。 （C ） 42 3. 步长间隔的选择 选择的基本原则：使输入向量 与参数估计值 不相关。 由估计式（P）和（C），我们有： 其中 代表函数关系 当 时： 当 时 43 以此类推，得到： 由此可知， 时刻的参数估计值 与时刻 以 前的信息，即输入向量 、输入测量噪声 及输出测量噪声 是相关的 。 44 由此，选择步长间隔l使输入向量 与参数估计值 不相关的问题，可以转变成选择步长间隔l使 与时刻 以前的信息不相关的问题。 根据第一、二类随机性辨识问题的条件，已知 与 时刻以前的 和 是不相关的，所以只 要选择l，使得 与 不相关，就可以使得条件（2 ）成立，保证估计式（P）和（C）都是渐近无偏估计。 45 结论：选择l，必须使得输入向量 与 统计不相关。 一般做法：过程是n阶的差分方程形式，则步 长l选择不能低于阶次n。 46 4.权矩阵的选择 估计式（P）和（C）是第一、二类随机性辨识问题的渐 近无偏估计式，只要选择步长l，使得 与 不相 关即可。但此时估计式并不是均方一致估计或依概率一 致估计，即有： 但 (D) 两式不一定成立。 47 问题：如何选择权矩阵使得（D）式成立？ 定理6.3：假设步长选择满足 与 不 相关，且 如果权矩阵选择如下形式 （E ） 48 满足： 则由（P）和（C）给出的参数估计值 在 均方意义下一致收敛或依概率1收敛。 49 注意： n条件（E）是比较弱的条件，一般问题都 能满足； n 中的 可取 n可以分段选择 ，加快收敛速度。 50 6.4 状态方程的参数辨识（梯度校正法） 要解决的关键问题：为了处理第二类随机辨识问题 ，其梯度校正渐近无偏递推估计算法为： 其中： ，用 来估计 ， 其中 ，因此如何选择参变量 和方 阵M是用此方法的关键。 51 考虑SISO过程，状态方程描述如下： （A） 其中： 为均值为零，方差为 的白噪声； 为噪声模型的参数 ，为已知； 和 为未知待辨识的参数。 52 设输入、输出变量 和 对应的测量值可以记 为： 其中： 和 分别为均值为零、方差为 和 的 白噪声，且 和 统计独立。 53 将状态方程（A）变换为差分方程，我们有： 其中： 54 若记： 则有： 55 这样就将状态方程模型辨识问题化为第二类随机 梯度校正参数辨识问题，因此可得参数的渐近无 偏估计算法： 并且参变量 和方阵M满足： 注意：向量 可由输入、输出测量数据 和 获得；步长l取大于n的值，以保证 和 不相关。 下面讨论参变量 和方阵M的具体求法: (1) 求解状态方程（A）得： 及输出变量 58 (2) 确定 与 的函数关系。 由（B）及（1）的结果，注意到白噪声 和 的统计特性，我们有： 将上面的式子写成矩阵形式，即有： 其中： n上面的矩阵M为2n阶对称矩阵，并且可 由噪声模型参数向量 唯一确定，参数 亦可由噪声模型参数向量 唯一确定。 7.5 差分方程的参数辨识 下面直接辨识差分方程模型： 所有关于噪声的假设同上一节，并且噪声模型的 参数已知，同上一节的推导过程一样，由： 因此，有： 最后，我们得到： 注意：当 时，上式 不能化为待辨识参数 的线性形式，因此不能确定参变量 和方阵 M。此时，如果在上式中，利用 代替 P，则直接用以下算法： 估计模型参数 。 n当 ，上式 可以化为待辨识参数的线性 形式，因此可以利用算法 n估计模型参数 。 例如：当 时，我们有： 因此有： 其中： 72 7.5 随机逼近法 n随机逼近法 n梯度校正法的一种类型 n颇受重视的参数估计方法 73 随机逼近原理 n考虑如下模型的辩识问题 n - 均值为零的噪声 n模型的参数辩识 n通过极小化 的方差来实现 n即求参数 的估计值使下列准则函数达到极小值 74 n准则函数的一阶负梯度 n令其梯度为零 75 原则上 n由 式可以求得使 的参数估计值 n但，因为 的统计性质不知道 n因此 式实际上还是无法解的 76 如果 式左边的数学期望用平均值来近似 则有 这种近似使问题退化成最小二乘问题 77 研究 式的随机逼近法解 n设 是标量， 是对应的随机变量 n 是 条件下 的概率密度函数 n则随机变量 关于 的条件数学期望为 n记作 n它是 的函数，称作回归函数 78 对于给定的 设下列方程，具有唯一的解 当 函数的形式及条件概率密度函数 都不知道时，求上述方程的解析解是困难的， 可以利用随机逼近法求解。 79 n随机逼近法 n利用变量 及其对应的随机变量 n通过迭代计算 n逐步逼近方程（29）式的解 80 n常用的迭代算法 nRobbins Monro 算法 nKiefer Wolfowitz 算法 Robbins Monro 算法 n其中： 称为收敛因子。如果满足： n则由（C）确定的 在均方意义下收敛于方 程（29）式的解。 （D） （C） 一般 取： n另外：当满足以下条件时 n由（C）确定的满足： KieferWolfowitz算法： n目的：确定回归函数 的极值点。 n若收敛因子 满足条件（D），则由（E）确 定的收敛到回归函数的极值点。 （E） n考察准则函数 的极值问题，若 在点上 取得极值 ，则 的迭代算法为： n若收敛因子满足条件（D），则 在均方意 义下收敛于真值 ，即 （F） 随机逼近参数估计方法 考察参数辨识问题： 设准则函数为： 其中： 为标量函数； 表示时刻k以前的输入 输出数据集合。 （G） 准则函数的一阶负梯度为： 则参数辨识问题（G）可以归结为求解以下方程 由随机逼近原理，可得： 其中 为满足条件（D）的收敛因子。 若具体的准则函数取： n则有： n下面考察以下参数辨识问题： n其中： 是均值为零，方差为 的白噪声 ，输入输出带有噪声，即 （H） n其中 和 分别是均值为零，方差为 和