系统建模理论及应用05-2003

系统建模理论及应用清华大学自动化系系统工程研究所2003季学期1第四章梯度校正建模理论研究最小二乘建模递推算法的结构: 新的估计值=前一步的估计值+修正值梯度校正法:沿着准则函数的负梯度方向,逐步修正模型的参数估计值,直至准则函数达到最小值.梯度建模方法的应用: 1.确定性问题的梯度建模方法; 2.随机性问题的梯度建模方法; 3.随机逼近法的应用;24.1确定性问题的梯度校正建模(1/6)设系统的输出是参数的线性组合如果y(t)和所有的h(t)是可以准确测量的,称为确定性过程,设：可以简单记为:在离散时间点有可以写成:例如用差分方程描述的确定性过程可以写成:34.1确定性问题的梯度校正建模(2/6)很容易化为定义式其中建模的核心问题就是如何根据数据来确定参数在k时刻的估计值,使用准则函数式中解决此类问题的方法可以用梯度校正法，也就是最速下降法。其核心就是沿着的负梯度方向不断修正的值，直至

达到最小。4这种方法的数学表达式为：其中：R(k)称为加权阵，是n维的对称矩阵。表示准则函数关于的梯度4.1确定性问题的梯度校正建模(3/6)有确定性问题的递推公式可以写成:5加权阵的作用是用来控制各输入量对建模的影响程度。其基本格式为:4.1确定性问题的梯度校正建模(4/6)只要适当选择，就能控制各输入分量对参数估计值的影响。如果取表示输入分量对参数估计值的影响弱于。如果取表示输入分量的加权值相同，对参数估计的影响是一致的。权矩阵的选择视具体问题而定。6加权阵R(k)的各元素应该满足如下条件:4.1确定性问题的梯度校正建模(5/6)式中为确定的上、下界。1、2、N个中至少存在一个使得或3、7加权阵R(k)的各元素应该满足如下条件(Cont.):4.1确定性问题的梯度校正建模(6/6)4、与h(k)不正交则：参数估计是一致渐进收敛的，即：条件1规定了加权值必须是大于0且为有界的实数；条件2是推倒条件3的前提；条件3、条件4保证收敛的条件。条件3规定了c(k)存在一个选择范围，在理论上是可以证明存在最佳权矩阵，保证快速收敛。84.2随机性问题的梯度校正建模(1/10)梯度校正法的最大优点是计算简单,但是如果输入输出含有噪声,就需要对原由方法进行修改,需要研究随机性问题梯度校正法。新方法也具备计算简单的特点，可以用于在线实时辨识，但要求噪声的统计特性：一阶矩和二阶矩是已知的。设输入输出均含噪声的随机性问题如下图：系统模型参数h(k)s(k)x(k)y(k)w(k)z(k)94.2随机性问题的梯度校正建模(2/10)系统的输出y(k)是模型参数的线性组合：观测到的输入输出数据均含有测量噪声，即：其中w(k)和s(k)为零均值的不相关随机噪声，且则可得到10上式中：4.2随机性问题的梯度校正建模(3/10)要解决的问题就是利用输入输出数据x(k)和z(k)来确定参数在k时刻的估计值，使准则函数式中11最终可以写成4.2随机性问题的梯度校正建模(4/10)随机性问题的梯度校正法思想与确定性问题是一样的，也是用最速下降法原理，从给定的初始值出发，沿着准则函数的负梯度方向修正参数估计值，直到准则函数达到极小值。其数学表达式可写成：12按噪声的特点可以将随机性问题的梯度校正法分为三类辨识问题：4.2随机性问题的梯度校正建模(5/10)4.2.1第一类问题 要求测量噪声w(k)是统计独立的系统参数++++-模型参数辨识算法+13从数学意义上讲，第一类问题满足以下条件：向量h(k)与零均值的测量噪声w(k)是统计独立的，即：，w(k)的方差不必已知4.2随机性问题的梯度校正建模(6/10)向量h(k)的条件协方差阵是常数矩阵,且与参数估计值无关，即输入向量的测量噪声s(k)是均值为零,协方差阵为（已知）的不相关离散随机向量,并且与h(k)和w(k)都是统计独立的，即144.2随机性问题的梯度校正建模(7/10)第一类随机问题结论：当输入向量不含测量噪声时，梯度校正法可以得到渐进无偏估计，即有4.2.2第二类问题 测量噪声w(k)中有一部分分量与h(k)是相关的。系统参数+++++-模型参数辨识算法动态环节154.2随机性问题的梯度校正建模(8/10)其中，扰动噪声通过“动态环节”与输入向量相关。要求保证w(k)的均值为零，但其方差不必先知。从数学意义上讲，第二类问题只将第一类问题的条件1改变为：噪声w(k)可分解为测量噪声和扰动噪声两部分，即第二类问题结论:这种问题利用梯度校正法得到的模型参数估计值是渐进有偏的。164.2随机性问题的梯度校正建模(9/10)4.2.3第三类问题第三类问题输入向量h(k)不仅与噪声w(k)相关，而且与参数估计值也相关，一般不研究此类辨识问题。4.2.4梯度校正建模参数估计直接用以下递推算法的通用式是有偏估计。对于第一类问题，增加约束条件后可得到无偏估计的递推算法：17梯度校正法应用中注意的问题:对于第二类问题，增加约束条件后也可得到无偏估计的递推算法：4.2随机性问题的梯度校正建模(10/10)1.注意选择步长间隔使输入向量和参数估计值不相关，即通过选择步长使向量和是统计不相关的。这是选择步长间隔的基本出发点。2.必须事先知道噪声的一阶和二阶矩统计特性。3.权矩阵的选择必须满足一定的条件才能保证参数估计是一致收敛的,但是不能保证最快的收敛速度。18随机逼近法是梯度校正法的一种类型，是一种颇受重视的参数估计方法。准则函数的一阶负梯度为：4.3随机逼近法(1/7)考虑如下模型的辨识问题：其中，e(k)为均值为零的噪声。这种模型的参数辨识问题可以通过极小化噪声方差来实现。即求参数的估计值使下列准则函数达到极小值：19原则上说通过令上述负梯度值为零可以求得准则函数达到最小时的参数的估计值。即4.3随机逼近法(2/7)问题：如果不知道噪声的统计性质，上式无法求解。如果将数学期望值用平均值来代替，就变为最小二乘问题。4.3.1随机逼近原理设x是标量，y(x)是对应的随机变量。p(y|x)是x条件下y的概率密度函数，则随机变量y关于x的条件数学期望为：20它是x的函数，又称为回归函数。当函数的形式及其条件概率密度函数都不知道时，很难求出上述方程的解析解。但可以通过随机逼近法来求解。定义：随机逼近法就是利用变量x1,x2,…及其对应的随机变量y(x1),y(x2),…，通过迭代计算，逐步逼近上述方程的解。4.3随机逼近法(3/7)4.3.1随机逼近原理(Cont.)对于给定的，设方程214.3.2Robbins-Monro算法算法递推公式为:其中y(x(k))是对应于x(k)的y值。为收敛因子。4.3随机逼近法(4/7)则x(k)在均方意义下收敛于方程的解.如果收敛因子满足下列条件:最简单的收敛因子有:224.3.2Kiefer-Wolfowitz算法Robbins-Monro算法一般用来求方程的根。Kiefer和Wolfowitz引用它来确定回归函数h(x)的极值，可以求出回归函数h(x)极值的迭代算法:同样，如果收敛因子满足Robbins-Monro算法的条件，则此算法是收敛的，即x(k)的收敛值将使h(x(k))达到极值。Kiefer-Wolfowitz算法是随机逼近法的基础。4.3随机逼近法(5/7)234.3.3随机逼近参数估计这样上述模型的辨识问题归结成求下列方程的解利用随机逼近原理，有4.3随机逼近法(6/7)其中h(.)为标量函数，D表示k时刻以前的输入输出数据集合。显然准则函数的一阶负梯度为：对于模型的参数辩识问题，设准则函数为244.3.3随机逼近参数估计(Cont.)对于我们具体的模型辨识问题，收敛因子满足RobbinsMonro算法中的条件，准则函数取噪声的方差，即：4.3随机逼近法(7/7)则可以得到用随机逼近法解决上述模型辨识问题的基本公式：对于用差分方程描述的系统模型：当输入、输出及系统噪声满足一定条件时，利用随机逼近原理可得到参数估计值的随机逼近算法：254.4参数建模的收敛性问题(1/3)任何一种建模方法需要提供一种收敛的算法：当观测数据不断增加时，模型的参数估计值必须逐渐收敛于真值。建模的算法希望具有较快的收敛速度，有些算法虽然在理论上能给出严格的收敛证明，但无法给出收敛的速度，实际应用中缺乏可操作性。建模算法所得到的参数有较高的精度，即参数估计偏差向量的各分量的方差都要尽可能小。264.4参数建模的收敛性问题(2/3)常见的几种收敛性分析方法；仿真研究方法：针对某种建模算法，以大量具体的例子，通过计算机仿真，根据仿真的结果来分析算法的收敛性。 优点：直观、实用的分析方法；缺点：仿真结果往往与仿真所用的模型及噪声特性有关，不能对算法的收敛性作普遍性结论。借助稳定性分析的理论方法来研究建模的收敛性包括：1、ODE法(OriginaryDifferentialEquation)

推导出与建模辨识算法相关的伴随微分方程，通过研究微分方程的稳定性来判断递推辨识算法的收敛性。274.4参数建模的收敛性问题(3/3) 2、鞅理论(MartingaleTheory)的应用 通过引进随机Lyapunov函数，然后用鞅理论分析该函数的收敛性，得到辨识参数的收敛性3、间接法 通过研究的收敛性，来间接研究算法的收敛性。即如果