极大似然法和预报误差方法

1第7章

极大似然法和预报误差方法27.1引言极大似然法一种非常有用的传统估计方法由Fisher

发展起来的基本思想可追溯到高斯（1809年）用于动态过程辩识可以获得良好的估计性质3最小二乘法和梯度校正法计算简单参数估计具有优良的统计性质噪声的先验知识要求也不高极大似然法基本思想与最小二乘法和梯度校正法完全不同4极大似然法——需要构造一个以数据和未知参数为自变量的似然函数，通过极大化似然函数获得模型的参数估计值。模型输出的概率分布将最大可能地逼近实际过程输出的概率分布。为此极大似然法通常要求具有能够写出输出量的条件概率密度函数的先验知识。在独立观测条件下，必须知道输出量的概率分布；在序贯观测的条件下，则需要确定基于k时刻以前的数据在k+1时刻输出量的条件概率分布。预报误差法——需要事先确定一个预报误差准则函数，并利用预报误差的信息来确定模型的参数。5意味着模型输出的概率分布将最大可能地逼近实际过程输出的概率分布通常要求具有能够写出输出量的条件概率密度函数的先验知识独立观测的条件下，必须知道输出量的概率分布在序贯观测的条件下，需要确定基于时刻以前的数据在时刻输出量的条件概率分布6预报误差方法需要事先确定一个预报误差准则函数利用预报误差的信息来确定模型的参数某种意义上与极大似然法等价的或极大似然法的一种推广7极大似然法和预报误差方法优点：参数估计量具有良好的渐近性质缺点：计算量比较大87.2极大似然参数估计辨识方法

7.2.1极大似然原理设是一个随机变量在参数条件下的概率密度函数为的个观测值构成一个随机序列个观测值记作则的联合概率密度为的极大似然估计就是使的参数估计值9即有或10显然对一组确定的数据只是参数的函数，已不再是概率密度函数这时的称作的似然函数以示区别有时记作概率密度函数和似然函数有着不同的物理意义,但数学表达式是一致的11极大似然原理的数学表示或

-

对数似然函数

-极大似然参数估计值使得似然函数或对数似然函数达到最大值12物理意义（极大似然原理的数学表现）对一组确定的随机序列设法找到参数估计值使得随机变量在条件下的概率密度函数最大可能地逼近随机变量在（真值）条件下的概率密度函数上式反映极大似然原理的本质，但数学上不好实现Kullback－Leibler信息测度：我们称为Kullback－Leibler信息测度。可以证明：7.2.2动态过程模型参数的极大似然估计考虑以下模型：其中：是均值为零，方差为的服从正态分布的白噪声。令：且假定过程是渐近稳定的，即、和没有公共因子，且和的零点都位于z平面的单位圆内。噪声模型已知的情形（已知）将模型（C）写成最小二乘格式：其中：因为：则有记噪声e(k)的协方差阵为，则由v(k)的正态性，可知：因此，有：对应的对数似然函数为：由极大似然原理可得：并且因此（D）式给出了参数的极大似然估计值。此时的恰好是参数的Markov估计。如果，则此时，参数的极大似然估计和最小二乘估计是等价的。对噪声方差的极大似然估计：对噪声方差的最小二乘估计：噪声模型未知的情形（未知）

此时，令在独立观测的前提下，当获得L组输入输出数据后，在给定的参数和输入信号的条件下，的联合概率密度函数可写成：根据考察的模型（C），有：将此式代入到上式，我们有：由于当观测至k时刻时，k-1时刻以前的z(•)、u(•)和v(•)都已经确定，且v(k)与及无关，因此上式可以写成：记：则有对数似然函数：其中满足：（E）（F）利用极大似然原理，由得噪声方差的极大似然估计：将此式代入（E），可得：再次利用极大似然原理，参数的极大似然估计必须使得：令：则这等价于使得其中v(k)满足（F）的约束条件。（G）（H） 结论：在未知的情形下，求模型（C）的参数的极大似然估计等价于以下带有约束条件的优化问题：优化的目标函数为（G），约束条件为（F）。同时噪声方差的极大似然估计值为Lagrangian乘子法：根据以上得到的结论，求解带有约束条件的优化问题。引入Lagrangian乘子，构造Lagrangian函数：由此，上述优化问题转化为Lagrangian函数对、和的求最小值问题。第一步：取并令：得到下面的方程组：第二步：就Lagrangian函数对求导，并令其为零，得：（J）因此，当给定和的初始值及输入输出数据，则由（J）可以计算得到，再利用

,由（I）式可以计算得到:

由于和与有关，对不能以线性的形式进行估计，因此必须对进行搜索，方可求得，使得:Newton－Raphson法

Newton－Raphson法求解以上优化问题，本质上是一种递推算法，每得到L次观测数据递推一次的算法。优化问题见上面。设是利用第N批输入输出数据，所求得的极大似然估计值，它使得或达到最小。当我们进一步获得一批新的输入输出数据，由此可以求得，使得达到最小。(k)根据Newton－Raphson原理，我们有：其中为Hessian矩阵。将（K）式写成递推形式，即：(P)则可以求得：因此有：由上式递推，得故有：将（Q）式代入（P）式，便可获得的递推算法。35预报误差参数辩识方法极大似然法要求数据的概率分布是已知的通常都假设它们是服从高斯分布的实际问题不一定满足这一假设如果数据的概率分布不知道使用极大似然法存在着一定的困难36预报误差法不要求数据概率分布的先验知识解决更加一般问题的一种辩识方法极大似然法的一种推广当数据的概率分布服从正态分布时等价与极大似然法37预报误差准则考虑更加一般的模型

-维的输出向量

-维的输入向量

-模型的参数向量

-噪声项，其均值为零，协方差为

-输出量的初始状态，计算的必要信息38置则模型式写成时刻的输出可以用时刻以前的数据来刻划39在获得数据和的条件下对输出的“最好”预报可取它的条件数学期望值使得这种“最好”的输出预报应是“最好”模型的输出可通过极小化预报误差准则来获得40常用的误差预报准则加权阵-预先选定的矩阵或其中41当时将收敛于的协方差阵通过极小化或获得的参数估计值称作预报误差估计它用不着数据概率分布知识4212.3其他两种辩识方法43Bayes

方法基本原理所要估计的参数看作随机变量设法通过观测与该参数有关联的其他变量以此来推断这个参数44例如

Kalman

滤波器是典型的Bayes

方法不可观测的待估计的状态变量看作随机变量状态变量与可观测的输入输出变量是密切相关的正是基于这些可观测的输入输出变量推断不可观测的状态变量45设是描述某一动态过程的模型是模型的参数，反映在动态过程的输入输出观测值中如果过程的输出变量在参数及其历史记录条件下的概率密度函数是已知的记作

-时刻以前的输入输出集合46根据Bayes

观点，参数的估计问题表述成参数看作具有某种验前概率密度的随机变量设法从输入输出数据中提取关于参数的信息后者可以归结为参数的验后概率密度函数的计算问题47其中

-时刻以前的输入输出数据集合与之间的关系和-过程时刻的输入输出数据48如果是确定的变量，利用Bayes

公式参数的验后概率密度函数可表示成参数的验前概率密度函数及数据的条件概率密度函数是已知的49原则上根据式可以求得参数的验后概率密度函数实际上这是困难的只有在参数与数据之间的关系是线性的，噪声又是高斯分布的情况下才有可能得到式的解析解50求得参数的验后概率密度函数后可进一步求得参数的估计值常用的方法极大验后参数估计方法条件期望参数估计方法极大验后参数估计方法和条件期望参数估计方法统称为Bayes

方法51模型参考自适应辩识方法“模型参考”概念广泛用于自适应控制中如果控制系统希望达到的控制性能指标用一个称作参考模型的理想化控制系统的性能来描述以表示每一瞬间时实际过程与参考模型之间的特性的差异根据差异，不断修改控制器参数可使实系统的控制性能指标尽可能的接近参考模型52模型参考自适应控制