系统辨识课件：第5章 极大似然法辨识

1、1第5章 极大似然法辨识 应用极大似然法进行系统模型的参数估计已有较长的历史，也是一种比较常用的方法。在某种意义上讲，它是和最小二乘相并行的方法，但是极大似然法的思路与最小二乘法完全不同。 极大似然法是由Fisher发展起来的一种参数辨识方法，可用来处理相关噪声的情况。其实该方法最早是由高斯所论述的。2 基本思想：构造一个观察数据和待估参数为自变量的函数，即所谓似然函数（Likelihood function），它是观测数据和待估参数的联合概率密度函数。 对于一组观测数据yl, y2, , yN，它所具有的联合概率分布表示了出现该观测结果的可能性。而观测数据的联合概率密度与待估参数密切相关，不

2、同的参数值将有不同的概率密度函数。3设某离散随机过程V(k)与待辨识参数有关。其概率分布密度已知。5.1 极大似然法原理44 极大似然法需要构造一个以数据和未知参数为自变量的似然函数，并通过极大化这个似然函数，获得模型参数的估计值。5可见，似然函数最直接的取法为： 观察值概率分布密度函数的乘积辨识准则：以观测值的出现概率最大作为准则。如何构造指标函数？称为似然函数因此，使该似然函数为最大时的参数估计值就称为： 极大似然参数估计简称ML参数辨识方法。6辨识的原则就是使得L达到极大值，即：(5.1)75.2 系统参数的极大似然估计式中，(k)为高斯白噪声序列且与u(k)无关。系统差分方程：上式写成

3、向量形式为：系统估计残差为：8设e(k) 方差为由于(k)为高斯白噪声，故而可设e(k)也为高斯白噪声。9可见在(k)为高斯白噪声序列这一特殊情况下，极大似然辨识与一般最小二乘法辨识具有相同结果。10 在实际工程问题中，(k)往往不是白噪声序列，而是相关噪声序列。系统差分方程：则：11则系统估计残差e(k)为：12可设e(k)也为高斯白噪声。则似然函数L为：得：13牛顿-拉甫森（Newton-Raphson）法：其中：14整个迭代计算步骤如下：（1）选定初值。（2）计算预测误差。15（3）计算梯度Q和海森矩阵H。1617（4）计算新估值18 最大似然法的优点足可以适用于很大一类模型结构和实验条

4、件，无论在白噪声于扰或有色噪声干扰下，均有良好的统计特性 ，其参数估计量具有良好的渐进性质。 其缺点是用最大似然法估计参数时，最终要归结为使似然函数的值为最大的最优化问题，这种方法往往得不到解析解，必须采用数值解法，因此计算工作量比较大。 构造似然函数时必须具备足够的先验知识，能够写出输出量条件概率密度函数。19第6章 系统阶次的辨识 系统的阶次，对传递函数模型而言，指极点的个数；对状态空间模型而言，指最小实现的状态个数；在系统噪声为有色噪声的情况下，还须加噪声谱的阶。 阶次辨识和参数估计两者是互相依赖的，也就是说进行参数估计时需要已知阶次；而辨识阶次时又要利用参数估计值，两者是不可分离的。2

5、0模型阶的确定 在一些实际问题中，模型的阶可以按理论推导获得，而在另一些实际问题中，模型的阶却无法用理论推导的方法确定，需要对模型的阶进行辨识。下面介绍几种常用的模型阶的确定方法。 6.1 按残差方差定阶 一种简单而有效的方法就是选定模型阶数n的不同取值，按估计误差方差最小或F检验来确定模型的阶。1)按估计误差方差最小定阶 考虑系统模型 21（6.1）式中： 为输出； 为输入。 设 是均值为0、方差为 的白噪声序列。用最小二乘法求出 的估值。具体为 （6.2）（6.3）（6.4）22残差为 23图6.1 曲线图 24如图5.1 所示，对某一系统，当 =1，2，时， 随着 的增加而减小。如果 为

6、正确的阶，则在 时， 出现最后一次陡峭的下降， 再增大，则 保持不变或只有微小的变化。 图6.1 所示的例子， =3。 255.2 确定模型阶的F检验法 由于 随着 的增加而减小，在阶数 的增大过程中，我们对那个使 显著减小的阶 感兴趣。为此，引入准则 （6.7）式中 表示具有N对输入和输出数据、有 个模型参数的系统估计误差的平方和。26表6.1 某一系统计算结果 0.99 3.15 9.43 9.67 50.94 416.56 418.73 426.40 447.25 469.64 592.65 6 5 4 3 2 1计算时取 ， ， 。从表6.1可以看出：当 时，t 的减小是显著的；当 时

7、，t 的减小是不显著的。所以该系统的阶数可选为3。 对某一系统的计算结果如表6.1所列。 27 由于统计量t是服从F分布的，对于式（6-7）则有 若置信度为，查F分布表可得t=F(2,N-2n-2)。如果 则系统阶次为n0例如，取置信度=0.05，在N=100,200,400,时，从F分布表查得F（2，100）=3.09 F（2，200）=3.04F（2，400）=3.02 F（2， ）=3.00286.3 确定阶的Akaike信息准则 与上述2个准则不同，Akaike信息准则（AIC，Akaike Information Criterion）是一个考虑了模型复杂性的准则。这个准则定义为 （6

8、.8）式中：L是模型的似然函数；P 是模型中的参数数目。当AIC为最小的那个模型就是最佳模型。这个准则是Akaike总结了时间序列统计建模的发展史，在企图对一个复杂系统寻找近似模型的概率论的大量探索启示下，借助信息论而提出的一个合理的确定阶的准则。在一组可供选择的随机模型中，AIC最小的那个模型是一个可取的模型。这个准则的优点就在于它是一个完全客观的准则，应用这个准则时，不要求建模人员主观地判断“陡峭的下降”。 291)白噪声情况下的AIC定阶公式 根据前面几节的讨论和定义，由式（6.9）可写出关系式 （6.10）30输出变量 在条件 下的似然函数为 （6.11）对上式取对数可得 （6.12）

9、求使 为最大的 的估值 。根据 可得 与前述的最小二乘估计一致。按照 可得 31即（5.13）式中c为一常数。 3233例2.4 系统模型为 式中： 是均值为0、方差为1且服从正态分布的不相关随机噪声；输入信号 采用伪随机数。辨识模型采用的形式为 数据长度取N=1024。为了避免非平稳过程的影响，去掉前300个数据，取 =1，2，3，4， =1，2，3，4，分别计算AIC（ ， ），即34计算结果如表5.2 所列。显然，应取 =3， =2，可见利用AIC确定的模型阶次与系统的真实阶次相同。 表5.2 不同 和 所对应的AIC 16.218 15.108 15.931 417.649 15.599 14.070 25.864 316.800 30.393 51.085 280.046 223.380 97.353 341.766 1022.94 14321352)有色噪声情况