系统辨识课件：第4章 数学模型的最小二乘法辨识

1、1 最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。最小二乘法通常用于曲线拟合。很多其它的优化问题也可通过用最小二乘形式表达。 最小二乘法是一种比较古老的数学优化技术，早在18世纪由Guass首先创立并成功应用于天文观测和大地测量工程中。此后近三百年来，它已广泛应用于科学实验与工程技术中。 最小二乘法是为了解决如何从一组测量值中寻求可信赖值的问题。最小二乘法的基本原理是：成对等精度地测得一组数据xi，yi (i=1，2，n)，试找出一条最佳的拟合曲线，使得这条拟合曲线上的各点的值与测量值

2、的差的平方和在所有拟合曲线中最小。第4章 数学模型的最小二乘法辨识 24.1 最小二乘法辨识的基本思想 系统辨识的方法很多，其中最重要、最常用的方法是最小二乘法。 最小二乘法的基本思想是使系统实际输出与估计输出（带有估计参数的系统的输出）的偏差（残差）的平方和最小。在这个原则下，通过残差平方和关于估计参数向量的偏导数等于零这一方法来最终求得估计参数向量。3 设单输入-单输出线性定常系统的差分方程为 （2.81） 式中： 为输入信号； 为理论上的输出值。 4.2 最小二乘标准式 4 只有通过观测才能得到，在观测过程中往往附加有随机干扰。 的观测值 可表示为 （2.82） 式中 为随机干扰。由式（

3、2.82）得 （2.83） 5将式（2.83）代入（2.81）得 （2.84） 我们可能不知道 的统计特性，在这种情况下，往往把 看作均值为0的白噪声 6设 （2.85） 则式（2.84）可写成 （2.86） 7在测量 时也有测量误差，系统内部也可能有噪声，应当考虑它们的影响。 因此假定 不仅包含了 的测量误差，而且还包含了 的测量误差和系统内部噪声。假定 是不相关随机序列（实际上 是相关随机序列）。 8现分别测出n+N个输出输入值，则可写出N个方程，即9上述N个方程可写成向量-矩阵形式 （2.87） 10设 则式（2.87）可写为 （2.88） N维输出向量2n+1维参数向量N维噪声向量N(

4、2n+1)维测量矩阵11式中：y为N维输出向量； 为N为噪声向量； 为（2n+1）维参数向量； 为 测量矩阵。因此式（2.88）是一个含有（2n+1）个未知参数，由N个方程组成的联立方程组。如果N(2n+1)， 即方程数目大于未知数数目。在这种情况下，不能用解方程的办法来求 ，而要采用数理统计的办法，以便减小噪声对估值的影响。 在给定输出向量y和测量矩阵 的条件下求系统参数 的估值，这就是系统辨识问题。可用最小二乘法或极大似然法来求 的估值，在这里讨论最小二乘法估计。 134.3 最小二乘辨识算法 设 表示 的最优估值， 表示y的最优估值，则有 （2.91） 式中 14写出式（2.91）的某一

5、行，则有 （2.92） 15设 表示 与 之差，即 16（2.93） 式中 称为残差。 17 把 分别代入式（2.93）可得残差 ， ， 。 设 则有 （2.94） 18 最小二乘估计要求残差的平方和为最小，即按照指标函数 （2.95） 为最小来确定估值 。求J对 的偏导数并令其等于0可得 （2.96） （2.97） 19可得 的最小二乘估计 （2.98） J为极小值的充分条件是 （2.99） 即矩阵 为正定矩阵，或者说矩阵 是非奇异的。 下面举例说明最小二乘法的计算过程。20例4.1已知某一单输入单输出线性系统的差分方程形式为但其参数 ， ， 为未知数，且 为不相关的随机序列。经过辨识试验，

6、测得5组输入输出数据为21试求出其最优参数估计。22解 令最优参数估计为 ， 令输出 的最优估计为 。 测量矩阵为 23该矩阵的转置为 两者之积为 24的特征值为 ， ， 。 由于它的特征值均为正数， 所以 为正定矩阵， 满足残差二次型 取最小的充分条件， 其中 。25矩阵 的逆为 于是26最后求得 即最优参数估计为 274.4 最小二乘辨识中的输入信号问题 当矩阵 的逆阵存在时，式（2.98）才有解。一般地，如果 是随机序列或伪随机二位式序列，则矩阵 是非奇异的，即 存在，式（2.98）有解。现在从矩阵 必须是正定的这一要求出发，来讨论对 的要求。在这里为了方便起见，假定 是均值为0的随机过

7、程。 可以推出矩阵 为正定的必要条件是： 为持续激励信号。（推导过程略） 随机序列或伪随机二位式序列都可以作为测试信号 。 284.5 最小二乘估计的概率性质 如果(k)是不相关随机数序列，且均值为0。1） 无偏性 2）一致性3） 渐进正态性辅助变量法、广义最小二乘法 如果是均值为0且服从正太分的白噪声向量，则最小二乘参数估计值服从正态分布。29N维输出向量2n+1维参数向量N维噪声向量N(2n+1)维测量矩阵总结：为正定矩阵30（2.141） 上式中矩阵 的阶数越大，所包含的信息量就越多，系统参数估计的精度就越高。为了获得满意的辨识结果，矩阵 的阶数常常取得相当大。这样，在用式（2.142）

8、计算系统参数的估计值 时，矩阵求逆的计算量很大。本节介绍一种算法来代替矩阵求逆，在不降低辨识精度的前提下，可以使辨识速度有较大提高。具体算法如下。 系统的最小二乘辨识结果为 （2.142） 4.6 一种不需矩阵求逆的最小二乘法 31 设系统的微分方程模型为 （2.143） 令 （2.144） （2.145） 32则式（2.143）可以写为 （2.146） 取 33首先设系统的阶次为0，则有则有系统的最小二乘辨识结果为 34则 和 均为常数，即 （2.147） 35由式（2.147）可得 （2.148） 设 （2.149） 36若系统阶次为n时已经求出 ，则系统阶次数为n+1时有 （2.150）

9、 式中 （2.151） 37式中： 为列向量； 为一标量。 由分块矩阵求逆公式可得（2.152） 38式中 则 这时，仿照上述方法容易求出 39(2.153)40 这样，就可以按照式（2.142）辨识出阶次为n+1时系统的参数。由于这一过程只涉及矩阵相乘和矩阵与向量相乘等运算，所以计算量较小，而矩阵求逆的精度不变。所以说，本节算法在不损失辨识精度的前提下提高了辨识速度，这一算法尤其适用于阶次未知情况下的系统辨识。 41 为了实现实时控制，必须采用递推算法，这种辨识方法主要用于在线辨识。 另外，某些自适应控制方法，比如自校正控制方法也要用到递推最小二乘法。其基本原理是一边辨识一边控制，循环递推。

10、4.7 递推最小二乘法分析 递推最小二乘算法是动态系统实时辨识中使用得最多的。对其算法进行深入研究具有较大的实用意义。42图4.1 动态系统递推最小二乘在线辨识过程原理图43这里忽略其推导过程，直接给出公式。 首先将式（2.88）改记为其中44如果再获得一对新的观测值 ，则有下面的递推公式45（2.154）（2.155）（2.156）递推最小二乘算法46其中为标量，它表示在已测得的基础上又多测得一个输出 。另外表示在 的最后一行再补充一行，所以其列数与 的列数相等，均为2n+1列。47（1）设 为N的初始值，则可算出初值 （2）假定 ，c是充分大的常数， I为 单位矩阵 递推之后能得到较好的参数估计。 ，则经过若干次为了进行递推计算，需要给出 和 的初值 和 ，有两种给出初值的办法。 48（2.154）（2.155）（2.156）其中的公式（2.155）所表达的 可以理解为递推最小二乘增益系数。公式（2.155）不具有递推性。公式（2.154）和（2.156）具有递推性。注释494.6.1 递推最小二乘法举例例2.2已知某一单输入单输出线性系统的差分方程形式但其参数