最小二乘参数估计

1、百度文库-让每个人平等地提升自我最小二乘参数估计1系统辨识的概念12最小二乘参数估计法 1最小二乘估计的统计特性 2加权最小小二乘 2递推最小二乘估计 3相关最小二乘法 31系统辨识的概念系统辨识是研究建立被控对象或过程数学模型的一种理论和方法。它是在输入和输出数据的基础上，从一组给定的模型类别中，确定一个与所研究系统等价 的数学模型。数学模型是指用数学形式来描述实际对象或过程行为特性和运动规律，微分方程、差分方程、传递函数和状态方程式常用的数学形式。建立数学模型的主要 方法有机理法和测试法。而机理法的应用是十分有限的，实践中大量采用的还是 测试法。系统辨识就是一种测试法。2最小二乘参数估计法

2、最小二乘估计是一种经典的数据处理方法， 最早的应用可以追溯到18世纪, 大约在1795年由高斯在他著名的星体运动轨道预报研究工作中提出的。高斯提 出：对于未知的但要求估计的参数的最适宜的值是最可能的值。他定义：“未知量最可能的值是这样一个数值，它使得实测值与计算值的差的平方乘以测量测量 精度后所得的积最小。”后来，在控制系统的参数估计领域也发现个采用了这种 方法，这样，最小二乘法就成了估计离乱的奠基石。由于最小二乘法原理简单， 编制程序也不困难，因而颇受人们重视，应用相当广泛。目前它已成为动态系统 辨识的主要手段。从计算方法讲，它既可以离线计算，也可以在线递推计算，并 可在非线性系统中扩展为迭

3、代计算。 从计算的数学模型看，它既可以用于参数模 型估计可以用于非参数模型估计。最小二乘估计开始用于处理整批数据的静态参数估计，这里称为一般的最小 二乘估计，它能提供一个在最小方差意义下与实验数据最好拟合的数学模型。由最小二乘发获得的估计在一定条件下有最佳的统计特性，即估计的结果是无偏 的、一致的和有效的，而经典辨识法中的相关辨识法、 频率辨识法等也可以从最 小二乘推导演绎而成。最小二乘估计的统计特性对于一个估计算法除了计算简单和便于应用等要求外， 更重要的是所得出的 估计值能不能再某种意义下满足估计的精度要求， 即满足估计值的优良性。一般 来说，一种估计值的统计特性是可以用来衡量它的“优良度

4、”和“可信度”的。 通过研究它的统计特性，可以帮助确认该方法的使用价值。最小二乘估计具有以下特性：无偏性、一致性、有效性等。加权最小二乘通常，各次观测数据是在不同情况下取得的，因而对估计的作用也不相同, 当利用这些数据来估计参数是，总是希望“价值大”的观测数据占比较大的比重， 使其对估计的结果产生较多的影响。为此，计算中用一个称为权的数来反映数据 价值的大小，即对各次数据加不同的权，若果有理由认为现时刻的数据可靠， 那么现时刻的加权值就要大于过去时刻的加权值。 在目标函数中引入正定加权矩阵：爭川0*4*0|Wn则有目标函数：J w(丫)Tw(Y)TwwiIII0 1b11,2,，n1P1P10

5、wnnw12 21i 2(w2n nn2 Wj ii 1可以解出：?w ( Tw)1 TwY该方法称作最小二乘法，对应的 ?w称为加权最小二乘估计值，当 w为单位 矩阵的时候，加权最小二乘就成为最小二乘估计， 所以最小二乘法是加权最小二 乘的一种特例。当过程噪声是均值为为0、方差为2的白噪声序列时，加权最小二乘具有无 偏性、有效性和一致性等良好的统计特性。递推最小二乘估计在生产过程中，系统的输入、输出往往是逐步得到的，调节器参数的设计要 求在线参数估计，利用新的信息来改善精度。一次完成算法是直接利用已获得的所有观测数据进行运算处理。使用这种算法时，需要计算机存储全部测量数据，占用了较多的存储单

6、元，同时，每采样一 次，就需要增添一组新的观测数据，也逐步扩大矩阵N的行数，还需要完成矩阵T的求逆运算，这样计算是很费时的。在已知N组数据后，有Ye ,可以构成Yn， n，从而可以求出?n，当又获得一组新的测量数据yN i，Un i后，同样可以计构成Yn i， n 1，并计算 出?n 1，通过分析第N次和第N+1次估计间的关系，可以把最小二乘法化成递 推算法。递推算法的基本思路可以概括为：新的估计值九1旧的估计值?n修正值这种方法的特点是每取得一次新的观测数据后，在原来估计结果的基础上， 用新引入的观测数据对上一次估计的结果进行修正，从而递推地得到下一个参数 估计值。这样，随着的新的观测数据的引入，逐步地进行参数估计，直到估计值 达到满意的精度为止。这样不仅可以减少计算量和存储量，而且能够实现 在线实时辨识。相关最小二乘法