最小二乘法及其应用

1、最小二乘法及其应用最小二乘法是一个比较古老的方法，早在十八世纪，就由高斯首先创立并成 功地应用于天文观测和大地的测量工作中。此后，近三白年来，它已被广泛应用 于科学实验与工程技术中。随着现代电子计算机的普及与发展，这个古老的方法 更加显示出其强大的生命力。最小二乘法(乂称最小平方法)是一种数学优化技术。它通过最小化误差的 平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据， 并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可以 用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化燔用最小二乘法 来表达。最小二乘法拟合曲线的基本原理是：成对等精度地测得一组

2、数据X,只(i=l, 2,，n),试找出一条最佳的拟合曲线，使得这条拟合曲线上的各点的值与测 量值的差的平方和在所有拟合曲线中最小。所谓“拟合”，即不要求所作的曲线 完全通过所有的数据点，只要求所得的曲线能反映数据的基本趋势。曲线拟合的 儿何解释是：求一条曲线，使数据点均在离此曲线的上方或下方不远处。用最小二乘法拟合的曲线较为精确，接近于实际曲线。因而，最小二乘法拟 合曲线在实际生活和科学研究中有着重要的意义，并渗透到各个领域，在物理、 气彖、化学、医学等方面有着广泛的应用。例如，在物理方面，我们通常通过实 验测得数据，然后根据这些实验数据拟合曲线，从而总结出某种现象的规律或者 变化趋势，进而

3、采取相应的措施避免或加强其变化程度。这对于指导我们了解物 理现象，并深刻理解物理知识是非常有帮助的。乂如，在气象方面，在温室效应 的研究中，科学家们通过对I860年到1980年的11个地球平均温度增加值的分 析，利用最小二乘法进行曲线拟合,通过精确计算，建立了地球平均温度增加值与 时间之间的函数关系。从而得出在2080年左右，地球的平均温度会比1980年上 升约6°C,从而会引起诸如冰川后退、海平面上升等一系列严重的环境问题。到 时极地冰盖就会融化，从而引起大量的洪水泛滥和大片的陆地被淹没，这一认识 对进行环境质量评价和提出保护地球的措施具有重要的理论意义。有些优化问题也可通过最小化

4、能量用最小二乘法来表达。在模式识别中，很 多优化问题都可以用最小二乘法来解决。以下是最小二乘法在模式识别分类问题 中进行调整判别的应用。假设对于一个C类分类问题，我们需要找到一个线性判别方法。现在有n 个标好类别的的样本，我们希望利用一个线性决策函数来进行分类。通常情况下，我们都要使用偏差量wo。为了简化，我们用x标记一个增广 特征向量，它多了一个表示偏差量的分量，如下图所示。如果对于偏差量没有特 别地声明，我们依然用符号w标注整个权向量。现在的到的这个判别单元，它 的输入变量是特征，输出变量是一个线性函数d(x),称之为一个线性网络。输出d(x)图1 一个线性决策函数的连接图，其中，

5、3;是处理单元设用于分类的的线性网络的输出为d(x)=w'x+w0=wi x i + W2X2+ WdXd+wo。 上图中我们用一个空心圆表示一个处理神经元，用一个黑色的圆表示一个终端神 经元。在只有一个输出的线性网络里，对应图1所示的情况，仅有一个处理单元, 在这里将所有的输入进行累加求和。通常情况下，我们会有C个这样的函数单元dk(x)以及相应的权重向量Wk,它们之间对应。对于每一个样本Xi有如下表达式：dk(xd二wkXi=WK jXij 0j-o假设现在对于每一类的U标输出为tk(x),我们希望调整这些线性函数的权重 向量从而使得它们和LI标输出最接近。可以通过使用最小二乘法实

6、现这个LI的。首先，对于每个特征向量&我们计算判别输出结果和期望訂标输出结果的偏 差：Sk(xi) =dk(xj)-tk(Xj)o然后，将这些偏差或者说近似误差平方后累加求和得到一个总的误差值，也e 打end2称为误差能量 E, E詁 £ f（dk（Xi）-tk（xJ）2。为了/ 女】/-）乙 1=1 j=0得到对LI标输出值最好的近似结果，等价于最小化E,我们可以求它对权重系数»j Xi.j lk.i)Xi.j =0,k=l,2.C。的微分并令微分结果为零：即，令11=0,即££（叫 我们称之为标准方程，它的解对应着最小化均值平方（LMS）,即最小化所有样本 误差的平方和，也就是最小二乘法的思想。注意到，最小二乘法调整判别将会得到LI标输出值的近似结果而不管LI标输 岀的具体形式，它可以是类别标记或者不是。因此，我们也可以将这种方法应用 到回归问题中。例如，我们可以利用它对心电图信号中的