曲线拟合的最小二乘法

给出一组离散点，

确定一个函数逼近原函数，

插值

是

这

样

的一种手段。在实际中，数据不可避免的会有误差，

插值

函数

会将这些误差也包括在内。因此，我们需要一种新的逼近原函数的手段：①不要求过所有的点(可以消除误差影响);②尽可能表现数据的趋势，

靠近这些点。第

3

章1

拟

合

曲

线曲

线

拟

合

的

最

小

二

乘

法第

3

章

曲

线

拟

合

的

最

小

二

乘

法形

式

化

描

述仍然是已知x₁…xm

;y₁…y,,

求一个简单易算的近

似函数P(x)来拟合这些数据。但

是

①

m

很

大

；②y;本身是测量值，不准确，即y;≠f(x;)这时没必要取P(x;)=y;,而要使p=P(

x;)-y;总体上尽可能地小。

称

为

“

残这种构造近似函数的方法称为曲

线

拟

合，P羞)

称为拟合函数“使

p=P(x,)-

y;尽可能地小”有不同的准则常

见

做

法

：

较

复

杂

，◆使

maxlP(x₁

)-y;I

最小称为均方误差。由于计算其最小值的方法容易实现而被泛采用。按均方误差达到极小构造拟合曲线的方法称为最

小二乘法。2P(x)-y,!最小使ZtP(x,)-y,F最小不可导，求解困难1

线

性

拟

合

和最

小

二

乘

拟

合对于已知的

m+1对离散数据

{

x;,y;}"。,

记

,

在连续函

数

空

间C[a,b]中选定n+1个

线性无关的基函

数{φ(x)}k=

。

,

并记由它

们

生

成的子

空间

为

：①=span{p₀(x),φ(x),L若

有,φ(x)}),▽ao,α₁,L,αn∈R}使得(1)则称p*(x)为离散数据{

x;,y;}

。

在子空间

①中的最小

二

乘拟合

。对

于

选

定的

基函

数{φ(x)}k=。,定

义中的

拟

合

曲

线

即

拟

合

模型,是待

定

参

数{a}"。

的

线

性函

数，

故称

之

为

线

性

最

小

二

乘

问

题

。由

于

,i=0,1,2,L,m多元

二

次函

数I

(α₀,α₁,L,α)的

极小

值点(a₀

,α₁,L,α)

使

得

：

则

最

小

二

乘

问

题

，

即

求

极

小

值

问

题(

1

)

的

解φ

*(x),也就是求,(2)问题：极值问题(2)的解是否存在，是否唯

一

，即最小二乘问题

(1)的解是否存

在唯一

?

如果

存

在唯

一，如何

求

之?正

规(法

)方程

和

解

的

存

在

唯

一

性由于I(a₀,α₁,L,α)

是关于待定参数α₀

,α₁,

L,α,

的

二

次

多项式函数，所以

(

2

)式

有

解的

必

要

条

件

为

：(3)维向量

：,gc.)¹'、A=0..2L."即

：记

m+1其中Px

为函

数φ(x)

在

点

列{x;}。

处取值的向量，由向量内积的定义，可得：方程

Ga=d称

之

为

正

规

方

程(

或

法

方

程

)

。故

方

程

(

3

)

写

成即

：l=0,1,L,n由此可见，最小二乘问题存在唯一解的必要条件就是正规方程的

系数矩阵

G

非奇异。显然G为对称矩阵，称为Gram

矩阵.定理1:Gram

矩阵

G

非奇异的充要条件是向量组{φ}?-。线

性无关。定理2:对于已知的m+1

对离散数据{x;,y;}

。

,

选定n+1

维连续函数空间φ

,如果它有一组基

{φ

(x)}k-。在点列{x;}。处的值向量组{φ}%-。线性无关，则最小二乘问题存在唯一解

),其中(ai,α;,L,ci)’为正规方程的解.

注：(1)最小二乘问题的解与所选基函数无关。即对于n

+1维连续函数空间

的任何基

{φ(x)

界要它们在点列

{x;}'_。处的值向量组{φ}线性无关，就可以用相应的正规方程求

解，从而得到相同的拟合曲线。(

2

)

在

离

散

点

列{x;

,)中"。对自变量序列

没

有

特

别要求，既不需要有序，也可以重复。(3)Gram矩

阵G由

子

空间D

的

基函

数{φ(x)}-

。和自

变

量序列{x;}。确

定，

与

离

散

点

的

函

数

值{y;}"。

无

关

。三

多项

式

拟

合在离散数据的最小二乘拟合中，最简单也是最常用的数学模型

就

是

多

项

式

：φ(x)=α₀+a₁x+a₂x²+L+a,,x”即在多项式空间①=span(1,x,a,L,α₁∈R)中作曲

线

拟

合，

称

为多

项

式

拟

合

。特

例

：

一

次

多

项

式

拟

合设

一

次

多

项

式

φ(x)=a₀+a₁x则得由解得α₀

,a₁

则得拟合多项式

p(x)。例：已知

f(O)=1,f(1)=2,f(3)=4,f(5)=8,

求拟合直线

.解

：设

拟

合直

线

为

y=a+bx,

则

法

方

程

组

为

：解

得

a=39159,b=81/59所以

所

求

拟

合

直

线

为

：即注：数据代入多项式后所得矛盾方程组记为Aa=y,

则上述正

则方程即为

A⁷Aa=A¹₃

也就是矛盾方程组的正则方程组.

故

也

可

通

过

A¹Aa=A

求得拟合多项式的各项系数.一般多项式拟合设n

次多项式

p(x)=αo+α₁x+a₂x²+L则法方程为：+a,x”解

得

：

a=13.5,b=-16.7,c=3.5所

以

拟

合

曲

线

为

：

y=13.5-16.7x+3.5x²X1234f(x)O-5-63用最小二

乘

法

求

形

如y=a+bx+cx²

的经验公

式

使与

题目数

据

拟

合

.解

：

正

则

方

程

组

为

：例：已

知

函数

y=f(x)的观测数据

为：2

指

数

函

数

y=ae⁹×→lny=lna+bx→y=a+bx3

幂

函

数

y=ax⁰→lny=lna+blnx→y=a+bx可

化

为

线

性

模

型

的

曲

线

拟

合1

分式函数这

种

情

形

可

令

y=1/y

,x=1/x,则

有

y=a+bx此时法方程组为

：用该

线性

模

型

拟

合

上

述

数

据，

相

应的

正

规

方

程

为

：)535,b=3.0265求

形

如

y=—

a+bx的

拟

合

曲

线

.解：令

z=1/,

则拟合函数转化为线性模型：Z=a+bx此时数据转化为：X1.01.41.82.22.6Z1.0742.1143.3674.4645.592X1.01.41.82.22.6Y0.9310.4730.2970.2240.168例

：给定

数

据

如

下：解：根据人口增长的统计资料和人口理论数学模型可知，当人

口

总

数N

不

是

很

大

时

，

在

不

太

长

的

时

期

内

，

人

口

增

长

接近

于

指数增长。

因此采用指数函数

N=ea+b

对数据进行拟合。两

边

同

时

取

对

数

，

得

：InN=a+bt,令y=lnN,

变

换

后

的

拟

合函数为：

y

=a+bt对人口数据取对数，计算得下表：年196019611962196319641965196619671968人口/亿3.39183.42133.45033.46983.47633.492O3.51333.53223.5505年196019611962196319641965196619671968人口

/亿29.7230.6131.5132.1332.3432.8533.5634.2O34.83例：2000年人口预测问题.根据下表数据构造拟合函数，预

测2000年时的世界人口。

(类似于书上的例3.3,p76)解

得

：

a=-33.0383,b=0.0186故

所

求

拟

合

函

数

为

：

N(t)=e0.0186t-33.0383经计算N(2000)=64.1805

亿，

基

本

反

映了

人口变

化

趋

势.相

应的

正

规

方

程

为

：3

解

矛

盾

方

程

组设线性方程组(i=1,2,L,m)

或

Ax=b其

中A=(aj)xn,x=(x₁,x₂,L,x)¹,b=(b,b₂

,L,b,)²当线性方程组(1)的系娄

阵

(A)

和增广矩阵

(A,b)

不相等时，方程组无解，这时称方程组为矛盾方程组.线性方程组

A?Ax=A⁷b

称为上述矛盾方程的法方程或者

正则方程组。注意，

矩阵

A?A

对称。注意，矩阵

A?A对称，当r(A⁷A)=n时，法方程有唯一解。A⁷Ax=A⁷b(1)的秩定

理

：

设A?AX=ATb