3-3+超定线性方程组的最小二乘解

超定线性方程组的最小二乘法主讲人：高淑萍西安电子科技大学超定线性方程组(1)式无解，即为不存在解的矛盾方程组----超定线性方程组其中(1)实例美国地质调查局（NGS）1974年准备更新北美地质资料（NAD），这是一个包含268000个节点（地点）的网络，它覆盖整个北美大陆，包括巴拿马地峡、格陵兰岛、夏威夷、波多黎哥等其他加勒比海诸岛。地质资料中记录的经度和纬度必须经精确到几厘米，其原因是它构成了诸如测量、地图、法定边界、国家和区域土地使用计划，像高速路和公共使用线路等项目设计标准。覆盖长达140年的数据资料包括180万个观测值，考虑其相对精度，必须转化为适合计算机运算的格式，其数学模型为包含928735个方程、928735个变量的线性方程组，但这个方程组无解！无解的线性方程组也成为不相容的，实际应用中常出现这类不相容问题。

即任意都不可能使

等于零。(2)

如果有向量使得达到最小，称为超定线性方程组（1）的最小二乘解当方程组的解不存在但又需要求解时，最好的方法就是寻找，使得尽可能的接近高斯（德国的数学家、物理学家，1777--1855）18、19世纪之交最伟大的德国数学家，其贡献遍及纯数学及应用数学的各个领域，成为世界数学界的光辉旗帜，其形象成为数学告别过去，走向现代数学的象征，后人誉为“数学王子”1809年最小二乘法的方法发表于他的著作《天体运动论》,后来高斯等数学家对最小二乘法进行了大量的理论研究和应用,在统计学中发挥着重要的作用,是十九世纪统计学的“中心主题”勒让德（法国数学家，1752--1833）椭圆积分理论奠基人之一、数论、初等几何与天体力学，取得了重要理论成果，如在欧拉提出椭圆积分加法定理后的40年中，他是仅有的在这一领域提供重大新结果的数学家。在天文学的研究中，勒让德引进了著名的"勒让德多项式"1805年研究天文学和测地学处理数据时最先发明最小二乘法,但因不为世人所知而默默无闻

勒让德高斯

设系数矩阵A

利用距离的概念，（2）式最小就是最小

最小二乘法公式推导---以为常向量的线性方程组（3）这等价于

（4）

即

设则必有

找使（2）式最小，等价于找子空间

中向量到距离最短。x

这样（4）式等价于即

称（5）式为法方程组，其解为超定线性方程组的最小二乘解例

求下列超定线性方程组的最小二乘解

解:超定方程组很难得到一组值使得每一个方程都成立，现求其最小二乘解。

解法1利用公式直接写出法方程组写为

两边同乘以系数矩阵的转置矩阵，就得到所需要的法方程组：计算结果如下：得最小二乘解x1=-0.3141x2=0.1333x3=0.0269利用极值原理，所求的最小二乘解应满足解法2采用最小二乘法思想，考虑如下的误差函数：误差函数同理可得：令偏导数等于零法方程组为：解此方程组得到最小二乘解：

x1=-0.3141x2=0.1333

x3=0.0269数据拟合的最小二乘法经常由观察或测试可得到一组离散数据，给出拟合曲线y=f(x)这种度量标准求得拟合曲线y=f(x)的方法-----数据拟合的最小二乘法，转化为线性方程组的求解问题使得f(x)在每一个处所产生的误差δi

绝对值|δi|达最小。但这样分别考虑太困难，所以考虑整体误差达到最小已知离散数据：(

,

),=0,1,2,…,m,假设拟合函数为f(x)