数值分析_曲线拟合与线性最小二乘问题.ppt

1、曲线拟合与线性最小二乘,1 线性最小二乘问题,一、最小二乘问题的一般提法,在实际应用中，经常遇到下列数据处理问题：,已知函数 在m个点上的数据表，寻求其近似函数。,设 的近似函数为,其中 是某函数族中的已知线性无关函数。,第七章 曲线拟合与线性最小二乘问题 /*Curve Fitting and Linear Least Square Problem*/,称为 残向量,寻求一组常数 ，要求,的2-范数达到最小。,则得到最小二乘问题：,上述问题的解也称为方程组 的最小二乘解。,当 时称之为超定（或矛盾）方程组。,所谓“曲线拟合”，是指根据给定的数据表，寻找一个 简单的表达式来“拟合”该组数据，此

2、处的“拟合”的含义 为：不要求该表达式对应的近似曲线完全通过所有的数 据点，只要求该近似曲线能够反映数据的基本变化趋势。,二、最小二乘多项式拟合,引例1：考察某种纤维的强度与其拉伸倍数的关系. 下表是实际测定的24个纤维样品的强度与相应的 拉伸倍数的数据记录:,可以看出,纤维强度随 拉伸倍数增加而增加,并且24个点大致分 布在一条直线附近,该直线称为这一问题的数学模型。,因此可认为强度与 拉伸倍数之间的主 要关系是线性关系,怎样确定a,b,使得直线能较好地反映所给数据的基 本“变化趋势”?,采用最小二乘的思想,令,问题转化为求参数 使 达到最小值。,这种求线性函数y=a+bx的过程称为线性拟合

3、。,一般地，设 的近似函数为,寻求 ，使得,则称 为函数 的多项式拟合。,满足下列法方程组：,非线性拟合,某些非线性拟合问题可转化为线性拟合问题,线性化处理：,令,则,由线性拟合方法可得到 和 ，从而得到 和 。,又如：若非线性函数取为,令,其中,三、最小二乘问题解的存在性、唯一性,方程组 相容的充要条件是,满秩分解,证明：,记,不妨假设 的前 列 线性无关,令,其中,(满秩分解),其中,其中,因此，对任何 阶矩阵总存在满秩分解,证明：,充分性,设 是 的解,必要性,设 是方程组的最小二乘解,记 ,由极值的必要条件知：,即,方程组 必存在最小二乘解。,证明：,记,则存在满秩分解,法方程组可写成

4、：,证明：,由定理7.1.3知， 是一个最小二乘解。,设 是方程组的任一最小二乘解，下证：,唯一性易证,解：,解：,例2：求一个形如 ( 为常数)的经验公 式，使它能和下表给出的数据相拟合:,对 两边取对数得,令,此时,写出法方程组,其中,2 广义逆矩阵与最小二乘解 /*Generalized Inverse Matrix and Least Squares Solution */,一、广义逆的定义,设 ，则方程组（P1P4)有唯一解，且解为 。,广义逆矩阵是通常意义下的逆矩阵的推广,若 ，则Penrose方程变为,定理7.2.2,二、广义逆的分类,3 正交化方法 /*Orthogonaliz

5、ation Method*/,本节主要介绍一种特殊的满秩分解方法：正交分解,所谓正交分解是指：,一、Gram-Schmidt正交化方法,Gram-Schmidt正交化方法：,由 得,Step1 令,Step2 用 左乘（*）式的第二式两端得,令,Step 的计算公式：,单位正交向量,简称GS方法,二、改进的Gram-Schmidt正交化方法：,简称MGS方法,Step1 令,记,用 左乘（*）式的第2式至第n式两端得,则（*）式的第2式至第n式化为,记,Step2 令,用 左乘（*）式的第3式至第n式两端得,记,Step 令,用 左乘（*）式的第k+1式至第n式两端得,经过r步后得到,MGS算

6、法：,记,例3：用MGS方法求下列 矩阵的正交分解,解:,Step1,注意到矩阵的秩为2, 且前2列线性无关。,Step2,上述情况下极小最小二乘解的求法：,方程组 的极小最小二乘解可表示为：,为了避免求逆，先计算,可采用G-S法或平方根法求解,例4：用MGS方法求下列 方程组的极小最小二乘解.,解:,三、正交分解和线性方程组的最小二乘解,记 ，且存在排列阵 ，使得,利用前述正交化方法对下梯形矩阵 作正交三角分解：,令,证明：,由前面讨论知：,将 扩充为 阶正交矩阵：,将 扩充为 阶正交矩阵：,定理7.3.1说明：秩为r的矩阵可分解为上述形式,则有下列结论：,方程组 的极小最小二乘解为,定理7

7、.3.2中的给出了极小最小二乘解的一种求法,证明：,设 是方程组的任一最小二乘解,一般情况下极小最小二乘解的求法：,方程组 的极小最小二乘解可表示为：,四、Householder变换与Givens变换,1、Householder变换:,H-矩阵的性质, 是一个对阵的正交矩阵：,反射性：对 ， 是 关于 的垂直超平面的镜面反射。,几何意义：,证明：,设,因为,证明：,则,为H-矩阵,若 ，,H-矩阵的计算,H-矩阵的计算过程：,计算,计算,计算,H-矩阵的计算算法（7.3.1）：见教材P219,的计算公式：,H-矩阵在正交分解中的应用,寻找一系列H-矩阵,对 的列逐次进行H-变换,具体步骤：,S

8、tep1 利用算法（7.3.1）确定H-变换,Step2 再利用算法（7.3.1）确定H-变换,其中,重复上述过程，经r步后完成,经过r步后得到：,其中 为上梯形矩阵,例5：用Householder变换求 下列方程组的极小最小二乘解,解:,注意到矩阵的秩为2, 且前2列线性无关.,Step1,Step2,方程组的极小最小二乘解的求法同例4,2、Givens变换（平面旋转变换）:,若只需将向量的某个分量化为0时，采用Givens变换。,称下列矩阵为Givens变换矩阵：,n=3时,记,令,推广到一般情形：,令,几何意义： 是在 坐标平面内将 按顺时针方向旋转了 度。,令,Givens矩阵的计算：见教材P222-算法（7.3.3）,例6：用