曲线拟合的最小二乘法推荐（课堂PPT）

1、1第六节第六节 曲线拟合的最小二乘法曲线拟合的最小二乘法2 2009, Henan Polytechnic University2实例：考察某种纤维的强度与其拉伸倍数的关系实例：考察某种纤维的强度与其拉伸倍数的关系, ,下下表是实际测定的表是实际测定的2424个纤维样品的强度与相应的拉伸倍个纤维样品的强度与相应的拉伸倍数是记录数是记录: :编 号 拉伸倍数 强 度编 号 拉伸倍数 强 度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662.72.5187.15.373.531986.583.52.72087944

2、218.98.51043.52298114.54.2239.58.1124.63.524108.1iiyxiiyx3 2009, Henan Polytechnic University31234567891012345678912345678910123456789纤维强度随拉伸倍数增加而增加系系要要关关系系应应是是线线性性关关的的主主与与拉拉伸伸倍倍数数因因此此可可以以认认为为强强度度xy并且24个点大致分布在一条直线附近为为待待定定参参数数其其中中10, xxy10)(越越接接近近越越好好样样本本点点与与所所有有的的数数据据点点我我们们希希望望),)()(10iiyxxxy 必须找到一种

3、度量标准来衡量什么曲线最接近所有数据点。必须找到一种度量标准来衡量什么曲线最接近所有数据点。4 2009, Henan Polytechnic University4iiiyxy )( 令令一般使用一般使用在回归分析中称为在回归分析中称为mii0222miiiyxy02)(准准偏离程度大小的度量标偏离程度大小的度量标与数据点与数据点作为衡量作为衡量),()(iiyxxy在回归分析中称为残差平方和在回归分析中称为残差平方和. .从而确定从而确定(1)(1)中的待定系数中的待定系数: :mii0222miiiyxy02)(注意注意(1)(1)式是一条直线式是一条直线, ,关关系系的的关关系系并并不

4、不一一定定是是线线性性但但yx,因此将问题一般化为因此将问题一般化为: : 5 2009, Henan Polytechnic University5)(,xSyyx 的的关关系系为为设设,)( 来自函数类来自函数类其中其中xS来来自自线线性性函函数数类类中中如如)()1(xy为为给给定定的的一一组组数数据据设设), 1 , 0)(,(miyxii ), 1 , 0)(nixi 的的基基函函数数为为设设函函数数类类mn 一一般般要要求求即即生成的函数集生成的函数集是由是由也称也称,), 1 , 0)(nixi )(,),(),(10 xxxspannmii0222miiiyxS02)(仍然定义

5、平方误差仍然定义平方误差njjjxaxS0)()(6 2009, Henan Polytechnic University6我们选取的度量标准是我们选取的度量标准是)(* xS中中选选取取一一个个函函数数在在函函数数类类 njjjxaxS0*)()(*)(*)(*)(*1100 xaxaxann22*miiiyxS02)(*(miiixSyxS02)()(min22)(minxS中中的的任任意意函函数数为为其其中中 mjjjxaxS0)()(7 2009, Henan Polytechnic University7数数据据拟拟合合的的最最小小二二乘乘法法的的方方法法为为的的求求函函数数称称满满

6、足足条条件件 njjjxaxS0*)()(*)3( 为为最最小小二二乘乘解解 njjjxaxS0*)()(* 为拟合系数为拟合系数为拟合函数为拟合函数), 1 , 0(,)()(0njaxaxSjnjjj ), 1 , 0(,)(njaxSj 如如何何求求拟拟合合系系数数后后在在确确定定了了拟拟合合函函数数满足拟合条件呢？满足拟合条件呢？使得使得 njjjxaxS0*)()(* 误差误差称为最小二乘解的平方称为最小二乘解的平方22* 8 2009, Henan Polytechnic University8 miinjijjyxa020)(miiiyxS02)(22njjjxaxS0)()(由

7、由的函数的函数为拟合系数为拟合系数), 1 , 0(njaj 可知可知因此可假设因此可假设),(10naaa miinjijjyxa020)(因此求最小二乘解转化为因此求最小二乘解转化为二次函数9 2009, Henan Polytechnic University9的的问问题题点点极极小小值值的的最最小小值值求求*,*,*,)(),(1010nnaaaaaa 由多元函数取极值的必要条件由多元函数取极值的必要条件0),(10knaaaank, 1 , 0)()(200ikmiinjijjxyxaka0得得即即miikimiiknjijjxyxxa000)()()(0)()()(00 ikmii

8、njikijjxyxxa10 2009, Henan Polytechnic University10miikimiiknjijjxyxxa000)()()( miikinjjikmiijxyaxx000)()()(nk, 1 , 0miikiikmiinnikmiiikmiixyxxaxxaxxa00011000)()()()()()()(nk, 1 , 0即即11 2009, Henan Polytechnic University11元线性方程组元线性方程组的的显然上式是一个关于显然上式是一个关于1,10 naaan引入记号引入记号)(,),(),(10mrrrxxxr),(10myyy

9、f)()(),(0ijmiikjkxx则由内积的概念可知则由内积的概念可知imiikkyxf0)(),(),(jk),(kj显然内积满足交换律显然内积满足交换律12 2009, Henan Polytechnic University12方程组便可化为方程组便可化为),(),(),(),(1100faaaknknkknk, 1 , 0的的线线性性方方程程组组常常数数项项为为这这是是一一个个系系数数为为),(),(fkjk 将其表示成矩阵形式将其表示成矩阵形式naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnnbaG

10、n简单记为13 2009, Henan Polytechnic University13上上的的法法方方程程组组在在点点列列称称上上述述方方程程组组为为函函数数序序mnxxxxxx,)(,),(),(1010 的基的基为函数类为函数类由于由于 )(,),(),(10 xxxn必必然然线线性性无无关关因因此此)(,),(),(10 xxxn 并且其系数矩阵为对称阵并且其系数矩阵为对称阵所以法方程组的系数矩阵非奇异所以法方程组的系数矩阵非奇异, ,即即0),det()det()1()1(nnjinG根据根据Cramer法则法则, ,法方程组有唯一解法方程组有唯一解*,*,*,1100nnaaaaa

11、a14 2009, Henan Polytechnic University14*),*,*,(10naaa miinjijjyxa020)(),(10naaa即即是是的最小值22*miiiyxS02)(*(miiixSyxS02)()(min22)(minxS所以所以 miinjijjyxa020)(*( miinjijjxSyxa020)()(min miinjijjyxa020)(*(为为最最小小二二乘乘解解 njjjxaxS0*)()(* 因此因此15 2009, Henan Polytechnic University15的的拟拟合合函函数数作作为为常常使使用用多多项项式式), 1

12、, 0)(,()()(miyxxPxSiin 作为一种简单的情况,的基函数为的基函数为拟合函数拟合函数)()(xPxSn , 1)(0 x,)(1xx ,)(,kkxx nnxx )(基函数之间的内积为基函数之间的内积为)()(),(0ijmiikjkxxmijikixx0mijkix0imiikkyxf0)(),(miikiyx022*平方误差miiiyxS02)(*(njjjfaff0),(*),(16 2009, Henan Polytechnic University16例例1 1. 回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系xaaxy10)(故可选取线性

13、函数为拟合函数，其基函数为1)(0 xxx )(1建立法方程组根据内积公式，可得17 2009, Henan Polytechnic University1724),(005 .127),(1061.829),(111 .113),(0f6 .731),(1f法方程组为法方程组为61.8295 .1275 .1272410aa6 .7311 .1131505. 00a即即为为所所求求的的最最小小二二乘乘解解xxy8587. 01505. 0)(* 8587. 01a解得解得6615. 5*22 平方误差为平方误差为18 2009, Henan Polytechnic University181

14、234567891012345678912345678910123456789拟合曲线与散点拟合曲线与散点的关系如右图的关系如右图: :19 2009, Henan Polytechnic University19例例2 2.求拟合下列数据的最小二乘解求拟合下列数据的最小二乘解x=.24 .65 .95 1.24 1.73 2.01 2.23 2.52 2.77 2.99y=.23 -.26 -1.10 -.45 .27 .10 -.29 .24.56 1解解: :从数据的散点图可以看出从数据的散点图可以看出xxycos之之间间具具有有三三角角函函数数关关系系与与xexy系系之间还具有指数函数

15、关之间还具有指数函数关与与xxyln系系之之间间还还具具有有对对数数函函数数关关与与因此假设拟合函数与基函数分别为因此假设拟合函数与基函数分别为xcexbxaxScosln)(xex )(2xxln)(0 xxcos)(120 2009, Henan Polytechnic University2000.511.522.53-1.5-1-0.500.51xy6.7941 -5.3475 63.2589-5.3475 5.1084 -49.008663.2589 -49.0086 1002.5 1.6163-2.382726.7728通过计算通过计算, ,得法方程组的系数矩阵及常数项矩阵为得法方

16、程组的系数矩阵及常数项矩阵为00.511.522.53-1.5-1-0.500.51xyGo!Go!21 2009, Henan Polytechnic University21用用Gauss列主元消去法列主元消去法, ,得得cba -1.0410 -1.2613 0.030735xexxxS030735. 0cos2613. 1ln0410. 1)(*的的最最小小二二乘乘解解是是关关于于xy22*20)(*(miiiyxS20)030735. 0cos2613. 1ln0410. 1(miixiiyexxi92557. 0拟合的平方误差为拟合的平方误差为图象如图图象如图22 2009, He

17、nan Polytechnic University22例例3.3. 在某化学反应里在某化学反应里, ,测得生成物浓度测得生成物浓度y%y%与时间与时间t t的的数据如下，试建立数据如下，试建立y y关于关于t t的经验公式的经验公式t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16y=4.00,6.40,8.00,8.80,9.22,9.50,9.70,9.86,10.00, 10.20,10.32,10.42,10.50,10.55,10.58,10.60解解: :的散点图的散点图与浓度与浓度画出时间画出时间yt具有图示的图形的曲线很多，本题特提供两种形式具有

18、图示的图形的曲线很多，本题特提供两种形式tbaey 指数函数形式指数函数形式batty 双双曲曲线线形形式式都都是是待待定定系系数数其其中中ba,tbay1lnlntbay1123 2009, Henan Polytechnic University23tbaey 指数函数形式指数函数形式).1(tbay1lnln两边取对数两边取对数, ,得得aattyyln,1,ln 设设t bay得得即为拟合函数即为拟合函数基函数为基函数为, 1)(0 ttt)(10567. 1,427. 2ba解法方程组得解法方程组得325.11atey0567. 1325.11 最最小小二二乘乘解解为为11631.

19、0*221平方误差为平方误差为24 2009, Henan Polytechnic University24batty 双曲线形式双曲线形式).2(tbay1116272. 0080174. 0ba用最小二乘法得用最小二乘法得即即16272. 0080174. 0tty5621. 1*222无论从图形还是从平方误差考虑无论从图形还是从平方误差考虑在本例中指数函数拟合比双曲线拟合要好在本例中指数函数拟合比双曲线拟合要好02468101214164567891011ty02468101214164567891011ty02468101214164567891011ty024681012141645

20、67891011ty平方误差为平方误差为25 2009, Henan Polytechnic University25从本例看到，拟合曲线的数学模型并不从本例看到，拟合曲线的数学模型并不是一开始就能选好的，往往要通过分析是一开始就能选好的，往往要通过分析确定若干模型之后，再经过实际计算，确定若干模型之后，再经过实际计算，才能选到较好的模型。才能选到较好的模型。26 2009, Henan Polytechnic University26), 1 , 0)(,(miyxii 对对于于一一组组给给定定的的数数据据点点中中在在拟拟合合的的数数据据点点), 1 , 0)(,(miyxii 各点的重要性

21、可能是不一样的的重度的重度表示数据点表示数据点假设假设),(iiiyx 重度: 即权重或者密度，统称为权系数mk, 1 , 0定义加权平方误差为:miii0222miiiiyxy02)(27 2009, Henan Polytechnic University27 来自函数类来自函数类设拟合函数设拟合函数)(xS), 1 , 0)(nixi 的的基基函函数数为为函函数数类类)(,),(),(10 xxxspannmiiiiyxS02)(*()(xS)()()(1100 xaxaxann为为拟拟合合系系数数), 1 , 0(njaj ), 1 , 0(*njaj 组组拟合的目标仍然为找一拟合的目

22、标仍然为找一22*miiiixSyxS02)()(min22)(minxS使得使得28 2009, Henan Polytechnic University28),(10naaa 求求 miinjijjiyxa020)( 的的问问题题点点极极小小值值的的最最小小值值*,*,*,)(10naaa由多元函数取极值的必要条件由多元函数取极值的必要条件0),(10knaaaank, 1 , 0)()(200ikmiinjijjixyxaka0得得即即 miikiimiiknjijjixyxxa000)()()(0)()()(00ikmiiinjikijjixyxxa29 2009, Henan Pol

23、ytechnic University29 miikiimiiknjijiixyxxa000)()()( miikiinjjikmiijixyaxx000)()()(nk, 1 , 0元元线线性性方方程程组组的的是是一一个个关关于于显显然然1,)10(10 naaan引入记号引入记号)(,),(),(10mrrrxxxr),(10myyyf定义加权内积定义加权内积30 2009, Henan Polytechnic University30)()(),(0ijmiikijkxximiikikyxf0)(),(),(),(),(),(1100faaaknknkknk, 1 , 0矩阵形式矩阵形式

24、( (法方程组法方程组) )为为naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn方程组化为方程组化为31 2009, Henan Polytechnic University31平方误差为平方误差为miiiiyxS02)(*(22*作为特殊情形作为特殊情形, ,用多项式作拟合函数的法方程组为用多项式作拟合函数的法方程组为miiniimiiiimiiinimiinimiinimiinimiiimiiimiinimiiimiimiiyxyxyaaaxxxxxxxx00010201001020000032 2009,

25、 Henan Polytechnic University32选为选为基底基底的基函数的基函数若拟合函数若拟合函数)()(xS),()(00 xPx ,),()(11xPx )()(xPxnn为正交多项式为正交多项式且且)(,),(),(10 xPxPxPn), 1 , 0)(,(miyxii 对对于于一一组组给给定定的的数数据据点点),(jkPPjk 0jk kAmiijikixPxP1)()(即即0 kA其中其中正交多项式如何选取呢正交多项式如何选取呢-(14)33 2009, Henan Polytechnic University330( )1P x 110( )()( )P xxP

26、x 0(,)()()()mkjikijiixxx 1( )kPx 11()( )( )kkkkxP xPx11(,)(,)kkkkkP PPP (,)(,)kkkkxP PP P 1k 1,2,1kn 0,1,2,1kn 34 2009, Henan Polytechnic University34naaa10),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnn作作拟拟合合选选择择正正交交多多项项式式)(,),(),(10 xPxPxPn), 1 , 0)(,(miyxiii 的数据点的数据点对于一组给定的带权对于一组给定的带

27、权 )()()()(1100 xPaxPaxPaxSnnmiiiiyxS02)(*(22*miiiixSyxS02)()(min22)(minxS使得使得由正交多项式的性质由正交多项式的性质, ,法方程组法方程组35 2009, Henan Polytechnic University35),(),(fPaPPkkkkni,2 , 1 , 0),(),(*kkkkPPfPanaaa10),(),(),(10fPfPfPn00),(00PP0),(011PP),(00nnPP可化为可化为即即得得)(*)(*)(*)(*1100 xPaxPaxPaxSnn即即为利用正交多项式的最小二乘解为利用正交多项式的最小二乘解36 2009, Henan Polytechnic University36miiiiyxS02)(*(22*平方误差为平方误差为)(*,)(*(fxSfxS),()*,(2*)*,(fffSSS),(),(*2),(*002fffPaPPankkknkkkk),(),(*2),(*0202ffPPaPPankkkknkkkknkkkkPPaff02),(*),(37 2009, Henan Polytechnic University37例例4.4.如下如下及权重及权重