系统建模方法与应用ch4-curve fittingmode

1、系统建模方法与应用齐臣坤机械与动力交通大学: ch Office: 机械A楼923、B楼214SJTU2第四章：主要内容曲线拟合(curve fitting)： x是1维的情况SJTU3第四章：主要内容曲面拟合(surface fitting)： x是2维的情况SJTU4第四章：主要内容曲线拟合问题数学描述(problem definition)曲线拟合参数化方法(parametric method)最小二乘拟合(least squares fit)模型大小、类型、数据量、噪声的影响(exle of fit depending onmsize, type of mfamily, data si

2、ze, noise level)参数化方法的统计分析(sistical asymptoticysis)偏差方差平衡(bias - variance trade off)曲线拟合非参数化方法(non-parametric method)SJTU5问题数学描述数据：未知函数g0(x)，对于一系列x值x1,x2,xN，观测到对应的y值(含有一些噪声e)y(k ) g0 (xk ) e(k )问题：从数据y(k ), x N中构造估计kk 1gN (x)gN (x) g0 (x)使得误差尽可能小SJTU6的两大类方法Methodology从模型参数化角度分类：参数化方法 (parametric met

3、hod)在一个参数化的候选函数集合中搜索，构造gN (x)非参数化方法 (non-parametric method)通过在y(k)（仔细选择的y(k)子集）上光滑，构造gN (x)7SJTUxky(k)System g0(x)e(k)+Optimization-y(k )Mg(x)Prediction参数化方法参数化方法 (parametric method)总体描述ng(x, ) kk 1例子：fk (x, k )基函数fk (x, k ), k , k , k 1,., n参数化方法需要确定：fk (x, k ) )的类型函数类（基函数模型的大小(n or dimen参数值)SJTU8参

4、数化方法局部/全局基函数(local / global basis functions) (x) (x)xx局部基函数(local basis functions)全局基函数(global basis functions)SJTU9参数化方法模型大小(msize)未知System ComplexityMComplexityMComplexityMComplexity模型复杂度大于系统复杂度模型复杂度接近系统复杂度模型复杂度小于系统复杂度SJTU10参数化方法参数估计：总体框架y(k)System g0(x)+e(k)Opt imization-y(k )g (x, )Parametric mP

5、redictionSJTU11xk第四章：最小二乘拟合最小二乘(Least squares)y(k ) g0 (xk ) e(k )y(k ) gN (xk )过程模型优化问题(Optimization problem) arg minV ( )目标函数(Objective function)NNNV ( ) 1 | y(k ) y(k ) |2N 1 | y(k ) g(x , ) |2NkNNt 1t 1SJTU12第四章：最小二乘拟合最小二乘之外的其他指标比如：ax | y(k ) g(xk , ) |“unknown-but-bounded”mmin | y(k ) g(xk , )

6、| instensive l1 normsupport vector machines曲线拟合方法从优化指标角度分类：最小二乘指标其他指标SJTU13第四章：最小二乘拟合为什么要选择最小二乘指标？于1809年他的著作天的最小二乘法的方法体运动论中。1829年，提供了最小二乘法的优化效果的证明，定理。-见Gauss在误差零均值，同方差，且互不相关的线性回归模型中，回归系数的最佳无偏线性估计（BLUE）就是最小方差估计。一般而言，任何回归系数的线性组合之BLUE就是它的最小方差估计。在这个线性回归模型中，误差既不需要假定正态分布，也不需要假定独立（但是需要不相关这个更弱的条件），更不需要假定同分布

7、(uniform distribution)。SJTU14第四章：最小二乘拟合最小二乘(Weighted least squares)y(k ) g0 (xk ) e(k )y(k ) gN (xk )过程模型优化问题(Optimization problem)minV ( ) argNNNV ( ) 1 N 1 | y(k ) y(k ) |2 / , ) |2 / 目标函数| y(k ) g(xNkkkNNt 1t 1正比于kth测量数据的“可靠性(reliability)” Ee2 (k )kkSJTU15第四章：最小二乘拟合最小二乘(Weighted least squares)y(k

8、 ) g0 (xk ) e(k )y(k ) gN (xk )过程模型优化问题(Optimization problem) arg minV ( )NNNV ( ) 1 N 1 L(x ) | y(k ) y(k ) |2 / , ) |2 / 目标函数L(x ) | y(k ) g(xNkkkkkNNt 1t 1L(xk )再加一个权重，表示点 xk的“相关性(relevance)”SJTU16第四章：最小二乘拟合正则化最小二乘(Regularized least squares)y(k ) g0 (xk ) e(k )y(k ) gN (xk )过程模型优化问题(Optimization

9、problem) arg minV ( ) | |2 NNNV ( ) 1 | y(k ) y(k ) |2N 1 , ) |2| y(k ) g(x目标函数NkNNt 1t 1 | |2惩罚模型的复杂度，可取很多不同的形式SJTU17第四章：最小二乘拟合线性最小二乘g(x, ) 对于是线性的，则称为线性最小二乘如果参数化模型g(x, ) (x)T 的二次型式基本指标变成 1NN ) ( y(k ) (x ) )| Y |T22V (Nkk 1 1 (1)2 (1)n (1) (1) y(1) y(2) (2) (2) (2) (2)Y 12n y(N ) (N ) (n) (N ) (N )

10、 12n线性最小二乘的最优解可表达成形式 (T )1TYNSJTU18第四章：最小二乘拟合线性最小二乘：线性方程组求解Ax b已知A和b，求xSJTU19第四章：最小二乘拟合曲线拟合实例：测量数据e=5*randnData size=50SJTU20第四章：最小二乘拟合曲线拟合实例：测量数据、估计的函数估计的模型：g(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5e=5*randn Data size=50 M size=5M type=polySJTU21第四章：最小二乘拟合曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：g(x) = p1*x4 + p

11、2*x3 + p3*x2 + p4*x + p5e=5*randn Data size=50 M size=5M type=polySJTU22第四章：最小二乘拟合曲线拟合实例：估计的模型与真实模型对比估计的模型：真实的模型：Linear mPoly4:g(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5CoefficientsCoefficientsp1 = p2 = p3 = p4 = p5 =0.08567-0.94260.52014.348-4.212p1 = p2 = p3

12、= p4 = p5 =0.1-1.2210SJTU23第四章：模型大小对拟合的影响曲线拟合实例3种大小的模型M size=3估计的模型：g(x) = p1*x2 + p2*x + p3M size=5估计的模型：g(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5M size=9估计的模型：g(x) = p1*x8 + p2*x7 + p3*x6 + p4*x5 + p5*x4 + p6*x3 + p7*x2 + p8*x + p9SJTU24第四章：模型大小对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：g(x) = p1*x2 + p2*x

13、+ p3Coefficientsp1 = p2 = p3 =1.14-17.6821.2e=5*randn Data size=50 M size=3M type=polyCoefficientsp1 = p2 = p3 = p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU25第四章：模型大小对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：g(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5Coefficientsp1 = p2 = p3 = p4 = p

14、5 =0.08567-0.94260.52014.348-4.212e=5*randn Data size=50 M size=5M type=polyCoefficientsp1 = p2 = p3 = p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU26第四章：模型大小对拟合的影响Coefficients曲线拟合实例：测量数据、估计的函数、真实函数p1 = p2 = p3 = p4 = p5 = p6 = p7 = p8 = p9 =-0.00050360.02027-0.33422.909-14.

15、2638.92-57.4240.27-9.046估计的模型：g(x) = p1*x8 + p2*x7 + p3*x6 + p4*x5 + p5*x4 + p6*x3 + p7*x2 + p8*x + p9e=5*randn Data size=50 M size=9M type=polyCoefficientsp1 = p2 = p3 = p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU27第四章：基函数类型对拟合的影响曲线拟合实例2种不同的基函数M type=poly估计的模型：g(x) = p1*x

16、4 + p2*x3 + p3*x2 + p4*x + p5M type=gauss估计的模型：g(x) = a1*exp(-(x-b1)/c1)2) + a2*exp(-(x-b2)/c2)2)SJTU28第四章：基函数类型对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数Coefficients a1 =-69.87估计的模型：g(x) = a1*exp(-(x-b1)/c1)2) + a2*exp(-(x- b2)/c2)2)e=5*randn Data size=50 M size=2M type=gaussb1 = c1 =7.2222.488a2 = -6.971e+009 b

17、2 =-10.17c2 =2.239Coefficientsp1 = p2 = p3 = p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU29第四章：基函数类型对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：g(x) = a1*exp(-(x-b1)/c1)2) + a2*exp(-(x-b2)/c2)2) + a3*exp(-(x-b3)/c3)2) e=5*randnData size=50 M size=3M type=gaussCoefficientsp1 = p2 = p3

18、 = p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU30第四章：基函数类型对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：g(x) = a1*exp(-(x-b1)/c1)2) + a2*exp(-(x-b2)/c2)2) +a3*exp(-(x-b3)/c3)2) + a4*exp(-(x-b4)/c4)2) e=5*randnData size=50 M size=4M type=gaussCoefficientsp1 = p2 = p3 = p4 = p5 =0.1-1.22

19、10真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU31第四章：基函数类型对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：a1*exp(-(x-b1)/c1)2) + a2*exp(-(x-b2)/c2)2) +a3*exp(-(x-b3)/c3)2) + a4*exp(-(x-b4)/c4)2) +a5*exp(-(x-b5)/c5)2) + a6*exp(-(x-b6)/c6)2)e=5*randn Data size=50 M size=6M type=gaussCoefficientsp1 = p2 = p3 =

20、 p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU32第四章：数据量对拟合的影响曲线拟合实例2种不同长度的测量数据D size=50D size=500SJTU33第四章：数据量对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：g(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5Coefficientsp1 = p2 = p3 = p4 = p5 =0.08567-0.94260.52014.348-4.212e=5*randn D size=50 M si

21、ze=5M type=polyCoefficientsp1 = p2 = p3 = p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU34第四章：数据量对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数Coefficients估计的模型： p1*x4 + p2*x3 + p3*x2 + p4*x + p5p1 = p2 = p3 = p4 = p5 =0.1015-1.2422.365-0.068890.6975e=5*randn D size=500 M size=5M type=polyCoefficientsp1 = p2 = p3 = p4 = p5 =0.1-1.2210真实的模型：g0(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5SJTU35第四章：噪声对拟合的影响曲线拟合实例3种不同噪声下的测量数据e=5*randne=0.5*randne=50*randnSJTU36第四章：噪声对拟合的影响曲线拟合实例：测量数据、估计的函数、真实函数估计的模型：g(x) = p1*x4 + p2*x3 + p3*x2 + p4*x + p5Coefficientsp1 = p2 = p3 = p4 = p5 =0.08567-0.94260