曲线曲面拟合

曲线曲面拟合第1页，课件共35页，创作于2023年2月1非线性回归分析的任务

非线性关系是最普遍的变数间量化关系，合适的非线性回归分析对研明变数间的数量关系有重要作用。非线性回归分析的广泛应用，将促使试验研究从定性向定量发展，由粗放向精细发展。线性关系形式单一，而非线性关系多种多样，选择合适的非线性模型并非易事。多项式也是一种（简单的一种）非线性关系，先前已有论述，本章仅讨论多项式以外的纯非线性关系。对于纯非线性回归分析，非线性回归统计数的估计、假设测验等均有很大难度。第2页，课件共35页，创作于2023年2月第3页，课件共35页，创作于2023年2月非线性回归分析的主要任务有下列4项：1)建立合适的非线性模型；2)估计非线性方程的统计数——曲线曲面拟合；3)合理的显著性测验；4)方程的进一步利用（插值与外推）。第4页，课件共35页，创作于2023年2月2非线性回归方程的选择主要有3种方法：1）解微分和偏微分方程组dsolve(‘Dy+y+c’,’…’)y=dsolve(‘Dy-b*y+c*y^2’,’y(0)=k/(1+a)’)symscbk;y=subs(y,cb/k);pretty(y)第5页，课件共35页，创作于2023年2月2）根据机理或基本数量关系推导每一种函数关系都有一些基本特点，可以根据这些基本要素确定不同的方程。这些基本要素如零点(初值点)、峰值点（极大、极小）、拐点、渐近点等，应符合数据事实。第6页，课件共35页，创作于2023年2月3)试算、比较与选择当变数间的可能关系所知甚少，可对不同方程进行试拟合，比较分析后选出最佳关系模型。除了前述的关键点数据应与曲线、曲面有好的吻合外，也应保证数据在前、中、后段都能较好地拟合；另外也应保证较高的拟合度（决定系数）、较小的离回归平方和以及较好的插值和外推。通常，较少参数的曲线刚性有余、柔性不足，而参数较多的方程有较大的柔性。但参数太多往往会过参数化（over-parameterization），拟合的难度大大增加。第7页，课件共35页，创作于2023年2月3参数估计目标函数：当给定Xi与Yi

(i=1,2,…,n)时，Q也是b的函数：

Q=F(b)。拟合即为寻找βopt=min(F(b))的过程。发展稳定高效实现全局最优拟合的算法是非线性回归的关键，难度较大。第8页，课件共35页，创作于2023年2月1）线性化法对一些简单的方程，我们可以采用数据转换的方式将其化成线性方程，然后用一元或多元线性回归的方式进行分析。如：其缺陷是该类方法仅适用于简单的方程，而绝大多数纯非线性方程较复杂，不能用线性化方法进行参数估计。第9页，课件共35页，创作于2023年2月2）一些通用方法梯度法(快速登山法,Gradient)；第10页，课件共35页，创作于2023年2月给定某一起始参数点：

若=0,bj在该点前后的变化不会使Q变化<0,bj在该点的增加将使Q变小

>0,bj

在该点的增加将使Q变大令<0>0朝着使Q减小的方向

因而第11页，课件共35页，创作于2023年2月一个实例：b0=[3，20，0.5]XYf0Y-f0df/dKdf/dadf/db20.300.35896-0.058960.11965-0.01580.6320140.860.809340.050660.26978-0.029552.3639961.731.503200.226800.50107-0.03754.4999882.202.195690.004310.73190-0.029434.70937102.472.64373-0.173730.88124-0.01573.13958122.672.85830-0.188300.95277-0.006751.62009142.802.94627-0.146270.98209-0.002640.73879

-.35275-4.813e-3.16480第12页，课件共35页，创作于2023年2月(2)高斯法(Gauss)；(3)高斯-牛顿法(Gauss-Newton)；以新的b值再运行前述过程，反复迭代，直至delta趋于0，或Q已不再变小。第13页，课件共35页，创作于2023年2月

f按多元Taylor级数展开（略去二次及二次以上各项）：

则目标函数可以转化为:令第14页，课件共35页，创作于2023年2月得新的优化点:当b与b(0)有差异时，应令b替代b(0)重新计算

由

△=0，或Q的前后差异小于某一定值。第15页，课件共35页，创作于2023年2月一个实例：b0=[3，20，0.5]XYf0Y-f0df/dKdf/dadf/db20.300.35896-0.058960.11965-0.01580.6320140.860.809340.050660.26978-0.029552.3639961.731.503200.226800.50107-0.03754.4999882.202.195690.004310.73190-0.029434.70937102.472.64373-0.173730.88124-0.01573.13958122.672.85830-0.188300.95277-0.006751.62009142.802.94627-0.146270.98209-0.002640.73879第16页，课件共35页，创作于2023年2月df/dKdf/dadf/dbY-f00.1197-0.01580.63201-0.058960.2698-0.02962.363990.050660.5011-0.03754.499980.22680.7319-0.02944.709370.004310.8812-0.01573.13958-0.173730.9528-0.00681.62009-0.18830.9821-0.00260.73879-0.14627XY得新的优化点:反复迭代…第17页，课件共35页，创作于2023年2月(4)改良高斯牛顿法(Levenberg-Marquardt)

这是梯度法和高斯-牛顿法相结合的一种方法。A很可能是奇异的，需对此阵进行调整:作用:一可解决A阵奇异，无法求解Δ之困；二是A阵对角线元素包含了较大的与求解Δ相关的信息量，加快趋于全局优的进程。

第18页，课件共35页，创作于2023年2月(5)极大似然法(maximumlikelihood)。 大多数著名的统计软件如SAS,Matlab,Sigmaplot等包含了基于这些算法的非线性方程拟合模块。第19页，课件共35页，创作于2023年2月3）通用算法存在的问题：(1)需提供方程的导数或偏导数；(2)需提供合适的初值；(3)一般难于实现全局最优拟合。最后一点往往是最主要、最致命的缺陷。第20页，课件共35页，创作于2023年2月4）曲线、曲面拟合新算法(Contraction-ExpansionAlgorithm)CE算法包含三个基本步骤：(1)收缩步，缩小步长的搜索过程；(2)扩张步，扩大步长的搜索过程；(3)调整步，中心点、临界值的重新调整。第21页，课件共35页，创作于2023年2月(1)收缩步第22页，课件共35页，创作于2023年2月(2)扩张步第23页，课件共35页，创作于2023年2月(3)中心点和步长的确定全局最优拟合的能力和效率很大程度上取决于初始点和步长，初始步长一般总不是很合适的，必须由寻优过程的信息反馈调整。记录在寻优搜索过程中的度点（即满足一定要求的参数点）的数量和位置，算出它们平均数和标准差（Sj为bj的二阶原点矩）：第24页，课件共35页，创作于2023年2月(4)调整临界值C

若C很小，产生的度点数量太少，若C很大，产生的度点数量太多，这些情形都将使算法的能力和效率受损。临界值C必须有反馈调节机制。若N是每一轮次的试算节点总数，nE是扩张步一个循环（由3~7个轮次组成）的度点数量，在一次循环后重新计算临界值（包括步长）。前后两次循环(v,v+1)使用不同的公式是为了减少循环过程波浪形C值的发生。在mod(v,2)=0时，需将nE清零。第25页，课件共35页，创作于2023年2月（5）CE算法的主要优缺点：

不必提供导数与偏导数，利于通用程序的编制；无需提供适合的初值；实现最优拟合的能力较强；搜索效率不高，对多参数非线性问题难于实施。第26页，课件共35页，创作于2023年2月(6)缩张算法的一些改进：1每一轮次的试算节点数(z)随p的增加而指数（爆炸）式增长。5步点时，z=5^p=exp(1.60944p)；在3步点时，z=3^p=exp(1.09861p)。因此在p>7（5步点）或p>13（3步点）时，算法负荷量已超出普通pc机的上限（每轮次试算节点数以1m计），该法不适宜用于参数数p>15的非线性方程的拟合。在参数较多（p=5~10）时，改5点法为3点法，参数很多(p>10)时，只在p维参数空间中均匀随机产生一定量的试算节点，尽可能减少一轮搜索的步点数。第27页，课件共35页，创作于2023年2月2与解析法中的改良高斯牛顿法相结合，在给定的参数初值（或中间值）点处，利用参数微小差量Δ的差分方程获得方程对某一参数的近似偏导函数值，再将各（观察值）点的偏导函数值的乘积累加，得到近似的Jaccobi矩阵(A，或A*)和常数阵K，再由AΔ=K，解出Δ=A-1K（Δ=A*-1K），当Δ接近0或RSS(Q)小于收敛标准时结束。第28页，课件共35页，创作于2023年2月

f依第j个参数bj的近似偏导数为：是Xi及参数点bj(0)处仅第bj

参数具微小差值时的回归值。是bj

微小差值参数增量；第29页，课件共35页，创作于2023年2月bi(0)第30页，课件共35页，创作于2023年2月基于数值微分基础的改良高斯-牛顿法：当b与b(0)有差异时，应令b替代b(0)重新计算Δ，当Δ接近0或小于收敛标准时结束。构建矩阵第31页，课件共35页，创作于2023年2月4非线性回归统计数的假设测验Jaccobi阵A的逆阵C(C=A-1)对角线元素为相应回归统计数标准化的方差，所谓标准化的方差是指离回归误差方差为1时的方差。因此，第j个回归统计数bj（与0的差异显著性）测验可用t测验：第32页，课件共35页，创作于2023年2月5曲线、曲面拟合的matla