非线性回归小结

非线性回归中参数估计的优化算法现代数学新进展结课论文（南京理工大学理学院 信息与计算科学丁）指导教师：冯教授 南京理工大学理学院评语:时间：2010年12月8日摘要：选择现代非线性回归问题中的参数估计问题作为近代数学新进展的结课论文探讨主题。首先在第一部分概述参数估计、回归分析的用途等知识；第二部分主要回顾线性回归模型的基本知识；第三部分介绍非线性回归模型基本构造知识以及非线性回归中参数估计的几个问题，并着重介绍若干优化算法，若传统优化算法、现代智能算法等。关键词：非线性回归参数估计优化算法第一章回归分析参数估计一、回归分析（一）、回归分析含义：回归分析是指，为了拟合所需要的统计模型，进而通过优化目标函数来估计模型中的参数，并对适当的模型假设作检验，以及用拟合好的模型作出统计预测的一种方法。回归分析就是将所关心的特性（称为“相应变量”）的性能与潜在的原因（称为“解释变量”）联系起来。这样的关系可以通过科学、经济、工程等学科的模型作出规定，目的是帮助人们理解响应变差的潜在原因，并解释每个因素对该变差所起的作用大小。数学处理时，通过统计将响应变量的变差与解释变量的变差联系起来，并通过将预期和实际响应变差之间的偏差减小至最低从而达到所谓的最佳拟合。（二）、回归分析用途：1、检验有关潜在解释变量对响应变量影响的假设，并针对解释变量的已知变化，使用这些信息描述估计的响应变化。2、 针对解释变量的具体值，通过构造的模型预测响应变量值。3、 针对给出的解释变量的特性值，在规定的置信水平内预测响应变量值的预期范围。4、 估计响应变量和解释变量相关的方向和程度，这主要是研究变量之间的协方差，方向则用正负表示，程度是用绝对值大小衡量。但需要注意的是，这样的关联并不意味着因果关系，因果关系需要其他工具继续分析，如Grander因果分析等。（三）回归分析分类：线性回归和非线性回归若丫是一个随机变量，X是K维随机变量，则给定X=（咅公2,……,Xk）时，丫的条件期望f（Xl，X2,……,Xk）作为Xl，X2,……，xk的函数，称为丫对X的回归函数。此时，丫二壮心卷,……，Xk）称为回归方程，回归函数的图形成为回归曲面。当y关于函数中每一个变量都是线性时，也即回归曲面是一个超平面的时候，回归函数形式为：y二iX<2X2……-AXk-z（其中z可看成是一个随机干扰项的值），此时称模型为线性回归模型，或者表示为Y=忙人+爲乂2+……+0kXk+ZY=（X1fX2……Xk）B+Z其中X=（Xl，X2……Xk），一（F：2……J，另外一般假设Z服从正态分布，且期望为0。线性回归模型在数理统计中发展迅速，进而在社会经济生活各方面得到了广泛的应用，其中最小二乘估计等方法已经甚为成熟。然而现实世界中严格的线性模型并不多，因此非线性回归模型更加符合实际。当丫关于函数中的变量不全都是线性关联时，模型成为非线性模型，其可以表示为：丫二f（X,日）+z，其中x=（Xi,X2xj，日=佝，日2,日k），也就是说，非线性模型的期望响应是关于参数的非线性函数，除此之外的均与线性模型相同。二、参数估计参数估计是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式（另一种形式即是假设检验问题） ，是数理统计学的一个重要分支，分为点估计和区间估计两部分。

点估计问题的提法是：设总体的分布函数F(XJ)的形式已知，二是待估计参数，Xi，X2,……Xk是.的一个样本，Xi，X2,……Xk是相应的一个样本值。点估计的问题就是要构造一个适当的统计量T(Xi，X2,……Xk)，用其观察值t二T(x>,x2,……Xk)来估计未知参数二，称T=T(Xi，X2,……Xk)为二的估计量，称4t二T(Xi,X2， Xk)为二的估计值，笼统的称为估计，记为二。区间估计是指对于参数不仅要求出其点估计，还要得到估计的误差，即估计出一个范围，并求出这个范围包含参数真值的可信程度。此时的估计称为区间估计，相应的区间称为置信区间。下面给出具体定义：设总体•的分布函数F(X,R中含有未知参数二，其是待估计参数。对于给定值：(1，若由样本X1，X2,Xk确定的两个统计量—g(Xi，X2,……Xk)，百=9(Xi,X2,……Xk)满足P{©"^}=1—a，则称随即区间［二习为置信度为1-：的置信区间。第二章线性回归方法知识回顾对于统计回归模型，无论是线性的或非线性的，模型中未知参数的估计有一个最通用的准则：最小二乘准则。(虽然有其它的准则如极大似然准则可用，但最小二乘准则有某些最优的性质也许就够了，最小二乘准则提供了实践中最佳可用的估计。)即，XZ中：的LS(最小二乘)估计是由观察到的Yt与假nS(P)=：Z(Yt-0XJ2定的真实模型的偏差平方和取极小值而得到，即极小化 ,,(2.1)。使上式最小的卩可以记为目，当假设似然函数P(Y|0)是正态分布函数极大似然估计与最小二乘估计相同，所以 也可称为极大似然估计

S的极小值可以由(1.1。式对：求微分得到，令导数等于0,解出‘，则有误差并且它不是随机变量时，'是随机变量Yt的线性组合。若假定Yt是围绕其均值Xt波动且具有有限方差匚2的正太分布（这个方差也即是Z的方差），则由此得出[也是服从正态分布的。此外，1的期望是需要的真实参数-，意味着1是————(Y-Xt)Xt=0，得到:(2.2。。当假定Xt没有输入_2Var（甘）= _2：的无偏估计，且‘的方差为： "Xt，它是'的任何线性无偏估计量中具有最小的可能方差。第三章非线性回归模型及参数估计优化算法根据前文所述，非线性模型表示为：丫=f（X-）Z，其中X=（Xi，X2……XQ厂十佔2,……如，再次假定z服从正态分布，且E[Z]=0，Var（Z）=；「2。一、可转化为线性的非线性模型有部分非线性模型经过适当变换后可以变成线性模型，从而简化回归分析，这类模型也称固有线性模型。下面仅列举几个具体模型事例，且仅对其数学变换方法介绍，不介绍其实际含义，且由于知识有限不进行进一步的分析。1、1、f（x,»无：我们可以将其做倒数变换，则有2、C-D生产函数模型：丫二AK：Le1，其中'■服从正态分布，此模型可以通过两边取对数将其化为标注的线性模型："丫"nA*InK「InL」然而认为的数据变换引起了随即扰动项的变化，这将影响到随机扰动的假设条件。如果前文所述模型中随机干扰项是服从正态分布的， 多维时可以是球形正态分布，这样是合理的。但对于变换后的数据来说，这样的假设就不一定合适。因此要么对数据采用非线性回归，要么对变换的数据使用加权最小二乘。除非有时数据集的变换产生了常数方差，此时就导出了线性的期望函数，因此也可以用线性回归。二、非线性模型参数估计问题（一）、非线性回归及其最小二乘估计模型我们将前文的非线性模型的基础上，其最小二乘估计问题为：丫=f（X,RZ，其中Z••N（0,；「），设已知观测值｛（X,yi）；i"2……k｝，则模型最小二乘估计问题就是如何求出二，使得对于任何二都有：S（R乞S（"，其中k2SL）八W-f（x「）］7 ，可定义g/T）=yj-f（x月）为第i组数据的残差，G（R（gi（R,g2（R……gk（R）T为全部数据的残差向量，此时有ks（旳—［g"）］2引g（"||2。这样，非线性回归模型的参数估计问题就转化i日为无约束的最优化问题。（二）、参数估计的优化算法浅析在非线性回归分析的参数估计问题转化为最优化问题之后就转化为了无约束极值问题，进入了另一门学科一一算法理论的研究范畴， 这些模型的参数不可能直接推导算得，只能通过计算机进行数值模拟 （即通过迭代计算）从而进行一定误差范围的近似。得益于数学规划理论数十年的发展，求解参数问题涌现出了大量的计算方法，除了传统方法、在传统方法基础上的改进方法外，现代智能算法的应用使得参数估计算法工具更加丰富。下面对其中部分算法作简单介绍。1、传统搜索算法（下降法）：在算法理论正式发展之前，对于无约束极小值问题分析使用所谓最原始的古典分析方法，但在实践当中求解几乎行不通，因为实际当中相当多的函数不具有解析性（在区域上的可微性等），即使有解析性，有些方程求解也非常困难。而搜索算法就是一种下降、迭代思想，其根据目标函数解析性的好坏分为两类：一是解析方法，即在构造算法时用到了目标函数的导数值； 另一类算法是直接算法，构造算法时仅用到了目标函数值。搜索解析方法方法包括一维搜索、Newton方法及其改进算法、共轭方向法、拟牛顿方法等；常用的直接搜索方法包括：适用于低维问题的坐标轮换法和步长加速法（Hooke-Jeeves法）、单纯形替换法、转轴法和D.S.C方法、方向加速法（Powell法）。以上这算算法庞杂，因此不做展开，下面仅对其中一种算法简单叙述。2、 Gauss-Newton算法及其改进算法、12对于极小冋题minSe）=311G（^）h，， （3.1），注意此处将前文的k维转写成N维，目的是为了防止与下文迭代中符号冲突。G-N方法按如下公式进行迭代：给定初始近似值X0,令k=0,1, ,计算Xk1=Xk，Pk,其中Pk= AfNS（“（3.2）人二DGQk）珂21^］七”（i-1,2 ,m;j=1,2,…n）,S6）=A：gk。:■■在（3.2）中，G-N方向pk可以看作是Newton方向上的近似。G-N算法是一个局部极值算法，它对初始点x的依赖性很大，即仅仅当X0充分接近极小值点x*时才有可能收敛，因此一些改进算法就是对其修正。例如Hartly方法、L-M算法等等。3、 现代优化算法使用非线性回归模型的参数估计是较为困难的寻优问题， 前面所述的几种经典方法常会陷入局部极值，因而急需更加优质的算法去寻找全局最优解。同时，随着回归分析在国民经济各领域应用范围的进一步扩大，各领域所涉及的多因素、大规模、高难度、影响广的优化问题对求解算法的计算速度、收敛性、初值敏感性等提出了更高的要求。从算法思想上看，主要有群智能优化算法和基于纯粹数学优化算法两个发展思路。智能算法：进入上世纪90年代以来，以不确定性、非线性、时间不可逆性为内涵，以复杂问题为对象的新科学范式得到了学术界的普遍认同， 而建立在解析基础上的常规方法已经显得无能为力，因此智能算法开始兴起。作为计算智能的一个分支，群智能优化算法使人们从生物进化机理和一些物理现象中受到启发，提出的许多用以解决复杂优化问题的新方法。 这些方法主要有：遗传算法（GA、粒子群优化算法、蚁群算法、免疫算法、细菌觅食算法、Memetic算法、混合智能算法等。基于纯粹数学理论优化：部分学者根据纯粹数学的理论思想，开拓出了新的算法改进思想，因而同样促进了算法的改进，例如基于区间分析的全局优化算法、序贯优化数论方法（均匀设计）等。（1）、遗传算法基本原理（GA）：遗传算法是一类借鉴生物界的进化规律（适者生存，优胜劣汰遗传机制）演化而来的随机化搜索方法。它是由美国的J.Holland教授1975年首先提出，其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。遗传算法的基本运算过程如下:a） 初始化：设置进化代数计数器t=0，设置最大进化代数T,随机生成M个个体作为初始群体P（0）。b） 个体评价:计算群体P（t）中各个个体的适应度。c） 选择运算：将选择算子作用于群体。选择的目的是把优化的个体直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。选择操作是建立在群体中个体的适应度评估基础上的。d） 交叉运算：将交叉算子作用于群体。所谓交叉是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。遗传算法中起核心作用的就是交叉算子。e） 变异运算:将变异算子作用于群体。即是对群体中的个体串的某些基因座上的基因值作变动。群体P（t）经过选择、交叉、变异运算之后得到下一代群体 P（ti）。f） 终止条件判断:若t=T,则以进化过程中所得到的具有最大适应度个体作为最优解输出，终止计算。（2）、粒子群算法基本原理（PSO）：这一方法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解，包含的简单道理是：群体中的每个个体都可以从临近个体的以往经验中受益。粒子群优化算法同遗传算法一样也是一种进化计算技术，1995年由Eberhart博士和kennedy博士提出，源于对鸟群捕食的行为研究。PSO同遗传算法类似，是一种基于迭代的优化算法。系统初始化为一组随机解，通过迭代搜寻最优值。但是它没有遗传算法用的交叉以及变异，而是粒子在解空间追随最优的粒子进行搜索。同遗传算法比较，PSO勺优势在于简单容易实现并且没有许多参数需要调整。其标准的算法流程简述如下：初始化粒子群体，群体规模为m包括随即位置和速度；评价每个；粒子的适应度；对于每个粒子，将其当前适应值与其个体历史最佳位置对应的适应值做对比，若当前的适应值更高，则用当前位置更新历史最佳位置；对于每个粒子，将其当前适应值与全局最佳位置对应的适应值作比较，若当前的适应值更高，则将用当前粒子的位置更新全局最佳位置；根据一定的运算式更新粒子的速度和位置；如果没有满足结束条件，则返回步骤b)。通常算法达到最大迭代次数或者最佳适应度值的增量小于某个给定的阈值时算法停止。、蚁群算法概述(ACA)：蚁群算法最早是由意大利学者M.Dorigo等于20世纪90年代初提出的一种基于种群的启发式仿生进化系统。蚂蚁这类群居动物，虽然个体的行为极其简单，但由这些简单的个体所组成的蚁群却表现出极其复杂的行为特征，能够完成复杂的任务；另外蚂蚁还能够适应环境的变化，如在蚁群运动路线上突然出现障碍物时，蚂蚁能够很快地重新找到最优路径。人们经过大量研究发现，蚂蚁个体之间是通过一种称之为外激素(pheromone)的物质进行信息传递，从而能相互协作，完成复杂的任务。蚁群之所以表现出复杂有序的行为，个体之间的信息交流与相互协作起着重要的作用。蚂蚁在运动过程中，能够在它所经过的路径上留下该种物质，而且能够感知这种物质的存在及其强度，并以此指导自己的运动方向。蚂蚁倾向于朝着该物质强度高的方向移动。因此，由大量蚂蚁组成的蚁群的集体行为便表现出一种信息正反馈现象：某一路径上走过的蚂蚁越多，则后来者选择该路径的概率就越大。蚂蚁个体之间就是通过这种信息交流达到搜索食物的目的。蚁群发现最短路径的原理和机制：设A是蚁巢，E是食物源，HC是障碍物。由于障碍物存在，蚂蚁要想由A到达E或者由E返回A，只能由H或C绕过障碍物。设每个时间单位有3O只蚂蚁由A到B,有30只蚂蚁由E到D,蚂蚁过后留下的信息索为1。设信息素停留时间为1。在初始时刻，由于路径BHBe、DHDe上均无信息存在，位于B和E的蚂蚁可以随机选择路径。从统计的角度可认为它们以相同的概率选择BHBCDHDG经过一个时间单位后，在路径BCD上的信息量是路径BHD上信息量的二倍。t=l时刻，将有20只蚂蚁由B和D到达C,有10只蚂蚁由B和D到达H。随着时间的推移，蚂蚁将会以越来越大的概率选择路径BCD最终完全选择路径BCD从而找到由蚁巢到食物源的最短路径。上述过程可以看出，蚁群算法优化过程的本质体现在：① 选择机制：②更新机制：③协调机制。这样的机制使蚁群算法具有很强的发现较好解的能力。（4）、免疫算法基本原理AIS:免疫算法主要模拟生物免疫系统中的有关抗原处理的核心思想， 包括抗体的产生、自体耐受、克隆扩增、免疫记忆等。免疫算法的基本架构如下图所示。在使用免疫算法解决具体问题时，首先要定义免疫元素的数学表达式，即确立目标函数和约束；然后将需要解决的问题抽象成抗原形式（即问题的解）；再产生初始抗体（即问题的一个随机解）群体；接着计算抗体与抗原之问的亲和力，也就是对问题解的评估；根据评估结果，形成对优化解的促进与非优化解的删除；对新的抗体群体进行评估，若终止条件满足，则其为该问题的最佳解，否则重新计算亲和力，进行下一轮的克隆选择。以上是集中最基本的智能算法，然而还有多种正在发展的新型算法未能全部作介绍。下面本文介绍从数学理论思想出发产生的优化算法理论——序贯优化算法，而具体算法设计因为较为艰深略去。（5）、序贯优化数论方法（均匀设计思想）：数论优化与其说是一种优化算法，不如说是在回归分析中模型分析时一种设计新思路。它由方开泰教授和数学家王元在1978年共同提出，是数论方法中的“伪蒙特卡罗方法”的一个应用。在《数论方法在统计中的应用》一书中，作者提出了均匀设计是一种试验设计方法，称为均匀设计或均匀设计试验法,或空间填充设计。它是只考虑试验点在试验范围内均匀散布的一种试验设计方法。在均匀设计思想的基础上，序贯优化算法才被应用到解决实际的优化模型参数估计问题当中来。该方法自90年代提出后，被成功地运用于许多复杂的优化问题中。该算法只要求目标函数连续，不需要函数的微商和差分，对非数学专业的使用者易懂，可处理多峰优化问题，编程简单。虽然此算法具有较强的通用性，但其原则上仍是一种“爬山”搜索法，它通常也只能给出目标函数的局部最优解，而且算法的效率很大程度地受限于初始领域的选取及每一次迭代时领域加细的精度。第四章小结通过以上全文的总结，可以发现非线性回归模型参数估计问题求解难度远远大于我们曾经学习过的线性模型参数估计，不仅古典解析方法需要较深的分析才能够理解，现代优化算法的快速