最小一乘线性回归系数的malab估计

最小一乘线性回归系数的malab估计

异常点的处理在理论和方法上，最小和第二个规范相对成熟、完善，广泛用于大多数实际问题，如构建曲线、状态预测、函数近似、系统讨论、时间序列建模等。然而,当收集的数据较少,且数据中夹杂有异常点时,用最小二乘法所得的结果就令人难以接受。此时应用所得的回归方程进行预测,则预测的精度是相当低的,甚至根本不能使用。事实上,当数据中夹杂有异常点时,异常点有较大的偏差,其平方值相对更大。为了压低平方和,就不能不“将就”这些点,因而虚增加了残差大的数据对回归线施加的影响,从而异常点会把回归线拉得离它更近一些,导致回归线“失真”较大。通常,人们对异常点的处理方法是凭直觉和经验将其剔除。这样将有两方面的不足:一方面,剔除异常点后获得的回归模型当然会因此受到影响,另一方面,异常点恰好在某些方面确实反映了某些特殊的信息,不应该随意剔除。因此,对含有异常值的数据进行建模和参数估计时,应选择稳健的准则以减少奇异数据的影响,才能得到符合实际的模型。最小一乘准则恰好可以克服最小二乘的上述缺点。历史上早在1755-1757年间,数学家Boscovitch和Laplace等人就曾经研究过按最小一乘法准则拟合直线的问题,比Gauss等引进最小二乘法还早了40多年。但是按最小一乘准则计算时,需求解一个不可微或者说非光滑优化问题,计算上比较困难,而且一般情况下最小一准则得到的结果与最小二乘得到的结果相差不大,这些都是最小一乘准则没有最小二乘应用广泛的原因。1955年,CharnesA.、CooperW.W.和Ferguson等人在研究一个特定的管理问题中使用了最小一乘法,他们通过将偏差表示为两个非负变量之差的形式,将其转化为线性规划问题来求解,这种解法为最小一乘法的计算奠定了基础。目前,最小一乘法成为统计学研究领域的热点问题之一,提出了许多新方法,如搜索算法、MM算法、遗传算法、枚举所有可能组合法等。这些算法在工程应用中有的得到的参数估计值精度不够高,有的计算过程比较复杂,在大样本时计算量太大,应用起来并不方便,本文基于文献中1l范数空间的反演理论,给出了线性最小一乘回归系数的计算模型和方法,在MATLAB环境中进行了仿真,说明了方法的有效性。1最小线性回归系数回归分析1.1元素全质量y1设观测数据为X∈Rn×p(n>p)即样本个数大于变量个数,y∈Rn×1,线性模型为其中1∈Rn为元素全为1的n维列向量,β∈Rp+1为回归系数向量,ε~N(0,σ2I)。1.2线性规划求解算法最小一乘线性回归系数β的估计,需要求解下面的无约束不可微最优化问题即要求超定矛盾线性方程组的l1范数极小解。令A=[1,X],b=y,β可以看作两个非负的p+1维列向量u,v之差,令β=u-v,又设ξ,η为非负的n维列向量,则(3)可以变成一个相容的线性方程组问题(2)变为求‖ξ-η1‖最小的问题,再设0p+1,1n分别表示含有p+1个0,n个1的列向量,于是问题转化为求解如下的线性规划问题模型使用求解线性规划的算法,求出问题(5)的最优解[u*T,v*T,ξ*T,η*T]T后,即可得到问题(1)的最优解β=u*-v*。1.3算法有效性验证设观测数据为X∈Rn×pMATLAB是当前国际上最强大的通用数值计算软件,它提供了许多出色的工具箱帮助工程技术人员解决实际问题。最小一乘线性回归系数向量β的计算用MATLAB实现极为简洁。下面给出利用MATLAB优化工具箱中线性规划命令linprog求解的通用程序ladregression.m的源代码:为了验证本文算法有效性,取文献中的数据,在命令窗口中输入如下代码或把如下代码存为m文件运行即回归方程为y=-.04017+.11328x,残差绝对值之和为5.4263,与文献得到的结果相同。本文通过求解1个线性规划即可得到正确的解,而文献却要求解27=128个不同的线性规划再进行比较,才能求得。文献提出的算法仅能求解一元线性回归问题,而本文对多元线性回归同样可以求解。可见本文模型较文献大大减少了计算量和复杂度,优于文献中的结果。2最小常数和非线性回归系数的估计2.1非线性回归模型其中θ=(θ1,θ2,Λ,θk)T∈Rk为待估计参数,即非线性回归系数,ε~N(,0Iσ2)。2.2基于最小一乘准则的非线性回归模型求θ就是求上面的不可微最优化问题。文献提出了求解问题(6)的极大熵方法,但该方法具有需要选择合适的无约束优化方法,计算过程中易发生数值溢出等缺点。这里采用线性化方法。假设待估参数θ的初值为θ0,将f(x,θ)在θ0处展开为Taylor级数,并记,则其中,∆θ=θ-θ0,H(θ0)为向量值函数h(θ)的Jacobi矩阵,其元素为。略去高阶无穷小,基于最小一乘准则的目标函数为令A=H(θ0),b=h(θ)-h(θ0),把∆θ作为待估参数,(9)式即为典型的最小一乘线性回归模型。可由前面的线性规划模型(5)的解法求出∆θ,待估参数θ的值更新为θ=θ0+∆θ,如此迭代直到收敛为止。综上,基于最小一乘准则的非线性回归模型的参数估计算法如下:Step1:给出参数估计的初值θ0,设定收敛精度ε,设定计数器n=0;Step2:计算h(θn)、H(θn),令A=H(θn),b=h(θ)-h(θn),化为线性规划模型(5),由MATLAB优化工具箱中函数linprog求解出∆θn;Step3:更新待估参数θn+1=θn+∆θn;Step4:如果‖θn+1-θn‖1<ε,终止迭代,否则n=n+1,转Step2。上述参数估计的初值θ0可根据专业知识或最小二乘法得到。2.3x8对a,b行为影响的估计下面结合算例给出MATLAB环境下实现的代码。例在化工生产中获得的氯气的级分y随着生产时间x下降,现已实测了44组数据(见文献)。由专业知识可知,当x≥8时有,y与x有如下非线性关系试对a,b进行估计。由(10)知h(θ)的Jacobi矩阵第i行为建立相应的Jacobi矩阵函数这里得到的结果与文献得到的结果略有差异,这可能是两者数据略有不同造成的。文献在每一步迭代中都要枚举求解C244=946个不同线性方程组,再进行比较才能确定迭代步长,其计算量相当大,而本文只需求解一个线性规划,说明本文算法更为简单。3算法有效性检验本文较为详细地讨论了最小一乘准则下的线性与非线性回归模型参数估计的计算算法,详