多元线性回归方程的建立

1、精品资料欢迎下载多元线性回归方程的建立建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计,寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解瓦由,也使全部观测值X与回归值立的残差平方和达到最小值。由于残差平方和Q-力8-反尸力必-国+瓦西1+也如+%专）i-li-1（2-2-5）是练瓦的非负二次式，所以它的最小值一定存在。根据极值原理，当Q取得极值时，综也应满足tU-"2#）吗由（2-2-5）式，即满足士-（品+%月=。鲁,一（用十”和十%心十十%”小L0，兑Y与+4%+%”）悔=。一偈十”和十名玛。十+%）%=。（2-2-6）

2、（2-2-6）式称为正规方程组。它可以化为以下形式精品资料欢迎下载注M九丸叫十玄£凶+玄加泡+十（20片.i-1i-1b2-1 >_12B!（»q%十（2工；凶十（1研泡十十（Z/力油工碣乂diUMi_】QIi-ii 菱呢JI同（»审）%十（£%）*+（£、”建唐十舂=工/乂I3i-13-1IJ】（2-7）如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有(2-2-8)式中X是多元线性回归模型中数据的结构矩阵，工是结构矩阵X的转置矩阵。（2-2-7）式右端常数项也可用矩阵D来表示即精品资料欢迎下载因此(2-2-7)式可写成Ab=D

3、(2-2-9)(2-2-10)或(2-2-11)如果A满秩(即A的行列式为)那么A的逆矩阵A1存在，则由(2-10)式和(2-11)式得/的最小二乘估计为(2-2-12)也就是多元线性回归方程的回归系数。为了计算方便往往并不先求X盯,再求b,而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为(2-2-13)式中瓦下一济亏-自舄力工(2-2-14)将(2-2-13)式代入(2-2-7)式中的其余各方程，得精品资料欢迎下载AA短血十十上】也=%£31Al+4斗£?禽=%其中(2-2-15)/=工（海-马M注-以）：工

4、勺司-一方）工4）2-1i-1i-L±-1H廉MRJ=E（町一号）&-同=工源-一（£。）（£乂）>1i>L再i-lj-1将方程组（2-2-15）（2-2-16）式用矩阵表示，则有其中Lb=F(2-2-17)于是(2-2-18)b=L-1F因此求解多元线性回归方程的系数可由（2-2-16）式先求出L,然后将其代回（2-2-17）式中求解。求b时，可用克莱姆法则求解，也可通过高斯变换求解。如果把b直接代入（2-2-18）式，由于要先求出L的逆矩阵，因而相对复杂一些。例2-2-1表2-2-1为某地区土壤内含植物可给态磷（y）与土壤内所含无机磷浓度（

5、X1）、土壤内溶于&CO溶液并受澳化物水解的有机磷浓度（x2）以及土壤内溶于K2CO溶液但不溶于澳化物的有机磷（x3）的观察数据。求y对X1,X2,X3的线性回归方程。精品资料欢迎下载表2-2-1土壤含磷情况观察数据样本序号土壤中含磷量2加土麋中植物可给瑁0唱.0有小10.4521586420.4231636033.1-19377140.6341576154.724595461.7651237779.4444681210.113111793S11.6291739310126581121511110337111761223.146114961323.150134171421.64473泊

6、1523.15616895161336143341726.8581202181S2995112499计算如下：1"石=一£而丁=1L944理制检=工72,111".一£/,-123.0001y=，乂=81,278由(2-2-16)式41=一五乂仙一耳）三175296i-l/三-石-左)=1035-61=L2li-l精品资料欢迎下载加三工（4一石）6,一&）i20U三J1i-l加工一耳）（21-石）=175296i-l/三工-初（物-&）=双4=%U1JL工H-a)(4-总)=充5723-1工内一4）-2刃如%广±6-动每-两三2

7、21644i-l耳尤®玛）5-刀，例3i-l代入（2-2-15）式得175296叫+1085.6161+1200-323L48(2-2-19)，10&56七1十3155.782+336=22164412叫+3充明+35572%=7593若用克莱姆法则解上述方程组，则其解为(2-2-20)其中精品资料欢迎下载计算得bi=1.7848,b2=-0.0834,ba=0.1611=y-4瑞一与方一乌网.43.67回归方程为P-43.67+17S48z1-0.0S34x.+0161k,应用克莱姆法则求解线性方程组计算量偏大，下面介绍更实用的方法一一高斯消去法和消去变换。多项式回归标签：

8、c2009-07-0414:526443人阅读评论(0)收藏举报在上一节所介绍的非线性回归分析，首先要求我们对回归方程的函数模型做出判断。虽然在一些特定的情况下我们可以比较容易地做到这一点但是在许多实际问题上常常会令我们不知所措。根据高等数学知识我们知道，任何曲线可以近似地用多项式表示，所以在这种情况下我们可以用多项式进行逼近，即多项式回归分析。一、多项式回归方法假设变量y与x的关系为p次多项式，且在Xi处对y的随机误差不(i=1,2,n)服从正态分布N(0产)，则y/d+凤+*B刘+104田令Xi1=Xi,Xi2=Xi2,，Xip=XiP精品资料欢迎下载则上述非线性的多项式模型就转化为多元线

9、性模型，即XT区+用/1+用/”+%+&(2-4-11J),n)这样我们就可以用前面介绍的多元线性回归分析的方法来解决上述问题了。其系数矩阵、结构矩阵、常数项矩阵分别为(2-4-11)(2-4-12)B-XY(2-4-13)回归方程系数的最小二乘估计为2m=(片片尸二¥-14)需要说明的是，在多项式回归分析中，检验bj是否显著断x的j次项xj对y是否有显著影响。(2-4实质上就是判对于多元多项式回归问题，也可以化为多元线性回归问题来解决。例如,对于精品资料欢迎下载(2-4乂二凤十科乩+£?舄+口*+"+£i-15)令Xi1=Zl,Xi2=Zj2,

10、xi3=Zl2,Xi4=ZlZi2,xi5=Z22则(2-4-15)式转化为居三中用心十自工最十户”汽十十j转化后就可以按照多元线性回归分析的方法解决了。F面我们通过一个实例来进一步说明多项式回归分析方法o一、应用举例例2-4-2某种合金中的主要成分为元素A和B,试验发现这两种元素之和与合金膨胀系数之间有一定的数量关系，试根据表2-4-3给出的试验数据找出y与x之间的回归关系。表2-4-3例2-4-2试验数据序号y137.03.40237.53-00338.03.00435.52.27539.02.10639.5L83740.0L53840.E1,70941.0L801041.5L901142

11、.02.351242.52.541343.02.90首先画出散点图（图2-4-3）。从散点图可以看出，y与x的关系可以用一个二次多项式来描述：M-饱+从虫+凤城+Ji=1,2,3，13精品资料欢迎下载Xil=Xi,xi2=Xi2,M三凤十明。十月马4国现在我们就可以用本篇第二章介绍的方法求出机乩尾的最小二乘估计。由表2-4-3给出的数据，求出司4。岛-1603.5,2.3323由（2-2-16）式精品资料欢迎下载=2（工正一9=4551-1"=£gi-Ta?=291325.13i-l工5耳-片）区-3640i-lAi几364Q4=2（4-吊）5-y）=-4,87i-L上勘=

12、g（%曷）8歹）=一3函*33-1%三七力”72212i-l由此可列出二元线性方程组尸5典十364圾-487，国（%291425,13=一交KW3将这个方程组写成矩阵形式，并通过初等变换求bi,b2和系数矩阵L的逆矩阵L-1：-4.871Q-388301/-0.639328179916乂1旷3J45.53M0-3640291325.13-13,/1250.16598-0.63933于是bi=-13.3854b2=0.16598b0=2.3323+13.3854:140-0.16598:1603.5=271.599因此?=271.599-13.38MX+016598jtJF面对回归方程作显著性检验：由（2-2-43）式精品资料欢迎下载£4=3.加0S回二由（2-2-42）式S残=Lyy-S回=0.2572将上述结果代入表2-2-2中制成方差分析表如下：表2-4-4方差分析表丝方和自由度均方显著性回归3.96402L982006剩余0.257210C.02572口4.221212查F检验表，Foo01(2,10)=7.56,F>