多元统计分析回归分析

第二讲回归分析一元线性回归模型多元线性回归模型非线性回归模型1引例：消费支出与可支配收入的观测值一、一元线性回归模型2一、一元线性回归模型

定义：假设有两个变量x和y，x为自变量，y为因变量。则一元线性回归模型的基本结构形式为式中：a和b为待定参数；为各组观测数据的下标；为随机变量。（2.1）

3

记和分别为参数a与b的拟合值，则一元线性回归模型为

（2.2）式代表x与y之间相关关系的拟合直线，称为回归直线；是y的估计值，亦称回归值。（2.2）

4一般情况下的总体回归模型假定条件下的总体回归模型5真实的总体回归直线与估计的样本回归直线6样本回归直线是对总体回归直线的近似反映。回归分析的主要任务就是要采用适当的方法，充分利用样本所提供的信息，使得样本回归函数尽可能地接近于真实的总体回归函数。所估计的样本回归直线都不可能与真实的总体回归直线完全一致。7观测值的散点图及其拟合直线8①

参数a与b的最小二乘拟合原则要求yi与的误差ei的平方和达到最小，即②根据取极值的必要条件，有

（2.4）

（一）参数a、b的最小二乘估计

（2.3）

9（2.5）

③

解上述正规方程组（2.4）式，得到参数a与b的拟合值10一元线性回归模型检验的种类（二）一元线性回归模型的显著性检验实际意义检验参数估计值的符号和取值范围消费支出与可支配收入：如果估计出来的b小于0或大于1，收入支出统计检验检验样本回归方程的可靠性拟合程度检验；相关系数检验；参数显著性检验(t检验)；回归方程显著性检验（F检验）计量检验假定条件是否满足序列相关检验异方差性检验111拟合优度检验所谓拟合程度，是指样本观测值聚集在样本回归直线周围的紧密程度。判断回归模型拟合程度优劣最常用的数量指标是判定系数（CoefficientofDetermination）12总的离差平方和：在回归分析中，表示y的n次观测值之间的差异，记为

可以证明（2.9）（2.8）13Q称为误差平方和，或剩余平方和U回归平方和

显而易见，各个样本观测点与样本回归直线靠得越紧，U在S中所占的比例就越大。因此，可定义这一比例为判定系数，即有：14性质：1、具有非负性，分子分母均是不可能为负值2、判定系数的取值范围为3、判定系数是样本观测值的函数，它也是一个统计量。152相关系数的显著性检验X和Y之间真实的线性相关程度用总体相关系数ρ来表示由于总体未知，ρ无法计算，我们利用相本相关系数（1）计算样本相关系数r；（2）根据给定的显著性水平α和样本容量n，查相关系数表得到临界值r。（3）若|r|大于临界值

，则X与Y有显著的线性关系，否则X与Y的线性相关关系不显著。163回归参数的显著性检验（t检验）根据样本估计的结果对总体回归参数的有关假设进行检验3、根据给定的显著水平α确定临界值，或者计算t值所对应的p值。4、做出判断。17①方法：F检验法。②总的离差平方和：在回归分析中，表示y的n次观测值之间的差异，记为

可以证明（2.9）（2.8）4回归方程的显著性检验18

③

统计量F

④

F越大，模型的效果越佳。统计量F～F（1，n-2）。在显著水平α下，若F>Fα，则认为回归方程效果在此水平下显著。一般地，当F<F0.10(1,n-2)时，则认为方程效果不明显。（2.10）192021222324二、多元线性回归模型1多元线性回归模型的结构形式为

（2.11）

式中：为待定参数；为随机变量。2526272多元线性回归模型的基本假定28如果分别为的拟和值，则回归方程为

b0为常数，b1,b2,…bk称为偏回归系数。偏回归系数的意义是，当其他自变量都固定时，自变量每变化一个单位而使因变量平均改变的数值。（2.12）

3回归方程的估计:29偏回归系数的推导过程:根据最小二乘法原理，的估计值应该使

由求极值的必要条件得

方程组（3.2.14）式经展开整理后得（.2.13）

（.2.14）

30

方程组（2.15）式称为正规方程组。引入矩阵

（.2.15)

3132

则正规方程组（2.15）式可以进一步写成矩阵形式33求解得引入记号（2.16）

34正规方程组也可以写成35回归模型的显著性检验

①

回归平方和U与剩余平方和Q：②回归平方和③剩余平方和为④

F统计量为计算出来F之后，可以查F分布表对模型进行显著性检验。363738R=0.950，说明Y与自变量X1、X2之间的相关程度为95.0%。样本判定系数0.902说明Y的变动有90.2%可以由自变量X1和X2解释。394041三、非线性回归模型

非线性关系线性化的几种情况对于指数曲线，令,可以将其转化为直线形式：，其中，；

对于对数曲线，令，，可以将其转化为直线形式：；对于幂函数曲线，令，，可以将其转化为直线形式：其中，；42对于双曲线，令，转化为直线形式：；对于S型曲线，可转化为直线形式：；对于幂乘积，只要令，就可以将其转化为线性形式其中，；43对于对数函数和只要令，就可以将其化为线性形式

例:表3.2.1给出了某地区林地景观斑块面积（area）与周长（perimeter）的数据。下面我们建立林地景观斑块面积A与周长P之间的非线性回归模型。44

序号面积A周长P序号面积A周长P110447.370625.39242232844.3004282.043215974.730612.286434054.660289.307330976.770775.7124430833.840895.98049442.902530.202451823.355205.131510858.9201906.1034626270.300968.060621532.9101297.9624713573.9601045.07276891.680417.0584865590.0802250.43583695.195243.90749157270.4002407.54992260.180197.239502086.426266.54110334.33299.729513109.070261.8181111749.080558.921522038.617320.396122372.105199.667533432.137253.335138390.633592.893541600.391230.030146003.719459.467553867.586419.406表3.2.1某地区各个林地景观斑块面积（m2）与周长（m）

4515527620.2006545.291561946.184198.66116179686.2002960.4755777.30556.9021714196.460597.993587977.719715.7521822809.1801103.0705919271.8201011.1271971195.9401154.118608263.480680.710203064.242245.0496114697.1301234.11421469416.7008226.009624519.867326.317225738.953498.6566313157.6601172.916238359.465415.151646617.270609.801246205.016414.790654064.137437.3552560619.0201549.871665645.820432.3552614517.740791.943676993.355503.7842731020.1001700.965684304.281267.9512826447.1601246.977696336.383347.136297985.926918.312702651.414292.23546303638.766399.725712656.824298.47331585425.10011474.770721846.988179.8663235220.6401877.476731616.684172.8083310067.820497.394741730.563172.1433427422.5701934.5967511303.970881.0423543071.5501171.4137614019.790638.1763657585.9402275.389779277.172862.0883728254.1301322.7957813684.750712.78738497261.0009581.298791949.164228.4033924255.030994.906804846.016324.481401837.699229.40181521457.4007393.938411608.625225.84282564370.80012212.41047

解:（1）作变量替换，令：，，将表3.2.1中的原始数据进行对数变换，变换后得到的各新变量对应的观测数据如表3.2.2所示。

序号y=lnAx=LnP序号y=lnAx=LnP19.2541066.4383794212.358138.36218629.6787636.4172438.3076225.667487310.340996.6537824410.336376.79791849.1530196.273258457.5084335.3236559.2927427.5528164610.176196.87529469.9773387.168551479.5159096.95184178.838076.0332264811.091187.71887988.2147895.4967894911.965727.78636497.72325.284414507.6432085.585528105.8121354.602457518.0420795.567651119.371536.326008527.6200275.769558表3.2.2经对数变换后的数据48127.7715335.296653538.1409385.534711139.0348716.385013547.3780035.438211148.7001346.130066558.2603866.0388391513.176138.786501567.5736265.2915971612.098977.993105574.3477554.041328179.5607486.393579588.9844086.5733341810.034927.005852599.8663996.9188211911.173197.051092609.0196016.523136208.0275565.501457619.5954087.1181092113.059259.015056628.4162385.787871228.6550326.211917639.4847597.067248239.031156.028643648.7974386.413133248.7331136.027773658.3099576.0807442511.012367.345927668.6386716.069247269.5831276.67449678.8527166.222147492710.342397.438951688.3673655.5908062810.18297.128478698.7540635.849717298.9854366.822537707.8828485.67756308.19945.990776717.8848875.6986783113.280099.347906727.521311