统计学-回归分析

第六章回归分析（RegressionAnalysis）

第六章回归分析第六章回归分析

“回归”一词是英国著名统计学家FrancisGalton在19世纪末期研究孩子与其父母身高之间的关系时提出来的。Galton发现身材高的父母其孩子也高，但这些孩子平均起来并不像他们的父母那样高；身材矮的父母其孩子也比较矮，但这些孩子的平均身高要比他们父母的平均身高高。Galton把这种孩子的身高向中间值靠近的趋势称为回归效应。后来，人们把他发展的这种方法称为回归分析。回归一词的由来第六章回归分析

回归分析：是指对具有相关关系的现象，根据其相关关系的具体形态，选择一个合适的数学模型（称为回归方程式），用来近似地表达变量间的平均变化关系的一种统计分析方法。第六章回归分析回归模型多元回归一元回归线性回归非线性回归线性回归非线性回归第六章回归分析

第一节一元线性回归第二节多元线性回归第三节线性回归的残差分析与适用条件的检验第四节相关分析、回归分析与因果关系第六章回归分析第一节一元线性回归（SimpleLinearRegressionModel）

一、一元线性回归的标准形式二、一元线性回归的参数估计三、一元线性回归的拟合优度四、一元线性回归的非标准形式五、一元线性回归的计算机实现第一节一元线性回归一、一元线性回归的标准模型第一节一元线性回归ε的意义：（1）理论的模糊性；（2）数据的欠缺；（3）核心变量与周边变量；（4）人类行为的内在随机性；（5）替代变量的误差效应；（6）函数形式的误差效应。第一节一元线性回归对于误差ε，我们假定：第一节一元线性回归对于误差ε，我们假定：第一节一元线性回归对于误差ε，我们假定：第一节一元线性回归二、一元线性回归方程的参数估计xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)ei=yi-yi＾第一节一元线性回归最小二乘估计（ordinaryleastsquares，OLS）：xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾第一节一元线性回归第一节一元线性回归若要使Z最小，只需：第一节一元线性回归对以上两式进行整理，得：第一节一元线性回归联立（3）、（4）组成如下方程组：求解得：第一节一元线性回归对于指数模型，等式两边取对数得：则根据直线趋势的最小二乘法得：据此查反对数表，即可得出β0和β1的估计值。第一节一元线性回归对于矩阵形式：第一节一元线性回归第一节一元线性回归思考：

做回归时，必须把变量标准化吗？变量标准化的利弊是什么？第一节一元线性回归（二）最小二乘估计量的性质

1、无偏性

2、最优性

第一节一元线性回归（二）最小二乘估计量的性质

3、一致性当样本容量不断增加趋于无穷时，其方差趋于0。第一节一元线性回归第一节一元线性回归第一节一元线性回归第一节一元线性回归（三）一元线性回归的参数检验第一节一元线性回归关于参数检验统计量的分布：第一节一元线性回归三、一元线性回归的拟合优度第一节一元线性回归第一节一元线性回归第一节一元线性回归决定系数R与显著性检验F值之间的关系：第一节一元线性回归第一节一元线性回归四、一元线性回归非标准形式第一节一元线性回归四、一元线性回归非标准形式第一节一元线性回归第一节一元线性回归第一节一元线性回归第一节一元线性回归五、一元线性回归的计算机实现

Spss：analyze→regression→linear；

Eviews：quick→estimateequation。>datalm1=read.csv("CH9回归人均食品支出.csv",head=TRUE)>attach(datalm1);plot(人均食出,人均收入)>相关系数=cor(人均食出,人均收入)>modellm1=lm(人均食出~人均收入,data=datalm1)#进行回归>summary(modellm1);names(modellm1)#显示模型中可调用的对象第一节一元线性回归例题：第一节一元线性回归

例题：研究我国31个省市自治区的人均食品支出对人均收入的依赖关系。（数据为“CH9回归人均食品支出.sav”）

1、观察散点图第一节一元线性回归2、计算相关系数第一节一元线性回归3、进行回归第一节一元线性回归第一节一元线性回归

4、评价拟合效果

练习：某矿1993-2007年生产原煤与掘进进尺的数据如下表，试建立二者之间的回归方程。（数据文件为“某矿93至07年两项数据年度表.csv”）第一节一元线性回归第二节多元线性回归（Multipleregressionanalysis）

一、多元线性回归的标准模型二、多元线性回归的参数估计三、多元线性回归的拟合优度四、多元线性回归的变量筛选五、多元线性回归的计算机实现第二节多元线性回归一、多元线性回归的标准模型第二节多元线性回归从自变量的变化说开去：1、自变量的变与不变；2、诸葛亮的识人“七法”：穷之以辞辩而观其变2、自变量的等距变化与非等距变化预测的形式：内插预测与外推预测第二节多元线性回归为什么经常取差分？

差分的实质是微分，也就是增长率，在取差分的过程中，可以把影响变量的不随时间而变的其他因素的影响(这种影响在研究中或者是非重点，或者观测不到)消除掉。因此，差分实际上就是去除了不变的部分，保留了随时间而变的部分。

此外，不用标准的横截面关系式而是采用差分模型的形式，可以有效地克服方程中遗漏变量的影响。第二节多元线性回归多元线性回归的基本假定：第二节多元线性回归二、多元线性回归方程的参数估计第二节多元线性回归三、多元线性回归的拟合优度与一元回归一样，仍用R2度量方程的拟合优度：第二节多元线性回归第二节多元线性回归四、多元线性回归的变量筛选（一）主要思路优先选择对R2贡献大的变量进入方程。（二）主要难点变量之间的相关性加大了选择的难度。（三）主要方法

1、前进筛选法（Forward）

2、后退筛选法（Backward）

3、逐步筛选法（Stepwise）第二节多元线性回归

五、多元线性回归的计算机实现：

Spss：analyze→regression→linear；

Eviews：quick→estimateequation。第二节多元线性回归第三节线性回归的残差分析与适用条件的检验

一、残差分析第三节残差分析与适用条件的检验二、模型适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验

例题：我国31个省市自治区的人均食品支出、人均收入、粮食单价的数据如下，试建立人均食品支出对人均收入以及粮食单价的回归方程。（数据见随书光盘数据文件“CH9回归人均食品支出.sav”）第三节残差分析与适用条件的检验1、观察散点图第三节残差分析与适用条件的检验2、计算相关系数第三节残差分析与适用条件的检验3、进行回归第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验4、残差分析第三节残差分析与适用条件的检验

例题：某研究者调查了16家公司CEO的年收入、年龄、是否有MBA学位的数据，见随书光盘数据文件“CH9公司CEO收入年龄MBA虚拟.sav”，试建立CEO的年收入与年龄、是否有MBA之间的回归方程（教材P310例9.5.4）。第三节残差分析与适用条件的检验

1、画出散点图第三节残差分析与适用条件的检验

2、计算相关系数第三节残差分析与适用条件的检验

3、进行回归第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第三节残差分析与适用条件的检验第四节相关分析、回归分析与因果关系

一、相关分析与回归分析相关分析和回归分析虽然都用于表述两个变量之间的联系，但其侧重点不同，相关分析更多的是变量之间联系的密切程度，而回归分析则重点说明自变量在数量上的变化对于因变量在数量上的影响程度。第四节相关、回归与因果关系

当然，两者之间也有密切联系：它们不仅具有共同的研究对象，而且在具体应用时，常常互相补充。相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。其次，相关系数与回归系数在符号上一般是一致的；再次，相关系数在大小上等于决定系数开根号。所以，相关系数越大，表示x对y的解释能力越强，两者之间的关系也就越密切。第四节相关、回归与因果关系二、回归分析与因果关系