讲课一元线性回归(精简)

第9章一元线性回归不要过于教条地对待研究的结果，尤其当数据的质量受到怀疑时。

——DamodarN.Gujarati统计名言本章章节§9.1变量间关系的度量§9.2一元线性回归的估计和检验§9.3利用回归方程进行预测§9.4用残差检验模型的假定学习目标相关关系的分析参数的最小二乘估计回归直线的拟合优度回归方程的显著性检验利用回归方程进行预测用残差证实模型的假定用

SPSS进行回归子代与父代一样吗？Galton被誉为现代回归和相关技术的创始人。1875年，Galton利用豌豆实验来确定尺寸的遗传规律。他挑选了7组不同尺寸的豌豆，并说服他在英国不同地区的朋友每一组种植10粒种子，最后把原始的豌豆种子(父代)与新长的豌豆种子(子代)进行尺寸比较当结果被绘制出来之后，他发现并非每一个子代都与父代一样，不同的是，尺寸小的豌豆会得到更大的子代，而尺寸大的豌豆却得到较小的子代。Galton把这一现象叫做“返祖”(趋向于祖先的某种平均类型)，后来又称之为“向平均回归”。一个总体中在某一时期具有某一极端特征(低于或高于总体均值)的个体在未来的某一时期将减弱它的极端性(或者是单个个体或者是整个子代)，这一趋势现在被称作“回归效应”。人们发现它的应用很广，而不仅限于从一代到下一代豌豆大小问题回归分析研究什么？研究某些实际问题时往往涉及到多个变量。在这些变量中，有一个变量是研究中特别关注的，称为因变量，而其他变量则看成是影响这一变量的因素，称为自变量假定因变量与自变量之间有某种关系，并把这种关系用适当的数学模型表达出来，那么，就可以利用这一模型根据给定的自变量来预测因变量，这就是回归要解决的问题在回归分析中，只涉及一个自变量时称为一元回归，涉及多个自变量时则称为多元回归。如果因变量与自变量之间是线性关系，则称为线性回归(linearregression)；如果因变量与自变量之间是非线性关系则称为非线性回归(nonlinearregression)

9.1变量间的关系

9.1.1变量间是什么样的关系？

9.1.2用散点图描述相关关系

9.1.3用相关系数度量关系强度第9章一元线性回归怎样分析变量间的关系？建立回归模型时，首先需要弄清楚变量之间的关系。分析变量之间的关系需要解决下面的问题变量之间是否存在关系？如果存在，它们之间是什么样的关系？变量之间的关系强度如何？样本所反映的变量之间的关系能否代表总体变量之间的关系？9.1.1变量间是什么样的关系？9.1变量间的关系——函数关系是一一对应的确定关系设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，y依确定的关系取相应的值，则称y是x的函数，记为

y=f(x)，其中x称为自变量，y称为因变量各观测点落在一条线上

xy变量间的关系相关关系

(correlation)一个变量的取值不能由另一个变量唯一确定当变量

x取某个值时，变量y的取值对应着一个分布各观测点分布在直线周围

yx相关关系(几个例子)相关关系的例子父亲身高(y)与子女身高(x)之间的关系收入水平(y)与受教育程度(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系商品的消费量(y)与居民收入(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系9.1.2用散点图描述相关关系9.1变量间的关系散点图(scatterdiagram)不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关用散点图描述变量间的关系

(例题分析)【例9-1】为研究销售收入与广告费用支出之间的关系，某医药管理部门随机抽取20家药品生产企业，得到它们的年销售收入和广告费用支出(万元)的数据如下。绘制散点图描述销售收入与广告费用之间的关系销售收入广告费用618453195430167524075316019423901019809065067317023954101267200散点图

(销售收入和广告费用的散点图)

9.2一元线性回归的估计和检验

9.2.1一元线性回归模型

9.2.2参数的最小二乘估计

9.2.3回归直线的拟合优度

9.2.4显著性检验第9章一元线性回归9.2.1一元线性回归模型9.2一元线性回归的估计和检验什么是回归分析？

(regressionanalysis)重点考察一个特定的变量(因变量)，而把其他变量(自变量)看作是影响这一变量的因素，并通过适当的数学模型将变量间的关系表达出来利用样本数据建立模型的估计方程对模型进行显著性检验进而通过一个或几个自变量的取值来估计或预测因变量的取值一元线性回归涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示因变量与自变量之间的关系用一个线性方程来表示一元线性回归模型描述因变量y如何依赖于自变量x和误差项

的方程称为回归模型一元线性回归模型可表示为y=b0+b1x+ey是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项

是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响是不能由x和y之间的线性关系所解释的变异性0和1称为模型的参数一元线性回归模型(基本假定)

因变量x与自变量y之间具有线性关系在重复抽样中，自变量x的取值是固定的，即假定x是非随机的误差项满足正态性。是一个服从正态分布的随机变量，且期望值为0，即

~N(0,2)。对于一个给定的x值，y的期望值为E(y)=0+1x方差齐性。对于所有的x值，的方差一个特定的值，的方差也都等于2都相同。同样，一个特定的x值，y的方差也都等于2独立性。独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关；对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关估计的回归方程

(estimatedregressionequation)一元线性回归中估计的回归方程为用样本统计量

和代替回归方程中的未知参数和，就得到了估计的回归方程总体回归参数和

是未知的，必需利用样本数据去估计其中：是估计的回归直线在y

轴上的截距，是直线的斜率，它表示对于一个给定的x

的值，是y

的估计值，也表示x

每变动一个单位时，y的平均变动值

1b0b9.2.2参数的最小二乘估计9.2一元线性回归的估计和检验参数的最小二乘估计

(methodofleastsquares)德国科学家KarlGauss(1777—1855)提出用最小化图中垂直方向的误差平方和来估计参数

使因变量的观察值与估计值之间的误差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小最小二乘估计(图示)

xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾参数的最小二乘估计

(

和的计算公式)

根据最小二乘法，可得求解和的公式如下用SPSS进行回归第1步：选择【Analyze】下拉菜单，并选择【Regression-linear】选项，进入主对话框第2步：在主对话框中将因变量(本例为销售收入)选入【Dependent】，将自变量(本例为广告费用)选入【Independent(s)】第3步：点击【Save】，在【PredictedValues】下选中【Unstandardized】(输出点预测值)在【Predictioninterval】下选中【Mean】和【Individual】(输出置信区间和预测区间)在【ConfidenceInterval】中选择所要求的置信水平(隐含值95%，一般不用改变)在【Residuals】下选中【Unstandardized】和【standardized】(输出残差和标准化残差)

点击【Continue】回到主对话框。点击【OK】进行回归SPSS参数的最小二乘估计(SPSS输出结果)参数的最小二乘估计

(例题分析)9.2.3回归直线的拟合优度9.2一元线性回归的估计和检验变差因变量

y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量x的取值不同造成的除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示误差分解图xyy离差平方和的分解

(三个平方和的关系)

SST=SSR+SSE总平方和(SST){回归平方和(SSR)残差平方和(SSE){{离差平方和的分解

(三个平方和的意义)总平方和(SST)反映因变量的n个观察值与其均值的总离差回归平方和(SSR)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和判定系数R2

(coefficientofdetermination)回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]

之间

R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差判定系数等于相关系数的平方，即R2＝(r)2估计标准误差

(standarderrorofestimate)实际观察值与回归估计值误差平方和的均方根反映实际观察值在回归直线周围的分散状况对误差项的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量反映用估计的回归方程预测y时预测误差的大小

计算公式为SPSS输出结果9.2.4显著性检验9.2一元线性回归的估计和检验显著性检验线性关系检验回归系数检验线性关系的检验检验自变量与因变量之间的线性关系是否显著将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数p)残差均方：残差平方和SSE除以相应的自由度(n-p-1)线性关系的检验(检验的步骤)

提出假设H0：1=0线性关系不显著2.计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F作出决策：若F>F,拒绝H0；若F<F,不拒绝H0SPSS求统计量的P值，若P<，拒绝H0。表明两个变量之间的线性关系显著线性关系的检验(方差分析表)

P=0.000<=0.05，拒绝原假设，广告费用与销售收入之间线性关系显著.回归系数的检验和推断在一元线性回归中，等价于线性关系的显著性检验采用t检验检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布回归系数的检验和推断

(检验步骤)

提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)计算检验的统计量spss计算出统计量的P值，P<，拒绝H0，表明自变量是影响因变量的一个显著因素确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0回归系数的检验和推断

(b1和b0的置信区间)

b1在1-置信水平下的置信区间为b0在1-置信水平下的置信区间为回归系数的检验(例题分析)P=0.000<=0.05，拒绝原假设，表明广告费用是销售收入的一个重要影响因素。

9.3利用回归方程进行预测

9.3.1平均值的置信区间

9.3.2个别值的预测区间第9章一元线性回归区间估计对于自变量

x的一个给定值x0，根据回归方程得到因变量y的一个估计区间区间估计有两种类型置信区间估计(confidenceintervalestimate)预测区间估计(predictionintervalestimate)9.3.1平均值的置信区间9.3利用回归方程进行预测平均值的置信区间利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的平均值的估计区间，这一估计区间称为置信区间(confidenceinterval)

E(y0)

在1-置信水平下的置信区间为式中：se为估计标准误差个别值的预测区间利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的一个个别值的估计区间，这一区间称为预测区间(predictioninterval)

y0在1-置信水平下的预测区间为注意！置信