第6讲 一元线性回归

1、第第 6 讲一元线性回归讲一元线性回归学习目标学习目标l相关关系的分析相关关系的分析l参数的最小二乘估计参数的最小二乘估计l回归直线的拟合优度回归直线的拟合优度l回归方程的显著性检验回归方程的显著性检验l利用回归方程进行预测利用回归方程进行预测l用用 Excel 和和SPSS进行回归进行回归回归分析研究什么？回归分析研究什么？l研究某些实际问题时往往涉及到多个变量。在这些变量研究某些实际问题时往往涉及到多个变量。在这些变量中，有一个变量是研究中特别关注的，称为因变量，而中，有一个变量是研究中特别关注的，称为因变量，而其他变量则看成是影响这一变量的因素，称为自变量其他变量则看成是影响这一变量的因

2、素，称为自变量l假定因变量与自变量之间有某种关系，并把这种关系用假定因变量与自变量之间有某种关系，并把这种关系用适当的数学模型表达出来，那么，就可以利用这一模型适当的数学模型表达出来，那么，就可以利用这一模型根据给定的自变量来预测因变量，这就是回归要解决的根据给定的自变量来预测因变量，这就是回归要解决的问题问题l在回归分析中，只涉及一个自变量时称为一元回归，涉在回归分析中，只涉及一个自变量时称为一元回归，涉及多个自变量时则称为多元回归。如果因变量与自变量及多个自变量时则称为多元回归。如果因变量与自变量之 间 是 线 性 关 系 ， 则 称 为之 间 是 线 性 关 系 ， 则 称 为 线 性

3、回 归线 性 回 归 ( l i n e a r regression)；如果因变量与自变量之间是非线性关系；如果因变量与自变量之间是非线性关系则称为则称为非线性回归非线性回归(nonlinear regression)怎样分析变量间的关系？怎样分析变量间的关系？l建立回归模型时，首先需要弄清楚变量之间的建立回归模型时，首先需要弄清楚变量之间的关系。分析变量之间的关系需要解决下面的问关系。分析变量之间的关系需要解决下面的问题题变量之间是否存在关系？如果存在，它们之间是什么样的关系？变量之间的关系强度如何？样本所反映的变量之间的关系能否代表总体变量之间的关系？ 6.1.1 变量间是什么样的关系？

4、变量间是什么样的关系？函数关系函数关系v是一一是一一对应的确定关系对应的确定关系v设设有两个变量有两个变量 x 和和 y ，变量，变量 y 随变量随变量 x 一起变化，并完全一起变化，并完全依赖于依赖于 x ，当变量，当变量 x 取某个取某个数值时，数值时， y 依确定的关系取依确定的关系取相应的值，则称相应的值，则称 y 是是 x 的函的函数，记为数，记为 y = f (x)，其中，其中 x 称为自变量，称为自变量，y 称为因变量称为因变量v各各观测点落在一条线上观测点落在一条线上 相关关系相关关系(几个例子几个例子)l子女的身高与其父母身高的关系子女的身高与其父母身高的关系u从遗传学角度看

5、，父母身高较高时，其子女的身高一般也比较高。但实际情况并不完全是这样，因为子女的身高并不完全是由父母身高一个因素所决定的，还有其他许多因素的影响l一个人的收入水平同他受教育程度的关系一个人的收入水平同他受教育程度的关系u收入水平相同的人，他们受教育的程度也不可能不同，而受教育程度相同的人，他们的收入水平也往往不同。因为收入水平虽然与受教育程度有关系，但它并不是决定收入的惟一因素，还有职业、工作年限等诸多因素的影响l农作物的单位面积产量与降雨量之间的关系农作物的单位面积产量与降雨量之间的关系u在一定条件下，降雨量越多，单位面积产量就越高。但产量并不是由降雨量一个因素决定的，还有施肥量、温度、管理

6、水平等其他许多因素的影响相关关系相关关系(correlation)v一个变量的取值不能由另一个变量的取值不能由另一个变量唯一确定一个变量唯一确定v当变量当变量 x 取某个值时，变取某个值时，变量量 y 的取值对应着一个的取值对应着一个分分布布v各观测各观测点分布在直线周围点分布在直线周围 6.1.2 用散点图描述相关关系用散点图描述相关关系散点图散点图(scatter diagram)用散点图描述变量间的关系用散点图描述变量间的关系(例题分析例题分析)v【例例】为研究销售收入与广告费用支出之间的关系，为研究销售收入与广告费用支出之间的关系，某医药管理部门随机抽取某医药管理部门随机抽取20家药品

7、生产企业，得到家药品生产企业，得到它们的年销售收入和广告费用支出它们的年销售收入和广告费用支出(万元万元)的数据如下。的数据如下。绘制散点图描述销售收入与广告费用之间的关系绘制散点图描述销售收入与广告费用之间的关系 2008年年8月月散点图散点图(销售收入和广告费用的散点图销售收入和广告费用的散点图)6.1.3 用相关系数度量关系强度用相关系数度量关系强度相关系数相关系数(correlation coefficient)v度量变量之间线性关系强度的一个统计量度量变量之间线性关系强度的一个统计量若相关系数是根据总体全部数据计算的，称为总体相关系数，记为 若是根据样本数据计算的，则称为样本相关系数

8、，简称为相关系数，记为 r或Rl也称为Pearson相关系数 (Pearsons correlation coefficient)v样本相关系数的计算公式样本相关系数的计算公式 yxyxyyxxyyxxr),cov()()()(22相关系数的性质相关系数的性质v性质性质1：r 的取值范围的取值范围是是 -1,1|r|=1，为完全相关lr =1，为完全正相关lr =-1，为完全负正相关r = 0，不存在线性线性相关关系-1r0，为负相关0r1，为正相关|r|越趋于1表示关系越强；|r|越趋于0表示关系越弱相关系数的性质相关系数的性质v性质性质2：r具有对称性。即具有对称性。即x与与y之间的相关系

9、数和之间的相关系数和y与与x之间的相关系数相等，即之间的相关系数相等，即rxy= ryxv性质性质3：r数值大小与数值大小与x和和y原点及尺度无关，即改变原点及尺度无关，即改变x和和y的数据原点及计量尺度，并不改变的数据原点及计量尺度，并不改变r数值大小数值大小v性质性质4：仅仅是：仅仅是x与与y之间线性关系的一个度量，它不之间线性关系的一个度量，它不能用于描述非线性关系。这意为着，能用于描述非线性关系。这意为着， r=0只表示两个只表示两个 v变量之间不存在线性相关关系，并不说明变量之间没变量之间不存在线性相关关系，并不说明变量之间没有任何关系有任何关系v性质性质5：r虽然是两个变量之间线性

10、关系的一个度量，虽然是两个变量之间线性关系的一个度量，却不一定意味着却不一定意味着x与与y一定有因果关系一定有因果关系相关系数的经验解释相关系数的经验解释v|r| 0.8时，可视为两个变量之间高度相关时，可视为两个变量之间高度相关v0.5 |r|0.8时，可视为中度相关时，可视为中度相关v0.3 |r|0.5时，视为低度相关时，视为低度相关v|r|0.3时，说明两个变量之间的相关程度极弱时，说明两个变量之间的相关程度极弱，可视为不相关，可视为不相关v上述解释必须建立在对相关系数的显著性进行上述解释必须建立在对相关系数的显著性进行检验的基础之上检验的基础之上相关系数的显著性检验相关系数的显著性检

11、验(检验的步骤检验的步骤)v1.检验两个变量之间是否存在线性相关关系检验两个变量之间是否存在线性相关关系v采用采用R.A.Fisher提出的提出的 t 检验检验v检验的步骤为检验的步骤为提出假设：H0： ；H1： 0计算检验的统计量用Excel中的【TDIST】函数得双尾计算P值，并于显著性水平比较，并作出决策2. 若P，拒绝H0) 2(122ntrnrt相关系数的显著性检验相关系数的显著性检验(例题分析例题分析)v【例例】检验销售收入与广告费用之间的相关系数是检验销售收入与广告费用之间的相关系数是否显著否显著 ( 0.05)v提提出假设：出假设：H0： ；H1： 0v计算计算检验的统计量检验

12、的统计量3. 用用Excel中的中的【TDIST】函数得双尾函数得双尾P=2.743E-09 0.05，拒绝，拒绝H0，销售收入与广告费用之销售收入与广告费用之间的相关系数显著间的相关系数显著 789.109306. 012209306. 02t6.2.1 一元线性回归模型一元线性回归模型什么是回归分析？什么是回归分析？(regression analysis)v重点考察考察一个特定的变量重点考察考察一个特定的变量(因变量因变量)，而把，而把其他变量其他变量(自变量自变量)看作是影响这一变量的因素，看作是影响这一变量的因素，并通过适当的数学模型将变量间的关系表达出来并通过适当的数学模型将变量间

13、的关系表达出来v利用样本数据建立模型的估计方程利用样本数据建立模型的估计方程v对模型进行显著性检验对模型进行显著性检验v进而通过一个或几个自变量的取值来估计或预测进而通过一个或几个自变量的取值来估计或预测因变量的取值因变量的取值回归模型的类型回归模型的类型线线 性性 回回 归归非非 线线 性性 回回 归归一一 元元 回回 归归线线 性性 回回 归归非非 线线 性性 回回 归归多多 元元 回回 归归回回 归归 模模 型型一元线性回归一元线性回归v涉及一个自变量的回归涉及一个自变量的回归v因因变量变量y与自变量与自变量x之间为线性关系之间为线性关系被预测或被解释的变量称为因变量(dependent

14、 variable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independent variable)，用x表示 v因变量与自变量之间的关系用因变量与自变量之间的关系用一个线性方程来表一个线性方程来表示示一元线性回归模型一元线性回归模型(linear regression model)v描述因变量描述因变量 y 如何依赖于自变量如何依赖于自变量 x 和和误差项误差项 的的方程称为方程称为回归模型回归模型v一元线性一元线性回归模型可表示为回归模型可表示为 y = b b + + b b1 1 x + + ny 是 x 的线性函数(部分)加上误差项n线性部分反映了由于 x 的

15、变化而引起的 y 的变化n误差项 是随机变量l反映了除 x 和 y 之间的线性关系之外的随机因素对 y 的影响l是不能由 x 和 y 之间的线性关系所解释的变异性nb0 和 b1 称为模型的参数一元线性回归模型一元线性回归模型(基本假定基本假定) v因变量因变量x与自变量与自变量y之间具有线性关系之间具有线性关系v在重复抽样中，自变量在重复抽样中，自变量x的取值是固定的，即假定的取值是固定的，即假定x是是非随机的非随机的v误差项误差项 满足满足l正态性正态性。 是一个服从正态分布的随机变量，且期望值为0，即 N(0 , 2 ) 。对于一个给定的 x 值，y 的期望值为E(y)=b0+ b1xl

16、方差齐性方差齐性。对于所有的 x 值， 的方差一个特定的值，方差都相同。l独立性。独立性。独立性意味着对于一个特定的 x 值，它所对应的与其他 x 值所对应的不相关；对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关总结：零均值；等方差；无自相关；与解释变量不相关；正态性假定估计的回归方程估计的回归方程(estimated regression equation)0b1b0b1b0b1bxy10bb+0b1by 6.2.2 参数的最小二乘估计参数的最小二乘估计参数的最小二乘估计参数的最小二乘估计(method of least squares )最小niiiniix

17、yyy121012)() (bb 0b1bKarl Gauss的最小化图的最小化图xy10bb+参数的最小二乘估计参数的最小二乘估计 ( 和和 的计算公式的计算公式)xyxxnyxyxnniniiiniiniiniii1012121111bbb1b0b0b1b0)(20)(212101121001100niiiiniiixyxQxyQbbbbbbbbbb2008年年8月月参数的最小二乘估计参数的最小二乘估计(例题分析例题分析)v【例例】求销售收入与广告费用的估计回归方程求销售收入与广告费用的估计回归方程 ，并，并解释回归系数的含义解释回归系数的含义2008年年8月月参数的最小二乘估计参数的最小

18、二乘估计(例题分析例题分析)xy1309. 55502.274+6.2.3 回归直线的拟合优度回归直线的拟合优度变差变差v因变量因变量 y 的取值是不同的，的取值是不同的，y 取值的这种波动称取值的这种波动称为变差。变差来源于两个方面为变差。变差来源于两个方面由于自变量 x 的取值不同造成的除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响v对一个对一个具体的观测值来说，变差的大小可以通过具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差该实际观测值与其均值之差 来表示来表示yy2008年年8月月误差分解图误差分解图yxy10bb+yy yyyy),(iiyx2008年

19、年8月月误差平方和的分解误差平方和的分解 (误差平方和的关系误差平方和的关系) +niiniiniiyyyyyy121212误差平方和的分解误差平方和的分解 (三个平方和的意义三个平方和的意义)v总平方和总平方和(SSTtotal sum of squares)反映因变量的 n 个观察值与其均值的总误差v回归平方和回归平方和(SSRsum of squares of regression)反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和v残差平方和残差平方和(SSEsum of squares of er

20、ror)反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和判定系数判定系数R2 (coefficient of determination)v回归平方和回归平方和占总误差平方和的比例占总误差平方和的比例niiniiyyyySSTSSRR12122估计标准误差估计标准误差(standard error of estimate)v实际观察值与回归估计值误差平方和的均方根实际观察值与回归估计值误差平方和的均方根v反映实际观察值在回归直线周围的分散状况反映实际观察值在回归直线周围的分散状况v对对误差项误差项 的标准差的标准差 的估计，是在排除了的估计，是在排除了x对对y的

21、线性影响后，的线性影响后，y随机波动大小的一个估计量随机波动大小的一个估计量v反反映用估计的回归方程预测映用估计的回归方程预测y时预测误差的大小时预测误差的大小 v计算公式为计算公式为(n:观测值的个数；观测值的个数；k:自变量的个数自变量的个数)MSEknSSEkneknyysniiniiie11112126.2.4 显著性检验显著性检验线性关系的检验线性关系的检验v检验自变量与因变量之间的线性关系是否显著检验自变量与因变量之间的线性关系是否显著v将回归均方和将回归均方和(MSR)同残差均方和同残差均方和(MSE)加以加以比较，应用比较，应用F检验来分析二者之间的差别是否显检验来分析二者之间

22、的差别是否显著著回归均方和：回归平方和SSR除以相应的自由度(自变量的个数k) 残差均方和：残差平方和SSE除以相应的自由度(n-k-1)线性关系的检验线性关系的检验 (检验的步骤检验的步骤) v提出提出假设假设H0：b1=0 线性关系不显著) 1,() 1(/knkFMSEMSRknSSEkSSRF回归系数的检验和推断回归系数的检验和推断1b回归系数的检验和推断回归系数的检验和推断(样本统计量样本统计量 的分布的分布)1b1b1b11)(bbE21xxib1b21xxssieb11)(bbE21xxssieb回归系数的检验和推断回归系数的检验和推断 (检验步骤检验步骤) v提出假设提出假设H

23、0: b1 = 0 (没有线性关系) H1: b1 0 (有线性关系) v计算检验的统计量计算检验的统计量)2(11ntstbb回归系数的检验和推断回归系数的检验和推断 (b b1和和b b0的置信区间的置信区间) v b b1在在1- 置信水平下的置信区间为置信水平下的置信区间为v b b0在在1- 置信水平下的置信区间为置信水平下的置信区间为niiexxsnt1221)()2(bniiniiexxnxsnt12120)()2(b区间估计区间估计v对于自变量对于自变量 x 的一个给定值的一个给定值 x0，根据回归方程得，根据回归方程得到因变量到因变量 y 的一个估计区间的一个估计区间v区间估

24、计有两种类型区间估计有两种类型置信区间估计(confidence interval estimate)预测区间估计(prediction interval estimate)6.3.1 平均值的置信区间平均值的置信区间平均值的置信区间平均值的置信区间v利用利用估计的回归方程，对于自变量估计的回归方程，对于自变量 x 的一个给定的一个给定值值 x0 ，求出因变量，求出因变量 y 的平均值的估计区间的平均值的估计区间 ，这，这一估计区间称为一估计区间称为置信区间置信区间(confidence interval)v E(y0) 在在1- 置信置信水平下的置信区间为水平下的置信区间为+niiexxxxnsnty1220201)2(个别值的预测区间个别值的预测区间v利用估计利用估计的回归方程，对于自变量的回归方程，对于自变量 x 的一个给的一个给定值定值 x0 ，求出因变量，求出因变量 y 的一个个别值