统计学课件之相关与回归分析

本资料来源第一页，共六十八页。第七章相关与回归分析第一节变量间的相关关系第二节一元线性回归第三节利用回归方程进行估计和预测第四节多元线性回归第二页，共六十八页。学习目标1.掌握相关系数的含义、计算方法和应用2.掌握一元线性回归的基本原理和参数的最小二乘估计方法3.掌握回归方程的显著性检验4.利用回归方程进行预测5.掌握多元线性回归分析的基本方法第三页，共六十八页。第一节变量间关系的度量一.变量间的关系二.相关关系的描述与测度三.相关关系的显著性检验第四页，共六十八页。变量间的关系第五页，共六十八页。变量间的关系

（函数关系）是一一对应的确定关系设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x，当变量x取某个数值时，

y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量各观测点落在一条线上xy第六页，共六十八页。变量间的关系

（函数关系）函数关系的例子某种商品的销售额(y)与销售量(x)之间的关系可表示为y=px(p为单价)圆的面积(S)与半径之间的关系可表示为S=R2

企业的原材料消耗额(y)与产量(x1)、单位产量消耗(x2)、原材料价格(x3)之间的关系可表示为y=x1x2x3

第七页，共六十八页。变量间的关系

（相关关系）变量间关系是不确定的数量关系,不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量x取某个值时，变量y的取值可能有几个各观测点分布在直线周围

xy第八页，共六十八页。变量间的关系

（相关关系）相关关系的例子商品的消费量(y)与居民收入(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系父亲身高(y)与子女身高(x)之间的关系第九页，共六十八页。相关关系的描述与测度第十页，共六十八页。散点图

相关分析就是对两个变量之间关系的描述与度量,关注的是评价对象两两之间的相对变动,不需要明确区分自变量,因变量.散点图:用坐标的横轴代表变量x,纵轴代表因变量y,每组数据()在坐标系中用一个点表示,n组数据在坐标系中形成的n个点称为散点,由坐标及散点形成的二维数据图叫散点图.第十一页，共六十八页。相关关系的图示不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关第十二页，共六十八页。相关关系的类型1按相关关系涉及变量(因素0的多少,可以分为单相关和复相关(多元相关)2按相关形式可分为线性相关和非线性相关3按相关的方向,线性相关可分为正相关和负相关4按变量之间的相关程度,可分为完全相关,高度相关,低度相关和不相关第十三页，共六十八页。相关系数是对变量之间关系密切程度的度量根据线性相关变量的多少,分析问题的角度的不同,相关系数分为简单相关系数,偏相关系数,复相关系数反映曲线相关变量之间关系密切程度的曲线相关系数称为相关指数对两个变量之间线性相关程度的度量称为简单相关系数若相关系数是根据总体全部数据计算的，称为总体相关系数，记为若是根据样本数据计算的，则称为样本相关系数，记为r第十四页，共六十八页。相关系数

样本相关系数的计算公式或化简为第十五页，共六十八页。相关系数

（相关系数取值及其意义）

r

的取值范围是[-1,1]|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关

r=0，不存在线性相关-1r<0，为负相关0<r1，为正相关|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切通常：|r|>=0.8，高度相关;0.5=<|r|<0.8，中度相关;o.3=<|r|<0.5，低度相关;|r|<0.3，不相关．第十六页，共六十八页。相关系数的显著性检验

1. 检验两个变量之间是否存在线性相关关系２．采用t检验3．检验的步骤为提出假设：H0：；H1：0

计算检验的统计量：

根据给定的显著性水平和自由度(n-2)，查t分布表找到相应的临界值,并作出决策若t>t，拒绝H0

若t<t，接受H0第十七页，共六十八页。相关系数例题一位工业心理学家获得了10个工人的智商值和劳动生产率,试计算智商值和劳动生产率之间的相关系数,并对进行显著性检验.(

样本序号智商值x劳动生产率yxy11105.21210027.04572.021206.01440036.00720.031306.31690039.69819.041265.71587632.49718.251224.81488423.04585.661214.21464117.64508.271033.0106099.00309.08982.996008.41284.29802.764007.29216.010973.2940910.24310.4合计110744.0124823210.845042.6第十八页，共六十八页。相关系数计算

解：根据样本相关系数的计算公式有第十九页，共六十八页。相关系数的显著性检验

对计算的相关系数进行显著性检(0.05)1提出假设：H0：；H1：02计算检验的统计量3根据显著性水平＝0.05，查t分布表得t(n-2)=2.306由于t=4.921>t(10-2)=2.306，拒绝H0，即样本相关系数是显著的,说明智商值与劳动生产率之间确实存在线性关系第二十页，共六十八页。第二节一元线性回归一.一元线性回归模型参数的最小二乘估计回归方程的显著性检验第二十一页，共六十八页。一元线性回归模型

第二十二页，共六十八页。什么是回归分析？

侧重于考察变量之间的数量伴随关系从一组样本数据出发，确定变量之间的数学关系式对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量(因变量)的诸多变量(自变量)中找出哪些变量的影响显著，哪些不显著利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度第二十三页，共六十八页。回归分析与相关分析的区别相关分析中，变量x

变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x

可以是随机变量，也可以是非随机的确定变量相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制第二十四页，共六十八页。回归模型1.回答“变量之间是什么样的关系？”,描述因变量y如何依赖自变量x和误差项的方程2．因变量：在回归分析中，被预测或被解释的变量，用y表示3．自变量：在回归分析中，用来预测或用来解释因变量的一个或多个变量，用x表示4主要用于预测和估计第二十五页，共六十八页。回归模型的类型一个自变量两个及两个以上自变量回归模型多元回归一元回归线性回归非线性回归线性回归非线性回归第二十六页，共六十八页。一元线性回归模型

当只涉及一个自变量时称为一元回归，若因变量y与自变量x之间为线性关系时称为一元线性回归对于具有线性关系的两个变量，可以用一条线性方程来表示它们之间的关系描述因变量y如何依赖于自变量x和误差项

的方程称为回归模型第二十七页，共六十八页。一元线性回归模型

对于只涉及一个自变量的简单线性回归模型可表示为

y=b0+b1x+e模型中，y是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项

是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响是不能由x和y之间的线性关系所解释的变异性0和1称为模型的参数第二十八页，共六十八页。一元线性回归模型

（基本假定）误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x值，y的期望值为E(y)=0+

1x对于所有的x值，ε的方差σ2都相同误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2)独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关第二十九页，共六十八页。回归方程

描述y的平均值或期望值如何依赖于x的方程称为回归方程简单线性回归方程的形式如下

E(y)=0+1x方程的图示是一条直线，因此也称为直线回归方程0是回归直线在y轴上的截距，是当x=0时y的期望值1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值第三十页，共六十八页。估计(经验)的回归方程简单线性回归中估计的回归方程为其中：是估计的回归直线在y

轴上的截距，是直线的斜率，它表示对于一个给定的x

的值，是y

的估计值，也表示x

每变动一个单位时，y的平均变动值

用样本统计量和代替回归方程中的未知参数和，就得到了估计的回归方程总体回归参数和

是未知的，必需利用样本数据去估计第三十一页，共六十八页。参数0和1的最小二乘估计第三十二页，共六十八页。最小二乘法

使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小第三十三页，共六十八页。最小二乘法

（图示）xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾第三十四页，共六十八页。最小二乘法

（

和的计算公式）

根据最小二乘法的要求，可得求解的标准方程如下第三十五页，共六十八页。估计方程例题一位工业心理学家获得了10个工人的智商值和劳动生产率,试计算智商值和劳动生产率之间的回归方程

样本序号智商值x劳动生产率yxy11105.21210027.04572.021206.01440036.00720.031306.31690039.69819.041265.71587632.49718.251224.81488423.04585.661214.21464117.64508.271033.0106099.00309.08982.996008.41284.29802.764007.29216.010973.2940910.24310.4合计110744.0124823210.845042.6第三十六页，共六十八页。估计方程的求法

根据计算表中的数据，依据

和的求解公式得^y=-3.9

+0.075x第三十七页，共六十八页。一个二元线性回归的例子

(Excel输出的结果)第三十八页，共六十八页。回归方程的显著性检验第三十九页，共六十八页。离差平方和的分解因变量y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量x的取值不同造成的除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示第四十页，共六十八页。离差平方和的分解

（图示）xyy{}}离差分解图第四十一页，共六十八页。离差平方和的分解

（三个平方和的关系）2.两端平方后求和有从图上看有SST=SSR+SSE总变差平方和（SST）{回归平方和（SSR）{残差平方和（SSE）{第四十二页，共六十八页。离差平方和的分解

（三个平方和的意义）总平方和(SST)反映因变量的n个观察值与其均值的总离差回归平方和(SSR)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和

SST=SSR+SSE第四十三页，共六十八页。样本决定系数

（判定系数R2）1判定系数:回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差判定系数等于相关系数的平方，即R2＝(r)2第四十四页，共六十八页。估计标准误差Sy实际观察值与回归估计值离差平方和的均方根反映实际观察值在回归直线周围的分散状况从另一个角度说明了回归直线的拟合程度计算公式为第四十五页，共六十八页。回归方程的显著性检验

（线性关系的检验

）检验自变量和因变量之间的线性关系是否显著具体方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系第四十六页，共六十八页。回归方程的显著性检验

（线性关系的检验

）均方回归MSR:将SSR除以其相应的自由度均方残差MSE:将SSE除以其相应的自由度第四十七页，共六十八页。回归方程的显著性检验

（检验的步骤）1提出假设H0：线性关系不显著2.

计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F作出决策：若FF,拒绝H0；若F<F,接受H0第四十八页，共六十八页。回归系数的显著性检验

在一元线性回归中，等价于回归方程的显著性检验检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布第四十九页，共六十八页。回归系数的显著性检验

（样本统计量的分布）

是根据最小二乘法求出的样本统计量，它有自己的分布的分布具有如下性质分布形式：正态分布数学期望：标准差：由于无未知，需用其估计量Sy来代替得到的估计的标准差第五十页，共六十八页。回归系数的显著性检验

1提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)2计算检验的统计量确定显著性水平，并进行决策t>t，拒绝H0；t<t，接受H0第五十一页，共六十八页。第三节多元线性回归分析一.多元线性回归模型回归参数的估计回归方程的显著性检验回归系数的显著性检验多元线性回归的预测第五十二页，共六十八页。多元线性回归模型

一个因变量与两个及两个以上自变量之间的回归描述因变量y如何依赖于自变量x1，x2，…，xp

和误差项

的方程称为多元线性回归模型涉及p个自变量的多元线性回归模型可表示为

b0

，b1，b2

，，bp是参数

是被称为误差项的随机变量

y是x1,，x2

，，xp

的线性函数加上误差项

说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性第五十三页，共六十八页。多元线性回归模型

对于n组实际观察数据(yi;xi1,，xi2

，，xip)，(i=1,2,…,n)，多元线性回归模型可表示为y1

=b0+b1x11+b2x12

++

bpx1p

+e1y2=b0+b1x21

+b2x22

++

bpx2p

+e2

yn=b0+b1xn1

+b2xn2

++

bpxnp

+en{……第五十四页，共六十八页。多元线性回归模型

自变量x1，x2，…，xp是确定性变量，不是随机变量随机误差项ε的期望值为0，且方差σ2都相同误差项ε是一个服从正态分布的随机变量，即ε~N(0,σ2)，且相互独立第五十五页，共六十八页。多元线性回归方程

描述y的平均值或期望值如何依赖于x1，x1

，…，xp的方程称为多元线性回归方程多元线性回归方程的形式为

E(y)=0+1x1

+2x2

+…+

pxp

b1，b2，，bp称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均平均变动值第五十六页，共六十八页。多元线性回归的估计(经验)方程总体回归参数是未知的，利用样本数据去估计用样本统计量代替回归方程中的未知参数

即得到估计的回归方程

是估计值是y

的估计值第五十七页，共六十八页。参数的最小二乘法

根据最小二乘法的要求，可得求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即第五十八页，共六十八页。多重样本决定系数

（多重判定系数R2）回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差等于多重相关系数的平方，即R2=(R)2第五十九页，共六十八页。修正的多重样本决定系数

（修正的多重判定系数R2）由于增加自变量将影响到因变量中被估计的回归方程所解释的变异性的数量，为避免高估这一影响，需要用自变量的数目去修正R2的值用n表示观察值的数目，p表示自变量的数目，修正的多元判定系数的计算公式可表示为第六十页，共六十八页。回归方程的显著性检验

（线性关系的检验

）检验因变量与所有的自变量和之间的是否存在一个显著的线性关系，也被称为总体的显著性检验检验方法是将回归离差平方和(SSR)同剩余离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系第六十一页，共六十八页。回归方程的显著性检验

提出假设H0：12p=0线性关系不显著H1：1，2，，p至少有一个不等于02.计算检验统计量F3.确定显著性水平和分子自由度p、分母自由度n-p-1找出临界值F4.作出决策：若FF，拒绝H0；若F<F，接受H0第六十二页，共六十八页。回归系数的显著性检验

如果F检验已经表明了回归模型总体上是显著的，那么回归系数的检验就是用来确定每一个单个的自变量xi

对因变量y的影响是否显著对每一个自变量都要单独进行检验应用t检验在多元线性回归中，回归方程的显著性检验不再等价于回归系数的显著性检验第六十三页，共六十八页。回归系数的显著性检验

提出假设H0：bi=0(自变量xi与

因变量y没有线性关系)H1：bi

0(自变量xi与

因变量