相关与回归分析

第六章相关与回归分析

第一节相关与回归的基本概念第二节一元线性回归分析第一节相关与回归的基本概念函数关系与相关关系相关关系的种类相关分析与回归分析相关关系的判断方法一、函数关系与相关关系(一)函数关系1.定义当一个或几个变量取一定的值时，另一个变量有确定值与之相对应，我们称这种关系为确定性的函数关系。2.函数关系特点（1）是一一对应的确定关系；（2）设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x

，当变量x取某个数值时，

y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量（3）各观测点(x,y)落在一条线上

xy3.函数关系举例函数关系的例子某种商品的销售额(y)与销售量(x)之间的关系可表示为y=p

x(p为单价)圆的面积与半径之间的关系可表示为S=r2

企业的原材料消耗额(y)与产量(x1)

、单位产量消耗(x2)

、原材料价格(x3)之间的关系可表示为y=x1x2x3

1.定义：当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但它仍按某种规律在一定的范围内变化。变量间的这种关系称为具有不确定性的相关关系。

现象之间客观存在的不严格、不确定的数量依存关系。（二）相关关系2.相关关系特点（1）变量间关系不能用函数关系精确表达；（2）一个变量的取值不能由另一个变量唯一确定；当变量x取某个值的时候，变量y的取值可能有几个；（3）各观测点（x，y）分布在某条线的周围。xy相关关系的例子商品的消费量(y)与居民收入(x)之间的关系商品的消费量(y)与物价(x)之间的关系商品销售额(y)与广告费支出(x)之间的关系粮食亩产量(y)与施肥量(x1)、降雨量(x2)、温度(x3)之间的关系收入水平(y)与受教育程度(x)之间的关系3.相关关系举例二、相关关系的种类相关关系按相关程度分类按相关方向分类按相关形式分类按所研究变量多少分类（1）完全相关：当一种现象的数量变化完全由另一种现象的数量变化所确定时，称这两种现象间的关系为完全相关。（2）不相关：当两种现象互不影响，其数量变化各自独立时，称为不相关现象。（3）两种现象之间的关系介于完全相关和不相关之间，称为不完全相关。1.按相关的程度可划分为:完全相关，不完全相关和不相关（1）当两种相关现象之间的关系大致呈现为线性关系时，称之为线性相关。（2）当两种相关现象之间的关系不表现为直线关系，而是近似于某种曲线方程的关系，则这种相关关系称为非线性相关。2.按相关的形式可划分为:

线性相关，非线性相关（1）正相关：两个相关现象间，当一个变量的数值增加（或减少）时，另一个变量的数值也随之增加（或减少），即同方向变化。

例如收入与消费的关系。（2）负相关：当一个变量的数值增加（或减少）时，而另一个变量的数值相反地呈减少（或增加）趋势变化，即反方向变化。

例如物价与消费的关系。3.按相关的方向可划分为:

正相关，负相关（1）当只研究两个变量时，它们之间的相关，称为单相关。（2）当所研究的是一个变量对两个或两个以上其他变量的相关关系时，称为复相关。例如，某种商品的需求与其价格水平以及收入水平之间的相关关系便是一种复相关。（3）在某一现象与多种现象相关的场合，假定其他变量不变，只考察其中两个变量的相关关系称为偏相关。例如，在假定人们的收入水平不变的条件下，某种商品的需求与其价格水平的关系就是一种偏相关。

4.按相关关系涉及的变量多少可划分为:

单相关，复相关和偏相关相关关系的图示不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关三、相关分析与回归分析（一）概念：1.相关分析就是用一个指标来表明现象间相互依存关系的密切程度。广义的相关分析包括相关关系的分析（狭义的相关分析）和回归分析。2.回归分析是指对具有相关关系的现象，根据其相关关系的具体形态，选择一个合适的数学模型（称为回归方程式），来近似地表达变量间的平均变化关系的一种统计分析方法。（1）在相关分析中，不必确定自变量和因变量；而在回归分析中，必须事先确定哪个为自变量，哪个为因变量，而且只能从自变量去推测因变量，而不能从因变量去推断自变量。（2）相关分析不能指出变量间相互关系的具体形式；而回归分析能确切的指出变量之间相互关系的具体形式。（二）相关分析与回归分析的关系1.区别它们不仅具有共同的研究对象，而且在具体应用时，常常必须互相补充。相关分析需要依靠回归分析来表明现象数量相关的具体形式，而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。只有当变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。简单说：1、相关分析是回归分析的基础和前提；2、回归分析是相关分析的深入和继续。2.联系定性分析是依据研究者的理论知识和实践经验，对客观现象之间是否存在相关关系，以及何种关系作出判断。定量分析在定性分析的基础上，通过编制相关表、绘制相关图、计算相关系数等方法，来判断现象之间相关的方向、形态及密切程度。四、相关关系的判断（一）相关表相关表是一种反映变量之间相关关系的统计表。将自变量x的数值按照从小到大的顺序排列，然后再将与其相关的因变量y的对应数值平行排列，便可形成简单的相关表。

例：为了研究分析某种产品完成量与其单位产品成本之间的关系，调查30个同类公司得到的原始数据如表。 整理后有（二）相关图相关图也称散点图，是在平面直角坐标系中，以横轴表示变量x，纵轴表示变量y，将两者对应的数值形成的坐标点（x,y）在图中标出，即可看出变量之间关系密切程度。如下图（销售收入与广告费相关图）销售收入与广告费相关图（三）相关系数及其计算1.相关系数早在1890年，英国统计学家皮尔生（Pearson）便提出了一个测定两个变量线性关系的计算公式，通常称为积距相关系数。计算公式：式中：分子是两个变量x和y的协方差；分母是两个变量的标准差。协方差是对X与Y变量线性相关的测度。为了更直观的理解协方差的意义，可将X与Y的散点图按过X与Y的两直线划分为四个象限，可以看到：在第Ⅰ象限中：∵（X-X）>0,(Y-Y)>0∴（X-X)(Y-Y)>0在第Ⅱ象限中：∵（X-X）<0,(Y-Y)>0∴（X-X)(Y-Y)<0在第Ⅲ象限中：∵（X-X）<0,(Y-Y)<0∴（X-X)(Y-Y)>0在第Ⅳ象限中：∵（X-X）>0,(Y-Y)<0∴（X-X)(Y-Y)<02.相关关系的测度

（相关系数）

样本相关系数的计算公式或化简为计算相关系数的“积差法”例1.某企业10名工人的工龄和年工资资料如下：职工编号12345678910工龄X(年)44567889910工资Y（百元）42465060646874728084要求：计算相关系数，已知条件如下例2.某企业200名工人的工龄和年工资资料如下，计算两者的相关系数，已知条件如下：

表1我国人均国民收入与人均消费金额数据

单位:元年份人均国民收入人均消费金额年份人均国民收入人均消费金额1981198219831984198519861987393.8419.14460.86544.11668.29737.73859.972492672893294064515131988198919901991199219931068.81169.21250.71429.51725.92099.56436907138039471148【例】在研究我国人均消费水平的问题中，把全国人均消费额记为y，把人均国民收入记为x。收集到1981～1993年的样本数据(xi，yi)，i=1,2,…，13，计算相关系数。解：根据样本相关系数的计算公式有

人均国民收入与人均消费金额之间的相关系数为0.99873.相关系数取值及其意义（1）r的取值范围是[-1,1]（2）|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关（3）

r=0，不存在线性相关关系（4）-1r<0，为负相关；0<r1，为正相关（5）|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切4.相关程度评价标准0<|r|≤0.3为微弱相关0.3<|r|≤0.5为低度相关0.5<|r|≤0.8为显著相关0.8<|r|≤1为高度相关第二节一元线性回归分析一、一元线性回归的基本问题（一）回归的来源“回归”这个统计学术语，最早采用者是英国遗传学家高尔登，他把这种统计分析方法应用于研究生物学的遗传问题，指出生物后代有回复或回归到其上代原有特性的倾向。高尔登的学生皮尔逊继续研究，把回归与数学方法联系起来，把代表现象之间一般数量关系的直线或曲线称为回归直线或回归曲线。（二）什么是回归分析？从一组样本数据出发，确定变量之间的数学关系式；对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著；利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度。（三）回归模型的类型一个自变量两个及两个以上自变量回归模型多元回归一元回归线性回归非线性回归线性回归非线性回归1.一元线性回归模型（1）当只涉及一个自变量时称为一元回归，若因变量y与自变量x之间为线性关系时称为一元线性回归。（2）对于具有线性相关关系的两个变量，可以用一个线性方程来近似表示它们之间的关系。（3）描述因变量y如何依赖于自变量x和误差项μ的方程称为回归模型。2.标准的一元线性回归模型

(1)总体回归模型:

Ｙt＝β0＋β1Ｘt＋ut

Y由线性函数（β0＋β1Ｘt）和误差项ut两部分组成。ut是随机误差项，又称随机干扰项，它是一个特殊的随机变量，反映未列入方程式的其他因素对Ｙ的影响。（2）回归方程：（β0＋β1Ｘt）是Y的数学期望，即对应于X取一定值时Y的平均值，可以写成：E(Y)=β0＋β1Ｘt

3.误差项的基本标准假定（1）误差项ut是一个期望值为0的随机变量，即E(ut)=0。对于一个给定的x值，y的期望值为E(yt

)=0+

1xt（2）对于所有的x值，ut的方差σ2都相同；（3）误差项ut是一个服从正态分布的随机变量即u~N(0,σ2)（4）误差项之间不存在序列相关关系，其协方差为0。（5）自变量是给定的变量与随机误差项线性无关。二、一元线性回归模型的估计（一）回归方程1.描述y的平均值或期望值如何依赖于x的方程称为回归方程。2.简单线性回归方程的形式：E(y)=0+1x方程的图示是一条直线；0是回归直线在y轴上的截距，是当x=0时y的期望值；1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值。（二）估计的回归方程2.简单线性回归中估计的回归方程为其中：是估计的回归直线在y轴上的截距，是直线的斜率，它表示对于一个给定的x的值，是y的估计值，也表示x每变动一个单位时，y的平均变动值。

总体回归参数和

是未知的，必需利用样本数据去估计用。样本统计量和代替回归方程中的未知参数和，就得到了估计的回归方程。使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小。（三）参数0和1的最小二乘估计对应X某一数值的Y有多个实际值，通过X和Y的各对数值也就有可能有多条直线，其中，最具代表性的应该是实际值同这条直线平均离差最小的直线。最小二乘法（图示）xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)ei=yi-yi＾3、回归系数的估计的最小二乘法公式

设将Ｑ对求偏导数，并令其等于零，可得:

加以整理后有：

最小二乘法

（

和的计算公式）解方程组可得求解和的标准方程如下：例：某种食品的需求量与人口增长量之间关系，数据：

上式中表示人口增加量每增加（或减少）1千人，该种食品的年需求量平均来说增加（或减少）0.5301（十吨）即5.301吨。估计方程的求法

（Excel的输出结果）（四）判定系数r2和估计标准差1.拟合程度的评价所谓拟合程度，是指样本观测值聚集在样本回归线周围的紧密程度。判断回归模型拟合程度优劣最常用的数量尺度是样本决定系数（又称决定系数）。它是建立在对总离差平方和进行分解的基础之上的。2.总离差平方和的分解（1）因变量y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面：由于自变量x的取值不同造成的；除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响。（2）对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示。离差平方和的分解（图示）xyy{}}离差分解图离差平方和的分解

（三个平方和的关系）两端平方后求和有：从图上看有：SST=SSR+SSE总变差平方和（SST）{回归平方和（SSR）{残差平方和（SSE）{离差平方和的分解

（三个平方和的意义）总的离差平方和(SST)反映因变量的n个观察值与其均值的总离差回归平方和(SSR)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和。残差平方和(SSE)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和。3.样本可决系数（判定系数R2

）（1）回归平方和占总离差平方和的比例：（2）反映回归直线的拟合程度（3）取值范围在[0,1]之间（4）R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差（5）判定系数等于相关系数的平方，即R2＝(r)2

如上所述，Y实际值同均值的总偏差中，回归偏差和剩余偏差是此消彼长的关系。既然回归偏差可以从正面测定线性模型的拟合优度，那么剩余变差就可以从反面判定线性模型的拟合优度。

对于一元线性回归模型，定义剩余变差除以自由度（n－2）所得的商的正平方根为估计标准差4.回归估计的标准误差

S说明公式中n－2是自由度，是因为在求回归直线β0，β1两个参数时是去了两个自由度。Σet=0Σet*Xt=05.估计标准差的意义(1)反映实际观察值在回归直线周围的分散状况。(2)从另一