统计学：第八章相关与回归分析

1、2022-2-12河北工程大学经济管理学院1统计学统计学2022-2-12河北工程大学经济管理学院2 第八章第八章 相关与回归分析相关与回归分析 本章内容：理解相关关系概念、分类，相关分析与回归分析的区别联系；掌握一元线性回归分析，学掌握一元线性回归分析，学会用最小二乘法估计回归参数，会用最小二乘法估计回归参数，学会计算估计标准误差、可决系学会计算估计标准误差、可决系数；掌握单相关关系分析，学会数；掌握单相关关系分析，学会相关系数的计算。相关系数的计算。2022-2-12河北工程大学经济管理学院3 第八章第八章 相关与回归分析相关与回归分析 本章分三节： 第一节 相关与回归分析的基本概念 第二

2、节 一元线性回归分析 第三节 相关分析 2022-2-12河北工程大学经济管理学院4第一节第一节 相关与回归分析的相关与回归分析的基本概念基本概念 本节需要把握四个问题： 一、函数关系与相关关系； 二、相关关系的种类； 三、相关分析与回归分析； 四、相关表和相关图。2022-2-12河北工程大学经济管理学院5一、函数关系与相关关系一、函数关系与相关关系 客观现象总是普遍联系和相互依存的，客观现象间的数量联系存在两种不同类型：函数关系和相关关系。 把握三个问题： 1、函数关系； 2、相关关系； 3、二者关系。2022-2-12河北工程大学经济管理学院6 1、函数关系函数关系是指变量之间存在着严格

3、确定的依存关系，在这种关系中，当一个或几个变量取一定量的值时，另一变量有确定值与之相对应，并且这种关系可以用一个数学表达式反映出来。例如：某种产品的总成本S与该产品的产量Q以及该产品的单位成本P之间的关系可用S=PQ表达，这就是一种函数关系。通常把作为影响因素的变量称为自变量，把发生相应变化的变量称为因变量。在本例中，S是因变量，P与Q则是自变量。 2022-2-12河北工程大学经济管理学院7 2、相关关系 相关关系是指变量之间存在一定的相依关系，但又不是确定的和严格依存的。这类关系中，当一个或几个相互联系的变量取一定数值时，与之相对应的变量就会有若干个数值与之相对应，从而表现出一定的波动性。

4、例如商品流转规模与流通费用的关系，家庭收入与消费支出的关系，工业劳动生产率与产品成本的关系等都属于相关关系。在统计中所研究的就是这种相关关系。 2022-2-12河北工程大学经济管理学院8 上述函数关系和相关关系之间并不存在严格的界限，一定条件下可以转化。由于有测量误差等原因，函数关系在实际中往往通过相关关系表现出来；反之当对现象之间的内在联系和规律性了解得更清楚深刻的时候，相关关系也可能转化为函数关系。因此，相关关系通常可以用一定的函数关系表达式去近似地描述。 3、二者关系2022-2-12河北工程大学经济管理学院9二、相关关系的种类把握以下问题：1、按相关程度划分；2、按相关方向划分；3、

5、按相关形式划分；4、按变量多少划分；5、按相关性质划分。2022-2-12河北工程大学经济管理学院10 1、按相关程度划分可分为完全相关、不完全相关和不相关（1）完全相关：当一种现象的数量变化完全由另一个现象的数量变化所确定时，称这两种现象之间的关系为完全相关，例如圆的周长L决定于它的半径R，即L=2R。在这种情况下，相关关系即为函数关系，也可以说函数关系是相关关系的一种特例。2022-2-12河北工程大学经济管理学院111、按相关程度划分（2）不相关：当两个现象彼此互不影响，其数量变化各自独立时，称这两个现象之间的关系为不相关或零相关。例如：学生的学习成绩与其身高一般认为是不相关的。（3）不

6、完全相关：若两个现象之间的关系介于完全相关和不相关之间，就称为不完全相关，一般的相关现象都是指这种不完全相关，这是相关分析的研究对象。2022-2-12河北工程大学经济管理学院12可分为正相关和负相关：（1）两个相关现象间，当一个变量的数值增加(或减少)时，另一个变量的数值也随之增加(或减少)，这种相关称为正相关。例如家庭消费支出随着收入的增加而增加等。（2）当一个变量的数值增加(或减少)时，而另一个变量的数值相反地呈减少(或增加)趋势变化，称为负相关。例如劳动生产率愈高，单位产品成本愈低。 2、按相关方向划分2022-2-12河北工程大学经济管理学院13 3、按相关形式划分 可以分为线性相关

7、和非线性相关： （1）当一个变量发生变动，另一个变量随之发生大致均等的变动(增加或减少)，从图形上看，其观测点的分布近似地表现为直线形式，就是线性相关。 （2）而当一个变量发生变动，另一个变量也随之发生变动(增加或减少)，但是这种变动不是均等的，从图形上看，其观察点的分布表现为各种不同的曲线形式，这种相关关系称为非线性相关。2022-2-12河北工程大学经济管理学院14 4、按变量多少划分分为单相关、复相关和偏相关：（1）单相关又称一元相关，是指两个变量之间的相关关系，即仅限于一个变量与另一个变量之间的依存关系。（2）复相关又称多元相关，是指三个或三个以上变量之间的相关关系。例如家庭的消费支出

8、与家庭收入水平及市场价格水平之间的关系便是一种复相关。2022-2-12河北工程大学经济管理学院154、按变量多少划分（3）在某一变量与多个变量相关时，当假定其他变量不变，其中两个变量的相关关系称为偏相关。例如在假定家庭收入水平不变的条件下，市场价格水平与家庭的消费支出的关系就是一种偏相关。2022-2-12河北工程大学经济管理学院165、按相关性质划分分为“真实相关”和“虚假相关”：（1）当两种现象间的相关确实具有内在的联系时，称之为“真实相关”。例如消费与收入的相关关系等。（2）当两种现象间的相关只是表面存在，实质没有内在联系时，称之为“虚假相关”。判断依据是实质性科学提供的知识。2022

9、-2-12河北工程大学经济管理学院17三、相关分析与回归分析三、相关分析与回归分析把握以下问题：1、相关分析与回归分析的概念；2、二者的联系；3、二者的区别；4、应用中注意局限性。2022-2-12河北工程大学经济管理学院18 1、相关分析与回归分析的概念 二者是研究现象尖相关关系的基本方法。 （1）相关分析（狭义）指用一个指标表明现象间相互依存关系的密切程度。 （2）回归分析：根据相关关系的具体形态，选择一个合适的数学模型来近似表达变量间的平均变化关系。2022-2-12河北工程大学经济管理学院19 2、二者的联系 二者有着密切的联系，它们具有共同的研究对象，在具体运用时需要互相补充。具体：

10、 （1）相关分析需要依靠回归分析表明现象数量相关的具体形式； （2）回归分析需要依靠相关分析来表明现象数量变化的相关程度，只有变量之间存在着高度相关时，进行回归分析寻求其相关的具体形式才有意义。因此，在一些统计学的相关书籍中，回归分析和相关分析也合并称为相关关系分析或广义的相关分析。2022-2-12河北工程大学经济管理学院203、二者的区别在研究目的和具体的研究方法上是有明显区别的，两者的主要区别在于： （1）相关分析研究变量间相关方向、程度，不能指出变量间相互关系的具体形式，也无法从一个变量的变化推测另一个变量的变化情况；而回归分析能确切地指出变量之间相互关系的具体形式，它可根据回归模型从

11、已知量估计和预测未知量。 2022-2-12河北工程大学经济管理学院21 3、二者的区别 （2）在相关分析中，不必确定自变量和因变量；而在回归分析中，必须事先确定哪个为自变量，哪个为因变量，而且只能从自变量去推测因变量，而不能从因变量去推断自变量。 （3）相关分析所涉及的变量一般都是随机变量；而回归分析中因变量是随机的，自变量则作为研究时给定的非随机变量。 2022-2-12河北工程大学经济管理学院22 4、应用中注意局限性 相关和回归分析是对现象间相关关系进行分析的有效的科学方法，但是它们有一定的局限性。在确定应用相关和回归分析之前，必须进行定性分析，运用足够的理论知识、专业知识和必要的经验

12、来判断现象之间是否具有真正的相关，是具有实质性的内在联系还是表面上的联系，还是一种偶然的巧合。 因此在应用相关和回归分析对客面现象进行研究时，一定要注意把定性分析和定量分析结合起来，在定性分析基础上开展相关和回归的定量分析。 2022-2-12河北工程大学经济管理学院23四、相关表和相关图相关分析中，通过绘制相关图和相关表，可以对现象之间存在的相关关系的方向、形式和密切程度作直观的、大致的判断。把握以下问题：1、相关表；2、相关图。2022-2-12河北工程大学经济管理学院241、相关表 （1）相关表是一种反映变量见相关关系的统计表。 研究现象之间的依存关系，首先要通过实际调查取得一系列成对的

13、数据，作为相关分析的原始资料。将某一变量按其数值的大小顺序排列，然后再将与其相关的另一变量的对应值平行排列，便可得到简单的相关表。 2022-2-12河北工程大学经济管理学院25 1、相关表 （2）例如假设对10户居民家庭的月可支配收入和消费指出进行调查，得到原始资料如表 表8-1 居民收入和消费的原始资料 单位：百元 根据原始资料，将消费支出从小到大排序，得到表居民家庭编号 1 2 3 4 5 6 7 8 9 10 消费支出 20 15 40 30 42 60 65 70 53 78可支配收入 25 18 60 45 62 88 92 99 75 982022-2-12河北工程大学经济管理学

14、院26 1、相关表 （2）表8-2 居民消费和收入的相关表 单位：百元 从表中看出，随着可支配收入的提高，居民的消费支出也有相应提高的趋势，二者存在明显的正相关关系。消费支出 15 20 30 40 42 53 60 65 70 78可支配收入 18 25 45 60 62 75 88 92 99 982022-2-12河北工程大学经济管理学院272、相关图相关图又称散点图或散布图，是以直角坐标系的横轴代表变量X，纵轴代表变量Y，将两变量相对应的成对的数据用坐标点的形式描绘出来，用于反映两变量之间相关关系的图形。由表8-2的资料绘制的相关图如图8-1所示。2022-2-12河北工程大学经济管理

15、学院28图8-1图8 -1 居 民消费和收入的相关图0102030405060708090020406080100120可支配收入消费支出z从图看出，居民的消费支出与可支配收入之间呈现正线性相关关系2022-2-12河北工程大学经济管理学院29 第二节 一元线性回归分析 把握以下问题： 一、标准的一元线性回归模型； 二、一元线性回归模型的估计； 三、一元线性回归模型拟合程度评价。2022-2-12河北工程大学经济管理学院30一、标准的一元线性回归模型 把握以下问题： 1、总体回归函数； 2、样本回归函数； 3、样本回归函数与总体回归函数的区别； 4、误差项的标准假定。2022-2-12河北工程

16、大学经济管理学院31 1、总体回归函数 （1）一元线性回归模型指只有一个因变量和一个自变量的线性回归模型，又称简单线性回归模型。 假定因变量Y主要受自变量X的影响，二者间存在近似的线性函数关系有 该式被称为总体回归函数，式中 是未知的参数，又叫回归系数。Yt和Xt分别是Y和X的第t次观测值。 是随机误差项，又叫随机干扰项，它是一个特殊的随机变量，反映未列入方程式的其他各种因素对Y的影响。) 1 . 8(21tttXY21,t2022-2-12河北工程大学经济管理学院32 1、总体回归函数 （2）举例说明：消费函数 式中Yt表示消费支出， Xt表示可支配收入。 为基础消费水平的支出，不受可支配收

17、入的影响， 为边际消费倾向，表明可支配收入每增加一个单位，消费支出增加的数量。此处，可支配收入是决定消费支出的主要因素，图中可表示为一条直线，但现实中确定型的消费函数很难成立，原因是除收入外还有各种因素影响消费支出。ttXY21212022-2-12河北工程大学经济管理学院33 1、总体回归函数 （3）实际中，只能平均看来消费支出与可支配收入的关系能用直线反映，用数学形式表示为： 上式表明：在X的值给定下， Y的期望值是严密的线性函数，这条直线被称为回归直线。 Y的实际值不一定在该直线上，只是散布在直线的周围。我们把实际观测点与总体回归线垂直方向的间隔称为随机误差项，即) 3 . 8()(21

18、ttXYEttttttttXYEYYEY21)()4 . 8)(则2022-2-12河北工程大学经济管理学院342、样本回归函数 （1）总体回归函数事实是未知的，用样本信息进行估计。 根据样本数据拟合的直线称为样本回归直线，如果是拟合的是曲线，则称为样本回归曲线。其函数形式与总体回归线的形式相同，表示为： 式中 是样本回归线上与Xt相对应的Y值，可视为E（Yt）的估计； 是样本回归函数的截距系数， 是样本回归函数的斜率系数，它们是对总体回归系数 的估计。121,tY2)5 .8(21ttXY2022-2-12河北工程大学经济管理学院35 2、样本回归函数（2）实际观测的Yt不完全等于 ，如果e

19、t表示二者之差（ et = Yt - ），则有：上式称为样本回归函数。式中et称为残差，et与 相互对应；n为样本的容量。tYtY)6 .8.(,2, 1,21nteXYtttt2022-2-12河北工程大学经济管理学院36 3、样本回归函数与总体回归函数的区别 （1）总体回归函数未知，它只有一条。样本回归线是根据样本数据拟合的，每抽取一组样本，可以拟合一条样本回归线； （2）总体回归函数中的 是未知的参数，表现为常数，样本回归函数中的 和 是随机变量，其具体数值随抽取的样本观测值不同而变动； （3）总体回归函数中的 是Yt与未知的总体回归线间的纵向距离，它不可直接观测，而样本回归函数中et是

20、Yt与样本回归线间的纵向距离，可以计算et具体数值。21,12t2022-2-12河北工程大学经济管理学院37 4、误差项的标准假定随机误差项 是无法直接观测的。为了进行回归分析，对其概率分布提出假定：（1）误差项的期望值为0，即（2）误差项的方差为常数，即（3）误差项之间不存在序列相关关系，其协方差为0，即当ts时有：（4）自变量是给定的变量，与随机误差项线性无关。t0)(tE22)()(ttEVar0)()(ststECov2022-2-12河北工程大学经济管理学院38 4、误差项的标准假定 （5）随机误差项服从正态分布。 以上假定是德国数学家高斯最早提出，又称高斯假定。 满足以上标准假定

21、的一元线性回归模型，称为标准的一元线性回归模型。2022-2-12河北工程大学经济管理学院39二、一元线性回归模型的估计 把握以下问题： 1、回归系数的估计； 2、总体方差的估计； 3、最小二乘估计量的性质。2022-2-12河北工程大学经济管理学院40 1、回归系数的估计 （1）根据样本资料确定样本回归方程时，一般希望Y的估计值尽可能接近其真实值，即et的总量越小越好，但有正负，代数和为0（ et =0），通常用 et2作为衡量总偏差的尺度。所谓最小二乘法根据这一思路，使残差平方和最小来估计回归系数。 （2）设 为使Q最小，对 求偏导数，令其为0，得：22122)()(tttttXYYYeQ

22、122022-2-12河北工程大学经济管理学院411、回归系数的估计（2）整理后有：称为标准方程组，n为样本容量，解方程组得：00)(200)(2212211tttttttteXXYXQeXYQ即即22121ttttttXXYXXnY_2_2122222/)(11)(XYnXnYXnXYXnYXXXnYXYXntttttttttttttt2022-2-12河北工程大学经济管理学院421、回归系数的估计 （3）可以证明： 证明： 设 得到：222_)(1)(tttXnXXX222222_22_22_22_)(1)()()(2)(2)(tttttttttXnXnXnXXnXXnXnXXXnXXXX

23、XttttttxytttyytttxxYXnYXYYXXLYnYYYLXnXXXL1)()(1)()(1)(_222_222_xxxyLL22022-2-12河北工程大学经济管理学院43例8-1 根据15个居民家庭的人均月食品支出与人均月收入水平的数据，估计食品支出的恩格尔函数。 解：最简单的恩格尔函数假定在商品价格不变的条件下，实际的食品支出Y与实际的收入水平X间的关系可以用一元线性回归模型反映。根据Y和X的数据计算有关统计量，列在表8-3中（表略），将有关合计数代入公式得：9878.91515161802.0154231802.0151616365415423151644632151222

24、022-2-12河北工程大学经济管理学院44例8-1 解：该例中 得到 同样 样本回归方程为：ttXY1802.099.980.1880423151615144632140.38242315112311)(193.10436151615163654)(1222222ttttxyttyyttxxYXnYXLYnYLXnXL1802.093.1043680.18802xxxyLL9878.912022-2-12河北工程大学经济管理学院45例8-1 解：上式中：0.1802表示收入每增加1元,食品支出会增加0.1802元;9.9878表示即使在收入为0的情况下,食品支出也需要9.99元。根据该式计算

25、的食品支出在总收入中平均所占比重为: 上式中 即所谓恩格尔系数,本例中，恩格尔系数随着Xt的增加而递减,与恩格尔定律一致。1802.0/99.9/tttXXYttXY /2022-2-12河北工程大学经济管理学院46 2、总体方差的估计 （1）在一元线性回归模型中还包括另一个参数，即总体随机误差项的方差（ ），它可以反映模型误差的大小，本身不能直接测得，用最小二乘残差et代替随机误差项 来估计 。 的无偏估计S2由下式给出： S2= et2/n-2，式中分子是残差平方和，分母是自由度，n是样本观测值的个数，2是一元线性回归方程中回归系数的个数。模型中残差满足两个约束条件： 因而失去两个自由度，

26、所以自由度为n-22)(tVart220,0ttteXe2022-2-12河北工程大学经济管理学院47 2、总体方差的估计 （2） S2的正平方根又叫做回归估计的标准误差。S越小表明实际观测点与所拟合的样本回归线的离差程度越小，即回归线具有较强的代表性；反之，S越大表明实际观测点与所拟合的样本线的离差程度越大，即回归线的代表性较差。 （3）一般计算S2时，残差平方和用下式计算：tttttYXYYe21222022-2-12河北工程大学经济管理学院48例8-2 根据例8-1中的有关数据计算食品支出恩格尔函数的总体方差S2和回归估计标准误差S。 解：已知 将有关数据代入公式得： 又得到： S2=

27、43.47/(15-2)=3.3438 有S =1.828644632,423,123112ttttYXYY27.43446321802. 04239878. 9123112te2022-2-12河北工程大学经济管理学院49 3、最小二乘估计量的性质 (1) 用最小二乘法求得的 值是样本观测值的函数,通常称之为最小二乘估计量,它们的形式不变,但因样本不同而不同，是一种随机变量。可以证明在标准假定满足下，回归系数的最小二乘估计量的期望值等于其真值，即 其方差为：1222)(E11)(E2_222_21)()()(1()(XXVarXXXnVartt2022-2-12河北工程大学经济管理学院50

28、3、最小二乘估计量的性质（2）最小二乘估计量是总体回归系数的线性无偏估计量，还可以证明，其方差最小，同时随着样本容量的增大，其方差不断缩小，也就是说，回归系数的最小二乘估计量是最优线性无偏估计量和一致估计量。 这由数学家高斯和马尔可夫提出并证明，被称为高斯-马尔可夫定理，表明在标准假定下，最小二乘估计量是一种最佳的估计方式。2022-2-12河北工程大学经济管理学院51三、一元线性回归模型拟合程度评价 把握以下问题： 1、回归模型检验的种类； 2、拟合程度的概念； 3、总离差平方和的分解； 4、可决系数及其性质。2022-2-12河北工程大学经济管理学院52 1、回归模型检验的种类 包括理论意

29、义检验、一级检验和二级检验。 （1）理论意义检验涉及参数估计值符号和取值区间，检验是否与实质性科学的理论及人们的实践经验相符。 （2）一级检验又称统计学检验，利用统计学中的抽样理论来检验样本回归方程的可靠性，具体又分为拟合程度评价和显著性检验。 （3）二级检验又称经济计量学检验，是对标准线性回归模型的假定条件能否得到满足进行检验，包括序列相关检验、异方差检验。2022-2-12河北工程大学经济管理学院53 2、拟合程度的概念 拟合程度是指样本观测值聚集在样本回归线周围的紧密程度。 判断回归模型拟合程度优劣最常用的数量指标是 可决系数（又称决定系数）。该指标建立在对总离差平方和分解的基础上。20

30、22-2-12河北工程大学经济管理学院543、总离差平方和的分解 (1)因变量的实际观测值与其样本平均数之间的离差称作总离差，即： 可以分解为两部分：一是因变量的理论回归值与其样本均值的离差 ，表示能用回归直线解释的部分，称为可解释离差；二是实际观测值与理论回归值的离差 它是不能由回归直线解释的残差et。对任一实际观测值总有：_YYt_YYtttYYtttttteYYYYYYYY)()()()(_2022-2-12河北工程大学经济管理学院55 3、总离差平方和的分解 （2）用图表示： XY0_YYtttYY_YYt_YttXY21tY2022-2-12河北工程大学经济管理学院563、总离差平方

31、和的分解 （3）将总离差式子左右平方求和，得 证明： 从而有)(2)()()()()(_22_2_2_ttttttttttYYYYYYYYYYYYYY0)(2_tttYYYY0)()()()()()(22_2_22_2_221_2121_xxxxxyxyttttttttttttLLLLXXYYXXXXYYXXXYXXYYYY22_2_)()()(ttttYYYYYY2022-2-12河北工程大学经济管理学院57 3、总离差平方和的分解 （4）由上得：SST=SSR+SSE 式中SST是总的离差平方和；SSR是回归直线可以解释的离差平方和，称为回归平方和；SSE是回归直线无法解释的离差平方和，称

32、为剩余残差平方和，又称残差平方和。 又有 则 估计标准误差SSTYYLtyy2_)(SSEYYettt22)(xyxxxxxytttLLLLXXXXYYSSR222_222_21212_)()()(xyyytLLeSSE222222nLLneSxyyyt2022-2-12河北工程大学经济管理学院584、可决系数及其性质 （1）由 SST=SSR+SSE得 1= SSR/ SST+ SSE /SST，可见各样本观测点与样本回归线靠得越近， SSR在SST所占比例越大，将其定义为可决系数，即 r2= SSR/ SST=1- SSE /SST= 它是对回归模型拟合程度的综合度量，可决系数越大，模型拟

33、合越高。可决系数越小，则模型对样本的拟合程度越差。yyxyLL22022-2-12河北工程大学经济管理学院594、可决系数及其性质 （2）性质：A、具有非负性； B、取值范围0 r2 1，当所有观测值在回归线上时， SSE=0， r2 =1，说明总离差完全可以由样本直线解释，当观测值不全在样本线上时， SSE0， r21 ，当回归直线没有解释任何离差，总离差平方和等于残差平方和，则r2=0； C、它是样本观测值的函数，也是统计量。2022-2-12河北工程大学经济管理学院60例8-3 利用例8-2中计算的残差平方和，计算例8-1拟合的样本回归系数的可决系数。 解：r2= SSR/ SST=1-

34、 SSE /SST=0.8863 还可以利用公式r2 = =0.18021880.80/382.40=0.8863 此外例8-2中的估计标准误差yyxyLL28288. 1134798.4321580.18801802. 040.3822222nLLneSxyyyt2022-2-12河北工程大学经济管理学院61 第三节 相关分析 把握以下问题: 一、相关系数概念； 二、相关系数与可决系数； 三、例8-102022-2-12河北工程大学经济管理学院62一、相关系数概念 把握以下问题： 1、相关系数的定义； 2、总体相关系数的定义式； 3、样本相关系数的定义公式。2022-2-12河北工程大学经济

35、管理学院631、相关系数的定义 单相关分析是对两个变量间的相关程度进行分析。单相关分析所用的指标称为单相关系数简称相关系数。 通常用 表示总体的相关系数，以r表示样本的相关系数。2022-2-12河北工程大学经济管理学院642、总体相关系数的定义式 式中，Cov（X，Y）是变量X和Y的协方差；Var（X）、Var（Y）分别为变量X和Y的方差。 总体相关系数是反映两变量之间线性相关程度的一种特征值，表现为一个常数。)81. 8()()(),(YVarXVarYXCov2022-2-12河北工程大学经济管理学院65 3、样本相关系数的定义公式 （1） 样本相关系数是根据样本观测值计算的，抽取的样本不同，其具体数值有差异，它是总体相关系数的一致估计量。)82. 8 ()()()(2_2_yyxxxyttttLLLYYXXY