厦门大学精品课程统计学相关与回归分析知识点讲义

1、点第七章相关与回归分析n 第一节n 第二节n 第三节n 第四节相关与回归分析的基本概念简单线性相关与回归分析多元线性相关与回归分析非线性相关与回归分析7-1点第一节相关与回归分析的基本概念一、函数与相关7-21.函数当一个或几个变量取一定的值时，另一个变量有确定值与之相对应，我们称这种 为确定性的函数 。点（函数）（1） 是一一对应的确定（2） 设有两个变量 x 和 y ， 变量 y 随变量 x 一起变化， 并完全依赖于 x ，当变量x 取某个数值时， y 依确y 定的取相应的值，则 称 y 是 x 的函数，记为 y= f (x)，其中 x 称为自变量，y 称为因变量（3）各观测点落在一条线上

2、 x7-3点变量间的（函数）Æ 函数的例子§某种商品的销售额(y)与销售量(x)之间的关系可表示为 y = p x (p 为单价)表示为S =§圆的面积(S)与半径之间的p r2§企业的原材料消耗额(y)与产量(x1) 、量消耗(x2) 、原材料价格(x3)之间的表示为y = x1 x2 x3产7-4点2. 相关： 当一个或几个相互的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但它仍按某种规律在一定的范围内变化。现象之间客观的不严格、不确定的数量依存。7-5点变量间的（相关）（1）变量间不能用函数关系精确表达；（2） 一个变量的取值不能由另一个

3、变量唯一确定；（3） 当变量 x 取某个值时，变量 y 的取值可能有几个；（4） 各观测点分布在直线周围7-6y 。 x点（相关的例子）Æ 相关§§§§商品的消费量(y)与居民收入(x)之间的商品的消费量(y)与物价(x)之间的商品销售额(y)与(x)之间的费粮食亩产量(y)与施肥量(x1) 、降雨量(x2) 、温度(x3)之间的收入水平(y)与受教育程度(x)之间的§§父亲身高(y)与身高(x)之间的7-7点二、相关的种类(2)(3)(1)(4)图中（1 ）、（）2 为线性相关，（3 ）、（）4 为非线性相关。n 1.按相

4、关的程度划分可分为完全相关，全相关和不相关。n 2.按相关形式划分可以分为线性相关和非线性相关。7-8点3.按相关的方向划分可分为正相关和负相关（1）正相关：两个相关现象间，当一个变量的数值增加（或减少）时，另一个变量的数值也随之增加（或减少），即同方向变化。例如收入与消费的。（2）负相关：当一个变量的数值增加（或减少）时，而另一个变量的数值相反地呈减少（或增加）趋势变化，即反方向变化。例如物价与消费的。7-9点4.按相关涉及的变量多少划分分为单相关、复相关和偏相关。两个变量之间的相关，称为单相关。当所研究的是一个变量对两个或两个以上其他变量nn的相关时，称为复相关。例如，某种商品的需求与其价

5、格水平以及收入水平之间的相关一种复相关。便是在某一现象与多种现象相关的场合，假定其他变量n不变，专门其中两个变量的相关称为偏相关。例如，在假定人们的收入水平不变的条件下，某种商品的需求与其价格水平的关。就是一种偏相消费物价收入7-10点三、相关分析与回归分析（一）概念：是指对具有相关的现象，根据其相关的具体形态，选择一个合适的数学模型（称为回归方程式），用来近似地表达变量间的平均变化的一种统计分析。7-11指标的密切相关和回来表程度明现象间相互。广义的相关的分析（狭义的分析。归点（二）相关分析与回归分析的区别1.在相关分析中，不必确定自变量和因变量；而在回归分析中，必须事先确定哪个为自变量，哪

6、个为因变量，而且只能从自变量去推测因变量，而不能从因变量去推断自变量。n2.相关分析不能指出变量间相互的具体n形式；而回归分析能确切的指出变量之间相互的具体形式，它可根据回归模型从已知量估计和未知量。3.相关分析所涉及的变量一般都是随量，n而回归分析中因变量是随机的，自变量则作为研究时给定的非随量。7-12点（三）相关分析与回归分析的相关分析和回归分析有着密切的，它们n不仅具有共同的研究对象，而且在具体应用时，常常必须互相补充。相关分析需要依靠回归分析来表明现象数量相关的具体形式， 而回归分析则需要依靠相关分析来表明现象数量变化的相关程度。只有当变量之间着高度相关时，进行回归分析寻求其相关的具

7、体形式才有意义。简单说：1、相关分析是回归分析的基础和前提；2、回归分析是相关分析的深入和继续。n7-13点7-14四、相关的点(一)相关表：将自变量x的数值按照从小到大的顺序， 并配合因变量y的数值一一对应而平行排列的表。例：为了研究分析某种劳务完成量与其成本之30个同类服务公司得到的原始数据如表。间的，整理后有404040405050505050508080808080完成量（小时）成本（元/小时）1515151614141515151614141414157-15完成量（小时）202020202020202020303030303040成本（元/小时）151616161618181818

8、151515161614完成量（小时）205020305020504020804020508030成本（元/小时）161618161518151416141516141515完成量（小时） 203020204030408080504030208050成本（元/小时） 181616151615151414151516181414点( 二)相关图：又称散点图。将x置于横轴上，y置于纵轴上，将（x,y）绘于坐标图上。用来反映两变量之间相关的图形。403020100020406080100费（万元）7-16销售收入（百万元）费（万元）3033334056586572808090年销售收入（百万元）12

9、12121314142022262630点第二节简单线性相关与回归分析一、相(一)相数及其检验数的定义1.简单相量之间相关数：性条件下说明两个变密切程度的统计分析指标，简称相若相数。数是根据总体全部数据计算的，数，记为r称为总体相若是根据样本数据计算的，则称为样本相数，记为 r7-17点总体相数的定义式是：Cov(,X)Y（7.1）Var(X)V(ar)Y式中，Cov（X，Y）是变量 X 和 Y 的协方差；Var(X)和 Var(Y)分别为变量 X 和 Y 的方差。总体相数是反映两变量之间线性相关程度的一种特征值，表现为一个常数。7-18点样本相数的定义公式是：-X)( tY-X(å

10、)Y（7.2）r =t-X )2 å( Y-2X(å)Ytt上式中， X 和Y 分别是和的样本平均数。样本相数是根据样本观测值计算的，抽取的样本不同，其具体的数值也会有所差异。容易证明，样本相数是总体相数的一致估计量。7-19点样本相数的定义公式实质s 2r =xys sxyx - x)( y - yn=(å)，是变量y式中：s 2x和xy的协方差。x)2 ，是变量-nå（xxys=。的标准差xy)2 ，是变量-nå(ys=的标准差。y7-20点(二)相数的特点1. 的取值介于与之间， r 的取值范围是 -1,12. 在大多数情况下，|，即与的

11、样本，当时，观测值之间着一定的线性与为正相关，当时，与为负相关。|的数值愈接近于1，表示x与y直线相关程度愈高；反之， |的数值愈接近于0，表示x与y直的标准是: |0.3线相关程度愈低。通常称为微弱相关，0.3 |0.5称为低度相关， 0. |0.8称为显著相关 ，0.8 |1称为高度相关或强相关。7-21点3.如果|=1，则表明与完全线性相关， 当=1时，称为完全正相关，而=-1时，称为完全负相关。4.是对变量之间线性相关的度量。=0只是表明两个变量之间不它并不意味着与之间不。线性其他类型的，7-22点相关的测度（相数取值及其意义）无线性相关完全负相关完全正相关-1.0-0.50r+0.5

12、+1.0负相关程度增加正相关程度增加7-23点(三)相数的计算1xy-xx - x)( y -åy( -)(y-)=å(å)xxyåy år =n2 y)å2 å- x )( y -(xån1(-y2) = åy2yå)2y(-nLxyLxyn=åx(y-å x)×(å y)r =LxxLyy=L计算相数y2)2åy=Lyy n å(-的“积差法”7-241(-xå)2点例：下表是有关15个地区某种需求量和地区人口增加量的资料

13、。编号人口增长 量（）x年 需 求量（十吨）yx2y 2xy7-25124678910111213274375205862659833053430372236370162223131671698119255252234144212750764202573967022596041089002809556962624444892856165613686413456302520736106094438883625576244785793863360226202915108360870483398416171784401415合计362622611067614395039647851点LLLQxy n

14、=åx-y å 1å5 y x=´64376825-61´ 2261= 15193795´1067614 - 36262 = 2866334yy= n å 2 y (-1å5) 2=y´39503-922612 = 813464Lr =xy=15193790.=9950Lxx×L yy2866334 ´ 81346467-2编号人口增长 量（）x年 需 求量（十吨）yx 2y 2xy计合26 36126 214766109 03539185764点计算公式还可以有：-x)( y-(x&

15、#229;y)r =(xå - x )2 å ( y -2y)-x)( y-(xåy)x - x)(y - y=( å)n/ =n2y)x( å-x )2 å (y-/n(x- x)2- y)2(y× åånnå xy - å x ×å yxy - x× y=sns s nn=sxyxy7-27点（四）相数的显著性检验1、检验两个变量之间是否线性相关n2、采用 t 检验3、检验的步骤为nn提出假设：H0：r = 0 ；H1： r ¹ 0nn- 2

16、r计算检验的统计量：t = 1 - r 2确定显著性水平a，并作出决策 若|t|>ta/2，拒绝H0 若|t|<ta/2，接受H0n-t (2)nn7-28点相数的显著性检验（实例）Æ 对前例计算的相(a=0.05)提出假设：H0：r = 0 ；H1： r ¹ 0计算检验的统计量数进行显著性检n1.2.995´015-20t =. 48».3850 -.9952013. 根据显著性水平a0.05，查t分布表得ta/2(n-2)=2.160§ 由于|t|=48.385>ta/2(15-2)=2.160，拒绝H0，该种需求量和地区

17、人口增加量之间的相关显著。97-2点二、简单线性回归分析什么是回归分析？（内容）从一组样本数据出发，确定变量之间的数学式1.对这些式的程度进行各种统计检验，2.并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著利用所求的式，根据一个或几个变量的另一个特定变量的取值，3.取值来并给出这种或或的精确程度7-30点回归模型与回归方程点回归模型回答“变量之间是什么样的方程中运用？”1.2.1 个数字的因变量(响应变量)n被的变量n1 个或多个数字的或分类的自变量 (解释变量)n用于的变量和估计n3.主要用于7-32点回归模型的类型一个自两个及两个以上自变量7-33非线性回归线性回归非线

18、性回归线性回归多元回归一元回归回归模型变量点一元线性回归模型（概念要点）当只涉及一个自变量时称为一元回归，若因变1.量 y 与自变量 x 之间为线性性回归。时称为一元线对于具有线性的两个变量，可以用一条线2.性方程来表示它们之间的。描述因变量 y 如何依赖于自变量 x 和误差项e 的方程称为回归模型。3.7-34点标准的一元线性回归模型n (一)总体回归函数t01tut（7.5）u t是随机误差项，又称随机干扰项，它是一个特殊的随量，反映未列入方程式的其他各种因素对的影响。n (二)样本回归函数:b0Xb+Y=t+te（，.n)1t称为残差，在概念上，t与总体误差项ut相互对应；是样本的容量。

19、7-35点一元线性回归模型（概念要点）对于只涉及一个自变量的简单线性回归模型可表示Æyt = b0 + b1 x + et为模型中，y 是 x 的线性函数(部分)加上误差项线性部分反映了由于 x 的变化而引起的 y 的变化Æn误差项 et 是随量n反映了除 x 和 y 之间的线性素对 y 的影响是不能由 x 和 y 之间的线性性b0 和 b1 称为模型的参数之外的随机因n所解释的变异nn7-36点样本回归函数与总体回归函数区别1、总体回归线是未知的，只有一条。样本回归线是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。2、总体回归函数中的1和2是未知的参数，表

20、现为常数。而样本回归函数中的是随量，其具体数值随所抽取的样本观测值不b同 b而和变动。123、总体回归函数中的ut是t与未知的总体回归线之间的纵向距离，它是不可直接观测的。而样本回归函数中的t是t与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，可以计算出t的具体数值。7-37点（三）误差项的基本标准假定误差项ut 是一个期望值为0 的随量，即1.E(ut)=0。对于一个给定的 x 值，y 的期望值为E ( yt ) =b 0+ b1 xt对于所有的 x 值，ut的方差2 都相同误差项ut是一个服从正态分布的随2.量，且3.。即uN( 0 ,2 )性意味着对于一个特定的 x值，

21、它所对应的u与其他 x 值所对应的u不相关对于一个特定的 x 值，它所对应的 yt值与其他 xt所对应的 y 值也不相关相互nn7-38点总体回归线与随机误差项P168Y。Yt（ ） utt12t。 。X7-39点（四）回归方程 （概念要点）描述 y 的平均值或期望值如何依赖于 x 的方程称为回归方程。简单线性回归方程的形式如下E( y ) = b0+ b1 x方程的图示是一条直线，因此也称为直线回归方程b0是回归直线在 y 轴上的截距，是当 x=0 时 y的期望值b1是直线的斜率，称为回归系数，表示当 x 每1.2.§§§时，y 的平均变动值变动一个7-40点估

22、计(经验)的回归方程总体回归参数 b 0 和b 1 是未知的，必需利用样1.本数据去估计用样本统计量b0和 b代12.替回归方程中的未知参数b0和 b 1，就得到了估计的回归方程。3.简单线性回归中估计的回归方程为y= b0 b +x1其中：b0是估计的回归直线在 y 轴上的截距，b1是直线的斜率，它表示对于一个给定的 x 的值，是 y 的估计值，也表示 x 每变动一个时， y 的平均变动值。7-41点三、参数 b0 和 b1 的最小二乘估计点（一）最小二乘法（概念要点）1.使因变量的观察值与估计值之间的离差平方和达到最小来求得 b0和 b1的。即nnQb( b,=) å y ( -

23、å=e 最=小y)2201iii=1i=12.用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小。7-43点最小二乘法（图示）y(xn , yn)y = bb + x01(x2 , y2)e = y -yiii(xi , yi)(x , y )11x7-44点3、回归系数的估计的最小二乘法公式å (Yb-Xb-= å ( Y-)2 Y=)2Q设=2tået01ttt等于零，可得:将对求偏导数，并¶Q=b-X) 0b-2 å Y(¶bt01t0¶Q1( Y-b -bX)= 2 å

24、X=0¶btt01tnb0åXb+= åYt1tn 加以整理后有：bYt7-45点最小二乘法（b 和b1的计算公式）0Æ 解方程组可得求解 b0 和 b1的标准方程如下：ì-æxöæönnnåxç å÷ç ånyyLiiii i =1è i =1øè i =1b xy 1- æçxönnLx 2åi =1è ånxxiiøíi =1nn&

25、#229;å x i i =1y iï b0b-b=i =1n×=yx11în7-46点例：现以前例的资料配合回归直线，计算如下：7-47编号人口增长量（）x年 需 求量（十吨）y14567891011121315274375205862659833019553430372236370223131671698119211655252234212合计36262261点LL=n = 15Qxy n=åx-y å 1å5 y x=´64376825-61´ 2261= 151937915´106761

26、4 - 36262 = 2866334Lb=xy=1519379.»53011L0xx2866334b -by×x= 2261-05301362´6.»5905010.22 15167-48编号人口增长 量（）x年 需 求量（十吨）yx 2y 2xy计合26 36126 214766109 03539185764点所以=y 2b2+b . x 5=905+0. x530101上式中b表示人口增加量每增加（或减少）1千人，该种食品的年需求量平均来说增加（或减少） 0.5301十吨即5.301吨。7-49点估计方程的求法（Excel的输出结果）SUMMARY

27、 OUTPUT回归统计Multiple0.995024bR Square0.990073Adjusted0.9893091标准误差6.435265观测值15Coefficien标准误差t StatP-valueLower 95%Upper 95%Intercept22.595953.9274455.7533446.67E-0514.1112231.08067X Variabl0.5300770.01472136.007312.08E-140.4982740.561881b07-50点（二）估计标准误差 Sy实际观察值与回归估计值离差平方和的均方根。反映实际观察值在回归直线周围的分散状况。从另一

28、个角度说明了回归直线的拟合程度。 计算公式为n1.2.3.4.åy()2- yii=i =1n - 2Sy由样本资料计算nåy()2- y由总体资料计算或在大样本情况下iiSy =i =1n7-51点- y)253=6åy(. 156. 06=444215 十吨(=S)7-52n - 2-Q2计算例子编号xyy = 22.5905+0.5301 xy(- y)2123456789101112274180375205862659833019553430372162120223131671698119211655252234167.8379118.0085221.37

29、80131.261068.1791163.067074.5403197.5235125.960050.6858250.5335219.7877.6947.8162.727533.92723.81222.48490.06811.236435.046641.496930.355198.970718.45841.9967201.836213.49257.777145.1054合计36262261536.0644点可得简化式：（P172）nnnnåy()2-b2åb×y- y-å×yåxyiii0i1iiSy =i =1n - 2=i =1i

30、 =1i =1n - 2上式的推导证明（P172）-´226-15301640´78.51.5905前例 S=y-6.=42157-53点了解（三）最小二乘估计量的性质（四）回归系数的区间估计7-54点四、一元线性回归模型的检验点（一） 回归模型检验的种类回归模型的检验理论意义检验、一级检验和检验。（二）拟合程度的评价n 所谓拟合程度，是指样本观测值在样本回归线周围的紧密程度。回归模型拟合程度优劣最常用的数量尺度是样本决定系数（又称决定系数）。它是建立在对总离差平方和进行分解的基础之上的。7-56点总离差平方和的分解因变量 y 的取值是不同的，y 取值的这种波动称为变差。变

31、差来源于两个方面：1.由于自变量 x 的取值不同造成的；除 x 以外的其他因素(如x对y的非线性影响、测量误差等)的影响。nn对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差y - y 来表示。2.7-57点离差平方和的分解（图示）y( xy-y,Äyi)iy = b0b +y - y1 xy -yyx离差分解图7-58点离差平方和的分解（三个平方和的）1.从图上看有=y(- )y+(- y)y -yy2.两端平方后求和有nnn+i =1- (=)2å y( i =1y)2)y( -åå2-yyyiiii =1总变差平方和（SST）回归

32、平方和（SSR）残差平方和（SSE）SST = SSR + SSE7-59点离差平方和的分解（三个平方和的意义）总平方和(SST)1.反映因变量的 n 个观察值与其均值的总离差n回归平方和(SSR)2.反映自变量 x 的变化对因变量 y 取值变化的影响，或者说，是由于 x 与 y 之间的线性关系引起的 y 的取值变化，也称为可解释的平方和。残差平方和(SSE)n3.反映除 x 以外的其他因素对 y 取值的影响，也称为不可解释的平方和或剩余平方和。n7-60点样本决定系数（判定系数 r2 ）回归平方和占总离差平方和的比例：1.nnå y( y)2=å y(y)2-iiSSRr

33、 2=i =1-i =11nånåi =1SSTy(y)2y( y)2-iii =12.3.4.反映回归直线的拟合程度取值范围在 0 , 1 之间r2 ®1，说明回归方程拟合的越好；r2®0，说明回归方程拟合的越差5.数的平方，即r2(r)2判定系数等于相17-6点（三）回归方程的显著性检验（线性的检验 ）检验自变量和因变量之间的线性显著是否1.是将回归离差平方和(SSR)同剩余具体2.离差平方和(SSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间如果不显著，两个变量之间不线性线性§§7-62点回归方程

34、的显著性检验（检验的步骤）提出假设1.H0：线性不显著n2.计算检验统计量Fnåy( i=y)2-1iSSR 1F =, n-1F(12)- 2nnåSSEy (-y)2n-2ii=1确定显著性水平a，并根据3.度1和分度n-2找出临界值F a母作出决策：若F³F a,拒绝H0；若F<F a,接受H04.37-6点回归方程的显著性检验（方差分析表）（续前例）Excel 输出的方差分析表e7-64方差分析dfSSMSFgnificanc回归分析1189191.9189191.91296.5262.08E-14残差131896.988145.9222总计1419

35、1088.9点回归系数的显著性检验（要点）1. 检验 x 与 y 之间是否具有线性，或者说，检验自变量 x 对因变量 y 的影响是否显著2. 理论基础是回归系数 b1的抽样分布3. 在一元线性回归中，等价于回归方程的显著性检验7-65点回归系数的显著性检验b的分布）（样本统计量1b1.是根据最小二乘法求出的样本统计量，它的分布的分布具有如下性质1有b2.1§§§分布形式：正态分布Eb( )b=数学期望：s11s b=标准差：-x)2å(x1i由于s无未知，需用其估计量Sy来代替得到§bSy的估计的标准差Sb=1-2å(xx)1i7-6

36、6点回归系数的显著性检验（样本统计量b 的分布）1b的抽样分布1Sy=Sb1-x)2å(xib1Eb( )b=117-67点回归系数的显著性检验（步骤）1.提出假设n H0: b1 = 0 (没有线性n H1: b1 ¹ 0 (有线性计算检验的统计量)2.b1t =n -t (2)Sb1确定显著性水平a，并进行决策3.§ú tú>ta/2，拒绝H0；ú tú<ta/2，接受H07-68点回归系数的显著性检验（实例）?对前例的回归系数进行显著性检验(a0.05)提出假设1.H0：b1 = 0H1：b1 ¹

37、 0人均收入与人均消费之间无线性人均收入与人均消费之间有线性nn计算检验的统计量2.t = 0.5263865 = .0758293541603482714.3.t=65.0758>ta/2=2.201，拒绝H0，表明人均收入与人均消费之间有线性7-69点回归系数的显著性检验(Excel输出的结果）Sy (x 2 )1 n=S=0+nSSybbn1-2-2å(xå(xx)x)iii =1i =1b39-.8047= 0 tb8 S.b41804900=1b.867789= 1 tb0S.0518721b1Coefficien标准误差t StatP-value 下限95

38、.0上限 95.0Intercept -39.80478.418049-4.72850.000394-57.9908-21.6186XVariabl 1.8677890.05187236.007312.08E-141.7557251.9798537-70点及应用点利用回归方程进行估计和根据自变量 x 的取值估计或的取值因变量 y1.估计或的类型2.点估计n y 的平均值的点估计n y 的个别值的点估计区间估计n y 的平均值的置信区间估计nnn y 的个别值的区间估计7-72点利用回归方程进行估计和（点估计）1.对于自变量 x 的一个给定值x0 ，根据回归方程y0得到因变量 y 的一个估计值2

39、. 点估计值3.在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同7-73点利用回归方程进行估计和（点估计）y 的平均值的点估计?n利用估计的回归方程，对于自变量 x的一个给定值 x0 ，求出因变量 y 的平均值的一个估计值E(y0) ，就是平均值的点估计。1.7-74点根据回归方程，可以给出自变量的某一数值来估计或因变量平均可能值。例如，前例中当人口增长量为400时，该食品的年需求量为y0=234即53+016吨30。5´4=005905.十2吨34.7-75点利用回归方程进行估计和（区间估计）点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计对于自变量 x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计区间区间估计有两种类型1.2.3.置信区间估计区间估计nn7-76点利用回归方程进行估计和（置信区间估计）?y 的平均值的置信区间估计利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值E(y0)的估计区间 ，这一估计区间称为置信区间E(y0) 在1-a置信水平下的置信区间为n1.2.x(x)2-1n±n- 2+0yt() Sa20ynå()式中： S 为2