统计学第10讲相关与回归分析白含检验ppt课件

1、 第第8 8章章 相关与回归分析相关与回归分析8.1 相关与回归的根本概念8.2 简单线性相关与回归分析8.3 多元线性相关与回归分析选讲8.4 非线性相关与回归分析学习目的1. 1. 变量间的相关关系与相关系数的计算变量间的相关关系与相关系数的计算2. 2. 总体回归函数与样本回归函数总体回归函数与样本回归函数3. 3. 线性回归的根本假定线性回归的根本假定4. 4. 简单线性回归参数的估计与检验简单线性回归参数的估计与检验5. 5. 常用的可以转换为线性回归的非线性函数常用的可以转换为线性回归的非线性函数6. 6. 非线性相关指数非线性相关指数学习重点o相关系数的计算相关系数的计算o相关分

2、析与回归分析的联络与区别相关分析与回归分析的联络与区别o总体回归函数与样本回归函数总体回归函数与样本回归函数o线性回归的根本假定线性回归的根本假定o简单线性回归参数的估计与检验简单线性回归参数的估计与检验o非线性相关指数非线性相关指数学习难点o总体回归函数与样本回归函数的联络与区总体回归函数与样本回归函数的联络与区别别o线性回归的根本假定线性回归的根本假定o简单线性回归参数的估计与检验简单线性回归参数的估计与检验o常用的可以转换为线性回归的非线性函数常用的可以转换为线性回归的非线性函数授课学时o6学时10.1 10.1 相关与回归的根本概念相关与回归的根本概念一、变量间的相互关系二、相关关系的

3、类型三、相关分析与回归分析 一、变量间的相互关系一、变量间的相互关系 确定性的函数关系 Y=f (X)不确定性的统计关系相关关系 相关关系是指变量之间存在一定的相依关系，但又不是确定的和严厉依存的。 Y= fX，u (u为随机变量)如广告费用 X 与销售收入 Y 之间的关系，居民的可支配收入 X 与居民的消费支出 Y 之间的关系没有关系 变量间关系的图形描画： 坐标图(散点图) 二、相关关系特点二、相关关系特点1变量间关系不能用函数关系准确表达；变量间关系不能用函数关系准确表达；2一个变量的取值不能由另一个变量独一确定；当一个变量的取值不能由另一个变量独一确定；当变量变量 x 取某个值的时候，

4、变量取某个值的时候，变量 y 的取值能够有几个；的取值能够有几个；3各观测点各观测点x，y分布在某条线的周围。分布在某条线的周围。 相关关系的例子相关关系的例子商品的消费量商品的消费量(y)与居民收入与居民收入(x)之间的关系之间的关系商品的消费量商品的消费量(y)与物价与物价(x)之间的关系之间的关系商品销售额商品销售额(y)与广告费支出与广告费支出(x)之间的关系之间的关系粮食亩产量粮食亩产量(y)与施肥量与施肥量(x1) 、降雨量、降雨量(x2) 、温度、温度(x3)之间的关系之间的关系收入程度收入程度(y)与受教育程度与受教育程度(x)之间的关系之间的关系三、相关关系的类型三、相关关系

5、的类型1不完全相关。不完全相关。介于完全相关与不相关之间介于完全相关与不相关之间2完全相关函数关系完全相关函数关系一个变量的变化完全由另一个一个变量的变化完全由另一个变量的变化所确定变量的变化所确定3不相关不相关两个变量的变化相互之间完全两个变量的变化相互之间完全没有关系没有关系1线性相关。线性相关。2非线性相关。非线性相关。2.按相关的方式划分按相关的方式划分) 1 ()2() 3()4(1234图中（）（）为线性相关，（）（）为非线性相关。3.按相关的方向划分按相关的方向划分1正相关正相关 例如收入与消费的关例如收入与消费的关系。系。2负相关负相关 例如物价与消费的关例如物价与消费的关系。

6、系。1单相关又称一元相关。指两个变量之间的相互关系单相关又称一元相关。指两个变量之间的相互关系2复相关又称多元相关。指三个变量及以上变量之间的相复相关又称多元相关。指三个变量及以上变量之间的相互关系互关系 例如，某种商品的需求与其价钱程度以及收入程度之间的相关关例如，某种商品的需求与其价钱程度以及收入程度之间的相关关系便是一种复相关。系便是一种复相关。3偏相关。在某一变量与多个变量相关时，当假定其他变量不偏相关。在某一变量与多个变量相关时，当假定其他变量不变，其中两个变量的相关关系。变，其中两个变量的相关关系。 例如，在假定人们的收入程度、偏好等不变的条件下，某种商品例如，在假定人们的收入程度

7、、偏好等不变的条件下，某种商品的需求与其价钱程度的关系就是一种偏相关。的需求与其价钱程度的关系就是一种偏相关。4.按相关关系涉及的变量多少划分按相关关系涉及的变量多少划分相关关系的图示定性分析定性分析定量分析定量分析四、相关关系的判别四、相关关系的判别o研讨景象之间的依存关系的一种表格。o首先要经过实践调查获得一系列成对数据作为相关分析的原始资料。o然后将某一变量按其数值的大小顺序陈列，再将与其相关的另一变量的对应值平行陈列，即可得到简单的相关表。 一相关表 例：为了研讨分析某种产品完成量与其单位产品本钱例：为了研讨分析某种产品完成量与其单位产品本钱之间的关系，调查之间的关系，调查30个同类公

8、司得到的原始数据如表。个同类公司得到的原始数据如表。整理后有整理后有二相关图二相关图o又称散点图，是以直角坐标系的横轴代表变量x，纵轴代表变量y，将两个变量相对应的成对数据用坐标点的方式描画出来，用于反映两个变量之间相关关系的图形。销售收入与广告费相关图销售收入与广告费相关图五、相关分析与回归分析五、相关分析与回归分析 回归的古典意义： 高尔顿遗传学的回归概念 父母身高与子女身高的关系: 无论高个子或低个子的子女 都有向人的平均身高回归的 趋势回归的现代意义回归的现代意义一个因变量对假设干解释变量依存关系的研讨回归的目的本质： 由固定的自变量去估计因变量的平均值估计因变估计因变量平均值量平均值

9、o回归分析：是指对具有相关关系的变量，根据其关系性质，选择一个适宜的数学模型回归方程，用来近似地表示变量间数量平均变化关系的一种统计方法。 o回归分析按分析变量的多少可分为一元回归分析和多元回归分析；按分析变量间的表现方式可分为现性回归分析和非线性回归分析；相关分析与回归分析的关系相关分析与回归分析的关系o联络：联络：1共同的研讨对象：都是对变量间相关关系的分析；共同的研讨对象：都是对变量间相关关系的分析； 2相关分析是回归分析的根底和前提。只需当变量间存在相关关系时，用相关分析是回归分析的根底和前提。只需当变量间存在相关关系时，用回归分析去寻求相关的详细数学方式才有实践意义；回归分析去寻求相

10、关的详细数学方式才有实践意义；3相关分析只相关分析只阐明变量间相关关系的性质和程度，要确定变量间相关的详细数学方式阐明变量间相关关系的性质和程度，要确定变量间相关的详细数学方式依赖于回归分析依赖于回归分析o区别：区别：1相关分析与回归分析在研讨目的和方法上是有明显区别的。相关分析与回归分析在研讨目的和方法上是有明显区别的。相关分析研讨变量之间相关的方向和相关的程度。但是，相关分析不能相关分析研讨变量之间相关的方向和相关的程度。但是，相关分析不能指出变量间相互关系的详细方式，也无法从一个变量的变化来推测另一指出变量间相互关系的详细方式，也无法从一个变量的变化来推测另一个变量的变化情况。回归分析那

11、么是研讨变量之间相互关系的详细方式，个变量的变化情况。回归分析那么是研讨变量之间相互关系的详细方式，它对具有相关关系的变量之间的数量联络进展测定，确定一个相关的数它对具有相关关系的变量之间的数量联络进展测定，确定一个相关的数学方程式，根据这个数学方程式可以从知量来推测未知量，从而为估算学方程式，根据这个数学方程式可以从知量来推测未知量，从而为估算和预测提供了一个重要的方法和预测提供了一个重要的方法2相关分析可以不用确定变量中哪个相关分析可以不用确定变量中哪个是自变量，哪个是因变量，而回归分析那么必需事先研讨确定具有相关是自变量，哪个是因变量，而回归分析那么必需事先研讨确定具有相关关系的变量中哪

12、个为自变量，哪个为因变量。关系的变量中哪个为自变量，哪个为因变量。3相关分析所涉及的相关分析所涉及的变量可以都是随机变量。普通地说，回归分析中因变量是随机的，而把变量可以都是随机变量。普通地说，回归分析中因变量是随机的，而把自变量作为研讨时给定的非随机变量。自变量作为研讨时给定的非随机变量。六、回归模型的类型六、回归模型的类型回归模型回归模型多元回归多元回归一元回归一元回归线性线性回归回归非线性非线性回归回归线性线性回归回归非线性非线性回归回归102 简单线性相关与回归分析简单线性相关与回归分析一、简单线性相关系数及检验一、简单线性相关系数及检验二、总体回归函数与样本回归函数二、总体回归函数与

13、样本回归函数三、回归系数的估计三、回归系数的估计四、简单线性回归模型的检验四、简单线性回归模型的检验 五、简单线性回归模型预测五、简单线性回归模型预测一、简单线性相关系数及检验一、简单线性相关系数及检验一相关系数的定义一相关系数的定义 单相关分析是对两个变量之间的线性相关程度进展分析。线性相关程度可用总体相关系数 特点：对于特定的总体来说，总体相关系数是客观存在的特定数值，表现为一个常数。 (,)(,)()()()()Cov X YCov X YVar X Var YXYVar XVar YXY是变 量和协 方 差 ，和是 变 量和方 差 样本相关系数样本相关系数通常用 表示 特点：样本相关系

14、数是根据从总体中抽取的随机样本 的观测值计算出来的，是对总体相关系数的估 计，它是个随机变量。 XYrXYrXYr_ _ _ _ _22_ _ _()()()()xyiiX Yiixxyyrxxyyxy式 中 ， 和分 别 是和的 样 本 平 均 数 。二相关系数的特点： o相关系数的取值在-1与1之间。o当r=0时，阐明X与Y没有线性相关关系，但能够存在其他类型关系。o当 时，阐明X与Y存在一定的线性相关关系:o o o o 假设 阐明X与Y 为正相关o 假设 阐明X与Y 为负相关。o当 时，阐明X与Y完全线性相关:o 假设r=1， 称X与Y完全正相关；o 假设r=-1， 称X与Y完全负相关

15、。01r0r 0r 1r 0.3,0.30.5,0.50.8,0.81rrrr微弱相关低度相关显著相关高度相关三相关系数的计算2222,()()iixyiiiinxyxyrnxxnyy 具体计算样本相关系数时 按以下公式: 序号序号能源消耗量（十万能源消耗量（十万吨）吨）x工业总产值（亿工业总产值（亿元）元）yx2y2xy123456789101112131415163538404249525459626465686971727624252428323137404140475049514858122514441600176424012704291634813844409642254624476

16、1504151845776576625576784102496113691600168116002209250024012601230433648409509601176156816122019236025422560305534003381362134564408合计合计9166255508626175378879520.09757.09757.0625261751691655086166259163788716)(26175,55086,37887,625,916,162222222222 ryynxxnyxxynryxxyyxn解：已知结论：工业总产值与能源耗费量之间存在高度结论：工业总

17、产值与能源耗费量之间存在高度的正相关关系，能源耗费量的正相关关系，能源耗费量x的变化可以解释工的变化可以解释工业总产值业总产值y变化的变化的95.2。四运用相关系数的本卷须知：X和Y 都是相互对称的随机变量，所以相关系数只反映变量间的线性相关程度，不 能阐明非线性相关关系。相关系数不能确定变量的因果关系，也不能 阐明相关关系详细接近于哪条直线。xyyx五相关系数的检验 1. 1.为什么要检验？为什么要检验？ 样本相关系数是随抽样而变动的随机变量样本相关系数是随抽样而变动的随机变量, ,相关系数的统相关系数的统计显著性还有待检验。计显著性还有待检验。2. 2.检验的根据：检验的根据： 假设假设X

18、 X和和Y Y都服从正态分布，在总体相关系都服从正态分布，在总体相关系数数 的假设下，可采用的假设下，可采用t t检验来确定变量之间相关关系的显检验来确定变量之间相关关系的显著性。著性。与样本相关系数与样本相关系数 r r 有关的有关的 t t统计量服从自在度为统计量服从自在度为n-2n-2的的 t t 分布：分布： 0221(2)tr nrtn3.相关系数的检验方法给定显著性程度 ，查自在度为 n-2 的临界值 假设 ，阐明相关系数 r 在统计上是显著的，应否认 而接受 的假设；反之，假设 ，应接受 的假设。 2t2tt0002(2)ttn012H :=0 H :021(2)tr nrtn第

19、一步提出假设 第二步计算检验统计量20.025200.9757 16210.975716.661616.66162142.1448tttntH有：拒绝，表示总体的两变量间线性相关性显著。00：H0116,0.9757,0.05,:0:0nrHH解：已知则提出假设：当当 成立时，那么统计量成立时，那么统计量221(2)trnrt n 二、一元线性回归模型二、一元线性回归模型 假设干根本概念 Y的条件分布: Y在X取某固定值条件下的分布。 对于X的每一个取值，都有Y的条件期望与之对应，在坐标图上 Y的条件期望的点随X而变化的轨迹所构成的直线或曲线，称为回归线。 假设把Y的条件期望 表示为X的某种函

20、数： ,这个函数称为回归函数。 假设其函数方式是只需一个自变量的线性函数,如 称为简单线性回归函数。 ()iE Y X()iE Yf X）(iE YX）一总体回归函数PRF n概念：将总体因变量Y的条件均值表现为自变量X的某种函数，这个函数称为总体回归函数简记为PRF。n表现方式：n1总体回归直线i( /=X,XYXiE Y X ）式中是未知参数,又叫回归系数该式表示在 的值给定的条件下, 的期望值是 的严密的线性函数，此直线称为总体回归直线。2总体一元线性回归模型iii,Y.(YXYXY(YiiiiiiiYXuuEXuYE ii总体线性回归模型：式中 是随机误差项又称随即干扰项,反映未列入方

21、程式的其它各种因素对 的影响总体回归直线 /x）表示在 的值给定的条件下,的期望值是 的严密的线性函数。 的实际观察值并不一定位于该直线上，只是分散在该直线的周围。实际观察点与总体回归线垂直方向的间隔，就是随机误差项。/X） 3简单线性回归的根本假定o假定假定1 1：误差项：误差项u u是一个期望值为是一个期望值为0 0的随即变量，即的随即变量，即o假定假定2 2：对于一切的：对于一切的X X值，误差项值，误差项ui ui的方差为常数的方差为常数 。o 假定假定3 3：自变量是给定的变量，与随机误差项线性无关：自变量是给定的变量，与随机误差项线性无关o 假定假定4 4：无自相关假定。随机误差项

22、：无自相关假定。随机误差项u u的逐次值互不相关的逐次值互不相关o假定假定5 5：正态性假定。：正态性假定。( )0E u 22(0,)iuN 随机误差项ui是无法直接观测，为进展回归分析，需对其概率分布进展假设。满足这些假设的模型称为规范的一元线性回归模型。( ,)0ijCov u u( ,)0iiCov u X二样本回归函数SRFu概念：概念：u 总体回归函数实践上是未知的，需求用样本总体回归函数实践上是未知的，需求用样本的信息对其进展估计，根据样本数据拟合的直的信息对其进展估计，根据样本数据拟合的直线，称为样本回归直线。其相应的函数称为样线，称为样本回归直线。其相应的函数称为样本回归函数

23、本回归函数 简记为简记为SRF。u表现方式：线性样本回归函数可表示为表现方式：线性样本回归函数可表示为u iixyEyxyiiiyxy，式中是样本回归线上与相对应的 值，可视为 （）的估计值； 是样本回归直线的截距， 是样回归直线的斜率，他们是对总体回归系数的估计。也是自变量 每变动一个单位时，因变量 的平均变动值。样本回归方程iuniiiiiyxeee此式称为样本回归方程，式中 称为残差，在概念上，残差 与总体误差项 相互对应；i=1,2,n, 是样本容量。四样本回归函数与总体回归函数的关系 1相互联络 样本回归函数的函数方式应与设定的总体回归函数的函数方式一致 。 和 是对总体回归函数参数

24、的估计。 是对总体条件期望 的估计 残差 e 在概念上类似总体回归函数中的随机误差u。回归分析的目的： 用样本回归函数去估计总体回归函数。 iy(YE）样本回归函数与总体回归函数的关系 2相互区别 总体回归函数虽然未知，但它是确定的； 样本回归线随抽样动摇而变化，可以有许多条。 样本回归线还不是总体回归线，至多只是未知总体 回归线的近似表现。 总体回归函数的参数虽未知，但是确定的常数； 样本回归函数的参数可估计，但是随抽样而变化的随机变量。 总体回归函数中的 是不可直接观测的； 而样本回归函数中的 是只需估计出样本回归的参数就可以计算的数值。 iuie 三、回归系数的最小二乘估计三、回归系数的

25、最小二乘估计根本思想：回归分析主要义务是建立可以反映真实总体回归函数的样本回归函数。在用样本资料确定样本回归方程时，希望估计值 偏离实践观测值 的残差 越小越好。可以取残差平方和 作为衡量 与 偏离程度的规范最小二乘准那么 iYiYie2ieiyiYiyie最小二乘法图示最小二乘法图示iiYX(xn , yn)(x1 , y1)(x2 , y2)(xi , yi)ei = yi-yi2211( ,)()nniiiiQyye 最小值 一回归系数的估计的最小二乘法公式一回归系数的估计的最小二乘法公式 将对将对 求偏导数，并令其等于零，可得求偏导数，并令其等于零，可得: 加以整理后有：加以整理后有：

26、 22ii11( ,)()nniiiQyyyx （） =最小值ii2(y)0Qxiii2()0Qx yx iinxy i2iiiyxxx和 解方程组可得求解解方程组可得求解 的规范方程如下：的规范方程如下：22nx yxynxxyxyxnn和20.9757,0.9520rr216,916,625,37887,55086,nxyxyx由计算表知 yx22216378879166250.796116550869166259160.79616.51421616nxyxynxxyx 6.51420.7961yx 二最小二乘估计的概率分布性质二最小二乘估计的概率分布性质o 和和 都是服从正态分布的随机变

27、量，其都是服从正态分布的随机变量，其期望为期望为o概率分布为概率分布为()E()E(,N2211( ,)()niixNnxx 2211()niixx三总体方差 的无偏估计总体随机误差项的方差 可以反映实际模型误差的大小，是检验模型时必需利用的一个重要参数。可以证明 的无偏估计为： 222222iienen，自由度 表示一元回归方程中回归系数的个数，称为回归估计的标准差越小表明实际观测值与所拟合的样本回归线的离差越小，回归线代表性越强。222 四、一元线性回归模型的检验四、一元线性回归模型的检验 一拟合优度的度量一拟合优度的度量o回归直线对数据的拟合优度：样本观测值聚回归直线对数据的拟合优度：样

28、本观测值聚集在样本回归线周围的严密程度。集在样本回归线周围的严密程度。o样本回归直线是对样本数据的一种拟合，不样本回归直线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线。假设各同估计方法可拟合出不同的回归线。假设各观测值数据的散点都聚集回归直线周围，那观测值数据的散点都聚集回归直线周围，那么这条直线对数据拟合效果就好，否那么，么这条直线对数据拟合效果就好，否那么，拟合效果就差。拟合效果就差。o通常用断定系数度量回归模型的拟合优度通常用断定系数度量回归模型的拟合优度离差平方和的分解图示离差平方和的分解图示y yxyy yyyy ),(iiyx离差分解图离差分解图离差平方和的分解离差平方

29、和的分解 三个平方和的关系三个平方和的关系两端平方后求和有：两端平方后求和有： yyyyyySST = SSR + SSEniiniiniiyyyyyy121212总变差平方和总变差平方和SST回归平方和回归平方和SSR残差平方和残差平方和SSE离差平方和的分解离差平方和的分解 三个平方和的意义三个平方和的意义总的离差平方和总的离差平方和(SST)反映因变量的反映因变量的 n 个察看值与其均值的总离差个察看值与其均值的总离差回归平方和回归平方和(SSR)反映自变量反映自变量 x 的变化对因变量的变化对因变量 y 取值变化的影响，取值变化的影响，或者说，是由于或者说，是由于 x 与与 y 之间的

30、线性关系引起的之间的线性关系引起的 y 的取值变化，也称为可解释的平方和。的取值变化，也称为可解释的平方和。残差平方和残差平方和(SSE)反映除反映除 x 以外的其他要素对以外的其他要素对 y 取值的影响，也称取值的影响，也称为不可解释的平方和或剩余平方和。为不可解释的平方和或剩余平方和。2.断定系数可决系数断定系数可决系数R2 的特点的特点1回归平方和占总离差平方和的比例：回归平方和占总离差平方和的比例：2221122111nniiiinniiiiyyyySSRRSSTyyyy2反映回归直线的拟合程度反映回归直线的拟合程度3取值范围在取值范围在 0 , 1 之间之间4 R2 1，阐明回归方程

31、拟合的越好；，阐明回归方程拟合的越好；R20，阐明回归方程拟合的越差，阐明回归方程拟合的越差5断定系数等于相关系数的平方，即断定系数等于相关系数的平方，即R2(r)2 二回归系数显著性的二回归系数显著性的 t 检验检验o对回归模型的统计检验，除了对模型拟合程度的检验外，还包括各回归系数的显著性检验和对回归方程的总显著检验。在一元线性回归中，由于只需一个自变量，对各回归系数的显著性检验与 对回归方程的总显著性检验实践是等价的，故这里只讨论对回归系数的显著性检验。o检验目的是评价两个变量之间能否有关系，即变量X能否对变量Y有影响。思想：思想： 是未知的，而且不一定能获得大样本，这时可用是未知的，而

32、且不一定能获得大样本，这时可用 的无偏的无偏估计估计 替代替代 去估计参数的规范误差去估计参数的规范误差222221()()()niiSESExx，是回归系数 估计的样本标准差2211( )( )()niixSESEnxx，是 回 归 系 数 估 计 的 样 本 标 准 差 回归系数显著性的回归系数显著性的 t 检验检验(续续)o用估计的参数规范误差对估计的参数作规范化变o 换，所得的 t 统计量将不再服从正态分布，而是服从 t 分布：o o 可利用 t 分布作有关的假设检验。 (2)()tt nSE (2)()tt nSE 回归系数显著性回归系数显著性 t 检验的方法检验的方法(1) 提出假

33、设普通假设:常用假设:(2) 计算统计量(3)给定显著性程度，确定临界值 (4) 检验结果判别 假设 那么回绝原假设，而接受备择假设 假设 那么接受原假设 , 回绝备择假设0:*H*1:H*0:0H1:0H2(2)tn*2(2)ttn*2(2)ttn*()()ttS ES E或回归系数显著性的回归系数显著性的P P值检验值检验PP值的意义值的意义 P值的意义: 在既定原假设下计算回归系数的t统计量 ，可求得统计量 t 大于 的概率 ： 这里的 是 t 统计量大于 值的概率，是尚不能回绝原假设 最大显著程度，称为所估计的回归系数的P值。*t*0()P tt H*02:0H*t*t*t 回归系数显

34、著性的回归系数显著性的P P值检验值检验 检验方法检验方法回归系数显著性的P值检验方法: 将所取显著性程度与P值对比 所取的显著性程度 例如取0.05假设比P值更大，就可在显著性程度 下回绝 所取的 假设小于P值，就应在显著性程度 下接受 02:0H02:0H五、简单线性回归模型预测五、简单线性回归模型预测 假设所拟合的样本回归方程经过检验，被以为具有经济意义，同时具有较高的拟合度，就可利用其进展预测。即用自变量X的取值估计或预测因变量Y的取值。 1点预测 ffffYXXY，是自变量预期的数值， 因变量的预测值2区间预测_222()11fffiXXYYtnxfY 因变量的区间预测的特点(续)3预测区间与样本容量有关：样本容量n越 大， 越大，预测误差的方差越小，预 测区间也越窄。4当样本容量趋于无穷大即n时, 不存在抽样误差，平均值预测误差趋 于0，此时个别值的预测误差只决议于 随机扰动的方差。2ix8.3 非线性相关与回归分析一、非线性回归的函数方式与估计方法一、非线性回归的函数方式与估计方法二、非线性相关指数二、非线性相关指数一、