《一元线性回归》ppt课件

1、第九章第九章 一元线性回归一元线性回归回归分析适宜研讨哪类问题回归分析适宜研讨哪类问题? ?回归方程的显著性检验适宜什么情况回归方程的显著性检验适宜什么情况? ?回归系数的显著性检验适宜什么情况回归系数的显著性检验适宜什么情况? ? 第九章一元线性回归第九章一元线性回归9.1 9.1 回归分析的根本概念回归分析的根本概念 9.1.1 9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系根据因变量与自变量之间的关系不同，可以分为两种类型：根据因变量与自变量之间的关系不同，可以分为两种类型：函数关系函数关系 统计关系统计关系 第九章一元线性回归第九章一元线性回归9.

2、1.1 9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系1.1.函数关系函数关系 即对两个变量即对两个变量X X，Y Y来说，当来说，当X X值值确定后，确定后，Y Y值按照一定的规律独一确定，值按照一定的规律独一确定，即构成一种准确的关系。即构成一种准确的关系。 例如例如: :微积分学中所研讨的普通变量之间的微积分学中所研讨的普通变量之间的函数关系就属于此种类型。函数关系就属于此种类型。 第九章一元线性回归第九章一元线性回归9.1.1 9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系2.2.统计关系统计关系 即当即当X

3、X值确定后，值确定后，Y Y值不是独一确定的，值不是独一确定的，但大量统计资料阐明，这些变量之间还但大量统计资料阐明，这些变量之间还是存在着某种客观的联络。是存在着某种客观的联络。 例如：图例如：图9.19.1在直角坐标平面上，标出了在直角坐标平面上，标出了1010个观测点的坐标位置，他们表示以家庭为单个观测点的坐标位置，他们表示以家庭为单位，某种商品年需求量与该商品价钱之间位，某种商品年需求量与该商品价钱之间的的1010对调查数据。对调查数据。 第九章一元线性回归第九章一元线性回归9.1.2 9.1.2 回归分析回归分析图图9-19-1第九章一元线性回归第九章一元线性回归9.1.2 9.1.

4、2 回归分析回归分析回归分析回归分析(Regression Analysis) (Regression Analysis) 就是运用统计方法，对大量的观测数据进展整就是运用统计方法，对大量的观测数据进展整理、分析和研讨，从而得出反映事物内部规律理、分析和研讨，从而得出反映事物内部规律性的一些结论。性的一些结论。 第九章一元线性回归第九章一元线性回归9.2 9.2 一元线性回归模型一元线性回归模型 9.2.1 9.2.1 统计关系的特征统计关系的特征统计关系统计关系特征特征 观测点分布在统计关系直线的周围，此观测点分布在统计关系直线的周围，此种情况阐明种情况阐明Y Y的变化除了受自变量的变化除了

5、受自变量X X影响以外，还受其他要素的影响。影响以外，还受其他要素的影响。因此试图建立这样一个回归模型，经过对此模型因此试图建立这样一个回归模型，经过对此模型所作的一些假设，可以表达出上述统计关系所刻划的特征。所作的一些假设，可以表达出上述统计关系所刻划的特征。因变量因变量Y Y随自变量随自变量X X有规律的变化，而统有规律的变化，而统计关系直线描画了这一变化的趋势。计关系直线描画了这一变化的趋势。第九章一元线性回归第九章一元线性回归9.2.2 9.2.2 一元线性回归模型假设一元线性回归模型假设u根据统计关系特征，可以进展下述假设：根据统计关系特征，可以进展下述假设：假设假设(2)(2)这些

6、这些Y Y的概率分布的均值，有规律的随的概率分布的均值，有规律的随X X变化而变化变化而变化(1)(1)对于自变量的每一程度对于自变量的每一程度X X，存在着，存在着Y Y的一个概率分布；的一个概率分布；第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型Y Y与与X X具有统计具有统计关系而且是线性关系而且是线性 建立建立回归模型回归模型Yi=0+1Xi+iYi=0+1Xi+i (i=1,2,n) (i=1,2,n) 其中，其中，(X i,Yj)(X i,Yj)表示表示(X,Y)(X,Y)的第的第i i个观测值，个观测值，0 , 0 , 11为参数，为

7、参数，0+1Xi0+1Xi为反映统计关系直线的分为反映统计关系直线的分量，量， i i为反映在统计关系直线周围分布的随机为反映在统计关系直线周围分布的随机分量分量 i iN (0,2)N (0,2)。第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型u对于恣意对于恣意XiXi值有：值有： Yi Yi服从正态分布服从正态分布E(Yi)=0+1XiE(Yi)=0+1Xi； 各各YiYi间相互独立间相互独立 Yi YiN(0+1Xi,2) N(0+1Xi,2) 。22)(iY第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性

8、回归模型图图9-29-2第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程最小二乘法最小二乘法 Y Y与与X X之间之间为线性关系为线性关系 选出一条最能反选出一条最能反映映Y Y与与X X之间关系之间关系规律的直线规律的直线 第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程Yi=0+1Xi+i Yi=0+1Xi+i 00和和11均未知均未知 根据样本数据根据样本数据对对00和和11进展估计进展估计 00和和11的估计的估计值为值为b0b0和和b1 b1 建立一元线性回归方程建立一元线性回归方程 XbbY10

9、第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程普通而言，所求的普通而言，所求的b0b0和和b1b1应能使每个样本观测点应能使每个样本观测点(X i,Y i)(X i,Y i)与回归直线之间的偏向尽能够小，即使察看值与拟与回归直线之间的偏向尽能够小，即使察看值与拟合值的误差平方和合值的误差平方和Q Q到达最小。到达最小。 图图9-4 9-4 回归方程原理图回归方程原理图第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程令令 2110)(niiiXbbYQQ Q到达最小值到达最小值b0b0和和b1b1称为最小二

10、乘估计量称为最小二乘估计量 微积分中极值微积分中极值的必要条件的必要条件 niiiXbbYbQ1100)(2niiiiXXbbYbQ1101)(2 令偏导数为令偏导数为0 0niiniiYXbnb1110iniiniiniiYXXbXb112110解方程解方程第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程nXXnYXYXXXYYXXbiniiniiiiiniiniii21211211)()()()(XbYb10(9-5)(9-5)(9-6)(9-6)第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b0,b1b

11、0,b1的特性的特性b0,b1b0,b1的特性的特性线性性线性性无偏性无偏性第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b0,b1b0,b1的特性的特性(1) (1) 线性特性线性特性 由由9-59-5得得niiniiiniiniiiXXYXXXXYYXXb1211211)()()()(niiiiXXXXC12)(令令niiiYCb11那那么么 阐明阐明b1b1是是YiYi的线性组合的线性组合 第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b0,b1b0,b1的特性的特性同理，可得同理，可得 niiiYkb1

12、0XCnkii1b0b0是是YiYi线线性组合性组合第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b0,b1b0,b1的特性的特性(2) (2) 无偏性无偏性可以证明可以证明b0b0和和b1b1分别是分别是00和和11的无偏估计的无偏估计 第九章一元线性回归第九章一元线性回归9.3 9.3 总平方和分解总平方和分解9.3.1 9.3.1 总平方和分解总平方和分解YYYYYYiiiiniininiiiiYYYYYY121122)()()(niiiiYYYY10)(第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解图图9-

13、5 9-5 总平总平和分解图和分解图 第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解总离差平方和总离差平方和 niiYYSSTO12)(它表示没有它表示没有X X的影响，的影响，单纯调查数据中单纯调查数据中Y Y的变动情况。的变动情况。第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解回归平方和回归平方和niiYYSSR12)(表示各表示各 的变动程度，该变动是由于回归直线的变动程度，该变动是由于回归直线中各中各Xi Xi 的变动所引起的，并且经过的变动所引起的，并且经过X X对对Y Y的线性影响表现出来。的线性影响表现出

14、来。 iY第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解误差平方和误差平方和niiiYYSSE12)(表示各表示各YiYi围绕所拟合的回归直线的变动程度围绕所拟合的回归直线的变动程度 SSTO=SSR+SSESSTO=SSR+SSE第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解SSE=SSTO-SSRSSE=SSTO-SSRniniiinYYSSTO1212)()(121221niniiinXXbSSR第九章一元线性回归第九章一元线性回归9.3.2 9.3.2 自在度的分解自在度的分解SSTOSSTOniiYY10)(

15、自在度自在度 T T为为n-1 n-1 SSESSE00和和11用了用了两个正规方程两个正规方程 自在度自在度 E E为为n-2 n-2 SSRSSRniiYY10)(自在度自在度 R R为为1 1 第九章一元线性回归第九章一元线性回归9.3.2 9.3.2 自在度的分解自在度的分解自在度的分解可以表示为自在度的分解可以表示为n-1=1+n-1=1+n-2n-2T=R+E第九章一元线性回归第九章一元线性回归9.3.3 9.3.3 回归均方与误差均方回归均方与误差均方1SSRMSR 2nSSEMSE(9-10) (9-10) (9-11)(9-11)回归均方回归均方误差均方误差均方第九章一元线性

16、回归第九章一元线性回归9.4 9.4 样本确定系数与样本相关系数样本确定系数与样本相关系数9.4.1 9.4.1 样本确定系数样本确定系数SSTOSSESSTOSSESSTOSSTOSSRr12(9-12) (9-12) 注注:Y:Y的总变差中能被的总变差中能被X X解释的那部分所占的比率解释的那部分所占的比率第九章一元线性回归第九章一元线性回归9.4.1 9.4.1 样本确定系数样本确定系数r2r2的取值范围的取值范围102 r样本的全部察看值都落在样本的全部察看值都落在所拟和的回归直线上所拟和的回归直线上 SSE=0 SSE=0， r2=1 r2=1 当当X X与与Y Y无关，无关，Y Y

17、的变差完的变差完全由于随机要素引起，全由于随机要素引起，此时，此时，SSR=0 SSR=0 r2=0 r2=0 第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数样本相关系数样本相关系数2rrniiniiniiiYYXXYYXXr12121)()()(注注:r:r与与b1b1的分母均为正，分子一样的分母均为正，分子一样, ,故故r r与与b1b1有一样的符号。有一样的符号。 第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数r r的取值情况的取值情况 情况一情况一图图9-69-6第九章一元线性回归第九章一元线性回归9.4.2

18、9.4.2 样本相关系数样本相关系数情况二情况二图图9-79-7第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况三情况三图图9-89-8第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况四情况四图图9-99-9第九章一元线性回归第九章一元线性回归9.5 9.5 一元线性回归显著性检验一元线性回归显著性检验在回归函数在回归函数E(Y)=0+1XE(Y)=0+1X中，假设中，假设1=01=0，那么对于，那么对于X X的一的一切程度切程度E(Y)=0E(Y)=0，阐明，阐明Y Y的变化与的变化与X X的变化无关，因此，我们

19、的变化无关，因此，我们不能经过不能经过X X去预测去预测Y Y。所以，对模型。所以，对模型Yi=0+1Xi+iYi=0+1Xi+i 检验检验1=01=0能否成立，等价于检验能否成立，等价于检验Y Y与与X X之间能否存在线性关系。之间能否存在线性关系。 第九章一元线性回归第九章一元线性回归9.5.1 b19.5.1 b1的抽样分布的抽样分布为了检验为了检验1=01=0能否成立，需求构造一能否成立，需求构造一个适宜的统计量，因此，首先讨论个适宜的统计量，因此，首先讨论b1b1的抽样分布。的抽样分布。第九章一元线性回归第九章一元线性回归9.5.1 b19.5.1 b1的抽样分布的抽样分布b1b1是

20、观测值是观测值YiYi的线的线性组合性组合 YiYi服从正态分布且服从正态分布且相互独立相互独立 b1b1也服从正态分布也服从正态分布 第九章一元线性回归第九章一元线性回归9.5.1 b19.5.1 b1的抽样分布的抽样分布以下可以证明以下可以证明niiXXb12212)()(b1b1的方差的方差第九章一元线性回归第九章一元线性回归9.5.1 b19.5.1 b1的抽样分布的抽样分布证明：证明：由于由于 niiiYCb11且且YiYi相互独立，其中相互独立，其中 niiiiXXXXC12)(niiniiiniiiXXYCYCb1221221212)()()()(所以，所以，b1b1服从服从 )

21、(,(1221niiXXN第九章一元线性回归第九章一元线性回归9.5.2 F 9.5.2 F 检验检验在一元线性回归中，为了检验在一元线性回归中，为了检验Y Y对于对于X X线性线性关系的统计显著性，对关系的统计显著性，对11进展进展F F检验检验1 1提出假设：提出假设：H0H0：1=01=0，H1H1：1010。 2 2 构造并计算统计量：构造并计算统计量：ERfSSEfSSRF 3 3查查F F分布临界值表，得临界值分布临界值表，得临界值)2, 1 (nF4 4比较：比较： 接受接受H0H0，以为，以为Y Y与与X X不存在一元线性关系。不存在一元线性关系。) 2, 1 (nFF第九章一

22、元线性回归第九章一元线性回归9.5.2 F 9.5.2 F 检验检验假设假设F F )2, 1(nF回绝回绝H0H0，以为，以为Y Y与与X X存在一元线性关系。存在一元线性关系。 表表9-1 9-1 方差分析表方差分析表第九章一元线性回归第九章一元线性回归9.5.3 t 9.5.3 t 检验检验 1 1提出假设提出假设 H0: H0: H1: H1: 01012 2构造并计算统计量构造并计算统计量 步步 骤：骤：)(11bsbt 21)()(XXMSEbsi3 3查查t t分布临界值表分布临界值表 得临界值得临界值 )2(2/nt第九章一元线性回归第九章一元线性回归9.5.3 t 9.5.3

23、 t 检验检验4 4比较比较假设假设 ，接受，接受H0 H0 t)2(2/nt假设假设 ，回绝，回绝H0 H0 t)2(2/nt第九章一元线性回归第九章一元线性回归9.5.4 9.5.4 利用样本相关系数进展统计检验利用样本相关系数进展统计检验 步步 骤：骤：1 1提出假设提出假设 H0: =0H0: =0H1: H1: 02 2计算简单相关系数计算简单相关系数r r 3 3查相关系数临界值表查相关系数临界值表 得临界值得临界值 )2( nr是总体是总体Y Y与与X X的线性的线性相关系数相关系数第九章一元线性回归第九章一元线性回归9.5.4 9.5.4 利用样本相关系数进展统计检验利用样本相关系数进展统计检验4 4比较比较假设假设 ，接受，接受H0 H0 rr假设假设 ，回绝，回绝H0 H0 rr第九章一元线性回归第九章一元线性回归9.6 9.6 模型适宜性分析模型适宜性分析 在对一元线性回归模型的适宜性进展分析时在对一元线性回归模型的适宜性进展分析时, ,由于误差项是不可观测或丈量的由于误差项是不可观测或丈量的, , 需借助残差需借助残差的图像的图像, ,来调查模型能否存在以下情况：异方来调查模型能否存在以下情况：异方差性和自相关性。差性和自相关性。第九章一元线性回归第九章一元线性回