语文版中职数学基础模块下册10.9《一元线性回归》ppt课件3复习过程

1、第九章一元线性回归第九章一元线性回归语文版中职数学基础模块下册10.9一元线性回归ppt课件3第九章一元线性回归第九章一元线性回归9.1 9.1 回归分析的基本概念回归分析的基本概念 9.1.1 9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系根据因变量与自变量之间的关系不同，可以分为两种类型：根据因变量与自变量之间的关系不同，可以分为两种类型：函数关系函数关系 统计关系统计关系 第九章一元线性回归第九章一元线性回归9.1.1 9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系1.1.函数关系函数关系 即对两个变量即对两个变

2、量X X，Y Y来说，当来说，当X X值值确定后，确定后，Y Y值按照一定的规律唯一确定，值按照一定的规律唯一确定，即形成一种精确的关系。即形成一种精确的关系。 例：某商品的销售额y与销售量x之间的关系可表示为y=px(p是单价)，圆的面积可表示为s=piR2第九章一元线性回归第九章一元线性回归9.1.1 9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系2.2.统计关系统计关系 即当即当X X值确定后，值确定后，Y Y值不是唯一确定的，值不是唯一确定的，但大量统计资料表明，这些变量之间还但大量统计资料表明，这些变量之间还是存在着某种客观的联系。是存在着某种客

3、观的联系。 第九章一元线性回归第九章一元线性回归9.1.2 9.1.2 回归分析回归分析 在直角坐标平面上，标出了在直角坐标平面上，标出了1010个观测点个观测点的坐标位置，他们表示以家庭为单位，某的坐标位置，他们表示以家庭为单位，某种商品年需求量与该商品价格之间的种商品年需求量与该商品价格之间的1010对对调查数据调查数据第九章一元线性回归第九章一元线性回归9.1.2 9.1.2 回归分析回归分析回归分析回归分析(Regression Analysis) (Regression Analysis) 就是应用统计方法，对大量的观测数据进行整就是应用统计方法，对大量的观测数据进行整理、分析和研究

4、，从而得出反映事物内部规律理、分析和研究，从而得出反映事物内部规律性的一些结论。性的一些结论。 第九章一元线性回归第九章一元线性回归9.2 9.2 一元线性回归模型一元线性回归模型 9.2.1 9.2.1 统计关系的特征统计关系的特征统计关系统计关系特征特征 观测点散布在统计关系直线周围，观测点散布在统计关系直线周围，此种情况说明此种情况说明Y Y的变化除了受自变量的变化除了受自变量X X影响以外，还受其他因素的影响。影响以外，还受其他因素的影响。因此试图建立这样一个回归模型，通过对此模型因此试图建立这样一个回归模型，通过对此模型所作的一些假设，可以体现出上述统计关系所刻划的特征。所作的一些假

5、设，可以体现出上述统计关系所刻划的特征。 因变量因变量Y Y随自变量随自变量X X有规律的变化，有规律的变化，而统计关系直线描述了这一变化的而统计关系直线描述了这一变化的趋势。趋势。第九章一元线性回归第九章一元线性回归9.2.2 9.2.2 一元线性回归模型假设一元线性回归模型假设u根据统计关系特征，可以进行下述假设：根据统计关系特征，可以进行下述假设：假设假设(2)(2)这些这些Y Y的概率分布的均值，有规律的随的概率分布的均值，有规律的随X X变化而变化变化而变化(1)(1)对于自变量的每一水平对于自变量的每一水平X X，存在着，存在着Y Y的一个概率分布；的一个概率分布；第九章一元线性回

6、归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型Y Y与与X X具有统计具有统计关系而且是线性关系而且是线性 建立建立回归模型回归模型Y Yi i=0 0+1 1X Xi i+i i (i=1,2, (i=1,2,n),n) 其中其中，(X (X i,i,Y Yj j) )表示表示(X,Y)(X,Y)的第的第i i个观测值，个观测值，0 0 , , 1 1为参数，为参数，0 0+1 1X Xi i为反映统计关系直线的分量，为反映统计关系直线的分量， i i为反映在统计关系直线周围散布的随机分量为反映在统计关系直线周围散布的随机分量 i iN (0,N (0,2 2)

7、 )。第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型u对于任意对于任意X Xi i值有：值有： Y Yi i服从正态分布服从正态分布E(YE(Yi i)=)=0 0+ +1 1X Xi i； 各各Y Yi i间相互独立间相互独立 Y Yi iN(N(0 0+1 1X Xi i,2 2) ) 。22)(iY第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型图图9-29-2第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程最小二乘法最小二乘法 Y Y与与X X之间之间为

8、线性关系为线性关系 选出一条最能反选出一条最能反映映Y Y与与X X之间关系之间关系规律的直线规律的直线 第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程Y Yi i= =0 0+ +1 1X Xi i+ +i i 0 0和和1 1均未知均未知 根据样本数据根据样本数据对对0 0和和1 1进行估计进行估计 0 0和和1 1的估计的估计值为值为b b0 0和和b b1 1 建立一元线性回归方程建立一元线性回归方程 XbbY10第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程一般而言，所求的一般而言，所求的b

9、b0 0和和b b1 1应能使每个样本观测点应能使每个样本观测点(X(X i i,Y,Y i i) )与回归直线之间的偏差尽可能小，即使观察值与拟与回归直线之间的偏差尽可能小，即使观察值与拟合值的误差平方和合值的误差平方和Q Q达到最小。达到最小。 图图9-4 9-4 回归方程原理图回归方程原理图第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程令令 2110)(niiiXbbYQQ Q达到最小值达到最小值b b0 0和和b b1 1称为最小二乘估计量称为最小二乘估计量 微积分中极值微积分中极值的必要条件的必要条件 niiiXbbYbQ1100)(2n

10、iiiiXXbbYbQ1101)(2 令偏导数为令偏导数为0 0niiniiYXbnb1110iniiniiniiYXXbXb112110解方程解方程第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程nXXnYXYXXXYYXXbiniiniiiiiniiniii21211211)()()()(XbYb10(9-5)(9-5)(9-6)(9-6)第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b b0 0,b,b1 1的特性的特性b b0 0,b,b1 1的特性的特性线性线性无偏性无偏性第九章一元线性回归第九章一

11、元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b b0 0,b,b1 1的特性的特性(1) (1) 线性特性线性特性 由（由（9-59-5）得）得niiniiiniiniiiXXYXXXXYYXXb1211211)()()()(niiiiXXXXC12)(令令niiiYCb11则则 表明表明b b1 1是是Y Yi i的线性组合的线性组合 第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b b0 0,b,b1 1的特性的特性同理，可得同理，可得 niiiYkb10XCnkii1b b0 0是是Y Yi i线线性组合性组合第九章一元线性回归

12、第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b b0 0,b,b1 1的特性的特性(2) (2) 无偏性无偏性可以证明可以证明b b0 0和和b b1 1分别是分别是0 0和和1 1的无偏估计的无偏估计 第九章一元线性回归第九章一元线性回归引例分析引例分析故回归方程为：1221.1842iiiiiinx yxybnxx 01118.9476iiyxbyb xbnn18.94761.1842yx第九章一元线性回归第九章一元线性回归引例分析引例分析厂家投入(x)产出(y)预测值残差1203042.6316-12.63162406066.3156-6.31563204042

13、.6316-2.63164306054.47365.52645103030.7896-0.78966104030.78969.21047204042.6316-2.63168205042.63167.36849203042.6316-12.631610307054.473615.52640.0000第九章一元线性回归第九章一元线性回归包含残差的散点图 真实值与预测值的差就是回归直线在每个给定点上的误差，我们称之为残差（residual）。从几何上讲，残差是回归直线到样本数据点之间的垂直距离，确定斜率和截距的方程使回归直线位于样本点之间。这样，从回归直线到样本点之间的垂直距离相互抵消，使总和为0

14、。 引例分析第九章一元线性回归第九章一元线性回归引例分析投入与产出例子中沿轴的残差分布 残差也用来确定异常点（outliers），异常点就是与其他点偏离，与总体趋势不符的数据点。异常点往往使残差幅度加大，在散点图中很容易识别。回归直线方程会受到计算中每个点的影响，因此，异常点的存在可能会使回归直线向异常点偏离。 第九章一元线性回归第九章一元线性回归回归方程的显著性检验（总体显著性检验）回归方程的显著性检验（总体显著性检验）9.3.1 9.3.1 总平方和分解总平方和分解YYYYYYiiiiniininiiiiYYYYYY121122)()()(niiiiYYYY10)(第九章一元线性回归第九章

15、一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解图图9-5 9-5 总平总平和分解图和分解图 第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解总离差平方和总离差平方和 21()niiSSTYY它表示没有它表示没有X X的影响，的影响，单纯考察数据中单纯考察数据中Y Y的变动情况。的变动情况。第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解回归平方和回归平方和niiYYSSR12)(表示各表示各 的变动程度，该变动是由于回归直线的变动程度，该变动是由于回归直线中各中各 X Xi i 的变动所引起的，并且通过的变动

16、所引起的，并且通过X X对对Y Y的线性影响表现出来。的线性影响表现出来。 iY第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解误差平方和误差平方和niiiYYSSE12)(表示各表示各Y Yi i围绕所拟合的回归直线的变动程度围绕所拟合的回归直线的变动程度 SSTSST= =SSRSSR+ +SSESSE第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解SSE=SST-SSRSSE=SST-SSR2211()niniiiYSSTYn)(121221niniiinXXbSSR第九章一元线性回归第九章一元线性回归9.3.2 9

17、.3.2 自由度的分解自由度的分解SSTSSTniiYY10)(自由度自由度 T T为为n-1 n-1 SSESSE0 0和和1 1用了用了两个正规方程两个正规方程 自由度自由度 E E为为n-2 n-2 SSRSSRniiYY10)(自由度自由度 R R为为1 1 第九章一元线性回归第九章一元线性回归9.3.2 9.3.2 自由度的分解自由度的分解自由度的分解可以表示为自由度的分解可以表示为n-1=1+n-1=1+（n-2n-2）T T= =R R+ +E E第九章一元线性回归第九章一元线性回归9.3.3 9.3.3 回归均方与误差均方回归均方与误差均方1SSRMSR 2nSSEMSE(9-

18、10) (9-10) (9-11)(9-11)回归均方回归均方误差均方误差均方第九章一元线性回归第九章一元线性回归9.4 9.4 样本确定系数与样本相关系数样本确定系数与样本相关系数9.4.1 9.4.1 样本确定系数样本确定系数21SSRSSTSSESSErSSTSSTSST (9-12) (9-12) 注注:Y:Y的总变差中能被的总变差中能被X X解释的那部分所占的比率解释的那部分所占的比率第九章一元线性回归第九章一元线性回归9.4.1 9.4.1 样本确定系数样本确定系数r r2 2的取值范围的取值范围102 r样本的全部观察值都落在样本的全部观察值都落在所拟和的回归直线上所拟和的回归直

19、线上 SSE=0SSE=0， r r2 2=1 =1 当当X X与与Y Y无关，无关，Y Y的变差完的变差完全由于随机因素引起，全由于随机因素引起，此时，此时，SSR=0SSR=0 r r2 2=0 =0 第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数样本相关系数样本相关系数2rrniiniiniiiYYXXYYXXr12121)()()(注注:r:r与与b b1 1的分母均为正，分子相同的分母均为正，分子相同, ,故故r r与与b b1 1有相同的符号。有相同的符号。 第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数r

20、 r的取值情况的取值情况 情况一情况一图图9-69-6第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况二情况二图图9-79-7第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况三情况三图图9-89-8第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况四情况四图图9-99-9第九章一元线性回归第九章一元线性回归-3-2-1012-2-1012(a)xy-2-1012-2-1012(b)xy-2-1012-2-1012(c)xy-3-2-1012302468(d)xy不相关正相关负相

21、关相 关 但无 线 性关系第九章一元线性回归第九章一元线性回归引例分析引例分析厂家投入(x) 产出(y)x2y2xy120304009006002406016003600240032040400160080043060900360018005103010090030061040100160040072040400160080082050400250010009203040090060010307090049002100第九章一元线性回归第九章一元线性回归引例分析引例分析 平均投入220/10=22,平均产出450/10=45 r22()()=0.759()()xxyyxxyy第九章一元线性回归

22、第九章一元线性回归9.5 9.5 一元线性回归显著性检验一元线性回归显著性检验在回归函数在回归函数E(Y)=E(Y)=0 0+1 1X X中，如果中，如果1 1=0=0，则对于，则对于X X的一切水的一切水平平E(Y)=E(Y)=0 0，说明，说明Y Y的变化与的变化与X X的变化无关，因而，我们不能的变化无关，因而，我们不能通过通过X X去预测去预测Y Y。所以，对模型。所以，对模型Y Yi i=0 0+1 1X Xi i+i i 检验检验1 1=0=0是是否成立，等价于检验否成立，等价于检验Y Y与与X X之间是否存在线性关系。之间是否存在线性关系。 第九章一元线性回归第九章一元线性回归9

23、.5.1 b9.5.1 b1 1的抽样分布的抽样分布为了检验为了检验1 1=0=0是否成立，需要构造一是否成立，需要构造一个合适的统计量，因此，首先讨论个合适的统计量，因此，首先讨论b b1 1的抽样分布。的抽样分布。第九章一元线性回归第九章一元线性回归9.5.1 b9.5.1 b1 1的抽样分布的抽样分布b b1 1是观测值是观测值Y Yi i的线的线性组合性组合 Y Yi i服从正态分布且服从正态分布且相互独立相互独立 b b1 1也服从正态分布也服从正态分布 第九章一元线性回归第九章一元线性回归9.5.1 b9.5.1 b1 1的抽样分布的抽样分布以下可以证明以下可以证明niiXXb12

24、212)()(b b1 1的方差的方差第九章一元线性回归第九章一元线性回归9.5.1 b9.5.1 b1 1的抽样分布的抽样分布证明：证明：因为因为 niiiYCb11且且Y Yi i相互独立，其中相互独立，其中 niiiiXXXXC12)(niiniiiniiiXXYCYCb1221221212)()()()(所以，所以，b b1 1服从服从 )(,(1221niiXXN第九章一元线性回归第九章一元线性回归9.5.2 F 9.5.2 F 检验检验在一元线性回归中，为了检验在一元线性回归中，为了检验Y Y对于对于X X线性线性关系的统计显著性，对关系的统计显著性，对1 1进行进行F F检验检验

25、1 1）提出假设：）提出假设：H H0 0：1 1=0=0，H H1 1：1 100。 2 2） 构造并计算统计量构造并计算统计量：ERfSSEfSSRF 3 3）查）查F F分布临界值表，得临界值分布临界值表，得临界值)2, 1 (nF4 4）比较：）比较： 接受接受H H0 0，认为，认为Y Y与与X X不存在一元线性关系。不存在一元线性关系。) 2, 1 (nFF第九章一元线性回归第九章一元线性回归9.5.2 F 9.5.2 F 检验检验若若F F )2, 1(nF拒绝拒绝H H0 0，认为，认为Y Y与与X X存在一元线性关系。存在一元线性关系。 表表9-1 9-1 方差分析表方差分析

26、表第九章一元线性回归第九章一元线性回归dfSSMSFSignificance F回归分析11065.7891065.78910.872480.01090193残差8784.210598.02632总计91850第九章一元线性回归第九章一元线性回归9.5.39.5.3 t t 检验检验 1 1）提出假设）提出假设 H H0 0: : H H1 1: : 01012 2）构造并计算统计量）构造并计算统计量 步步 骤：骤：)(11bsbt 21)()(XXMSEbsi3 3）查）查t t分布临界值表分布临界值表 得临界值得临界值 )2(2/nt第九章一元线性回归第九章一元线性回归9.5.39.5.3

27、 t t 检验检验4 4）比较）比较若若 ，接受，接受H H0 0 t)2(2/nt若若 ，拒绝，拒绝H H0 0 t)2(2/nt第九章一元线性回归第九章一元线性回归查表得 ，落在了拒绝域，即自变量x与因变量y之间相关关系明显，投入量对产出量的影响显著。12( )0.35914()iMSEs bXX11.1842b 113.297( )bts b第九章一元线性回归第九章一元线性回归9.5.4 9.5.4 利用样本相关系数进行统计检验利用样本相关系数进行统计检验 步步 骤：骤：1 1）提出假设）提出假设 H H0 0: : =0 =0H H1 1: : 02 2）计算简单相关系数）计算简单相关系数r r 3 3）查）查相关系数相关系数临界值表临界值表 得临界值得临界值 )2( nr是总体是总体Y Y与与X X的线性的线性相关系数相关系数第九章一元线性回归第九章一元线性回归9.5.4 9.5.4 利用样本相关系数进行统计检验利用样本相关系数进行统计检验4 4）比较）比较若若 ，接受，接受H H0 0 rr若若 ，拒绝，拒绝H H0 0 rr第九章一元线性回归第九章一元线性回归第九章一元线性回归第九章一元线性回归9.6 9.6 模型适合性分析模型适合性分析 在对一元线性回归模型的适合性进行分析时在对一元线性回归模型的适合性进行