第十二章线性回归

1、第十二章第十二章 线性回归线性回归李金德第一节第一节 线性回归模型的建立方法线性回归模型的建立方法第二节第二节 回归模型的检验与评估回归模型的检验与评估第三节第三节 回归方程的应用回归方程的应用第一节第一节 线性回归模型的建立方法线性回归模型的建立方法一、回归分析与相关分析的关系一、回归分析与相关分析的关系1、用一定模型来表述变量相关关系相关关系的方法称为回归分析。2、从广义上说，相关分析包括回归分析。但二者有区别：回归分析是以数学方式表示变量间的关系，而相关分析则是检验或度量这些关系的密切程度，两者相辅相成。二、回归分析的内容1、建立回归方程2、检验方程的有效性3、利用方程进行预测三、回归模

2、型与回归系数1.用来表达变量之间规律的数学模型用来表达变量之间规律的数学模型称为回归模型。2.回归模型的分类（1）线性回归模型线性回归模型、非线性回归模型非线性回归模型（2）简单回归模型简单回归模型、多重回归模型多重回归模型（3）一元线性回归一元线性回归是指只有一个自变量的线性回归（linear regression），对具有线性关系的两个变量，回归的目的首先是找出因变量（一般记为Y）关于自变量（一般记为X）的定量关系。3、一元线性回归方程 回归方程有两个：以为自变量预测因变量时，方程为：以为自变量预测因变量时，方程为： 以为自变量预测因变量时，方程为以为自变量预测因变量时，方程为 ：XYXY

3、aXbYXYXYaYbXbXaY该直线在该直线在Y轴的轴的截距截距该直线的该直线的斜率斜率对应于对应于X的的Y变量的估计值变量的估计值四、一元线性回归模型建立方法 例12-1：下表中10对数据是为确定某心理量与物理量之间的关系而做的实验结果（表中物理量是取对数后的值）。假设两者呈线性关系，试以这10对数据结果建立该心理量与物理量的回归方程。被试ABCDEFGHIJ心理量（X） 1133456789物理量（Y） 0215426257解：将N对数据按奇偶顺序分为两组，然后分别代入设定的回归方程求和，计算b和a第一组（奇数组） 1=a+0b 3=a+1b 4=a+4b 6=a+6b 8=a+5b 2

4、2=5a+16b 平均数方法第二组（偶数组） 1=a+2b 3=a+5b 5=a+2b 7=a+2b 9=a+7b 25=5a+18bXY5 .14 .0与联立，成二元一次方程组：22=5a+16b 25=5a+18b解得a=-0.4,b=1.5,代入设定的方程答：该心理量与物理量的回归方程为XY5 .14 .0最小二乘法1、定义：、定义：所谓最小二乘法，就是如果散点图中每一点沿Y轴方向到直线的距离的平方和最小，就是使误差的平方和最小，则在所有直线中这条直线的代表性是最好的，它的表达式就是所要求的回归方程。2.最小二乘法的原理最小二乘法的原理 设方程 每一点到直线沿Y轴方向的距离平方和为： 求

5、回归方程就是求当该公式达到最小时a和b的值，而要是公式为最小，只需分别对a和b求偏导数，并令其等于零。即bXaYNNXbaYYYiiii12120022biiaiiXbaYXbaY 经整理，并省略X与Y字母下面的下标，上面两式分别写成： 两边同除以N，得YXbXaYXbaNX2XbYaXXYYXXb2 例12-2：根据例12-1中的数据，使用最小二乘法求回归方程。 代入公式 得b=0.81 再代入公式 得a=1.95 则，回归方程为：XXYYXXb27 , 4, 4 . 3YXXbYaXY81. 095. 1五、回归系数与相关系数的关系2)()(XXYYXXbYX2222YYXXXXYYYYX

6、X22XXYYrXYSSr2)()(XXYYXXbYXXYSSr2)()(YYYYXXbXYYXSSrbbYXXYr同理六、线性回归的基本假设1、线性关系假设2、正态性假设3、独立性假设4、误差等分散性假设第二节 回归模型的检验与估计一、回归模型的有效性检验一、回归模型的有效性检验1、回归模型的有效性检验，就是对求得的回归方程进行显著性检验，看是否真实地反映了变量间的线性关系。2、方法 线性回归模型的有效性检验通常使用方差分析方差分析的思想和方法进行。根据方差分析的原理，在回归的方差分析中总变异被分解为自变量的变异和误差的变异。其分析过程也是从总平方和的分解到自由度的分解，再到均方，最后是进行

7、自变量对误差影响程度进行比较。 即：总平方和 = 误差平方和 + 回归平方和回归平方和的公式推导如下： TSS所有Y值的总平方和； BSS由回归直线表示的线性关系解释的 那部分离差平方和； eSS回归直线无法解释的那个离差平方和。 回归方程效果的好坏取决于回归平方和在总平方和中所占的比例，即 tRSSSS例12-3:以例12-1的回归方程为例，检验其方程效果。XY81. 095. 11)1)建立假设建立假设H0：方程效果不显著，即自变量X与因变量Y之间没有显著的线性关系。H1：方程效果显著，即自变量X与因变量Y之间存在着显著的线性关系。2）方差分析）方差分析 求平方和1 .709 .22029

8、122NYYSST755.316 .11616481.02222NXXbSSR345.38755.311 .70eSS 求均方 求F值3）比较与决策）比较与决策 当分子自由度为1，分母自由度为8时， 。因为， F5.32，p2.31，p0.05，关系显著。拒绝虚无假设，接受研究假设，表明两个变量之间存在显著的线性关系。57. 2315. 081. 00yxbSEbt8210df 31. 2205. 08t三、测定系数n在回归方程的方差分析中曾指出，回归平方和对总平方和的贡献越大，说明回归方程越显著，因而回归平方和在总平方和中所占的比例是评价回归效果的一个指标。n这个比例越大回归效果越好越大回归

9、效果越好，若这个比例达到1，则表明此时Y的变异完全由X的变异来解释，没有误差。若为0，则说明Y的变异与X无关，回归方程无效。的平方叫做测定系数。比例。所占的归平方和在总平方和中相关系数的平方等于回r2SSSSYYYYrTR222第三节 回归方程的应用一、用样本回归方程进行预测或估计一、用样本回归方程进行预测或估计 例12-5：下表是20名工作人员的智商和某一次技术考试成绩，根据这个结果求出考试成绩对智商的回归方程。如果另有一名工作人员智商为120，试估计一下若让他也参加技术考试，将会得多少分？被试12345678910智商（X）899712687119101130115108105考试（Y）5

10、5748760715490736770被试11121314151617181920智商（X）8412197101 9211012811199120考试（Y）538258606780857371901）计算X、Y变量的平均数2）代入公式计算b，a回归方程为：当x =120时，代入回归方程计算，得：107X71Y73.02XXYYXXbYX11. 710773. 071XbYa11. 773. 0,73. 011. 7或XYXY5 .8011. 712073. 0Y二、真值的预测区间n预测是将已知变量值作为自变量代入相应的回归方程而推算出另一个变量的估计值及置信区间统计方法。预测的标准误：预测的标

11、准误：XXXXssipYpYNYX2211)0(。为由度分布的临界值，并且自果为小样本，则为正态分布的临界值；如为；如果为大样本，则时，变量分布的临界值为显著水平为等符号同前；代表预测点值；式中：2nt,22ttXsYXnpYXpXXXXstYipNYXp22211预测区间：预测区间：例12-6：当X=97时Y的真值进行估计。 2）计算预测置信区间 查查t表，有表，有 ，则置信区则置信区间为：间为：1）计算预测标准误）计算预测标准误XXXXssipYYNYXp221103478201127.610797227. 622NYYsYX6.5101.2t18205.0）（36.7704.505 . 6101. 27 .63，即三、回归分析与相关分析的综合运用1、具体步骤、具体步骤 第一步：第一步：将成对资料绘制散点图，从散点图中点子的分布形状判断X和Y是否有线性关系。 第二步：第二步：建立回归模型。 第三步：第三步：回归方程显著性检验。 第四步：第四步：计算回归估计标准误差。