回归分析的基本思想及其初步应用

1、回归分析的基本思想及其初步应用统计案例第一章回归分析的基本思想及其初步应用.?,?,:,等等等等性性相相关关关关系系线线体体重重之之间间是是否否存存在在身身高高和和一一个个重重要要因因素素肥肥胖胖是是影影响响人人类类健健康康的的与与患患肺肺癌癌有有关关系系吗吗吸吸烟烟胁胁人人类类性性命命的的一一种种疾疾病病肺肺癌癌是是严严重重威威面面的的问问题题我我们们经经常常会会遇遇到到类类似似下下在在现现实实中中.,)(,)(,以以得得到到最最可可靠靠的的结结论论当当的的方方法法分分析析数数据据然然后后用用恰恰的的方方法法数数据据并并确确定定获获取取变变量量值值题题决决的的问问用用怎怎样样的的量量来来描描

2、述述要要解解是是什什么么总总体体象象必必须须明明确确问问题题涉涉及及的的对对为为了了回回答答这这些些问问题题回归分析的基本思想及其初步应用.,.,的的作作用用认认识识统统计计方方法法在在决决策策中中想想的的基基本本思思并并初初步步了了解解独独立立性性检检验验其其应应用用析析方方法法及及进进一一步步讨讨论论线线性性回回归归分分的的讨讨论论通通过过对对典典型型例例案案我我们们将将在在此此基基础础上上章章中中本本归归等等基基本本知知识识样样本本估估计计总总体体、线线性性回回用用我我们们学学习习过过关关于于抽抽样样、在在必必修修模模块块中中回归分析的基本思想及其初步应用其初步应用回归分析的基本思想及1

3、 . 1回归分析的基本思想及其初步应用.,3.)analysisregression(.,行行预预报报并并用用回回归归直直线线方方程程进进直直线线方方程程求求回回归归点点图图其其步步骤骤为为画画散散进进行行了了研研究究的的方方法法系系的的变变量量利利用用回回归归分分析析性性相相关关关关我我们们对对两两个个具具有有线线中中数数学学在在方方法法析析的的一一种种常常用用分分系系的的两两个个变变量量进进行行统统计计是是对对具具有有相相关关关关析析回回归归分分定定性性关关系系而而相相关关关关系系是是一一种种非非确确性性关关系系函函数数关关系系是是一一种种确确定定我我们们知知道道回归分析的基本思想及其初步

4、应用:,y,x,y,x,y,xnn2211二乘估计公式分别为二乘估计公式分别为截距和斜率的最小截距和斜率的最小我们知道其回归方程的我们知道其回归方程的关系的数据关系的数据对于一组具有线性相关对于一组具有线性相关探究探究 1xbya 2,xxyyxxbn1i2in1iii?.y, x.yy,xn1xn1iin1ii公公式式吗吗你你能能推推导导出出这这两两个个计计算算称称为为其其中中样样本本点点的的中中心心.心心回回归归直直线线过过样样本本点点的的中中回归分析的基本思想及其初步应用., xy, Qba ,n1i2ii的值取最小值时分别是使和斜率截距从已经学过的知识知道 n1i2iixyxyxy,

5、Q由于2n1iii2iixyxyxyxy2xyxy,xynxyxyxy2xyxy2n1iiin1i2ii回归分析的基本思想及其初步应用xyxyxyn1iii注意到n1iiixyxyxyn1in1iiixynxyxy, 0 xynxnynxy2n1i2iixynxyxy, Q所以回归分析的基本思想及其初步应用2n1i2iin1in1ii2i2xynyyyyxx2xx2n1i2in1iiin1i2i2xxyyxxxxxyn.yyxxyyxxn1i2in1i2i2n1iii回归分析的基本思想及其初步应用即有均为当且仅当前两项的值取最小值因此要使数而前两项为非负无关后两项和在上式中, 0,Q, ,.x

6、y,xxyyxxn1i2in1iii.公式这正是我们所要推导的.,基基本本思思想想及及其其应应用用进进一一步步学学习习回回归归分分析析的的下下面面我我们们通通过过案案例例回归分析的基本思想及其初步应用.11,81所示重数据如表其身高和体名女大学生从某大学中随机选取5943616454505748kg/170155165175170157165165cm/87654321体体重重身身高高编编号号.cm172,的的女女大大学学生生的的体体重重并并预预报报一一名名身身高高为为归归方方程程身身高高预预报报她她的的体体重重的的回回求求根根据据一一名名女女大大学学生生的的: ) 11 . 1(.,图图作散

7、点体重为因变量真实取身高为自变量因此选据身高预报体重由于问题中要求根解yx11 . 1图xy回归分析的基本思想及其初步应用.,11 . 1画它们之间的关系刻性回归方程以用线因此可线性相关关系较好的重有比高和体身样本点呈条状分布中可以看出从图 .712.85x 849.0y .849.0b,712.85a ,21于是得到回归方程可以得到和根据探究中的公式.kg316.60712.85172849.0y,cm172,预报其体重为由回归方程可以的女大学生对身高为所以11 . 1图xy回归分析的基本思想及其初步应用?.,849.0y,1x,849.0b的强弱它们之间线性相关关系如何描述性相关关系体重与

8、身高具有正的线这表明个单位就增加体重个单位时每增加说明身高是斜率的估计值为关系数的具体计算公式样本相关系的方法两个变量之间线性相关来衡量我们介绍了用相关系数中在必修.r,3.yyxxyyxxrn1in1i2i2in1iii回归分析的基本思想及其初步应用.75.0r,.,0r ;, 1r .,0r;,0r强的线性相关关系时认为两个变量有很大于当通常关系不存在线性相关表明两个变量之间几乎时越接近于性越强明两个变量的线性相关表的绝对值越接近表明两个变量负相关时当表明两个变量正相关时当.,798.0r,有意义的我们建立的回归模型是从而也表明关关系与身高有很强的线性相这表明体重可以计算出在本例中回归分析

9、的基本思想及其初步应用?,?kg316.60cm172其原因是什么其原因是什么不是不是如果如果吗吗是是女大学生的体重一定女大学生的体重一定的的身高身高探究探究.21 . 1.316.60316.60172,位置说明了这一点本点和回归直线的相互中的样图以认为她的体重接近于但一般可是大学生的体重不一定的女身高显然kgkgcm21 . 1图 3, eabxy:,回归模型来表示可用下面的线性所以身高和体重的关系线的附近而只是散布在某一条直线由于所有的样本点不共回归分析的基本思想及其初步应用.y,x,yx,exy,称称为为预预报报变变量量把把称称为为解解释释变变量量因因此此我我们们把把的的变变化化只只能

10、能解解释释部部分分即即共共同同确确定定素素和和随随机机因因的的值值由由在在回回归归模模型型中中与与函函数数关关系系不不同同 :.0eD, 0eE,e.abxyye,ba2整表达式为整表达式为这样线性回归模型的完这样线性回归模型的完方差方差它的均值它的均值称为称为为随机变量为随机变量通常通常的误差的误差之间之间与与是是为模型的未知参数为模型的未知参数和和这里这里随机误差随机误差 .eD, 0eE,eabxy2 4 随随机机误误差差是是引引起起预预报报的的精精度度越越高高预预报报真真实实值值通通过过回回归归直直线线越越小小的的方方差差随随机机误误差差中中在在线线性性回回归归模模型型.y5,abxy

11、,e,42回归分析的基本思想及其初步应用.,yy 取取决决于于随随机机误误差差的的方方差差其其大大小小之之间间的的误误差差的的原原因因之之一一与与真真实实值值值值 .yy ,ba,ba 21,另另一一个个原原因因之之间间误误差差的的与与真真实实值值这这种种误误差差是是引引起起预预报报值值之之间间也也存存在在误误差差和和它它们们与与真真实实值值的的估估计计值值为为截截距距和和斜斜率率和和中中和和由由于于公公式式另另一一方方面面?e的的原原因因是是什什么么产产生生随随机机误误差差项项思思考考.,.,的产生差项误机随所有这些因素都会导致是一种近似的模型型往往只我们选用的线性模另外动、度量误差等食习惯

12、、是否喜欢运例如饮许多其他因素的影响还受身高的影响外一个人的体重值除了受实际上e回归分析的基本思想及其初步应用?,如何衡量预报的精度随机误差那么应该怎样研究它是一个不可观测的量误差的预报真实值是用在线性回归模型中探究yye., 0,.,2随随机机误误差差的的大大小小来来衡衡量量因因此此可可以以用用方方差差而而随随机机误误差差的的均均值值为为于于均均值值程程度度的的数数字字特特征征差差是是反反映映随随机机变变量量集集中中方方平平均均水水平平的的数数字字特特征征值值是是反反映映随随机机变变量量取取值值均均画画它它的的一一些些总总体体特特征征机机变变量量的的数数字字特特征征来来刻刻因因此此可可以以通

13、通过过这这个个随随量量因因为为随随机机误误差差是是随随机机变变 .e,y,ye43?e.,2的的样样本本变变量量因因此此也也就就无无法法得得到到随随机机分分离离出出来来中中我我们们无无法法精精确确地地把把它它从从中中隐隐含含在在预预报报变变量量中中的的或或由由于于模模型型的的样样本本呢呢到到随随机机变变量量如如何何得得来来估估计计总总体体方方差差的的想想法法是是通通过过样样本本方方差差一一个个自自然然的的值值需需要要估估计计为为了了衡衡量量预预报报的的精精度度回归分析的基本思想及其初步应用 , a xby ,21.2归方程可以建立回和公式根据截距和斜率的估计样本的估计值来估计解决问题的途径是通

14、过 .ey ye , yye.y5y 的估计量是所以由于随机误差的估计值中是因此. n, 2 , 1i , abxyyye,y,x,y,x,y,xiiiiinn2211 相应它们的随机误差为相应它们的随机误差为而言而言对于样本点对于样本点, n, 2 , 1i , a xbyy ye iiiii 其估计值为其估计值为回归分析的基本思想及其初步应用2nb, a Q2n1e 2n1 ,).residual(y,xe n1i22iii可可以以用用差差估估计计总总体体方方差差的的思思想想类类比比样样本本方方的的称称为为相相应应于于点点残差残差 ., . ).squaresofsumresidual(b

15、, a Q,21ba ,222预预报报精精度度越越高高越越小小度度衡衡量量回回归归方方程程的的预预报报精精可可以以用用称称为为给给出出由由公公式式和和其其中中的的估估计计值值作作为为残差平方和残差平方和.2n效效果果是是为为了了达达到到更更好好的的估估计计公公式式中中的的分分母母取取 .xxyyxxb2. xbya :1n1i21n1iii公公式式公公式式回归分析的基本思想及其初步应用?0?21吗吗为为报报误误差差性性回回归归方方程程的的预预用用这这样样的的样样本本建建立立的的线线时时残残差差平平方方和和为为多多少少或或当当样样本本容容量量为为思思考考.,e ,e ,e ,.,n21这这方方面

16、面的的分分析析工工作作称称为为在在可可疑疑数数据据判判断断原原始始数数据据中中是是否否存存来来判判断断模模型型拟拟合合的的效效果果可可以以通通过过残残差差然然后后性性回回归归模模型型来来拟拟合合数数据据是是否否可可以以用用线线线线性性相相关关来来粗粗略略判判断断它它们们是是否否相相首首先先要要根根据据散散点点图图系系时时在在研研究究两两个个变变量量间间的的关关 残差分析残差分析.21相应的残差数据重的原始数据以及列出女大学生身高和体表 回归分析的基本思想及其初步应用382.0883.2627.6137.1618.4419.2627.2373.6e 5943616454505748kg/1701

17、55165175170157165165cm/87654321残残差差体体重重身身高高编编号号编编号号残残差差31 . 1图.31 . 1.,.残差图坐标的样本编号为横是以图这样作出的图形为等或体重估计值高数据或身可选为样本编号横坐标纵坐标为残差作图时分析残差特性我们可以利用图形来残残差差图图回归分析的基本思想及其初步应用编编号号残残差差31 . 1图.,.,;,.,61,31 .1越高回归方程的预报精确度拟合精度越高说明模型区域的宽度越窄均匀地落在水平的带状残差点比较另外则需要寻找其他的原因没有错误如果数据采集合数据归模型拟性回利用线然后再重新予以纠正就果数据采集有错误如是否有人为的错误点的

18、过程中两个样本需要确认在采集这大个样本点的残差比较个样本点和第第出中可以看从图回归分析的基本思想及其初步应用.yyy y1R:,R,n1i2in1i2ii22其计算公式是其计算公式是来刻画回归的效果来刻画回归的效果我们还可以用相关指数我们还可以用相关指数另外另外.rR,2的的平平方方系系数数恰恰好好等等于于相相关关线线性性模模型型中中在在含含有有一一个个解解释释变变量量的的如如果果对对某某组组数数据据关关性性越越强强量量和和预预报报变变量量的的线线性性相相表表示示解解释释变变越越接接近近于于因因为为表表示示回回归归的的效效果果越越好好接接近近于于越越化化的的贡贡献献率率释释变变量量对对于于预预

19、报报变变量量变变表表示示解解在在线线性性回回归归模模型型中中模模型型的的拟拟合合效效果果越越好好也也就就是是说说意意味味着着残残差差平平方方和和越越小小取取值值越越大大显显然然. ), 1R(, 1R.R,.,R,2222回归分析的基本思想及其初步应用.R,R,22据的模型据的模型大的模型作为这组数大的模型作为这组数选择选择可以通过比较几个可以通过比较几个也也回归分析回归分析种不同的回归方程进行种不同的回归方程进行取几取几可能性采可能性采.%64, %64,64.0R,12高引起的高引起的是由身是由身女大学生体重差异有女大学生体重差异有或者说或者说体重变化体重变化的的女大学生身高解释了女大学生

20、身高解释了表明表明中中在例在例:,需要注意下列问题用身高预报体重时.,.,.1系木的高与直径之间的关描述北方干旱地区的树方程的高与直径之间的回归在南方多雨地区的树木不能用生长同样之间的关系女运动员的身高和体重描述和体重之间的回归方程不能用女大学生的身高例如所研究的样本的总体回归方程只适用于我们回归分析的基本思想及其初步应用.,8020,.2之间的关系描述现在的身高和体重方程建立的回归年代的身高体重数据所世纪能用不例如一般都有时间性我们所建立的回归方程.),ycm70 x,cm170,cm155x,(,.3显然不合适值时的程计算而用这个方的样本的取值范围为解释变量即在回归方程中重之间的关系就不恰

21、当幼儿时期的身高和体那么用它来描述一个人立的建大学生身高和体重数据我们的回归方程是由女例如归方程的适用范围样本取值范围会影响回.,.4值的平均值它是预报变量的可能取事实上精确值的的预报值就是预报变量不能期望回归方程得到回归分析的基本思想及其初步应用:,骤为骤为建立回归模型的基本步建立回归模型的基本步一般地一般地 ;,1量量是是预预报报变变量量哪哪个个变变量量明明确确哪哪个个变变量量是是解解释释变变确确定定研研究究对对象象 ;,2如如是是否否存存在在线线性性关关系系等等观观察察它它们们之之间间的的关关系系散散点点图图释释主主变变量量和和预预报报变变量量的的画画出出确确定定好好的的解解 );abx

22、y,(3则选用线性回归方程则选用线性回归方程线性关系线性关系如我们观察到数据呈如我们观察到数据呈型型由经验确定回归方程类由经验确定回归方程类 );(4乘乘法法如如最最小小二二程程中中的的参参数数按按一一定定规规则则估估计计回回归归方方 .,),(5或或模模型型是是否否合合适适等等则则检检查查数数据据是是否否有有误误在在异异常常若若存存律律性性等等等等或或残残差差呈呈现现不不随随机机的的规规应应残残差差过过大大个个别别数数据据对对是是否否有有异异常常得得出出结结果果后后分分析析残残差差图图回归分析的基本思想及其初步应用.,317.2之间的回归方程与试建立中观察数据列于表组现收集了有关和温度一只红

23、铃虫的产卵数xyxy31表325115662421117/y35322927252321C/0个个产产卵卵数数温温度度41 . 1图温度温度产卵数产卵数.41 . 1据作散点图根据收集的数解所以不能相关关系线性个变量不呈线因此两带状区域内某个布在有分并没样本点在散点图中,回归分析的基本思想及其初步应用.cc,ecy,.21xc12是待定参数和其中的周围指数函数曲线某一条可以发现样本点分布在根据已有的函数知识系立两个变量之间的关建来直接利用线性回归方程 .xy,.)cb,clna(abxz, ylnz.cc,2121了间的非线性回归方程之和型来建立就可以利用线性回归模这样的周围直线换后样本点应该

24、分布在则变令系变为线性关过对数变换把指数关系我们可以通和参数问题变为如何估计待定现在 .,abxy线线性性回回归归方方程程我我们们称称之之为为非非时时当当回回归归方方程程不不是是形形如如图的样本数据表的数据可以得到变换后由表, 4131回归分析的基本思想及其初步应用.,51 . 1.4151 . 1用线性回归方程来拟合因此可以一条直线的附近变换后的样本点分布在看出中可以从图中数据的散点图给出了表784.5745.4190.4178.3045.3398.2946.1z35322927252321x41表产卵数的对数温度51 . 1图.843. 3272. 041xz到线性回归方程中的数据得由表回

25、归方程为数对温度的非线性因此红铃虫的产卵回归分析的基本思想及其初步应用 6ey 843.3x272.01.,.,41 . 1,243423非线性回归方程之间的与从而得到之间的线性回归方程与立然后建即令变换因此可以对温度变量做数为待定参和其中的附近次曲线中样本点集中在某二可以认为图另一方面xytyxtcccxcy.61 . 1,51是相应的散点图图应的温度的平方是红铃虫的产卵数和对表325115662421117y12251024841729625529441t51表回归分析的基本思想及其初步应用.,61 . 1423下面介绍具体方法到还可以通过残差分析得这个结论之间的关系与来拟合二次曲线即不宜用合它回归方程来拟此不宜用线性因直线的周围不分布在一条的散点图并与可以看出中从图xycxcyty温度的平方数卵产61 . 1图中用线性回归模型拟合表的二次回归方程关于下面建立的指数回归方程关于前面已经建立了方程归需要建立两个相应的回残差为比较两个不同模型的51.,.,xyxy回归分析的基本思想及其初步应用 7.54.202x367.0y xy,54.202t367.0y ty,222的二次回归方程为关于即的线性回归方程关于得到的数据 的残差计算公式分别为和则回归方程列的数据行第第表示表用的拟合效果和个回归方程可以通过残