第五章回归分析.ppt

1、1,数 理 统 计 (回归分析）,2,3 一元线性回归分析,一、确定性关系： 当自变量给定一个值时，就确定应变量的值与之对应。 如：在自由落体中，物体下落的高度h与下落时间t之间有函数关系：,变量与变量之间的关系,3,二、相关性关系： 变量之间的关系并不确定，而是表现为具有随机性的一种“趋势”。即对自变量x的同一值，在不同的观测中，因变量Y可以取不同的值，而且取值是随机的，但对应x在一定范围的不同值，对Y进行观测时，可以观察到Y随x的变化而呈现有一定趋势的变化。,如：身高与体重，不存在这样的函数可以由身高计算出体重，但从统计意义上来说，身高者，体也重。 再如：父亲的身高与儿子的身高之间也有一定

2、联系，通常父亲高，儿子也高。,回归分析研究相关性关系的最基本，应用最广泛的方法。,4,（一）一元线性回归,5,在实际问题中，回归函数(x)一般是未知的， 需要根据试验数据去估计。,6,7,一元线性回归要解决的问题：,8,（二）a,b的估计最小二乘估计,9,正规方程系数行列式,10,在误差为正态分布假定下，最小二乘估计等价于极大似然估计。,事实上，似然函数,11,12,参数估计的性质,13,14,参数估计的性质,15,估计量的性质,16,17,例1 K.Pearson收集了大量父亲身高与儿子 身高的资料。其中十对如下：,求Y关于x的线性回归方程。,18,19,（三）误差方差的估计,20,21,例

3、2 求例1中误差方差的无偏估计。,22,（1）影响Y取值的，除了x，还有其他不可忽略的因素； （2）E(Y)与x的关系不是线性关系，而是其他关系； （3）Y与x不存在关系。,（四）线性假设的显著性检验,采用最小二乘法估计参数,采用最小二乘法估计参数a和b，并不需要事先知道Y与x之间 一定具有相关关系，即使是平面图上一堆完全杂乱无章的散 点，也可以用公式求出回归方程。因此(x)是否为x的线性函 数，一要根据专业知识和实践来判断，二要根据实际观察得 到的数据用假设检验方法来判断。,若原假设被拒绝，说明回归效果是显著的，否则，若接受原假设，说明Y与x不是线性关系，回归方程无意义。回归效果不显著的原因

4、可能有以下几种：,23,24,例3 检验例1中回归效果是否显著，取=0.05。,25,回归分析与方差分析,26,27,线性回归的方差分析,28,线性回归的方差分析,原假设H0：b=0，备择假设 H1：b0 选统计量,29,方差分析表,30,线性回归的方差分析,对检验水平，查表得F(1,n-2)， 计算出F值。 若FF(1,n-2) ，则拒绝H0 ，说明回归效果显著； 若FF(1,n-2) ，则接受H0 ，说明回归效果不显著。,31,例 为研究某一化学反应过程中温度x对产品得率Y的影响，测得数据如下： (1)求Y关于x的回归方程; (2)求2的无偏估计量的值; (3)取 =0.05,问回归效果是

5、否显著？若显著,求出b的置信度为0.95的置信区间； (4)作方差分析，检验回归效果( =0.01)。,32,解 (1)先画出散点图，从图看出，(x)大致是线性函数，设(x) =a+bx 这里n=10，为求线性回归方程，对所需要的计算列表：,33,34,35,所以得回归直线方程为 写成另一种形式 (2),36,(3)已求出 由此得出 又 查出 这里45.3942.306，即|t|值在H0的拒绝域内，故拒绝H0 ，说明回归效果是显著的。 b的置信度为0.95(=0.05)的置信区间为,37,38,相关系数检验法,39,（五）回归系数b的置信区间,当回归效果显著时，常需要对回归系数b作区间估计。,

6、40,(六)回归函数 函数值的点估计和置信区间,41,42,（七）Y的观察值的点预测和预测区间,43,44,45,注：在预测时， 一定要落在已有的 的数据范围内部，否则预测常常没有意义。,46,例4，在例1中F.Galton曾断言“儿子身高会受到父亲身高的影响，但身高偏离父代平均水平的父亲，其儿子身高的影响有回归到子代平均水平的趋势。”试问例1这组数据能证实这一论断吗(=0.05)?并给出x=69吋时,y的预测区间。,(1)回归到平均水平的趋势，即检验,47,48,例5 合金钢的强度y与钢材中碳的含量x有密切关系。为了冶炼出符合要求强度的钢常常通过控制钢水中的碳含量来达到目的，为此需要了解y与

7、x之间的关系。其中x：碳含量（） y：钢的强度（kg/mm2）数据见下：,（1）画出散点图；（2）设(x)=a+bx,求a,b的估计；（3）求误差方差的估计，画出残差图；（4）检验回归系数b是否为零（取=0.05)；（5）求回归系数b的95置信区间；（6）求在x=0.06点，回归函数的点估计和95置信区间；（7）求在x=0.06点，Y的点预测和95区间预测。,49,0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19,56 54 52 50 48 46 44 42 40 38,（1）合金钢的强度y与钢材中碳的含量x的散点图,50,51,0.03 0.05 0

8、.07 0.09 0.11 0.13 0.15 0.17 0.19 x,0,e,52,0.03 0.05 0.07 0.09 0.11 0.13 0.15 0.17 0.19,56 54 52 50 48 46 44 42 40 38,合金钢的强度y与钢材中碳的含量x的回归直线图,53,54,55,八、控制问题,要求y 以置信度1-在 内取值， x控制在 内，使其中的x所对应的观察值y满足,56,控制问题,57,对给出的 ，以置信度1-,有 由此解出x即为x1 由此解出x即为x2 当样本容量n较大时， 若取x0在x附近，则 这时,58,（九）可化为一元线性回归的例子,实际中常会遇到很复杂的回归

9、问题，但在某些情况下，通过适当的变量变换，可将其化为一元线性回归来处理。下面是三种常见的可转化为一元线性回归的模型。,59,60,2 多元线性回归,在实际问题中，影响Y（因变量）的因素（自变量）往往不止一个，设有,61,62,63,线性回归要解决的问题：,64,(二）最小二乘估计及其性质,65,66,67,68,例6 某公司在各地区销售一种特殊化妆品。该公司观测了15 个城市在某月内对该化妆品的销售量Y及各地区适合使用该化妆品的人数X1和人均收入X2，得到数据如下：,表1.1.2 化妆品销售的调查数据,69,化妆品销售的调查数据（续）,70,71,由回归方程可知，若固定人均收入不变，则人数每增

10、加1千人，销售量增加0.496箱；若固定人数不变，收入每增加1元，销售量增加0.0092箱。,多元线性回归也可以像一元线性回归一样，检验模型的回归效果是否显著。所不同的是，在模型的回归效果显著的情况下，还要检验每个自变量对因变量的效应是否显著，不显著就要剔除，通常用逐步回归法可以使回归方程变得简洁、明确、显著。在此基础上可以对给定点处对应的Y进行点预测和区间预测。所有这些都可以通过SAS软件实现。,72,73,74,75,76,77,78,正态线性模型参数估计的进一步性质,79, 参数估计的算法,当满足元线性回归模型理论假设的条件时，模型参数,的最小二乘解为,可以证明,80,其中,波动大小可以

11、由抽样过程中进行控制.同一元线性回归分,81,3. 回归方程的显著性检验, 多元回归方程显著性的整体性检验,显著性检验的基本定理,令, 总偏差平方和，自由度, 回归平方和，自由度,82, 残差平方和，自由度,则有,显著性检验基本方法 F检验（方差分析）,检验假设,83,检验统计量及其分布,于是检验统计量,检验的显著性概率,84,决策准则,回归方程有显著意义.,检验结果的报告（方差分析表）,85,此外，与一元线性回归分析类似，可用可决系数（复相关系数）,86,来测定回归方程对各个观测点的拟合程度，,的值越大（小）表明回归直线对各个观测点的拟合程度,越高（低）.,多元回归方程中每个自变量对因变量影响 显著性检验,检验假设,87,检验统计量及其分布,检验的显著性概率,决策准则,88,89,则可以证明，新回归方程的系数与原回归方程的系数有,如下关系：,对于新建立的回归方程，必须对