工学9回归分析与经验公式拟合

第9章

回归分析与经验公式拟合9-1教学目标回归分析是处理变量之间相关关系的一种数理统计方法,也是广泛用于获得数学表达式的较好方法。本章介绍测量中常用的一元与多元线性回归以及一元非线性回归的基本方法。

2回归分析的基本概念一元线性回归分析多元线性回归分析非线性回归分析教学重点和难点9-3第一节回归分析的基本概念

变量间的关系可分为函数关系和相关关系。本节介绍这两种关系，并对回归分析的一些基本概念作一个简要的介绍。4一、变量间的关系(1)是一一对应的确定关系(2)

设有两个变量和，变量随变量一起变化，并完全依赖于，当变量某个数值时，依确定的关系取相应的值，则称是的函数，记为，其中称为自变量，称为因变量如以速度作匀速运动的物体，走过的距离与时间之间，有如下的函数关系

1、函数关系(确定性关系)52、相关关系(随机性关系)(1)变量间关系不能用函数关系精确表达(3)当变量取某个数值时，变量的值可能有几个(2)一个变量的取值不能由另一个变量惟一确定如人的身高()与体重()之间的关系一、变量间的关系身高与体重之间并不存在确定的函数关系；但经过统计分析后可知体重按一定概率落在一个范围内。6一、变量间的关系3、函数关系与相关关系的关系由于测量误差等原因，确定性的函数关系在实际中往往通过相关关系表现出来。当对事物内部的规律性了解得更加深刻时，经过排除某些主要的影响因数后，相关关系又能转化为确定性的函数关系。例如，测量物体运动的速度，每次测得的数值并不一定满足的关系例如，许多定理也是通过大量的数据分析和处理，才得到变量间的确定关系的7二、什么是回归分析？是一种处理变量间相关关系的数理统计方法。是应用数学的方法，对大量的观察数据进行处理，从而得出比较符合事物内部规律的数学表达式。对于确定的函数关系：使待求的函数关系曲线与测量数据点的某种残余误差之和最小对于已知的相关关系：使待求的相关关系曲线与测量数据点的某种残余误差之和最小8二、什么是回归分析？3、利用所求的关系式，根据一个或几个变量的值，预测或控制另一个变量的值，并要知道这种预测或控制可达到的精密度。主要解决以下几个问题：1、从一组样本数据出发，确定变量之间的数学关系式—回归方程或经验公式；2、对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著；9回归模型的类型回归模型一元回归多元回归线性回归非线性回归线性回归非线性回归一个自变量两个及两个以上自变量10回归模型1、回答“变量之间是什么样的关系？”2、方程中运用1个数字的因变量1个或多个数字的或分类的因变量3、主要用于预测或估计11第二节

一元线性回归分析9-12一、一元线性回归方程一元线性回归模型——概念1、当只涉及一个自变量时称为一元回归，若因变量与自变量之间为线性关系时称为一元线性回归2、对于具有线性关系的两个变量，可以用一个线性方程来表示它们之间的关系3、描述因变量如何依赖于自变量和误差项的方程称为回归模型。9-13由实验获得两个变量和的一组样本数据，，…，，构造如下一元线性回归模型模型中，是的线性函数部分加上误差项

线性部分反映了由于的变化而引起的变化

误差项是随机变量，是独立、等权的正态随机误差反映了除线性关系之外的随机因素对的影响是不能由和之间的线性关系所解释的变异性和称为模型的参数——总体回归参数一、一元线性回归方程一元线性回归模型——方程141、误差项是一个期望值为０的随机变量，即对于一个给定的值，的期望值为2、对所有的值，的方差都相同3、误差项是一个服从正态分布的随机变量，且相互独立。即独立性意味着对于一个特定的值，它所对应的与其它值所对应的不相关对于一个特定的值，它所对应的值与其它值所对应的不相关一、一元线性回归方程一元线性回归模型——基本假定151、描述的平均值或期望值如何依赖于的方程称为回归方程2、简单线性回归方程的形式如下方程的图示是一条直线，因此也称为直线回归方程是回归直线在轴上的截距，是当时的期望值是直线的斜率，表示当每变动一个单位时，的平均变动值一、一元线性回归方程回归方程概念要点162、用样本统计量和代替回归方程中的未知参数和，这时就得到了经验的回归方程3、一元线性回归的经验的回归方程是回归直线在轴上的截距是直线的斜率，它表示当每变动一个单位时，的平均变动值是的估计值1、总体回归参数和是未知的，必须利用样本数据去估计经验的回归方程一、一元线性回归方程17和的计算公式每一个确定一个回归值：残差方程：矩阵形式：其中：当最小时，正规方程组为：对于一元线性回归方程：(9-2)回归方程上的点实际测量值18对于正规方程组：和的计算公式两边同除以n：化简正规方程组：19式中：和的计算公式解线性方程组，得：以后有用将此式代入(9-2)式，可得下页所示(9-7)式20将代入(9-7)这是回归方程的另一种形式当时，表示y随x有线性增大的趋势；当时，表示y随x有线性减小的趋势。表示一条通过重心的回归直线21二、回归效果F检验若测量数据中的数据点较分散，不呈线性，此时的线性回归方程是没有意义的；因此，利用最小二乘法所得到的直线是否有显著意义，即直线是否与两个变量间的实际关系相符，需对回归的效果做显著性检验；回归显著性检验方法有：相关系数r检验法、t检验法、F检验法9-22偏差平方和的分解：二、回归效果F检验测量值之间的差异来源于两个方面：由于自变量取值的不同造成的；除以外的其它因素(如对的非线性影响、测量误差等)的影响对一个具体的观测值来说，差异的大小可以通过该实际观测值与其均值之差来表示：可分解成两部分23偏差平方和的分解：二、回归效果F检验三个平方和的关系两端平方后求和得到(交叉项为零)总偏差平方和残余平方和回归平方和24三个平方和的意义自由度计算公式总偏差平方和的意义：反映因变量的n个观测值与其均值的总偏差残余偏差回归偏差总偏差指独立观察值的个数n个观测值yi受平均值的约束，等于有一个观测值不是独立的，即失去一个自由度25三个平方和的意义计算公式残余偏差回归偏差总偏差回归平方和的意义：在总的偏差中因和的线性关系而引起变化的大小自由度对于y=a+bx，Σ回中只有b是独立变化的，a决定位置的参数等价于的约束26三个平方和的意义残余偏差回归偏差总偏差残余平方和的意义：在总的偏离中除了对线性影响之外的其它因素而引起变化的大小

自由度计算公式回归分析的要求就是使残余平方和最小，即Σ残愈小，回归效果愈好；若Σ回愈大，而Σ残愈小，则说明y与x的线性回归的关系愈密切。27回归方程的显著性检验1、检验自变量和因变量之间的线性关系是否显著2、具体方法是将回归平方和和残余平方和加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，两个变量之间存在线性关系如果不显著，两个变量之间不存在线性关系282、构造统计量F，并计算检验3、在给定显著性水平下，由分布表查得临界值检验方法1、提出假设

H0：线性关系不显著4、作出决策：若，拒绝，认为该回归效果显著。反之，则不显著。29估计残余标准误差1、表征除了与线性关系之外其它因素影响值偏离的大小；2、反映实际观测值在回归直线周围的分散状况；3、从另一个角度说明了回归直线的拟合程度。由式(9-11)的分母：故残余标准差为：300.010.050.1显著否显著否显著否总和残余１回归置信限统计量标准差自由度平方和偏离方差分析表进行比较31检验步骤1、依序计算统计量2、按一定显著水平α，自由度，查F分布表比较后，作出判断结论。32三、回归系数的不确定度与回归方程的稳定性1、回归系数的不确定度(1)回归系数的不确定度是描述回归系数的分散性(2)回归系数和的标准不确定度的计算公式(3)回归系数和的协方差的计算公式式中，是残余标准差9-33三、回归系数的不确定度与回归方程的稳定性2、回归方程的稳定性(1)是指回归值的波动大小波动愈小，回归方程的稳定性愈好用标准不确定度来表示(2)回归值的波动大小的计算公式：回归值的波动大小不仅与剩余标准差s有关，而且还取决于试验次数n及自变量取值范围。343、提高回归方程中各估计量稳定性的方法(1)提高观察数据本身的准确度(2)尽可能增大观测数据中自变量的取值范围(3)增加观测次数(4)减小残余误差，即拟定合适回归方程使其尽可能合乎实际数据的变化规律三、回归系数的不确定度与回归方程的稳定性35四、回归预测值及其不确定度1、利用估计的回归方程，对于自变量的一个给定值，求出因变量的一个估计值，就是回归的预测值用的标准不确定度来表述用的扩展不确定度来表述2、预测值与实际值之间存在偏差，因此给出预测值时，还必须给出其不确定度。有以下两种表示方式其中，扩展不确定度度9-36【例9-1】试对下表所列实验数据做直线拟合，并作方差分析和预测。18020014516512311019120510410014113515118019022013413514416011013015314514112519019010811015516020423519021015813017718515017016114510711517720512112516519518024014316015113515415012713514715511610011512037【解】直线拟合计算故有直线拟合38方差分析0.01高度显著3350094总和329057残余7.50145.016.8１41037回归置信限统计量标准差自由度平方和偏离【解】线性关系成立39预测对于，查t分布表得故有【解】作为包含因子反映回归值的稳定性40回归直线及预测区间【解】41第三节

多元线性回归分析9-42一、多元线性回归方程多元线性回归模型——概念要点2、描述因变量如何依赖于自变量和误差项的方程称为多元线性回归模型3、涉及个自变量的多元线性回归模型可表示为

是待定的估计量是n个相互独立且等权的随机误差分量是的线性函数加上误差项说明了包含在里面但并不能被各个自变量的线性关系所解释的变异性1、一个因变量与两个及两个以上自变量之间的回归9-43多元线性回归模型——概念要点4、对于组实际观测数据，多元线性回归模型可表示为矩阵形式：式中一、多元线性回归方程44多元线性回归模型——基本假定1、自变量是确定性变量，不是随机变量；2、随机误差项的期望值为０，且方差都相同；3、误差项是一个服从正态分布的随机变量，即且相互独立一、多元线性回归方程45多元线性回归模型——正规方程组一、多元线性回归方程设最小二乘得出的估计参数B为：回归方程为：回归误差：依据最小二乘法，正规方程组为：46多元线性回归模型——正规方程组的最小二乘解一、多元线性回归方程对于正规方程组为：回归系数B的最小二乘估计为：故得多元线性回归方程47多元线性回归模型的另一种形式：称为偏回归系数表示假定其他变量不变，当每变动一个单位时，的平均变动值一、多元线性回归方程48一、多元线性回归方程用样本统计量代替回归方程的未知数即得到估计的回归方程：是的估计值是的估计值多元线性回归模型的另一种形式：49多元线性回归模型的另一种形式：一、多元线性回归方程同样有正规方程组：其解：50一、多元线性回归方程即：51计算过程52二、线性回归效果检验回归方程的显著性检验1、检验因变量和所有的自变量之间的是否存在一个显著的线性关系，也被称为总体的显著性检验如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系2、具体方法是将回归平方和和残余平方和加以比较，应用F检验来分析二者之间的差别是否显著9-53检验的步骤1、提出假设线性关系不显著至少有一个不等于０3、在给定显著性水平下，由分布表查得临界值4、作出决策。若，拒绝，则认为该回归效果显著。反之，则不显著。二、线性回归效果检验2、构造统计量F，并计算检验54偏离平方和自由度标准差统计量置信限回归残余总和显著否方差分析表55【例9-2】根据实际经验知道某变量y受变量x1、x2影响，通过试验获得一批数据如表9-5(p.185)，试建立y对x1、x2的线性回归方程，并作方差分析。【解】(1)求解回归方程设欲求的回归方程的形式为：计算：多元线性回归的第二种形式56【解】57【解】矩阵L为：逆矩阵L-1回归系数的最小二乘估计为：回归方程为：或：58【解】(2)方差分析计算统计量：查表：59【解】填表偏离平方和自由度标准差统计量置信限α=0.01α=0.05回归1.635520.16964.82335.533.37残余4.408126总和6.043628不显著显著60三、每个自变量在多元回归中所起的作用1、一个多元线性回归方程是显著的，并不意味着每个自变量对因变量的影响都是重要的,可能其中有某些变量的作用很小。希望所拟合的回归模型中：只含有作用显著的自变量，不含有作用不显著的自变量。9-612、用偏回归平方和来考察每个特定因素在总回归中所起的作用回归平方和，反映了所有个回归自变量对因变量的总影响舍弃某，其余个回归自变量可拟合出元线性回归方程，其相应的回归平方和，它反映了其余个回归自变量所起的总作用。三、每个自变量在多元回归中所起的作用表示出单独对回归因变量的影响623、偏回归平方和的实用计算公式直接利用定义式计算偏回归平方和非常繁杂可利用实用公式计算三、每个自变量在多元回归中所起的作用回归方程的回归系数原元回归的正规方程系数矩阵L的逆矩阵中的第列元素

代替：634、分析步骤(2)凡是偏回归平方和大的变量，一定是对有重要影响的因素。可用残余平方和对它进行检验。计算统计量三、每个自变量在多元回归中所起的作用当时，则认为变量对的影响在水平上显著(1)计算每个自变量的偏回归平方和64(3)偏回归平方和小的变量，不一定不显著。但偏回归平方和最小的那个变量，肯定是所有变量中对作用最小的一个，假如此时变量检验结果又不显著，那可以将该变量剔除。剔除一个变量后，得重新建立元新回归方程，计算回归系数和偏回归平方和。三、每个自变量在多元回归中所起的作用4、分析步骤65在对的多元回归中，当取消一个变量后，个变量新的回归系数，与原来的回归系数之间有如下关系5、新老回归系数间的关系为原元回归的正规方程系数矩阵L的逆矩阵中的元素三、每个自变量在多元回归中所起的作用66【例9-2】分析例9-2两个自变量在回归中所起的作用【解】查F分布表故V1在α=0.01水平上显著故V2在α=0.01水平上不显著67【例9-2】分析例9-2两个自变量在回归中所起的作用【解】所以，原方程中x1是影响y的主要因素，x2对y的影响很小将原方程中的自变量x2剔除，对x1的回归系数重新计算：新的回归方程：或：68第四节

非线性回归分析9-69一、化曲线为直线的回归问题实际问题中，常有两个变量之间为非线性关系；需要作适当的曲线拟合；直接用最小二乘法处理：设：按：导出正规方程组：方程组关于a和b是非线性的，求解困难。70线性化途径之二：正交多项式回归法一、化曲线为直线的回归问题线性化途径之一：变量变换法令：按最小二乘法，求出线性回归方程的回归系数a、b对于：对于：令：按最小二乘法，求出线性回归方程的回归系数a、b选择函数模型的原则：对原y值的残余平方和较小者为好71一、化曲线为直线的回归问题一元非线性化回归要解决的两个问题：如何将一元非线性回归的问题化为线性回归的问题：变量变换法、正交多项式回归法等如何选择较好的数学模型：对实际物理模型不太了解的情况下，最好多选择几种函数模型拟合，最后从中比较选优72

曲线拟合为直线拟合