第4章回归分析-1118v1有注解

1、12第四章第四章回归分析回归分析Regression AnalysisRegression Analysis3第一节、引言第一节、引言第二节、一元线性回归分析第二节、一元线性回归分析第三节、多元线性回归分析第三节、多元线性回归分析第四节、非线性回归分析第四节、非线性回归分析4统计关系统计关系函数关系函数关系函数关系函数关系变量间的确定性关系，有精确的数学表达式。变量间的确定性关系，有精确的数学表达式。统计关系统计关系大量观测或试验以后建立起来的一种经验关系，大量观测或试验以后建立起来的一种经验关系，并不一定包含这因果关系。并不一定包含这因果关系。5一、回归分析（一、回归分析（Regressio

2、n AnalysisRegression Analysis）1. 定义：定义：是在分析变量之间是在分析变量之间相关关系的基础上相关关系的基础上，进一，进一步考察变量之间的数量变化规律，并通过回归方程步考察变量之间的数量变化规律，并通过回归方程的形式加以描述和反映变量之间的关系，帮助人们的形式加以描述和反映变量之间的关系，帮助人们准确把握准确把握变量受其他一个或多个变量影响的程度变量受其他一个或多个变量影响的程度，进而进而为控制和预测提供依据为控制和预测提供依据。回归分析一般在回归分析一般在Pearson相关系数相关系数r（回归分析中（回归分析中简称为简称为“相关系数相关系数”）测定的基础上，对

3、自变量和）测定的基础上，对自变量和因变量的变动趋势拟合数学模型进行量的推算的一因变量的变动趋势拟合数学模型进行量的推算的一种统计分析方法。回归分析是一种种统计分析方法。回归分析是一种由因索果由因索果的定量的定量分析、预测技术。分析、预测技术。对地质变量而言，也就是对地质变量而言，也就是从不存在确定性关系的大从不存在确定性关系的大量观测数据中，建立一个地质变量与另一个或其它量观测数据中，建立一个地质变量与另一个或其它几个地质变量之间相关关系的数学表达式几个地质变量之间相关关系的数学表达式。62.回归分析的由来回归分析的由来英国遗传学家英国遗传学家F. Galton: 18221911统计学之父统

4、计学之父K. Pearson: 18571936 二人在研究父母及其子女身高的遗传问题时，将二人在研究父母及其子女身高的遗传问题时，将1078对夫妻的平均身高作为对夫妻的平均身高作为x，取他们一个成年儿子的身高作为，取他们一个成年儿子的身高作为y，将结果绘成散点图后发现呈一条直线。计算出回归方程，将结果绘成散点图后发现呈一条直线。计算出回归方程为：为：即假设父母的平均身高为即假设父母的平均身高为1.75m，则预测子女的身高为，则预测子女的身高为1.7597m。这种趋势及回归方程表明父母身高每增加一个单。这种趋势及回归方程表明父母身高每增加一个单位时，其成年儿子的身高平均增加位时，其成年儿子的身

5、高平均增加0.516个单位。这就是回个单位。这就是回归一词最初在遗传学上的含义。归一词最初在遗传学上的含义。73.回归的现代意义：回归的现代意义：它要比其原始意义广泛的多。具体地说，回归分析的内容包括：它要比其原始意义广泛的多。具体地说，回归分析的内容包括： 根据研究问题性质、要求根据研究问题性质、要求建立回归模型建立回归模型； 根据样本观测值根据样本观测值对回归参数进行估计对回归参数进行估计，求得回归方程求得回归方程。 对回归方程对回归方程、参数估计值进行显著性检验参数估计值进行显著性检验。并从影响因变量的。并从影响因变量的自变量中判断哪些显著，哪些不显著；自变量中判断哪些显著，哪些不显著；

6、 利用回归方程进行利用回归方程进行预测预测。4. 分类：分类： 根据涉及的自变量多少根据涉及的自变量多少A. 一元回归分析一元回归分析B. 多元回归分析多元回归分析 自变量和因变量之间的关系类型自变量和因变量之间的关系类型A. 线性回归分析线性回归分析B. 非线性回归分析非线性回归分析8一、一元线性回归一、一元线性回归1.定义：定义：只涉及一个自变量只涉及一个自变量的简单线性回归模型。回归模型公式为：的简单线性回归模型。回归模型公式为：模型中：模型中：y是是x的线性函数（部分）的线性函数（部分）+ 误差项误差项i N(0, 2)； 线性部分反映了由于线性部分反映了由于x的变化而引起的的变化而引

7、起的y的变化；的变化； 误差项误差项i反映了反映了a、除了、除了x和和y之间的线性关系之外的之间的线性关系之外的随机因素随机因素对对y的影响；的影响；b、不能由、不能由x和和y之间的线性关系所解释的之间的线性关系所解释的变异性变异性；0和和1称为模型的称为模型的回归系数；回归系数； 1 0，x与与y正相关；反之亦反。正相关；反之亦反。 称为一元线性回归模型的称为一元线性回归模型的回归方程回归方程01iiiyx 名称因变量被解释变量自变量解释变量随机扰动误差项回归系数性质已知随机未知随机已知非随机未知随机可观测因素确定性部分不确定性部分可观测因素不可观测因素93.参数参数0和和1的最小二乘估计（

8、的最小二乘估计（OLS：Ordinary Least Square） 定义：使因变量的观察值定义：使因变量的观察值yi与估计值与估计值 之间的残差平方和达到最之间的残差平方和达到最小来求得小来求得 和和 的方法。即：的方法。即：2. 一元线性回归模型的回归（直线）方程一元线性回归模型的回归（直线）方程 是估计的回归直线在是估计的回归直线在y轴上的截距，是当轴上的截距，是当x=0时时y的期望值；的期望值； 是直线的斜率，称为回归系数，表示当是直线的斜率，称为回归系数，表示当x每变动一个单位时，每变动一个单位时，y的的平均变动值平均变动值。最小最小 用最小二乘法拟合的直线用最小二乘法拟合的直线来代

9、表来代表x与与y之间的关系与之间的关系与实际数据的误差比任何其实际数据的误差比任何其他直线都小，他直线都小，因为在所有因为在所有的线性无偏估计中，回归的线性无偏估计中，回归系数的最小二乘估计的方系数的最小二乘估计的方差最小。差最小。10为什么引入随机扰动项为什么引入随机扰动项i？表示被解释变量表示被解释变量y与解释变量与解释变量x的不确定性关系；的不确定性关系；模型不可能包含所有变量，模型不可能包含所有变量，次要变量次要变量要省略；要省略；确定模型确定模型数学形式数学形式肯定会有肯定会有误差误差；样本数据会有样本数据会有测量误差测量误差；一些一些随机因素随机因素无法选入模型。无法选入模型。i特

10、性：特性：众多影响因素的代表；众多影响因素的代表；对被解释变量对被解释变量y影响方向是各异的，有正有负；影响方向是各异的，有正有负；对被解释变量对被解释变量y平均影响是平均影响是0；是非趋势性的随机变量。是非趋势性的随机变量。11根据求极值原理，根据求极值原理， 取最小值得必要条件是取最小值得必要条件是Q对对 和和 的两个一阶偏导数为的两个一阶偏导数为0，即有：，即有：上式整理后可得正规方程组（上式整理后可得正规方程组（Normal Equations）因此，因此，回归参数的估计值为：回归参数的估计值为：0011011001112()02()0niiiniiiiQyxQyx x 1100nii

11、ni iiexe 或11niixxn11niiyyn1()()nxyiiiLxxyy21()nxxiiLxx 222212121)()()()()(YYnXXnYXXYnYYXXYYXXRniiniiniii124. 离差平方和及其分解离差平方和及其分解在一元线性回归模型中，受自变量变动的影响，即在一元线性回归模型中，受自变量变动的影响，即x取值不同对取值不同对y的的影响，或其他因素（包括观测和实验中产生的误差）的影响，观测影响，或其他因素（包括观测和实验中产生的误差）的影响，观测值值yi的数值会发生波动，这种波动称为变差。对于每一个观测值，变的数值会发生波动，这种波动称为变差。对于每一个观测

12、值，变差的大小可以用该观测值差的大小可以用该观测值yi与其算数平均数与其算数平均数 的离差的离差 来表示，来表示，而全部而全部n次观测值的总变差可由这些离差的平方和次观测值的总变差可由这些离差的平方和Lyy来表示：来表示：或记为：或记为：Q1称为称为剩余变差剩余变差（或称（或称残差平方和残差平方和），也就是），也就是 ，反映的是，反映的是总总变差中未被自变量变差中未被自变量x解释的部分解释的部分；Q2称为称为回归变差回归变差（或称（或称回归平方和回归平方和），反映了），反映了y的估计值的估计值 与与yi的平的平均值均值 之间的变差，是由自由变量之间的变差，是由自由变量x的变动而引起的，的变动而

13、引起的，是总变差中自是总变差中自变量变量x解释的部分解释的部分。总离差平方和总离差平方和（总变差）（总变差）Total回归平方和回归平方和（回归变差）（回归变差）Regression残差（剩余）平方和残差（剩余）平方和（残差（剩余）变差）（残差（剩余）变差）ErrorSST = SSR + SSE131()yyxx等价公式：等价公式：（回归直线过样本数据点重心）（回归直线过样本数据点重心）离差分解图离差分解图由回归方程解由回归方程解释的部分释的部分由误差项解释由误差项解释的部分的部分145. 决定系数（决定系数（Coefficient of Determination）决定系数决定系数R2的大

14、小表明了在的大小表明了在y的总变差中自变量的总变差中自变量x变动所引起变动所引起的回归变差所占的比例，故的回归变差所占的比例，故0 R2 1。参数反映由回归模型。参数反映由回归模型解释的解释的y变差在变差在y总变差中所占的比例，由于总变差恒定，故总变差中所占的比例，由于总变差恒定，故R2越大说明越大说明回归方程的拟合程度越高回归方程的拟合程度越高。根据上述定义，有：。根据上述定义，有：可以看出：可以看出： 当当所有观测值都位于回归直线上所有观测值都位于回归直线上时，残差平方和等于时，残差平方和等于0，这时，这时R2= 1，说明总离差可以完全由所估计的样本回归直线来解释；说明总离差可以完全由所估

15、计的样本回归直线来解释； 当当观测值不完全位于回归直线上观测值不完全位于回归直线上，残差平方和大于，残差平方和大于0，此时，此时R20； 当当回归直线没有解释任何离差回归直线没有解释任何离差，即模型中自变量，即模型中自变量x和因变量和因变量y完全无完全无关时，关时，y的总离差全部归于残差平方和，这时的总离差全部归于残差平方和，这时R2= 0； R2 1，说明回归方程拟合越好；，说明回归方程拟合越好； R2 0，说明回归方程拟合越差。，说明回归方程拟合越差。（可决系数）（可决系数）（判定系数）（判定系数）15决定系数与相关系数的关系决定系数与相关系数的关系niiniiniiiYYXXYYXXR1

16、2121)()()(决定系数决定系数相关系数相关系数一元线性回归中，决定系数等于一元线性回归中，决定系数等于y和和x相关系数的平方相关系数的平方166. 估计标准误差估计标准误差Sy (standard error of estimate)1.实际观察值与回归估计值离差平方和的均方根；实际观察值与回归估计值离差平方和的均方根；2.反映实际观察值在回归直线周围的分散状况；反映实际观察值在回归直线周围的分散状况；3.对误差项对误差项 的标准差的标准差 的估计的估计Sy ，是在排除了，是在排除了x对对y的线的线性影响后，性影响后，y随机波动大小的一个估计随机波动大小的一个估计4.反映用估计的回归方程

17、预测反映用估计的回归方程预测y时预测误差的大小时预测误差的大小 5.计算公式为：计算公式为：n-2为自由度为自由度17例：传统的腕足动物系统古生物研究例：传统的腕足动物系统古生物研究中，往往都会绘制壳长壳宽的散点图，中，往往都会绘制壳长壳宽的散点图，并进行回归分析，得出一个线性回归并进行回归分析，得出一个线性回归方程。这表明腕足动物符合等速生长方程。这表明腕足动物符合等速生长模型（周航行和黄冰，模型（周航行和黄冰，20182018，云南曲，云南曲靖 志 留 系 关 底 组 腕 足 类 无 洞 贝靖 志 留 系 关 底 组 腕 足 类 无 洞 贝AtrypoideaAtrypoidea foxi

18、foxi JonesJones居群分析）。居群分析）。 小个体小个体 Vs. 大个体？大个体？ R218二、一元回归方程的检验二、一元回归方程的检验回归方程统计检验的主要内容：回归方程统计检验的主要内容：1. 回归方程的显著性检验（回归方程的显著性检验（F检验）检验）2. 变量的显著性检验（变量的显著性检验（t检验）检验）3. 参数的置信区间估计参数的置信区间估计191. 回归方程的显著性检验（线性关系的检验）回归方程的显著性检验（线性关系的检验）（采用（采用F检验）检验）检验检验自变量和因变量之间的线性关系自变量和因变量之间的线性关系是否显著是否显著。将将回归均方回归均方(MSR)同同残差均

19、方残差均方(MSE)加以比较，加以比较，应用应用F检验来分析二者之间的差别是否显著检验来分析二者之间的差别是否显著回归均方回归均方(MSR) = 回归变差回归变差/（相应）自由度（相应）自由度残差均方残差均方(MSE) = 残差变差残差变差/（相应）自由度（相应）自由度201.提出提出假设假设H0： 1=0 线性关系不显著线性关系不显著H1： 1=0 线性关系显著线性关系显著2.计算检验统计量计算检验统计量F3.确定显著性水平确定显著性水平 ，并根据分子自由度，并根据分子自由度1（一（一元回归）和分母自由度元回归）和分母自由度n-2求统计量的求统计量的P值值4.作出决策作出决策：若：若P0时，

20、时， R2 当当R2 F(k, n-k-1)，则否定假设，则否定假设H0，认为一组自变量，认为一组自变量x1, x2, , xk与因变量与因变量y之间的回归效果显著；反之，则不显著。之间的回归效果显著；反之，则不显著。回归效果不显著的原因：回归效果不显著的原因： 还有其他不可忽略的因素；还有其他不可忽略的因素； Y与与X之间的关系不是线性的；之间的关系不是线性的； Y与与X之间无关。之间无关。43二、二、 多元线性回归方程的检验多元线性回归方程的检验回归方程统计检验的主要内容：回归方程统计检验的主要内容：1. 决定系数与修正的决定系数决定系数与修正的决定系数2. 回归方程的显著性检验（回归方程

21、的显著性检验（F检验）检验）3. 变量的显著性检验（变量的显著性检验（t检验）检验）4. 参数的置信区间估计参数的置信区间估计443. 3. 变量的显著性检验变量的显著性检验4546例：例：矿石体重矿石体重是资源储量估算的重要参数之一是资源储量估算的重要参数之一, , 最直接最直接影响矿石体重影响矿石体重因素是矿石中矿物含量因素是矿石中矿物含量。福建顺昌山后矿区福建顺昌山后矿区铅锌矿铅锌矿的的49 49 件矿石小体重样分析测试成果件矿石小体重样分析测试成果( (表表) )表明表明PbPb 、Zn Zn 、其他硫化物、其他硫化物中的中的S (S (黄铁矿黄铁矿) ) 含量是影响矿石体重的主要因素

22、含量是影响矿石体重的主要因素。（林喜，（林喜，20092009，矿石体重的多元线性回归分析及其检验），矿石体重的多元线性回归分析及其检验）计算得到：复相关系数计算得到：复相关系数(R) =0.7262 、可决系数、可决系数R2 =0.5274。F检验：检验：构建统计量构建统计量F0 =16.7361 , 对于给定的对于给定的=0.05 (95 %置信度置信度) 得到临界值得到临界值F0.05 =1.91E -07 , 因因F0 F0.05 , 说明回归方程是显著的。说明回归方程是显著的。t检验：检验： t1 =4.4422 (对应概率值为对应概率值为5.7387E-05); t2 =0.925

23、 3 (对应概率值为对应概率值为0.3598);t3 =2.464 (对应概率对应概率值为值为0.0176), 即若即若=0.05 , 3 个个t 检验都是拒绝检验都是拒绝H0 ,也也就是说回归系数就是说回归系数1 、2 、3 是有意义的。是有意义的。通过上述回归效果显著性假设检验通过上述回归效果显著性假设检验, 说明该线性方程回说明该线性方程回归效果是显著的。归效果是显著的。体重值（体重值（T/m3）0.0217Pb + 0.0063 Zn + 0.0268 其他硫化物中的其他硫化物中的S经相关分析经相关分析, 矿区铅锌矿中的全矿区铅锌矿中的全S主要为主要为黄铁矿黄铁矿, 而且而且Pb 、Z

24、n 硫化物中亦含有一硫化物中亦含有一定量的定量的S , 所以最终确定所以最终确定Pb 、Zn 、其他、其他硫化物中的硫化物中的S (黄铁矿黄铁矿)含量是影响矿石体含量是影响矿石体重的主要因素重的主要因素, 从而应用多元线性回归分从而应用多元线性回归分析。析。获得矿区矿石体重值与矿石获得矿区矿石体重值与矿石Pb 、Zn 、其他硫化物中的、其他硫化物中的S 含量的含量的回归方程回归方程:d =2.8565 +0.0217Pb + 0.0063 Zn + 0.0268 其他硫化物中的其他硫化物中的S47三、逐步回归三、逐步回归1. 回归分析中变量的选择问题回归分析中变量的选择问题既保证尽量高的预测精

25、度，同时最大限度地减少自变量是运算方便又不失信息，这就存在回归方程中最优变量组合问题。2. 最优回归方程最优回归方程 对因变量有显著作用的自变量全部选入回归方程； 对因变量无显著作用的自变量一个也不引入回归方程。选择”最优回归方程”的方法有:最优子集回归法向后剔除法（backward selection）向前引入法（forward selection）逐步回归法（stepwise selection）逐步选择法48最优子集回归法最优子集回归法按一定准则选择最优模型，常用的准则有：按一定准则选择最优模型，常用的准则有： 校正决定系数校正决定系数（考虑了自变量的个数）：（考虑了自变量的个数）：R

26、R2 2adjadj达到最大。达到最大。 CpCp准则准则（C C即即criterioncriterion，p p为所选模型中变量的个数：为所选模型中变量的个数：CpCp统计量达到最小。统计量达到最小。 AICAIC准则准则 (Akaikes Information Criterion) (Akaikes Information Criterion) ：AICAIC越小越好。越小越好。49逐步选择法：逐步选择法：前进法（前进法（forward selection） -只进不出只进不出若若max(Fj)F，引入引入j变量，但后续变量的引入变量，但后续变量的引入可能使先进入方可能使先进入方程的自变

27、量变得不重要程的自变量变得不重要；后退法（后退法（backward elimination）-只出不进只出不进若若min(Fj)F，剔除，剔除j变量，自变量高度相关时，开始时剔除掉变量，自变量高度相关时，开始时剔除掉的变量即使后来变得有显著性也不能再进入方程。的变量即使后来变得有显著性也不能再进入方程。逐步回归法逐步回归法（stepwise regression）-有进有出有进有出它们的共同特点是每一步只引入或剔除一个自变量。基于对偏回归平方和的F 检验决定其取舍则小样本小样本检验水准检验水准一般定为一般定为0.10或或0.15，大样本大样本把把值定为值定为0.05。 值越小表示选取自变量的标

28、准越严值越小表示选取自变量的标准越严503. 逐步回归法逐步回归法双向筛选：引入有意义的变量（前进法），剔除无意双向筛选：引入有意义的变量（前进法），剔除无意义变量（后退法）义变量（后退法）- 逐步回归逐步回归步骤：步骤：在供选择的m个自变量中，依偏回归平方和的大小，即各自变量对因变量作用的大小，由大到小把自变量依次逐个引入。每引入一个变量，就对它进行假设检验。当该自变量的偏回归平方和经检验是显著时，将该自变量引入回归方程。新变量引入回归方程后，对方程中原有的自变量也要进行假设检验，并把贡献最小且退化为不显著的自变量逐个剔出方程。51回归前后检验回归前后检验增加或剔除变量增加或剔除变量终得最优

29、方程终得最优方程逐步回归分析计算步骤框图52例：通过对长沙、株洲、湘潭地区现有的遥感图像线性构造解译成果和已有的地质、例：通过对长沙、株洲、湘潭地区现有的遥感图像线性构造解译成果和已有的地质、地震、重力、航磁等资料进行分析地震、重力、航磁等资料进行分析, 选取与该区构造稳定性有关的选取与该区构造稳定性有关的二十个变量二十个变量, 采用采用多元回归分析多元回归分析、逐步回归分析逐步回归分析方法建立该区方法建立该区构造稳定性评价构造稳定性评价数学模型对该区的构造数学模型对该区的构造稳定性进行定量研究和评价。稳定性进行定量研究和评价。（陈炳贵、黄梅，（陈炳贵、黄梅，2005，长、株、潭地区构造稳定性

30、数学模拟研究），长、株、潭地区构造稳定性数学模拟研究）变量取值：变量取值： 定量变量定量变量直接取其数值直接取其数值 定性变量定性变量采用采用0/1赋值法取值赋值法取值回归回归类型类型回归平方和回归平方和 剩余平方和剩余平方和自由度自由度F值值回归方程显著性检验回归方程显著性检验多元多元线性线性11.721974.871217.132 1.2157 FF0.012.533，否定，否定H0，显著，显著逐步回归方程：逐步回归方程：Y =0. 0952 - 0. 2124X1 +0. 1293X4+0. 4083X5 +0. 04097X8 +0. 0695X10+0. 0168X11 - 0. 1

31、691X12 +0. 2328X14+0. 1060X16 上述因素与地质发生率存在一定的线性关系；上述因素与地质发生率存在一定的线性关系； 正相关变量表示：正相关变量表示：NW向、向、NE向和向和NNE向构造发育向构造发育地段和各方向构造交汇部位、重力梯度变化值大的地段和各方向构造交汇部位、重力梯度变化值大的地段，发生地震的可能性较大，尤其是构造交汇部地段，发生地震的可能性较大，尤其是构造交汇部位已形成应力释放通道，被已发生地震所证实；位已形成应力释放通道，被已发生地震所证实； 5 4 10，说明地震活动与，说明地震活动与NNE向断裂关系最为向断裂关系最为密切，其次是密切，其次是NW向和向和NE向；向； 负相关：单元构造越发育，地震发生率越低，说明负相关：单元构造越发育，地震发生率越低，说明断裂能使能量存储几率变小，导致地震率降低。断裂能使能量存储几率变小，导致地震率降低。密度密度密度密度密度密度密度密度密度密度531.因变量因变量 y 与与 x 之间不是线性关系之间不是线性关系2.可通过变量代换转换成线性关系可通过变量代换转换成线性关系3.用最小二乘法求出参数的估计值用最小二乘法求出参数的估计值4.并非所有的非线性模型都可以化为线并非所有的非线性模型都可以化为线性模型性模型54指数函数2. 线性化方法两端取对数