误差分析课件线性回归及应用

线性回归分析线性回归分析及应用线性回归分析1线性回归分析两个变量之间的关系：1.函数关系－－－确定的关系2.相关关系－－－非确定的关系

（1）一个可控制，另一个不可控制（2)两个变量都不可控制（随机）线性回归分析两个变量之间的关系：2线性回归分析3.回归分析回归分析就是通过对一定数量的观测数据进行统计处理，以找出变量间相互依赖的统计规律。例1-1：施肥量x1520253035404550产量y330345365405445450455465线性回归分析3.回归分析1520253035404550产量3例1-1：为获得施肥量与产量之间的输入输出关系，将测的那些实验数据点标在坐标纸上，如下图示

称为散点图。从散点图上可看出产量y与施肥量x之间基本呈直线关系。20253035404550330345405365445例1-1：为获得施肥量与产量之间的输入输出关系，将测41.1一元线性回归一、一元线性回归方程的求法一元线性回归是处理随机变量和变量之间线性相关关系的一种方法。一元线性回归的数学模型为（1-1）式中，——待定常数和系数；——测量的随机误差。1.1一元线性回归一、一元线性回归方程的求法一元线性回归的数5一元线性回归方程的求法（Ⅰ）当的值为时，相应有设测量误差服从同一正态分布，且相互独立，则用最小二乘法估计参数，设估计量分别为，那么可得一元线性回归方程（1-2）式中，为常数和回归系数。一元线性回归方程的求法（Ⅰ）当的值6一元线性回归方程的求法（Ⅱ）某一观测值与回归值之差用表示它表示某一点与回归直线的偏离程度。记（1-3）值的大小反映全部观测值与回归直线的偏离程度，应使最小。根据最小二乘原理，有（1-4）（1-5）一元线性回归方程的求法（Ⅱ）某一观测值7一元线性回归方程的求法（Ⅲ）由以上两式，经推导整理可得式中，（1-11）（1-12）（1-13）一元线性回归方程的求法（Ⅲ）由以上两式，8一元线性回归方程的求法（Ⅳ）至此，可确定一元线性回归方程回归直线方程的点斜式它表明回归直线通过点，只须在数据域任取一点代入回归方程，得到一点，则可由这两点绘出回归直线。一元线性回归方程的求法（Ⅳ）至此，可确9例1-2（Ⅰ）：例1-2：假如某大量程式位移传感器的实测数据如下表所示，求输出电压与位移之间的关系。位移x/mm01234567输出电压y/V00.099890.199830.299940.400080.500250.600360.70039例1-2（Ⅰ）：例1-2：位移x/mm01234567输出电10例1-2（Ⅰ）：解：具体步骤如下1.变量之间大体呈线性关系，设它们满足一元线性回归方程令2.分别计算的值，填入表1-1中。3.对个列数据分别求和，列入表1-1的最后一行。4.计算例1-2（Ⅰ）：解：具体步骤如下2.分别计算11例1-2（Ⅱ）：5.计算6.列回归方程例1-2（Ⅱ）：5.计算6.列回归方程12二、回归方程的方差分析和显著性检验1.回归方程的方差分析

N个观测值之间的差异（称离差），由两个因素引起：一是由变量之间的线性依赖关系引起；二是由其他因素引起。测量值之间的变化程度可用总离差平方和表示，记为（1-14）二、回归方程的方差分析和显著性检验1.回归方程的方差分析131.回归方程的方差分析把代入中间项，可推出则令有其中，称为回归平方和，反映回归直线对均值的偏离情况，即随变化产生的线性变化在总的离差平方和中所起的作用。称为剩余平方和，反映测量值对回归直线的偏离情况，即其他因素引起的的变化在总的离差平方和中所起的作用。1.回归方程的方差分析把142.回归方程的显著性检验为定量说明与的线性密切程度，通常用F检验法，即计算统计量（1-20）对一元线性回归，有（1-21）计算和检验步骤：（1）由式（1-21）计算出F值。（2）根据给定的显著性水平，从F分布表中查取临界值。（3）比较计算得到的F值和查得的值。若则回归效果显著，否则效果不显著。2.回归方程的显著性检验为定量说明15显著性水平等级：通常可分为以下几级：如果可认为回归效果高度显著，称为在0.01水平上显著，即可信赖程度为99%以上；如果可认为回归效果是显著的，称为在0.05水平上显著，即可信赖程度在95%和99%之间；如果可认为回归效果不显著，此时y对x的线性关系不密切。显著性水平等级：通常可分为以下几级：如163.残余方差与残余标准差

残余方差定义为

残余标准差定义为它表明在单次测量中，由线性因素以外的其他因素引起的y的变化程度。越小，回归直线的精度越高。3.残余方差与残余标准差残余方差定义为17例1-3试对例1-2中求出的回归方程进行显著性检验。解：具体步骤如下（1）利用求，则有（2）计算例1-3试对例1-2中求出的回归方程进行显著性检验。解：具体18例1-3（Ⅱ）：（3）根据查表在级表中查得（4）判别故回归效果高度显著。（5）求剩余标准差例1-3（Ⅱ）：（3）根据查表（4）判别（5）求191.2多元线性回归一、多元线性回归方程的一般求法设因变量与M个自变量的关系是线性相关的，且已获得N组观测数据则有如下结构形式（1-29）式中是M+1个待估计参数，是M个可精确测量的变量，是N个互相独立且服从统一正态分布的随机变量，这便是多元线性回归的数学模型。1.2多元线性回归一、多元线性回归方程的一般求法（1-2920一、多元线性回归方程的一般求法设分别为参数的最小二乘估计，则可得回归方程（1-30）最小二乘条件为正规方程为（1-31）一、多元线性回归方程的一般求法设21正规方程的矩阵形式求解：

数学模型的矩阵形式对于方程组（1-31），系数矩阵是对称的，用A表示X称为数据的结构矩阵。右边的常数项用B表示则正规方程的矩阵形式为令，则方程组的解为问题归结为计算下列四个矩阵正规方程的矩阵形式求解：数学模型的矩阵22二、多元线性回归的显著性检验和精度同一元线性回归方程类似，有回归平方和U表示M个自变量与的线性关系引起的变化在总的离差平方和S中所占的比重。及相应计算如表1-2。F检验的数学统计量为如果则认为所求回归方程在水平上显著。精度由剩余标准差来估计。二、多元线性回归的显著性检验和精度同一23三、每个自变量在多元线性回归中

所起的作用1.自变量作用大小的衡量自变量在总的回归中所起的作用可根据它在U中的影响大小来衡量。把取消一个自变量后回归平方和减少的数值称为对这个自变量的偏回归平方和，记作一般偏回归平方和的计算公式为式中，是正规方程系数矩阵A的逆矩阵C中的元素；是回归方程的回归系数。三、每个自变量在多元线性回归中

所起的作用1.242.自变量作用大小的进一步检验（1）凡是偏回归平方和大的变量，一定是对有重要影响的因素。

回归系数的显著性检验当时，认为自变量对的影响在上显著。（2）偏回归平方和小的变量，不一定不显著，但对最小的变量，如果即检验结果不显著，则可将该变量剔除。2.自变量作用大小的进一步检验（1）凡是253.剔除一个变量后回归方程系数

的计算新回归方程系数与原回归方程系数之间有如下关系当采用数学模型（1-32）时，不变。3.剔除一个变量后回归方程系数

的计算26例1-4（Ⅰ）：用某光栅式传感器测工件尺寸，温度t的变化和位移x的变化都对传感器输出电压y产生影响，观测数据如表1-3所示，试求三者的关系，并进行显著性检验。解：具体步骤如下（1）求例1-4（Ⅰ）：用某光栅式传感器测工件尺寸，温度t的变27例1-4（Ⅱ）：（2）求出列入表1-4，并求出它们的和由表1-4可得（3）求例1-4（Ⅱ）：（2）求出由表1-4可得（3）求28例1-4（Ⅲ）：（4）求二元线性回归方程（5）进行显著性检验①求②检验所求二元回归方程在0.01水平上显著。例1-4（Ⅲ）：（4）求二元线性回归方程（5）进行显著性检验29例1-4（Ⅳ）：（6）建立方差分析表剩余方差回归方差可建立方差分析表1-5。例1-4（Ⅳ）：（6）建立方差分析表30应用篇利用多元线性回归方法预测我国的用电量应用篇31背景介绍（Ⅰ）★中国经济高速发展，电力需求也在不断增加。★02年起电力需求飞速增长，引起全国电力供应紧张。★电力供应紧张的背后，说明对电力市场的预测出现了偏差。给中国经济社会发展带来负面影响。★对中国未来电力需求进行预测，经济合理地安排发电机组计划，降低发电成本，保持电网运行安全可靠，意义重大。背景介绍（Ⅰ）★中国经济高速发展，电力需求也在不断增加。32背景介绍（Ⅱ）为了准确预测用电量的负荷，发展了很多预测方法：★灰色预测法

样本数据少，运算方便，短期预测精度高；只适用于指数增长的模型★偏最小二乘回归预测法模型精度高，稳定、实用；计算复发，需要专业的计算软件★神经网络预测法是一种暗箱模型，结果不易解释★线性回归分析预测法模型简单，预测结果准确，模型解释能力强。得到广泛应用背景介绍（Ⅱ）为了准确预测用电量的负荷，发展了很多预测方法：33多元线性回归模型参数的选择和建立1.1参数选择因变量y－－全社会用电量自变量x－－GDP（x1）、人口总数（x2）建立模型的数据如表1-6所示

多元线性回归模型参数的选择和建立1.1参数选择34表1-6表1-6351.2模型建立和显著性检验根据表中的数据及之前的线性回归理论，得到回归结果为：r方用于判定回归直线的拟合度，上式中为0.97说明回归直线拟合度很好。用F检验法对其显著性检验，在a＝0.01的显著性水平下，说明回归效果显著，效果如下图1－1所示。1.2模型建立和显著性检验根据表中的数据及之前的线36图1－1回归方程通过了显著性检验，具有非常好的预测能力，只要计算出中国未来每年的GDP和人口数，就可以通过回归方程对用电量进行预测。图1－1回归方程通过了显著性检验，具有非常好的预测能37用电量的预测2.1GDP和人口预测在经济学上，GDP预测常用的经济模型为：a为GDP的增长速率（％）。人口预测用的经济模型为：K为人口自然增长速率用电量的预测2.1GDP和人口预测38GDP和人口预测1998~2002中国GDP增长率和人口自然增长率为a＝7.09％，k＝7.66‰GDP和人口预测1998~2002中国GDP增长率和人口自然39用电量预测取2002年的GDP和人口数作为预测的起始年基数，预测结果如下表1-7所示：用电量预测取2002年的GDP和人口数作为预测的起始40表1-7表1-741结论通过建立回归模型，得到了中国年用电量与GDP和总人口数的回归模型，并通过了显著性检验。所得的方程能够用来预测中国的年用电量。这些预测的用电量能够科学指导我国电力和经济政策的制定，为我国电力建设和社会发展规划提供了定量的科学依据。结论通过建立回归模型，得到了中国年用电量与G42谢谢！11/15/202211/12/202243一元非线性回归非线性关系的两种解决方法：一种是通过变量代换，化曲线回归问题为直线回归问题，用一元线性回归方程的方法对其求解；另一种是通过级数展开，把区县函数变成多项式的形式，把解曲线回归问题转换成解多项式回归问题。一元非线性回归非线性关系的两种解决方法44表1-1序号100000002110.099190.9919010.997100.991903220.199131.9913043.993203.996604330.299942.9994091.996401.991205440.400014.000101616.0064016.003206550.500255.002502525.0250125.012507660.600366.003603636.0432136.021601770.700397.003904949.0546249.0273021212.1007421.00740140140.11664140.05130表1-1序号100000002110.099190.991945表1-2来源平方和自由度方差F显著性回归剩余MN-M-1总和N-1表1-2来源平方和自由度方差F显著性回归M总和N-146表1-32020.52121.52222.52323.516410161420110.14190.63110.42131.05311.61351.47392.10461.1941表1-32020.52121.52222.52323.51647表1-4序号13.0625160.177417.00.737101.614121.5625360.391547.50.719133.717130.5625640.701636.00.631356.734440.062540.044100.50.052500.420050.0625160.176741.00.105101.611660.562540.044441.50.151100.421671.5625640.7011210.01.051116.732013.0625360.3990410.51.105413.790210.502402.65702444.6306425.2524表1-4序号13.0625160.177417.00.73748表1-5来源平方和自由度方差F

显著性回归剩余2.6569121.321490.010.0000450.000001总和2.657027表1-5来源平方和自由度方差F显著性回归2.65691249表1-16来源平方和自由度方差F1回归1剩余N-2总和N-1表1-16来源平方和自由度方差F1回归1剩余N-2总和N-150表1-17来源平方和自由度方差F2回归差1剩余N-3第一次剩余N-2表1-17来源平方和自由度方差F2回归差1剩余N-3第一次剩51线性回归分析线性回归分析及应用线性回归分析52线性回归分析两个变量之间的关系：1.函数关系－－－确定的关系2.相关关系－－－非确定的关系

（1）一个可控制，另一个不可控制（2)两个变量都不可控制（随机）线性回归分析两个变量之间的关系：53线性回归分析3.回归分析回归分析就是通过对一定数量的观测数据进行统计处理，以找出变量间相互依赖的统计规律。例1-1：施肥量x1520253035404550产量y330345365405445450455465线性回归分析3.回归分析1520253035404550产量54例1-1：为获得施肥量与产量之间的输入输出关系，将测的那些实验数据点标在坐标纸上，如下图示

称为散点图。从散点图上可看出产量y与施肥量x之间基本呈直线关系。20253035404550330345405365445例1-1：为获得施肥量与产量之间的输入输出关系，将测551.1一元线性回归一、一元线性回归方程的求法一元线性回归是处理随机变量和变量之间线性相关关系的一种方法。一元线性回归的数学模型为（1-1）式中，——待定常数和系数；——测量的随机误差。1.1一元线性回归一、一元线性回归方程的求法一元线性回归的数56一元线性回归方程的求法（Ⅰ）当的值为时，相应有设测量误差服从同一正态分布，且相互独立，则用最小二乘法估计参数，设估计量分别为，那么可得一元线性回归方程（1-2）式中，为常数和回归系数。一元线性回归方程的求法（Ⅰ）当的值57一元线性回归方程的求法（Ⅱ）某一观测值与回归值之差用表示它表示某一点与回归直线的偏离程度。记（1-3）值的大小反映全部观测值与回归直线的偏离程度，应使最小。根据最小二乘原理，有（1-4）（1-5）一元线性回归方程的求法（Ⅱ）某一观测值58一元线性回归方程的求法（Ⅲ）由以上两式，经推导整理可得式中，（1-11）（1-12）（1-13）一元线性回归方程的求法（Ⅲ）由以上两式，59一元线性回归方程的求法（Ⅳ）至此，可确定一元线性回归方程回归直线方程的点斜式它表明回归直线通过点，只须在数据域任取一点代入回归方程，得到一点，则可由这两点绘出回归直线。一元线性回归方程的求法（Ⅳ）至此，可确60例1-2（Ⅰ）：例1-2：假如某大量程式位移传感器的实测数据如下表所示，求输出电压与位移之间的关系。位移x/mm01234567输出电压y/V00.099890.199830.299940.400080.500250.600360.70039例1-2（Ⅰ）：例1-2：位移x/mm01234567输出电61例1-2（Ⅰ）：解：具体步骤如下1.变量之间大体呈线性关系，设它们满足一元线性回归方程令2.分别计算的值，填入表1-1中。3.对个列数据分别求和，列入表1-1的最后一行。4.计算例1-2（Ⅰ）：解：具体步骤如下2.分别计算62例1-2（Ⅱ）：5.计算6.列回归方程例1-2（Ⅱ）：5.计算6.列回归方程63二、回归方程的方差分析和显著性检验1.回归方程的方差分析

N个观测值之间的差异（称离差），由两个因素引起：一是由变量之间的线性依赖关系引起；二是由其他因素引起。测量值之间的变化程度可用总离差平方和表示，记为（1-14）二、回归方程的方差分析和显著性检验1.回归方程的方差分析641.回归方程的方差分析把代入中间项，可推出则令有其中，称为回归平方和，反映回归直线对均值的偏离情况，即随变化产生的线性变化在总的离差平方和中所起的作用。称为剩余平方和，反映测量值对回归直线的偏离情况，即其他因素引起的的变化在总的离差平方和中所起的作用。1.回归方程的方差分析把652.回归方程的显著性检验为定量说明与的线性密切程度，通常用F检验法，即计算统计量（1-20）对一元线性回归，有（1-21）计算和检验步骤：（1）由式（1-21）计算出F值。（2）根据给定的显著性水平，从F分布表中查取临界值。（3）比较计算得到的F值和查得的值。若则回归效果显著，否则效果不显著。2.回归方程的显著性检验为定量说明66显著性水平等级：通常可分为以下几级：如果可认为回归效果高度显著，称为在0.01水平上显著，即可信赖程度为99%以上；如果可认为回归效果是显著的，称为在0.05水平上显著，即可信赖程度在95%和99%之间；如果可认为回归效果不显著，此时y对x的线性关系不密切。显著性水平等级：通常可分为以下几级：如673.残余方差与残余标准差

残余方差定义为

残余标准差定义为它表明在单次测量中，由线性因素以外的其他因素引起的y的变化程度。越小，回归直线的精度越高。3.残余方差与残余标准差残余方差定义为68例1-3试对例1-2中求出的回归方程进行显著性检验。解：具体步骤如下（1）利用求，则有（2）计算例1-3试对例1-2中求出的回归方程进行显著性检验。解：具体69例1-3（Ⅱ）：（3）根据查表在级表中查得（4）判别故回归效果高度显著。（5）求剩余标准差例1-3（Ⅱ）：（3）根据查表（4）判别（5）求701.2多元线性回归一、多元线性回归方程的一般求法设因变量与M个自变量的关系是线性相关的，且已获得N组观测数据则有如下结构形式（1-29）式中是M+1个待估计参数，是M个可精确测量的变量，是N个互相独立且服从统一正态分布的随机变量，这便是多元线性回归的数学模型。1.2多元线性回归一、多元线性回归方程的一般求法（1-2971一、多元线性回归方程的一般求法设分别为参数的最小二乘估计，则可得回归方程（1-30）最小二乘条件为正规方程为（1-31）一、多元线性回归方程的一般求法设72正规方程的矩阵形式求解：

数学模型的矩阵形式对于方程组（1-31），系数矩阵是对称的，用A表示X称为数据的结构矩阵。右边的常数项用B表示则正规方程的矩阵形式为令，则方程组的解为问题归结为计算下列四个矩阵正规方程的矩阵形式求解：数学模型的矩阵73二、多元线性回归的显著性检验和精度同一元线性回归方程类似，有回归平方和U表示M个自变量与的线性关系引起的变化在总的离差平方和S中所占的比重。及相应计算如表1-2。F检验的数学统计量为如果则认为所求回归方程在水平上显著。精度由剩余标准差来估计。二、多元线性回归的显著性检验和精度同一74三、每个自变量在多元线性回归中

所起的作用1.自变量作用大小的衡量自变量在总的回归中所起的作用可根据它在U中的影响大小来衡量。把取消一个自变量后回归平方和减少的数值称为对这个自变量的偏回归平方和，记作一般偏回归平方和的计算公式为式中，是正规方程系数矩阵A的逆矩阵C中的元素；是回归方程的回归系数。三、每个自变量在多元线性回归中

所起的作用1.752.自变量作用大小的进一步检验（1）凡是偏回归平方和大的变量，一定是对有重要影响的因素。

回归系数的显著性检验当时，认为自变量对的影响在上显著。（2）偏回归平方和小的变量，不一定不显著，但对最小的变量，如果即检验结果不显著，则可将该变量剔除。2.自变量作用大小的进一步检验（1）凡是763.剔除一个变量后回归方程系数

的计算新回归方程系数与原回归方程系数之间有如下关系当采用数学模型（1-32）时，不变。3.剔除一个变量后回归方程系数

的计算77例1-4（Ⅰ）：用某光栅式传感器测工件尺寸，温度t的变化和位移x的变化都对传感器输出电压y产生影响，观测数据如表1-3所示，试求三者的关系，并进行显著性检验。解：具体步骤如下（1）求例1-4（Ⅰ）：用某光栅式传感器测工件尺寸，温度t的变78例1-4（Ⅱ）：（2）求出列入表1-4，并求出它们的和由表1-4可得（3）求例1-4（Ⅱ）：（2）求出由表1-4可得（3）求79例1-4（Ⅲ）：（4）求二元线性回归方程（5）进行显著性检验①求②检验所求二元回归方程在0.01水平上显著。例1-4（Ⅲ）：（4）求二元线性回归方程（5）进行显著性检验80例1-4（Ⅳ）：（6）建立方差分析表剩余方差回归方差可建立方差分析表1-5。例1-4（Ⅳ）：（6）建立方差分析表81应用篇利用多元线性回归方法预测我国的用电量应用篇82背景介绍（Ⅰ）★中国经济高速发展，电力需求也在不断增加。★02年起电力需求飞速增长，引起全国电力供应紧张。★电力供应紧张的背后，说明对电力市场的预测出现了偏差。给中国经济社会发展带来负面影响。★对中国未来电力需求进行预测，经济合理地安排发电机组计划，降低发电成本，保持电网运行安全可靠，意义重大。背景介绍（Ⅰ）★中国经济高速发展，电力需求也在不断增加。83背景介绍（Ⅱ）为了准确预测用电量的负荷，发展了很多预测方法：★灰色预测法

样本数据少，运算方便，短期预测精度高；只适用于指数增长的模型★偏最小二乘回归预测法模型精度高，稳定、实用；计算复发，需要专业的计算软件★神经网络预测法是一种暗箱模型，结果不易解释★线性回归分析预测法模型简单，预测结果准确，模型解释能力强。得到广泛应用背景介绍（Ⅱ）为了准确预测用电量的负荷，发展了很多预测方法：84多元线性回归模型参数的选择和建立1.1参数选择因变量y－－全社会用电量自变量x－－GDP（x1）、人口总数（x2）建立模型的数据如表1-6所示

多元线性回归模型参数的选择和建立1.1参数选择85表1-6表1-6861.2模型建立和显著性检验根据表中的数据及之前的线性回归理论，得到回归结果为：r方用于判定回归直线的拟合度，上式中为0.97说明回归直线拟合度很好。用F检验法对其显著性检验，在a＝0.01的显著性水平下，说明回归效果显著，效果如下图1－1所示。1.2模型建立和显著性检验根据表中的数据及之前的线87图1－1回归方程通过了显著性检验，具有非常好的预测能力，只要计算出中国未来每年的GDP和人口数，就可以通过回归方程对用电量进行预测。图1－1回归方程通过了显著性检验，具有非常好的预测能88用电量的预测2.1GDP和人口预测在经济学上，GDP预测常用的经济模型为：a为GDP的增长速率（％）。人口预测用的经济模型为：K为人口自然增长速率用电量的预测2.1GDP和人口预测89GDP和人口预测1998~2002中国GDP增长率和人口自然增长率为a＝7.09％，k＝7.66‰GDP和人口预测1998~2002中国GDP增长率和人口自然90用电量预测取2002年的GDP和人口数作为预测的起始年基数，预测结果如下表1-7所示：用电量预测取2002年的GDP和人口数作为预测的起始91表1-7表1-792结论通过建立回归模型，得到了中国年用电量与GDP和总人口数的回归模型，并通过了显著性检验。所得的方程能够用来预测中国的年用电量。这些预测的用电量能够科学指导我国电力和经济政策的制定，为我国电力建设和社会发展规划提供了定量的科学依据。结论