工业系统工程回归分析

相关和回归分析研讨系统的相互联络、测定其联络的严密程度、提示其变化的详细方式和规律性的统计方法，是构造各种系统模型、进展系统构造分析、预测和控制的重要工具。12/29/20231【主要内容】一、相关和回归分析的根本概念二、一元线性回归分析三、多元线性回归分析四、非线性回归分析12/29/20232一、相关和回归分析的根本概念⒈出租汽车费用与行驶里程：总费用=行驶里程每公里单价2.家庭收入与恩格尔系数：家庭收入高，那么恩格尔系数低。函数关系确定性关系相关关系非确定性关系比较下面两种景象间的依存关系12/29/20233函数关系和相关关系景象间的依存关系大致可以分成两种类型：函数关系指景象间所具有的严厉确实定性的依存关系相关关系指客观景象间确实存在，但数量上不是严厉对应的依存关系函数关系与相关关系之间并无严厉的界限：有函数关系的变量间，由于有丈量误差及各种随机要素的干扰，可表现为相关关系；对具有相关关系的变量有深化了解之后，相关关系有能够转化为或借助函数关系来描画。12/29/20234函数关系指变量之间存在着确定性依存关系。当一个或一组变量每取一个值时，相应的另一个变量必然有一个确定值与之对应。函数关系可以用一个确定的公式，即函数式来表示。12/29/20235相关关系指变量之间存在着非确定性依存关系。即当一个或一组变量每取一个值时，相应的另一个变量能够有多个不同值与之对应。例、根据消费实际，商品需求量Q与商品价钱P、居民收入I之间具有相关关系：

相关关系，可用模型来表示。12/29/20236相关分析和回归分析研讨景象之间相关关系的两种根本方法：就是用一个目的来阐明景象间相互依存关系的亲密程度就是根据相关关系的详细形状，选择一个适宜的数学模型，来近似地表达变量间的平均变化关系。相关分析回归分析12/29/20237相关系数与断定系数在直线相关的条件下，用以反映两变量间线性相关亲密程度的目的，用r表示相关系数12/29/20238相关系数与断定系数相关系数r的取值范围：-1≤r≤1r>0为正相关，r<0为负相关；|r|=0表示不存在线性关系；|r|＝1表示完全线性相关；0<|r|<1表示存在不同程度线性相关：|r|<0.4为低度线性相关；0.4≤|r|＜0.7为显著性线性相关；0.7≤|r|＜1.0为高度显著性线性相关。12/29/20239r2越接近于1，阐明x与y之间的相关性越强；r2越接近于0，阐明两个变量之间几乎没有直线相关关系.相关系数与断定系数是相关系数的平方，用r2表示；用来衡量回归方程对y的解释程度。断定系数取值范围：断定系数12/29/202310【例】计算工业总产值与能源耗费量之间的相关系数及断定系数资料结论：工业总产值与能源耗费量之间存在高度的正相关关系，能源耗费量x的变化可以解释工业总产值y变化的95.2﹪。12/29/202311二、一元线性回归分析1、规范的一元线性回归模型2、一元线性回归模型的估计3、一元线性回归模型的检验4、一元线性回归模型预测12/29/202312一元回归简单回归多元回归复回归线性回归非线性回归一元线性回归SimpleLinearregression按自变量的个数分按回归曲线的形状分回归分析的种类12/29/2023131、规范的一元线性回归模型(一)总体回归函数Ｙt＝β1＋β2Ｘt＋utut是随机误差项，又称随机干扰项，它是一个特殊的随机变量，反映未列入方程式的其他各种要素对Ｙ的影响。(二)样本回归函数:ｔ＝１，２，...n

ｅt称为残差，在概念上，ｅt与总体误差项ut相互对应；ｎ是样本的容量。12/29/202314样本回归函数与总体回归函数区别总体回归线是未知的，只需一条。样本回归线是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。总体回归函数中的β1和β2是未知的参数，表现为常数。而样本回归函数中的是随机变量，其详细数值随所抽取的样本观测值不同而变动。总体回归函数中的ut是Ｙt与未知的总体回归线之间的纵向间隔，它是不可直接观测的。而样本回归函数中的ｅt是Ｙt与样本回归线之间的纵向间隔，当根据样本观测值拟合出样本回归线之后，可以计算出ｅt的详细数值。12/29/202315误差项的规范假定假定１：误差项的期望值为零:Ｅ〔ut〕＝０。假定２：误差项的期望值为常数:Var(ut)＝。假定３：误差项之间不存在序列相关,协方差为零:Cov(utus)＝０(ｔ≠ｓ)。假定４：自变量是给定变量，与误差项线性无关。假定５：随机误差项服从正态分布。满足以上规范假定的一元线性回归模型，称为规范的一元线性回归模型。12/29/2023162、一元线性回归模型的估计一元线性回归方程的几何意义截距斜率一元线性回归方程的能够形状2为正2为负2为012/29/202317总体一元线性回归方程:以样本统计量估计总体参数斜率〔回归系数〕截距截距β1表示在没有自变量x的影响时，其它各种要素对因变量y的平均影响；回归系数β2阐明自变量x每变动一个单位，因变量y平均变动b个单位。样本一元线性回归方程：估计的一元线性回归方程12/29/202318①回归系数的估计总体回归函数样本回归函数12/29/202319回归系数的估计---最小二乘法规范方程组12/29/202320根据整理方程求解可得：12/29/202321上述进展回归分析的方法可称为：最小平方法经过使残差平方和为最小来估计回归系数的一种方法，又称最小二乘法。12/29/202322【分析】由于工业总产值与能源耗费量之间存在高度正相关关系(r=0.9575〕，所以可以拟合工业总产值对能源耗费量的线性回归方程。解：设线性回归方程为【例】建立工业总产值对能源耗费量的线性回归方程。资料12/29/202323线性回归方程为：结果阐明，其他条件不变时，能源耗费量每添加100000吨，工业总产值将添加7961万元。12/29/202324②总体方差的估计该式中，分母是自在度，其中ｎ是样本观测值的个数，２是一元线性回归方程中回归系数的个数。在一元线性回归模型中，残差ｅt必需满足:因此失去了两个自在度，所以其自在度为ｎ－２。Ｓ2的正平方根又称做回归估计规范误差。12/29/202325回归估计规范误差(S)是因变量各实践值与其估计值之间的平均差别程度，阐明其估计值对各实践值代表性的强弱；其值越小，回归方程的代表性越强，用回归方程估计或预测的结果越准确。12/29/202326回归估计规范误差S的简化计算：12/29/202327【例】计算前面拟合的工业总产值对能源耗费量回归方程的回归规范差.12/29/202328③最小二乘估计量的性质残差之和为零所拟合直线经过样本散点图的重心误差项与解释变量不相关β1与β2分别是总体回归系数的无偏估计量β1与β2均为服从正态分布的随机变量12/29/2023293、一元线性回归模型的检验①回归模型的检验的种类实际意义检验一级检验二级检验12/29/202330①回归模型的检验的种类实际意义检验主要涉及参数估计值的符号和取值区间。假设它们与本质性科学的实际以及人们的实际阅历不相符，就阐明模型不能很好地解释现实的景象。经常会遇到实际意义检验不能经过的情况，主要缘由是：社会经济的统计数据无法像自然科学中的统计数据那样经过有控制的实验去获得;观测的样本容量偏小，不具有足够代表性;不满足规范线性回归分析所要求的假定条件。12/29/202331一级检验又称统计学检验，它是利用统计学的抽样实际来检验样本回归方程的可靠性。分为拟合程度评价和显著性检验。一级检验是对一切景象进展回归分析时都必需经过的检验。二级检验又称经济计量学检验，对规范线性回归模型的假定条件能否得到满足进展检验，包括序列相关检验、异方差性检验等。12/29/202332②拟合程度的评价拟合程度，是指样本观测值聚集在样本回归线周围的严密程度。判别回归模型拟合程度优劣最常用的数量目的是可决系数(又称决议系数或断定系数)。可决系数是建立在对总离差平方和进展分解的根底上的。12/29/202333误差平方和回归平方和总离差平方和12/29/202334总离差平方和回归平方和残差平方和ＳＳＴ＝ＳＳＲ＋ＳＳＥ12/29/202335可决系数是对回归模型拟合程度的综合度量，可决系数越大，模型拟合程度越高。可决系数越小，那么模型对样本的拟合程度越差。可决系数12/29/202336③显著性检验回归分析中的显著性检验包括两方面的内容:对各回归系数的显著性检验，通常采用t检验;对整个回归方程的显著性检验，通常采用在方差分析根底上的F检验。在一元线性回归模型中，由于只需一个解释变量，对回归系数的t检验与对整个方程的F检验是等价的。回归系数的显著性检验，就是根据样本估计的结果对总体回归系数的有关假设进展检验。12/29/202337总体分布方式检验统计量12/29/202338【例】对工业总产值与能源耗费量之间的回归系数进展显著性检验。以上计算的t值远大于临界值，故回绝原假设，接受备择假设，即以为能源耗费量对工业总产值的影响是显著的。12/29/202339④一元线性回归模型的估计与预测估计的前提：回归方程经过检验，证明X和Y的关系在统计上是显著相关的。点估计对于给定的X值，求出Y平均值的一个估计值或Y的一个个别值的预测值。区间估计对于给定的X值，求出Y的平均值的置信区间或Y的一个个别值的预测区间。12/29/202340点估计假设x=80〔十万吨〕，那么：12/29/202341区间估计：对于给定的x=x0，Y的1-置信区间为：12/29/202342区间估计：在置信度为1–α，自在度为n-2下的Yf预测区间为其中：12/29/202343【例】当能源耗费量为800万吨时,计算置信度为95%的工业总产值的预测区间。12/29/202344三、多元线性回归分析总体回归函数:样本回归函数:在一元线性回归分析假定的根底上，追加一条：回归模型所包含的自变量之间不能具有较强的线性关系。规范假定：1、规范的多元线性回归模型12/29/202345误差项的规范假定假定１：误差项的期望值为零:Ｅ〔ut〕＝０。假定２：误差项的期望值为常数:Var(ut)＝。假定３：误差项之间不存在序列相关,协方差为零:Cov(utus)＝０(ｔ≠ｓ)。假定４：自变量是给定变量，与误差项线性无关。假定５：随机误差项服从正态分布。满足以上规范假定的一元线性回归模型，称为规范的一元线性回归模型。12/29/202346二元线性回归模型

式中,为二元回归估计值;为x1和x2构成的平面在y轴上的截矩；和分别为y对x1和x2的回归系数。二元直线回归模型12/29/202347确定、、数值用最小二乘法，即选取、和的数值使得二元直线回归的估计【例】为最小值，根据数学中的极值原理可推导出规范方程组:12/29/202348结果阐明，其他条件不变时，销售额每添加10000元，利润将添加1056元,流通费用每添加10000元，利润将减少9557元.建立二元直线回归方程为:解得:将推算结果代入规范方程组，得:

12/29/202349多元线性回归模型的估计同样可采用最小二乘法，设：对，，，求偏导数，令其为零，可以得

到规范方程组：12/29/202350规范方程组：12/29/202351多元线性回归模型的矩阵方式12/29/202352总体回归函数：样本回归函数：规范方程组：由规范方程组，可得回归系数的估计：12/29/202353多元线性回归模型总体方差的估计规范的多元线性回归模型中，高斯-马尔可夫定理同样成立。S2的正平方根S为回归估计规范误差12/29/202354①拟合程度的评价：一元线性回归分析中总离差平方和的分解公式依然成立。多元线性回归模型的检验和预测留意：在样本容量一定的条件下，总离差平方和与自变量的个数无关，而残差平方和那么会随着模型中自变量个数的添加不断减少，至少不会添加。12/29/202355修正自在度的可决系数思索到SSE受自变量个数的影响，对可决系数进展修正：12/29/202356多元回归模型的显著性检验回归系数的显著性检验t检验，检验与各回归系数对应的自变量对因变量的影响能否显著，以便对自变量的取舍作出正确的判别。普通来说，当发现某个自变量的影响不显著时，应将其从模型中删除。回归方程的显著性检验F检验，检验回归模型总体函数的线性关系能否显著。其本质就是判别回归平方和与残差平方和之比值的大小问题。12/29/202357回归方程的显著性检验——F检验1。建立假设：H0：====0４。判别：假设，回绝原假设；假设，接受原假设。SST=总离差平方和SSE/(n-k)n-kSSE=残差平方和SSR/(k-1)k-1SSR=回归平方和方差自在度平方和离差称号2。进展方差分析，列出方差分析表：3。计算检验统计量：12/29/202358多元回归预测多元线性回归预测与一元线性回归预测的原理是一致的。根本公式为：

式中，Xjf(j=2,3,……k)是给定的Xj在预测期的详细数值；是已估计出的样本回归系数；是Xj给定时Ｙ的预测值。12/29/202359四、非线性回归分析非线性回归模型确实定：选择非线性函数的详细方式。非线性回归函数有多种多样的详细方式，需求根据所要研讨的问题的性质并结合实践的样本观测值作出恰当的选择。确定估计函数中的参数。最常用的方法依然是最小二乘估计法。当自变量与因变量存在某种曲线相关关系时，可拟合曲线回归模型。12/29/202360非线性回归模型确实定方程方式应与相应的根本实际相一致。方程有较高的拟合程度。方程的数学方式要尽能够简单。根本原那么12/29/202361常用非线性回归模型抛物线函数模型双曲线函数模型幂函数模型指数函数模型对数函数模型S型曲线函数模型多项式方程模型12/29/202362非线性回归模型的估计即对模型中的相应参数作出估计根本方法：经过适当的变换，转化为线性回归函数，然后再利用线性回归分析的方法进展估计和检验。常用线性变换方法：倒数变换、半对数变换、双对数变换、多项式变换。留意：转换为线性方程可使回归分析简单化，转换为线性方程也是需求有一定假设条件，转换为线性方程有能够和原方程不等价。12/29/202363非线性函数的线性变换：倒数变换用新的变量来交换原模型中变量的倒数，从而使原模型变成线性模型。半对数变换运用于对数函数的线性变换。12/29/202364双对数变换用新的变量来交换原模型中变量的对数，从而使原模型变换成线性模型。12/29/202365多项式变换适用于多项式方程的变换。12/29/202366综合利用多种变换适用于比较复杂的非线性函数的变换。12/29/202367线性变换要留意的问题:第一、比较复杂的非线性函数，需综合利用上述的几种方法。第二、变换得到的方程式中变量不允许包含未知的参数。第三、变换后的新模型中包含的误差项可以满足规范假定时，新模型中回归系数最小二乘估计量的理想性质才干成立。第四、严厉地说，线性变换方法只适用于变量为非线性的函数。第五、并不是一切的非线性函数都可以经过变换得到与原方程完全等价的线性方程。12/29/202368Thankyouverymuch放映终了12/29/202369序号能源消耗量（十万吨）x工业总产值（亿元）yx2y2xy1234567891011121314151635384042495254596264656869717276242524283231374041404750495148581225144416001764240127042916348138444096422546244761504151845776576625576784102496113691600