工业系统工程回归分析

相关和回归分析研究系统的相互联系、测定其联系的紧密程度、揭示其变化的具体形式和规律性的统计方法，是构造各种系统模型、进行系统结构分析、预测和控制的重要工具。1/15/20231【主要内容】一、相关和回归分析的基本概念二、一元线性回归分析三、多元线性回归分析四、非线性回归分析1/15/20232一、相关和回归分析的基本概念⒈出租汽车费用与行驶里程：总费用=行驶里程每公里单价2.家庭收入与恩格尔系数：家庭收入高，则恩格尔系数低。函数关系确定性关系相关关系非确定性关系比较下面两种现象间的依存关系1/15/20233函数关系和相关关系现象间的依存关系大致可以分成两种类型：函数关系指现象间所具有的严格的确定性的依存关系相关关系指客观现象间确实存在，但数量上不是严格对应的依存关系函数关系与相关关系之间并无严格的界限：有函数关系的变量间，由于有测量误差及各种随机因素的干扰，可表现为相关关系；对具有相关关系的变量有深刻了解之后，相关关系有可能转化为或借助函数关系来描述。1/15/20234函数关系

指变量之间存在着确定性依存关系。当一个或一组变量每取一个值时，相应的另一个变量必然有一个确定值与之对应。函数关系可以用一个确定的公式，即函数式

来表示。

1/15/20235相关关系指变量之间存在着非确定性依存关系。即当一个或一组变量每取一个值时，相应的另一个变量可能有多个不同值与之对应。

例、根据消费理论，商品需求量Q与商品价格P、居民收入I之间具有相关关系：

相关关系，可用模型来表示。1/15/20236相关分析和回归分析研究现象之间相关关系的两种基本方法：就是用一个指标来表明现象间相互依存关系的密切程度就是根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间的平均变化关系。相关分析回归分析1/15/20237相关系数与判定系数在直线相关的条件下，用以反映两变量间线性相关密切程度的指标，用r表示相关系数1/15/20238相关系数与判定系数相关系数r的取值范围：-1≤r≤1r>0为正相关，r<0为负相关；|r|=0表示不存在线性关系；|r|＝1表示完全线性相关；0<|r|<1表示存在不同程度线性相关：|r|<0.4为低度线性相关；0.4≤|r|＜0.7为显著性线性相关；0.7≤|r|＜1.0为高度显著性线性相关。1/15/20239

r2

越接近于1，表明x与y之间的相关性越强；r2

越接近于0，表明两个变量之间几乎没有直线相关关系.相关系数与判定系数是相关系数的平方，用r2表示；用来衡量回归方程对y的解释程度。判定系数取值范围：判定系数1/15/202310【例】计算工业总产值与能源消耗量之间的相关系数及判定系数资料结论：工业总产值与能源消耗量之间存在高度的正相关关系，能源消耗量x的变化能够解释工业总产值y变化的95.2﹪。1/15/202311二、一元线性回归分析1、标准的一元线性回归模型2、一元线性回归模型的估计3、一元线性回归模型的检验4、一元线性回归模型预测

1/15/202312一元回归简单回归多元回归复回归线性回归非线性回归一元线性回归SimpleLinearregression按自变量的个数分按回归曲线的形态分回归分析的种类1/15/2023131、标准的一元线性回归模型(一)总体回归函数

Ｙt＝β1＋β2Ｘt＋ut

ut是随机误差项，又称随机干扰项，它是一个特殊的随机变量，反映未列入方程式的其他各种因素对Ｙ的影响。(二)样本回归函数:

ｔ＝１，２，...n

ｅt称为残差，在概念上，ｅt与总体误差项ut相互对应；ｎ是样本的容量。1/15/202314样本回归函数与总体回归函数区别总体回归线是未知的，只有一条。样本回归线是根据样本数据拟合的，每抽取一组样本，便可以拟合一条样本回归线。总体回归函数中的β1和β2是未知的参数，表现为常数。而样本回归函数中的是随机变量，其具体数值随所抽取的样本观测值不同而变动。总体回归函数中的ut是Ｙt与未知的总体回归线之间的纵向距离，它是不可直接观测的。而样本回归函数中的ｅt是Ｙt与样本回归线之间的纵向距离，当根据样本观测值拟合出样本回归线之后，可以计算出ｅt的具体数值。1/15/202315误差项的标准假定假定１：误差项的期望值为零:Ｅ（ut）＝０。假定２：误差项的期望值为常数:Var(ut)＝。假定３：误差项之间不存在序列相关,协方差为零:Cov(utus)＝０(ｔ≠ｓ)。假定４：自变量是给定变量，与误差项线性无关。假定５：随机误差项服从正态分布。满足以上标准假定的一元线性回归模型，称为标准的一元线性回归模型。1/15/2023162、一元线性回归模型的估计一元线性回归方程的几何意义截距斜率一元线性回归方程的可能形态2为正2为负2为01/15/202317总体一元线性回归方程:以样本统计量估计总体参数斜率（回归系数）截距截距β1

表示在没有自变量x的影响时，其它各种因素对因变量y的平均影响；回归系数β2

表明自变量x每变动一个单位，因变量y平均变动b个单位。样本一元线性回归方程：估计的一元线性回归方程1/15/202318①回归系数的估计总体回归函数样本回归函数1/15/202319回归系数的估计---最小二乘法标准方程组1/15/202320根据整理方程求解可得：1/15/202321上述进行回归分析的方法可称为：最小平方法通过使残差平方和为最小来估计回归系数的一种方法，又称最小二乘法。1/15/202322【分析】因为工业总产值与能源消耗量之间存在高度正相关关系(r=0.9575），所以可以拟合工业总产值对能源消耗量的线性回归方程。解：设线性回归方程为【例】建立工业总产值对能源消耗量的线性回归方程。资料1/15/202323线性回归方程为：结果表明，其他条件不变时，能源消耗量每增加100000吨，工业总产值将增加7961万元。1/15/202324②总体方差的估计该式中，分母是自由度，其中ｎ是样本观测值的个数，２是一元线性回归方程中回归系数的个数。在一元线性回归模型中，残差ｅt必须满足:因而失去了两个自由度，所以其自由度为ｎ－２。Ｓ2

的正平方根又称做回归估计标准误差。1/15/202325回归估计标准误差(S)是因变量各实际值与其估计值之间的平均差异程度，表明其估计值对各实际值代表性的强弱；其值越小，回归方程的代表性越强，用回归方程估计或预测的结果越准确。1/15/202326回归估计标准误差S的简化计算：1/15/202327【例】计算前面拟合的工业总产值对能源消耗量回归方程的回归标准差.1/15/202328③最小二乘估计量的性质残差之和为零所拟合直线通过样本散点图的重心误差项与解释变量不相关β1与β2分别是总体回归系数的无偏估计量β1与β2均为服从正态分布的随机变量1/15/2023293、一元线性回归模型的检验①回归模型的检验的种类理论意义检验一级检验二级检验1/15/202330①回归模型的检验的种类理论意义检验主要涉及参数估计值的符号和取值区间。如果它们与实质性科学的理论以及人们的实践经验不相符，就说明模型不能很好地解释现实的现象。

常常会遇到理论意义检验不能通过的情况，主要原因是：社会经济的统计数据无法像自然科学中的统计数据那样通过有控制的实验去取得;观测的样本容量偏小，不具有足够代表性;不满足标准线性回归分析所要求的假定条件。

1/15/202331一级检验又称统计学检验，它是利用统计学的抽样理论来检验样本回归方程的可靠性。分为拟合程度评价和显著性检验。一级检验是对所有现象进行回归分析时都必须通过的检验。二级检验又称经济计量学检验，对标准线性回归模型的假定条件能否得到满足进行检验，包括序列相关检验、异方差性检验等。1/15/202332②拟合程度的评价

拟合程度，是指样本观测值聚集在样本回归线周围的紧密程度。判断回归模型拟合程度优劣最常用的数量指标是可决系数(又称决定系数或判定系数)。可决系数是建立在对总离差平方和进行分解的基础上的。1/15/202333误差平方和回归平方和总离差平方和1/15/202334总离差平方和回归平方和残差平方和ＳＳＴ＝ＳＳＲ＋ＳＳＥ1/15/202335可决系数是对回归模型拟合程度的综合度量，可决系数越大，模型拟合程度越高。可决系数越小，则模型对样本的拟合程度越差。

可决系数1/15/202336③显著性检验回归分析中的显著性检验包括两方面的内容:对各回归系数的显著性检验，通常采用t检验;对整个回归方程的显著性检验，通常采用在方差分析基础上的F检验。在一元线性回归模型中，由于只有一个解释变量，对回归系数的t检验与对整个方程的F检验是等价的。回归系数的显著性检验，就是根据样本估计的结果对总体回归系数的有关假设进行检验。

1/15/202337总体分布形式检验统计量1/15/202338【例】对工业总产值与能源消耗量之间的回归系数进行显著性检验。

以上计算的t值远大于临界值，故拒绝原假设，接受备择假设，即认为能源消耗量对工业总产值的影响是显著的。1/15/202339④一元线性回归模型的估计与预测估计的前提：回归方程经过检验，证明X和Y的关系在统计上是显著相关的。点估计对于给定的X值，求出Y平均值的一个估计值或Y的一个个别值的预测值。区间估计对于给定的X值，求出Y的平均值的置信区间或Y的一个个别值的预测区间。1/15/202340点估计若x=80（十万吨），则：1/15/202341区间估计：对于给定的x=x0

，Y的1-置信区间为：1/15/202342区间估计：在置信度为1–α，自由度为n-2下的Yf预测区间为其中：

1/15/202343【例】当能源消耗量为800万吨时,计算置信度为95%的工业总产值的预测区间。1/15/202344三、多元线性回归分析总体回归函数:样本回归函数:在一元线性回归分析假定的基础上，追加一条：回归模型所包含的自变量之间不能具有较强的线性关系。标准假定：1、标准的多元线性回归模型1/15/202345误差项的标准假定假定１：误差项的期望值为零:Ｅ（ut）＝０。假定２：误差项的期望值为常数:Var(ut)＝。假定３：误差项之间不存在序列相关,协方差为零:Cov(utus)＝０(ｔ≠ｓ)。假定４：自变量是给定变量，与误差项线性无关。假定５：随机误差项服从正态分布。满足以上标准假定的一元线性回归模型，称为标准的一元线性回归模型。1/15/202346二元线性回归模型

式中,为二元回归估计值;为x1和x2构成的平面在y轴上的截矩；和分别为y对x1和x2的回归系数。二元直线回归模型1/15/202347确定、、数值用最小二乘法，即选取、和的数值使得

二元直线回归的估计【例】为最小值，根据数学中的极值原理可推导出标准方程组:1/15/202348结果表明，其他条件不变时，销售额每增加10000元，利润将增加1056元,流通费用每增加10000元，利润将减少9557元.建立二元直线回归方程为:解得:将推算结果代入标准方程组，得:

1/15/202349多元线性回归模型的估计同样可采用最小二乘法，设：对，，，求偏导数，令其为零，可以得

到标准方程组：1/15/202350标准方程组：1/15/202351多元线性回归模型的矩阵形式1/15/202352总体回归函数：样本回归函数：标准方程组：由标准方程组，可得回归系数的估计：1/15/202353多元线性回归模型总体方差的估计标准的多元线性回归模型中，高斯-马尔可夫定理同样成立。S2的正平方根S为回归估计标准误差1/15/202354①拟合程度的评价：一元线性回归分析中总离差平方和的分解公式依然成立。多元线性回归模型的检验和预测

注意：

在样本容量一定的条件下，总离差平方和与自变量的个数无关，而残差平方和则会随着模型中自变量个数的增加不断减少，至少不会增加。1/15/202355修正自由度的可决系数考虑到SSE受自变量个数的影响，对可决系数进行修正：1/15/202356多元回归模型的显著性检验回归系数的显著性检验t检验，检验与各回归系数对应的自变量对因变量的影响是否显著，以便对自变量的取舍作出正确的判断。一般来说，当发现某个自变量的影响不显著时，应将其从模型中删除。回归方程的显著性检验F检验，检验回归模型总体函数的线性关系是否显著。其实质就是判断回归平方和与残差平方和之比值的大小问题。1/15/202357回归方程的显著性检验——F检验1。建立假设：

H0：====0４。判断：若，拒绝原假设；若，接受原假设。SST=总离差平方和SSE/(n-k)n-kSSE=

残差平方和SSR/(k-1)k-1SSR=回归平方和方差自由度平方和离差名称2。进行方差分析，列出方差分析表：3。计算检验统计量：1/15/202358多元回归预测多元线性回归预测与一元线性回归预测的原理是一致的。基本公式为：

式中，Xjf(j=2,3,……k)是给定的Xj在预测期的具体数值；是已估计出的样本回归系数；是Xj给定时Ｙ的预测值。1/15/202359四、非线性回归分析非线性回归模型的确定：选择非线性函数的具体形式。非线性回归函数有多种多样的具体形式，需要根据所要研究的问题的性质并结合实际的样本观测值作出恰当的选择。确定估计函数中的参数。最常用的方法仍然是最小二乘估计法。

当自变量与因变量存在某种曲线相关关系时，可拟合曲线回归模型。1/15/202360非线性回归模型的确定

方程形式应与相应的基本理论相一致。方程有较高的拟合程度。方程的数学形式要尽可能简单。

基本原则1/15/202361常用非线性回归模型抛物线函数模型双曲线函数模型幂函数模型指数函数模型对数函数模型S型曲线函数模型多项式方程模型1/15/202362非线性回归模型的估计即对模型中的相应参数作出估计基本方法：通过适当的变换，转化为线性回归函数，然后再利用线性回归分析的方法进行估计和检验。常用线性变换方法：倒数变换、半对数变换、双对数变换、多项式变换。注意：转换为线性方程可使回归分析简单化，转换为线性方程也是需要有一定假设条件，转换为线性方程有可能和原方程不等价。1/15/202363非线性函数的线性变换：

倒数变换

用新的变量来替换原模型中变量的倒数，从而使原模型变成线性模型。半对数变换

应用于对数函数的线性变换。1/15/202364双对数变换

用新的变量来替换原模型中变量的对数，从而使原模型变换成线性模型。1/15/202365多项式变换适用于多项式方程的变换。1/15/202366综合利用多种变换

适用于比较复杂的非线性函数的变换。1/15/202367线性变换要注意的问题:第一、比较复杂的非线性函数，需综合利用上述的几种方法。第二、变换得到的方程式中变量不允许包含未知的参数。第三、变换后的新模型中包含的误差项能够满足标准假定时，新模型中回归系数最小二乘估计量的理想性质才能成立。第四、严格地说，线性变换方法只适用于变量为非线性的函数。第五、并不是所有的非线性函数都可以通过变换得到与原方程完全等价的线性方程。1/15/202368Thankyouverymuch放映结束1/15/202369序号能源消耗量（十万吨）x工业总产值（亿元）yx2y2xy1234567891011121314151635384042495254596264656869717276242524283231374041404750495148581225144416001764240127042916348138444096422546244761504151845776576625576