回归分析预测法

回归分析预测法第一节一元线性回归分析预测法一、概念（思路）根据预测变量（因变量）Y和影响因素（自变量）X的历史yˆaˆbˆx统计数据，建立一元线性回归方程 ，然后代入X的预测值，求出Y的预测值的方法。基本公式：y=a+bx其中：a、b为回归系数，是未知参数。基本思路：1、利用X，Y的历史统计数据，求出合理的回归系数：a、b，确定出回归方程2、根据预计的自变量x的取值，求出因变量y的预测值。二、一元线性回归方程的建立使用散点图定性判断变量间是否存在线性关系例：某地区民航运输总周转量和该地区社会总产值由密切相关关系。年份年份总周转量（亿吨公里）Y社会总产值(百亿元)X112.530214.5363314.738415.141515.548616.852717.553818.253.5918.855某地区民航运输总周转量和社会总产值关系图某地区民航运输总周转量和社会总产值关系图1011121314151617181920202530354045505560使用最小二乘法确定回归系数使实际值与理论值误差平方和最小的参数取值。对应于自变量x，预测值（理论值）为b+m*x，实际值y，i i imin∑(y-b-mx)2，求a、b的值。 i i使用微积分中求极值的方法，得：由下列方程代表的直线的最小二乘拟合直线的参数公式：ymxbnxyxymˆiii inx2(x)2 i ibˆymˆx其中m代表斜率，b代表截距。一元线性回归.xls三、回归方程的显著性检验判断X、Y之间是否确有线性关系，判定回归方程是否有意义。有两类检验方法：相关系数检验法和方差分析法1、相关系数检验法构造统计量r(xx)(yy) r i i(xx)2(yy)2 i iS xyss xx yy nxyxy ii i i[nx2(x)2][ny2(y)2] i i i i相关系数的取值范围为：[-1，1]，|r|的大小反映了两个变量间线性关系的密切程度，利用它可以判断两个变量间的关系是否可以用直线方程表示。rr值两变量之间的关系r=1完全正相关1>r>0正相关，越接近1，相关性越强。越接近0，相关性越弱r=0不线性相关0>r>-1负相关，越接近-1，相关性越强；越接近0，相关性越弱r=-1完全负相关两个变量是否存在线性相关关系的定量判断规则：对于给定的置信水平α，从相关系数临界值表中查出r临（n-2），把其与用样本计算出来的统计量r比较：0若|r|〉r（n-2）成立，则认为X、Y之间存在线性关系， 0 临回归方程在α水平上显著。差异越大，线性关系越好。反之则认为不显著，回归方程无意义，变量间不存在线性关系。其中：n为样本数。2、方差分析法：方差分析的基本特点是把因变量的总变动平方和分为两部分，一部分反映因变量的实际值与用回归方程计算出的理论值之差，一部分反映理论值与实际值的平均值之差。Y的总变差=Y的残余变差+Y的说明变差，SST=SSE+SSR或：总离差平方和=剩余平方和+回归平方和(yy)2(yyˆ)2(yˆy)2(yiy)2 i i i ii——n个数据和其平均值的偏离程度，记为S(yyˆ)2 yy i i——除了X以外其它因素对Y的影响造成的，残余变差、不可解释变差，记为Q(yˆy)2 i i——由于X对Y的影响造成的，说明变差、可解释变差，记为USQUyy回归平方和U与剩余平方和Q相比越大，说明回归效果越好。注：在方差分析中，已被解释的和未被解释的变差除以相应的自由度的个数即变为方差。Y的方差是Y的总偏差平方和除以n-1，被解释的方差等于被解释的变差（因为回归只比估计Y的均值多用一个约束条件），残余方差等于残差偏差平方和除以n-2，残差的方差S2是误差方差的无偏且一致的估计（S叫做回归标准差）S2=Q/(n-m)定量判断回归有效性有两种方法：(1)可决系数检验法拟合优度统计量；判定系数：r2=SSR/SST=U/Syy调整的r2=1-[Q/(n-m)]/[Syy/(n-1)]复相关系数检验法：构造统计量R=SQRT［1-Q/S］=SQRTyy（U/S）yy判断规则：对于给定的置信度α，从相关系数r分布表中查出r临（n-m），把其与用样本计算出来的统计量R比较：0若R〉r（n-m）成立，则认为回归方程在α水平上显著。 0 临反之则认为不显著，回归方程无意义，变量间不存在线性关系。(2)F检验法：构造统计量F=（U/m-1）/［Q/（n-m）］其中：m为变量个数（总数）；n为样本数。统计量F服从第一自由度为m-1、第二自由度为n-m的F（m-1，n-m）分布。F=r2/(1-r2)*(n-m)/(m-1)判断规则：对于给定的置信度α，从F分布表中查出F（m-1，n-m），α把其与用样本计算出来的统计量F比较：0若F〉F（m-1，n-m）成立，则认为回归方程在α水平 0 α上显著。反之则认为不显著，回归方程无意义，变量间不存在线性关系。回归方程没有通过检验的原因定性分析选择的各变量间，本来不存在因果关系。定性分析设想不准确。选择的变量间存在因果关系，但还存在其它起着更重要作用的变量尚未列入模型之中。选择变量之间的关系是非线性关系。利用检验通过的回归方程进行预测y=6.34+0.213x点估计值：若给定x值，则y的预测值为6.34+0.213*58=18.69区间估计：标准误差：S=sqrt((∑e^2)/(n-m))第二节一元非线性回归分析预测法思路：与一元线性回归分析基本相同。即通过变量替换将非线性方程转化为线性方程；使用最小二乘法建立线性回归方程；在通过逆变换将线性方程转化为非线性方程。函数的线性变换及逆变换是个数学问题，不讲了。例题，参见160页：航空货物周转量=a*（社会总产值）α196页，SB机场空运需求预测202页，利雅得国际机场业务量预测第三节多元回归分析一、思路多元非线性回归分析——转换为多元线性回归分析，多元线性回归分析，与一元线性回归分析基本相同，只是在自变量的选定上、求解回归方程及统计检验等方面比一元回归要复杂一些。设多元线性回归模型为：y=b+b*x+b*x+……+b*x 0 1 1 2 2 m m二、参数求法为最小二乘法：min∑（y-（b+b*x+b*x+……+b*x））2i 0 1 1i2 2i m mi分别对bj求偏导数，偏导数等于0时，上式取得最小值。可以得到m+1个关于bj的标准方程，使用线性代数中的行列式解法，可以求出回归系数bj。以二元回归分析为例，说明多元回归方程的建立1、定性判断得知，因变量Y与自变量X1,X2存在线性相关关系。模型形式为：y=b+b*x+b*x 0 1 1 2 2Gn2(ybbxbx)(1)0b i 0 11i 22ii1Gn2(ybbxbx)(x)0b i 0 11i 22i 1ii1Gn2(ybbxbx)(x)0b i 0 11i 22i 2i整得 得：nbbxbxy bybxbx0 1 1i 2 2i i 0 11 22bxbx2bxxyx0 1i 1 1i 2 1i2i i1i21122211221211222112112112221122121122211211221111221122211212221222112112221211SSSSSSSSSSSSSSSSACSSSSSSSSSSSSSSSSACyyyyyyyy0 2i 1 1i2i 2 2i i2i 1b22、确定回归系数b、b、b，最小二乘法。分别对b、b、 0 1 2 0 1b求偏导，令偏导数=0，构成如下方程组：2手工列表计算：其中：S(xx)(yy) 1y 1i 1 iS(xx)(yy) 2y 2i 2 iS(xx)2 11 1i 1S(xx)2 22 2i 2SS(xx)(xx) 12 21 1i 1 2i 2三、回归方程的统计检验回归方程的显著性检验，检验回归方程的有效性检验方法有：F检验法、复相关系数检验法回归系数的显著性检验，检验回归系数的有效性，检验方法有：t检验法构造统计量tbˆt jjSC y jj(yyˆ)2S i iy nmC为矩阵A的拟矩阵的对角线上的第j个元素jj S SCCA1112AA1IA11112SSCCb2122(xx)22122tj ji jj(yyˆ)2 i inm其中：m为变量个数；n为样本数。统计量t服从自由度为n-m的t（n-m）分布。判断规则：对于给定的置信度α，从t分布表中查出t（n-m），把其与α/2用样本计算出来的统计量t比较：0若t〉t（n-m）成立，则认为回归方程在α水平上显著。反之0α则认为不显著，回归系数无意义，变量间不存在线性相关关系。统计假设检验总结：对于一元回归，四种检验方法选一即可；对于多元回归必须进行t检验和R、F间严重的一种。检验目的检验目的检验方法统计量判断规则检验回归方程的有效性相关系数检验法r复相关系数检验法RF检验F检验回归系数的有效性t检验t例题：国外预测模型简介全行业运量预测几个基本问题及内在假设自变量的选择——（回归分析测法的程序）确定预测变量确定影响预测变量的因素——定性分析，具有经济上的意义和内在的因果关系。收集整理预测变量及其影响因素的历史统计资料分析因变量和自变量的关系，确定回归模型——定量分析，因变量与自变量、自变量之间的相关系数，判别因变量和自变量是否显著相关，显著相关的影响因素作为自变量；同时与因变量不相关或与某个自变量高度线性相关的自变量，应予剔除。实践经验确定散点图分析确定理论试算（计算拟和误差（预测误差）），选出拟和程度最好的模型求解模型参数，建立回归方程检验回归方程的有效性利用检验通过的回归方程进行预测，并确定预测值的置信区间多元共线性（多重共线性）概念：回归分析中，自变量之间存在着相关关系，称这种关系为多元共线性。多元回归分析的假设是自变量之间是独立的。得出的参数估计值是不可靠的。例如：某省宏观经济模型中，建筑业产值=2.1684+0.1601*工业总产值-0.0795*上年工业总产值+0.5651*上年建筑业产值负号的出现很难解释，上年工业总产值和上年建筑业产值存在共线性。检验多元共线性的方法：U——χ2（m-1）分布Q——χ2（n-m）分布S——χ2（n-1）分布yy拟和优度判定系数：Q/(nm)R21S/(n1)判计算相应的判定系数R2，若R2较大，说明本自变量可以用其它自变量的线性组合替代，存在多重共线性。或者用因变量分别与含有本自变量或不含有本自变量的自变量组合进行回归计算，若两者计算的判定系数差不多，则说明本自变量与其它自变量间存在多元共线性。逐步回归法：逐个引进自变量，根据R2的变化情况判断是否存在多重共线性。若R2变化显著，则不存在多重共线性，应引入；若R2无显著变化，则无需引入。偏相关系数检验法，计算两两变量间的相关系数，进行分析检验。自相关（序列相关）概念：若随机误差项在不同样本之间存在相关性，e与e相关，i j则称为序列相关；较多的是e与e之间序列相关，称为自相关i I+1自相关的检验：①达宾—沃尔森检验n(ˆˆ)2 t t1D.Wt2nˆ2t计算出D.W值关。冯诺曼比检验回归检验线性假设回归的另一假设是线性假设，因变量和自变量间的关系可以用线性表示出来。无法将其转化