线性回归分析 (2)

1、线性回归分析1一. 前言回归分析的目的: 设法找出变量间的依存(数量)关系, 用函数关系式表达出来2二、基本概念1、应变量（dependent variable)2、自变量（independent variable）3、一元线性回归直线回归方程的模型是：yi=a+bxi+ei其中（）a是截距（）b是回归系数(regression coefficient)（回归直线的斜率） 回归系数的统计学意义是：自变量每变化一个单位，应变量平均变化的单位数（）ei是残差3因此直线回归方程的一般形式是：其中 是应变量y的预测值或称估计值。44、多元线性回归 多元线性回归方程模型为： yi=b0+b1x1i+b2

2、x2i+bnxni+ei其中 b0是常数项，是各自变量都等于0时，应变量的估计值。有时，人们称它为本底值。b1，b2，bn是偏回归系数( pertial regression coefficient )，其统计学意义是在其它所有自变量不变的情况下，某一自变量每变化一个单位，应变量平均变化的单位数。 如果所有参加分析的变量都是标准化的变量，这时b0就等于0， b1，b2，bn 就变成了标准化偏回归系数，用符号b1，b2，bn表示。 bi= bi*sxi/sy 由于bi没有量纲，因此可以相互比较大小，反映自变量的相对作用大小。 (3) ei是残差5多元线性回归方程的一般形式是：其中的符号含义同前。

3、6三、理论假设自变量x与应变量y之间存在线性关系；正态性：随机误差（即残差）e服从均值为 0，方差为的正态分布；等方差：对于所有的自变量x，残差e的条件方差为 ，且为常数；独立性：在给定自变量x的条件下，残差e的条件期望值为0（本假设又称零均值假设）；无自相关性：各随机误差项e互不相关；7残差e与自变量x不相关：随机误差项e与相应的自变量x不相关；无共线性：自变量x之间相互独立8四、回归方程的建立散点图奇异点（ouliers）最小二乘法（least square, LS）残差平方和（sum of squares for residuals）9一元线性回归时，计算比较简单：多元线性回归时，比较复

4、杂，一般需要用计算机处理。10五、线性回归的检验、回归方程的检验方差分析法：应变量的总变异可分解为回归平方和(regression sum of squares)：可用线性回归解释的部分11剩余平方和(residual sum of squares)：即残差平方和，不能用线性回归解释的部分以上三部分的自由度分别为n-1，m和n-m-1。其中，n为样本数，m为自变量数。方差分析的假设为一元线性回归：H0: =0 H1: 0多元线性回归：H0: 1= 2= m=0H1: 1， 2， m中至少有一个不等于零因此方差分析的结论是线性回归方程是否显著，是否有意义。12、回归偏回归系数的检验 检验回归系数

5、是否为零，每一个偏回归系数是否为零。用t检验方法。统计量 自由度结论：回归偏回归系数是否有意义，是否为零；对应的自变量是否有意义。13、常数项（截距）的检验 检验常数项（截距）是否为零。用t检验方法。 一元线性回归：H0: =0 H1: 014多元线性回归：H0: 0=0 H1: 0015、模型的预测效果检验 亦称回归模型的拟合优度检验。检验回归模型对样本数据的拟合程度。决定系数（determination coefficient）（ R square）调整（校正）决定系数（adjusted R square）复相关系数R （multiple correlation coefficient）1

6、6、线性回归适用性检验（）回归模型残差的正态性检验残差的直方图残差的累积概率图（P-P图）（）回归模型残差的独立性检验用Durbin-Watson检验，其参数称为Dw或D。D的取值范围是0D4。其统计学意义为：D2，残差与自变量相互独立；D2，残差与自变量负相关。17（）残差的方差齐性检验 以上都是对残差的分析，称为残差分析。残差分析还可以）检出奇异点 ）评判预测效果。（）共线性诊断共线性（collinearity）共线性的危害共线性的鉴别容差（tolerance）方差膨胀因子（variance inflation factor）18六、自变量的选择强迫引入法（Enter）强迫剔除法（Remove）前进法（Forward） 后退法（Backward）逐步向前法（Forward