第五章回归分析

第五章回归分析回归分析一元线性回归

在现实问题中处于同一个过程中的一些变量往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两种：(1)确定性关系--函数关系

(2)非确定性关系--相关关系：变量之间有一定的依赖关系，但这种关系并不完全确定。可控变量：可以在某范围内随意地取指定数值-自变量不可控变量:可以观测但不可控制(随机变量)--因变量回归分析：研究一个随机变量与一个（或几个）可控变量之间相关关系地统计方法。

只有一个自变量的回归分析叫做一元回归分析；多于一个自变量的回归分析叫做多元回归分析。

回归分析主要内容:提供建立有相关关系的变量之间的数学关系式(经验公式)的一般方法;(2)判别所建立的经验公式是否有效;(3)利用所得到的经验公式进行预测和控制.5.1一元线性回归(一)一元线性回归模型

设与有相关关系,当自变量时,因变量并不取固定的值与其对应.如果要用函数关系近似与的相关关系,很自然想到,应该以作为与相对应的数值.（5－1）其中为常数，则称与之间存在线性相关关系，称（5－1）为一元正态线性回归模型，简称一元线性模型，其回归函数记为称为对的线性回归，称为回归常数，称为回归系数。

由（5－1）得，可知取不同数值时，便得到不同的正态变量。其中为未知的常数。由独立知道也相互独立，且称为独立样本的一个（或一组）样本观测值，其中为取固定值时，对进行一次试验所得到的观测值。利用独立样本及其样本值可得的估计量及估计值和从而得到回归函数的估计称为对的经验回归方程或经验公式。把样本值作为平面直角坐标系的个点描出来，构成实验的散点图。根据散点图，适当地选择一个函数使得在一定意义下最好地吻合于观测结果常用的是最小二乘法，即.......二、未知参数的估计1.正规方程组、回归系数的点估计根据最小二乘法求线性回归函数的估计就是求使得取得最小值的即根据微分学中的二元函数极值的充分条件,将分别对求一阶偏导数并令其为零经过整理后得到线性方程组其中正规方程组解此方程组即得使取得最小值的分别称为的最小二乘估计值.于是,得到对的经验回归方程注:用最小二乘法得到的经验回归直线通过已知个数据点的几何重心把估计值中的分别用来代替,就得到了参数的估计量.为了方便,我们引进几个常用的记号则参数估计量回归方程定理1:

在一元线性回归模型中,

和相互独立.证明:即与不相关.但与都是独立正态变量的线性组合,因此,与的联合分布为正态分布.对于正态随机向量来说不相关和相互独立是等价的.证毕定理2:

在一元线性回归模型中,的最小二乘估计量的数学期望和方差为证明:证毕.由定理2可看出,当时,取最小值;与成反比.所以,为了提高和的估计精度,最好选择使,并且应比较分散.注:

的最小二乘估计量与极大似然估计量相等.2.参数的点估计当的极大似然估计量已得到后,的估计量可由似然方程可得的极大似然估计量为记即是的极大似然估计量.定理3:

在一元线性模型中证明:而又于是有证毕.由定理3可得是的无偏估计.3.估计量和的分布定理4:在一元线性模型中(1)(2)(3)(4)(5)相互独立.4.未知参数和的区间估计定理5.

在一元线性模型中证明:由定理4,得由定理4的(5)可知,分别相互独立,再由t分布的定义,即得证毕由定理5及t分布的分位数,得即得的置信区间为类似,的置信区间为由易得的置信区间为三、线性回归效果的显著性检验

我们在求Y对x的线性回归之前，必须判断Y与x的关系是否满足一元线性回归模型。理论上讲，这要求检验（1）对x取任一固定值时，Y都服从正态分布，而且方差相同；（2）x在某一范围取值时，EY是x的线性函数；（3）在x取各个不同值时，相应的Y是相互独立的。但要检验这三条不仅需要大量的试验，还要进行大量的计算，实际上很难办到。（1）x对Y没有显著影响，应丢掉自变量x；（2）x对Y有显著影响，但不能用线性相关关系来表示；（3）除x外还有其它不可忽略的变量对Y也有显著影响，从而削弱了x对Y的影响，应考虑多元线性回归。1.F检验法考虑令计算后可得一元线性模型中的平方和分解公式：总偏差平方和回归平方和残差平方和总偏差（离差）平方和回归平方和因为剩余平方和（或残差平方和）平方和分解公式：（1）由于x对Y的线性相关关系而引起的Y的分散性。（2）剩余因素引起的Y的分散性。定理6：证明：对于检验证毕2.t检验法由定理5知3.r检验法为了检验Y与x是否有线性相关性，也可用统计量相关系数进行检验两边平方得于是得到即这说明Y与x之间不存在线性相关关系。(2