10.3 多元线性回归

概率论

与数理统计理学院数学系“悟道诗---严加安”随机非随意，概率破玄机；无序隐有序，统计解迷离．第十章回归分析第三节多元线性回归二、参数的最小二乘估计四、回归系数的显著性检验一、多元线性回归模型三、回归方程的显著性检验五、小结一、多元线性回归模型随机变量

Y可控变量X1,X2,…,

Xm线性相关Y

关于X1,X2,…,

Xm

的m

元线性回归模型：

n

组独立观测数据b0,b1,…,

bm为待估计的模型参数.εi为随机误差项.一、多元线性回归模型Y

关于X1,X2,…,

Xm

的m

元线性回归模型：Y

关于X1,X2,…,

Xm

的理论回归方程：二、参数的最小二乘估计假设b0,b1,…,

bm的估计量为回归平面拟合误差（残差）一个比较好的回归方程应该使所有观测点的残差平方和尽可能小二、参数的最小二乘估计残差平方和：求m+1元函数的最小值点，即得未知参数b0,b1,…,

bm的最小二乘估计二、参数的最小二乘估计求关于的偏导数，并令其等于0，列方程组如下：称为正规方程组二、参数的最小二乘估计1.第一种解法求解方程组其中二、参数的最小二乘估计1.第一种解法由后m个方程解得，代入第一个方程得Y

关于X1,X2,…,

Xm

的经验回归方程：二、参数的最小二乘估计2.第二种解法（矩阵解法）令可得正规方程组的矩阵形式X

称为设计矩阵二、参数的最小二乘估计2.第二种解法（矩阵解法）由解得将代入理论回归方程式同样可得经验回归方程三、回归方程的显著性检验1.离差平方和分解残差平方和回归平方和三、回归方程的显著性检验2.F检验法定理10.3.1对于m

元线性回归，有并且和相互独立H0成立时，三、回归方程的显著性检验2.F检验法检验统计量拒绝域aF

(m,n-m-1)0拒绝H0不能拒绝H0FF分布三、回归方程的显著性检验3.方差分析表当时拒绝原假设H0，认为回归方程整体上是显著的.方差来源平方和自由度均方F值回归SSRmMSR=SSR/mMSR/MSE

剩余SSEn–m–1MSE=SSE

/(n–m–1)总和SSTn–1四、回归系数的显著性检验1.的分布并且和相互独立.定理10.3.2记，对于m元线性回归模型，有四、回归系数的显著性检验2.t

检验法对于给定的显著性水平α，检验的拒绝域为当原假设H0成立时，检验统计量检验的p

值：例10.3.1

考察15名不同程度的烟民的每日抽烟量X1（支）、饮酒（啤酒）量X2（L）与其心电图指标Y的对应数据，如下表所列：（1）求变量的相关系数矩阵；（2）求Y

关于的二元线性回归方程；（3）对回归方程进行显著性检验（取）.解（1）由式(10.25)~式(10.27)计算得于是可得X1和X2的相关系数为解（1）X1

和Y的相关系数为X2

和Y的相关系数为X1

,X2,Y的相关系数矩阵为解（2）假设Y关于X1

,X2

的理论回归方程为根据式(10.28)写出如下方程组解得可得Y关于X1

,X2

的经验回归方程为解（3）显著性检验的原假设和备择假设为显著性检验的方差分析表如下：由上表可知，

所以Y关于X1

,X2

的回归方程是显著的.方差来源平方和自由度均方F值临界值p值回归110638.83255319.4273.893.890.0000残差8984.512748.71

总计119623.3314

小结1.