第十二讲 多元线性回归与相关课件

多元线性回归与相关1主要内容1多元线性回归模型简介2回归系数的估计3多元回归的假设检验4评价回归方程的标准5自变量的筛选6偏相关

2某地13岁男童身高、体重、肺活量的实测数据编号身高(cm)x1体重(kg)x2肺活量(L)y1135.132.01.753163.646.22.755156.237.12.757167.841.52.759145.033.02.5011165.549.53.0013153.341.02.7515160.547.22.2517147.640.52.0019155.144.72.7521143.031.51.7523160.840.42.7525158.237.52.0027144.534.72.2529156.532.01.753一、多元回归模型多元线性回归数学模型：Y为因变量的实际观测值X1、X2、…Xk为k个自变量为常数项为总体偏回归系数为残差，Y的变化中不能用现有自变量解释的部分5多元线性回归方程b0为截距(intercept)，又称常数(constant),表示各自变量均为0时y的估计值bj称为偏回归系数(partialregressioncoefficient)，表示在其他自变量固定不变的情况下，自变量xj每改变一个单位时单独引起因变量y的平均改变量。称为y的估计值或预测值(predictedvalue)6举例根据某地29名13岁男童的身高x1(cm)，体重x2(kg)和肺活量y(L)建立的回归方程为：当x1=150，x2=32时，表示对所有身高为150cm，体重为32kg的13岁男童，估计平均肺活量为1.9168(L)。7二、回归系数的估计最小二乘法(leastsquare,LS)基本思想残差平方和(sumofsquaresforresiduals)最小8求解正规方程组得偏回归系数10三、多元回归的假设检验回归方程的检验偏回归系数的检验12方差分析法变异分解1.总变异：2.引进回归以后的变异(剩余):

3.回归的贡献，回归平方和：)14回归方程检验的方差分析表变异来源离均差平方和SS自由度df离均差平方均方MSF回归SS回归KSS回归/KMS回归剩余SS剩余N-K-1SS剩余/(N-K-1)/MS剩余总SS总N-115回归方程的方差分析

变异来源SS自由度MSFP总5.6336206928回归3.0757339421.5378669715.63190.0000剩余2.55788685260.0983802616检验步骤1.建立假设，确定检验水准2.计算F值3.确定P值，得出结论17确定系数法

(coefficientofdetermination)确定系数18偏回归系数的假设检验t检验H0：j=0；H1：j0。20偏回归平方和法偏回归平方和：是指将某自变量xj从回归方程中删除后所引起的回归平方和减少的量。21评价回归方程的标准复相关系数校正复相关系数剩余标准差23复相关系数

(multiplecorrelationcoefficient)0≤R≤1R反映的是因变量与所有自变量的总的相关关系,当方程中自变量个数增加时,R总是增加的。当只有一个因变量y与一个自变量x时，R就等于y与x的简单相关系数之绝对值：R=|ryx

|。根据R的大小判断方程的优劣时，结论总是自变量最多的方程最好，用R衡量方程的优劣是有缺陷的。24剩余标准差剩余标准差小则估计值与实测值接近，反之则估计值与实测值相差较大，它是反映回归方程精度的指标26自变量的筛选全面分析法前进法后退法逐步回归法27全面分析法从所有可能的变量组合的回归方程中挑选最优者，即把所有包含1个、2个、…直至全部k个自变量的回归方程都计算出来（），挑选剩余标准差最小的。28图示：前进法

计算lij、方程外的变量分别进入方程，计算SS回增加量增加最大者为XKXK进入方程显著对XK进行检验不显著结束30后退法的基本思想选定一个标准开始所有变量均在方程中按自变量对y的贡献大小由小到大依次剔除变量。每剔除一个变量，则重新计算方程内各自变量对y的贡献。直到方程内变量均达到入选标准，没有自变量可被剔除为止。31图示：后退法

变量全部进入方程方程内的变量分别剔除，计算SS回减少量，减少量最小者为Xk剔除Xk显著对XK进行检验不显著不剔除Xk,结束32逐步回归将自变量逐个地引入方程，引入的条件是该自变量的偏回归平方和在未选入的自变量中是最大的，并F检验具有显著意义。另一方面，每引入一个新变量，要对先前选入方程的自变量逐个进行F检验，将偏回归平方和最小且无显著性的自变量剔出方程，直到方程外的自变量不能再引入，方程内的自变量不能再剔除。33图示：逐步回归过程

计算lij、方程外的变量分别进入方程，计算SS回增加量增加最大者为XKXK进入方程步数>2方程内的变量分别剔除，计算SS回减少量，减少量最小者为XS对XS检验剔除XS显著不显著显著对XK进行检验不显著结束是否34方法的比较欲求到最优方程，应用最优子集法。但计算工作量太大。前进法能得到哪个因素的单个作用大，有时漏掉单个作用小，而交互作用大的变量。后退法能得不到哪个因素的单个作用大，不会漏掉单个作用小，而交互作用大的变量。当变量间关联性强时，有时可能得不到方程。35偏相关（PartialCorrelation)36一、概念当有多