统计模型检验与评价

4.3统计模型检验与评价

基于数据用统计方法建立经验回归模型,做了以下工作：一、模型检验的必要性

1）借助于数据散布图的直观形象,

选择一个函数来近似变量之间的相关关系；

2）用最小二乘法求经验模型中参数的最佳估计.

问题：如何评价此建模方法？

分析：若两个随机变量X、Y间存在相关关系,设其回归函数为

y=μ(x).

客观存在相当于做假设,令

这种假设主观性太强,是否合理必须经过检验.

选择一个函数

f(x)

作为y=μ(x)的估计函数.

主观设定续例1.7.5

p141非线性交调的频率设计(1993全国大学生数学模型联赛题).得到系统输入输出的两个经验关系式为

考虑到输入输出关系的物理背景（这一点在处理实际问题时尤需重视）可以判断第二式更为合理.需对两个不同模型进行评价和合理性检验.

一般更需要用一定的方法对模型进行检验和评价,选择更“合理”的模型.

本节主要介绍多元线性回归模型的评价和检验方法.

选择下线性回归模型描述因变量Y与自变量X1，X2，...XP的关系有以下问题值得思考:1)因变量Y与可控变量X1，X2，...XP是否确有线性相关关系?是否显著?

2)是否所有回归系数都不为零?3)回归方程中,设定的可控变量的个数及相应变量是否合理?回归系数的显著性检验回归方程的显著性检验“最优”回归方程的选择

二、

回归方程的显著性检验根据数据建立线性经验数学模型

形式地估计回归系数并建立经验线性回归方程无实际意义.问题:

1.变量之间是否存在线性相关关系？

2.上述方程对样本数据的代表程度如何？

身高h和体重m无明显的线性相关关系.模型对数据的代表程度不够需做两方面的检验工作：

1.评价方程对样本数据的代表程度；

2.检验变量之间的线性关系是否显著.

以分析一元线性回归模型入手.1.线性关系检验1)相关系数检验法2.方差分析法已学一元经验线性回归模型取定可控变量X的一组值x1，x2，…，xN,对Y做独立n次观察(试验),其观察值为记作为yi，(i=1，2，…，N)的估计值.

1)自变量X的不同取值致使因变量Y产生的变化;2)其它因素（包括试验误差）的影响.关心哪一个方面的影响占主导.描述了观察值相对数据平均值的离散程度.总偏差平方和分解总偏差平方和

回归平方和

反映在线性回归方程中由自变量X值的变化致使因变量Y变化的差异程度.残差平方和

反映试验误差和其它因素对试验结果的影响程度.

对于正态线性回归模型若满足回归假定.即对X的不同取值,独立试验结果的残量

回归平方和QR表征了自变量X的重要程度1）

相互独立；2）具有相同分布：～N(0,σ2).相应统计量并且相互独立.检验假设若H0成立，则由F分布定理知统计量

若X与Y之间存在线性相关关系，回归方程中应有b≠0.QR的值越大，统计量F的值越大,说明X对Y的影响程度越高

.给定的显著性水平α，H0：b=0的拒绝域为其中

若拒绝H0，称线性回归方程是显著的，或称X与Y的线性相关关系显著.类似地,检验多元（经验）线性回归方程线性关系是否显著,需检验

若H0成立，即有多元线性回归模型中β的每一分量均为零，则Y与之间无显著的线性相关关系.仍将总偏差平方和分解为若H0成立，统计量若算得F的统计值f使在显著性水平下，可认为方程有显著意义.续例1.7.5非线性交调的频率设计(1993年全国大学生数学模型联赛题).进行检验有

对经验回归方程表明所建立的经验输入输出关系式是显著的.

三、

回归系数的显著性检验

通过了回归方程的显著性检验,说明因变量和可控变量之间的回归关系显著,并且回归函数的形式明显.思考1)得到回归系数不全为零的结论，能否说明所有的回归系数都不为零;2）每个可控变量对Y的影响程度是否同等重要.在例1.7.5考虑进非零输入项的经验回归模型经检验也是显著的.

应建立只包含对因变量影响显著的自变量的回归方程.

回归系数的大小反映了各个变量因素对Y的影响程度.

若变量Xj对Y的线性影响不显著,则正态线性回归模型中应有βj等于零或很接近于零.有必要对各回归系数本身进行检验.检验Xj对Y有无显著的线性影响,相当于检验假设

正态多元线性回归模型的最小二乘估计向量b的每一分量bj都服从正态分布，且E(bj)=βj,,(j=1,2,…,P),其中cjj是相关矩阵的第j个对角元素，故若成立,则从而又因bj与残差平方和QE相互独立，由F定理有

对给定显著性水平α,由样本值算得Fj的统计值fj,

检验准则为若,则拒绝H0,可以认为Xj对Y的线性影响显著.四、“最优”回归模型的选择

应用中总希望用“最优”的线性回归方程来描述变量间的线性相关关系.最优思想：1）模型中应包含所有对因变量Y有显著影响的自变量；2）方程中所包含的自变量个数尽可能少.

通过回归系数显著性检验,已判断出原回归方程若中不显著的自变量问题：能否从方程中将它们其剔除了之?

如检验出xi的线性相关性不显著,去掉xi后的方程是否为“最优”回归方程？答案：否定！

回归系数的最小二乘估计b0,b1,…,bP相互之间存在相关性.从原经验方程剔除一个可控变量时，其它自变量的回归系数就会发生改变.

应从余下的P－1个自变量

着手,重新估计出回归系数,得到新的回归方程一般引进偏回归平方和的概念总偏差平方和分解式回归平方和反映了所有自变量对Y波动的总贡献.

在模型中去掉某个自变量，回归平方和值将减小，且减小的数值越大,说明该自变量在回归模型中的作用越大.为自变量xi的偏回归平方和

.反映xi对Y的波动的贡献其中是由自变量中x1,x2,,…,xP掉xi所得的回归平方和.可用自变量的偏回归平方和的大小来衡量在一组自变量中的重要程度.将各自变量的偏回归平方和作为评价指标，按一定的优化原则剔除或引进自变量，

选择“最优”回归模型.1)淘汰法（向后法、下降法)2)纳新法（向前法、上升法）常用方法有:3)逐步回归法（吐故纳新法）以及前两种方法的综合与改进五、

数据残差图分析

是检验回归方程拟合优度的一个简单有效的方法.数据残差图分析原理一元线性回归模型独立试验结果:满足回归假定1）

相互独立；2）具有相同分布：～N(0,σ2).设Y对应于的N个观测值为作为yi，(i=1,2,…,n)的估计值,其中分别为a和b的估计.称为标准化残差.定义

称为残差注1

ei，i=1,2,…,n是

,i=1,2,…,N的样本值.

注2

可用作为σ的估计,仍记

由于,i=1,2,…,n相互独立,并且～N(0,σ2)有95.45%的把握e*的值在(一2,2)区间内变动.以e*为纵坐标，xi为横坐标,将数据（xi，e*），i=1,2,…,n绘在平面图内，所得图形称为标准化残差图.

分析数据残差图,若数据点（xi，e*），i=1,2,…,n在(一2，2)区间内随机散布,说明回归方程的拟合是良好的.xiei*例6.5.1生产费用与产量拟合优度分析

随机抽取了某一类企业中的10个企业,调查了它们的产量和生产费用情况,取得数据如下表：

企业编号12345678910产量(千个)X40424855657988100120140生产费用(千元)Y150140160170150162185165190185建立经验回归方程为

计算出标准化残差(见P170表7.9),绘制生产费用的标准化残差图(图7.11).图中标准化残差e*在横轴上下随机散布,且位于（一2，2）区间内,可以认为方程对数据的拟合是良好的.

例6.5.2

试分析讲义P175图7.10的四副标准化残差图.1.图（a）全部数据都在(－2,2)区间内,且随机散布,说明方程对数据的拟合是良好的.2.图（b）中有较多数据落在(－2,2)区间的外面,这说明方程对数据的拟合不充分.可能是由于方程的形式选择不恰当.

通过分析标准化残差图可以得到更多信息，可以分析出回归方程的回归假定的满足情况.

*1图(c)中残差出现系统变动的趋势；

表明关于,i=1,2,…,n

的等方差假定不满足；

*2图(d)中残差值e*,i=1,2,…,n

有相依关系；说明关于,i=1,2,…,n的独立性假定不满足.

对残差图做进一步分析：是评价回归方程拟合优度的一个指标.

可证明

0≤r2≤1且

r2的值越大说明方程对数据的拟合度越高.?2）计算测定系数(确定系数、