实验优化设计一元线性回归

实验优化设计Tel:1第3章一元线性回归3.1变量间关系的度量3.2一元线性回归3.3利用回归方程进行估计和预测3.4残差分析2随机向量的数字特征期望3协方差及相关系数1、定义定理：若X，Y独立，则X,Y不相关。证明：由数学期望的性质有

E(X-EX)(Y-EY)=E(X-EX)E(Y-EY)

又E(X-EX)=0,

E(Y-EY)=0

所以E(X-EX)(Y-EY)=0。即COV(X,Y)=0

称COV(X,Y)=E(X-EX)(Y-EY)=EXY-EXEY为随机变量X,Y的协方差.而COV(X,X)=DX.

为随机变量X,Y的相关系数。42、协方差的性质注意：若E(X-EX)(Y-EY)0,即EXY-EXEY0，则X，Y一定相关，且X，Y一定不独立。D(aX+bY)=53、相关系数的性质证明：令：6返回主目录7说明X与Y之间没有线性关系并不表示它们之间没有关系。的量．之间线性关系紧密程度与量相关系数是表征随机变YX存在着线性关系；之间以概率与时，当，11YXYX=r之间的线性关系越弱；与时，越接近于当，YXYX0r()．不相关之间不存在线性关系与时，当，YXYX0=r85、例子解：9返回主目录10X，Y独立=0X，Y不相关。113.1变量间关系的度量1.变量间关系2.相关关系的描述与测度3.相关关系的显著性检验121.变量间关系1）函数关系是一一对应的确定关系设有两个变量

x和

y，变量

y随变量

x一起变化，并完全依赖于

x

，当变量

x取某个数值时，

y依确定的关系取相应的值，则称

y是

x的函数，记为

y=f(x)，其中

x称为自变量，y称为因变量各观测点落在一条线上

xy13函数关系(几个例子)

函数关系的例子某种商品的销售额y与销售量x之间的关系可表示为

y=px(p为单价)圆的面积S与半径之间的关系可表示为S=R2

企业的原材料消耗额y与产量x1

、单位产量消耗x2

、原材料价格x3之间的关系可表示为

y=x1x2x3

142）

相关关系(correlation)变量间关系不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量

x取某个值时，变量

y的取值可能有几个各观测点分布在直线周围

xy15相关关系(几个例子)

相关关系的例子父亲身高y与子女身高x之间的关系收入水平y与受教育程度x之间的关系粮食亩产量y与施肥量x1

、降雨量x2

、温度x3之间的关系商品的消费量y与居民收入x之间的关系商品销售额y与广告费支出x之间的关系16相关关系(类型)172.相关关系的描述与测度1）散点图(scatterdiagram)不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关18散点图(例题分析)【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的增长，这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做些定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据19散点图(例题分析)20散点图(例题分析)212）相关系数(correlationcoefficient)对变量之间关系密切程度的度量对两个变量之间线性相关程度的度量称为简单相关系数若相关系数是根据总体全部数据计算的，称为总体相关系数，记为若是根据样本数据计算的，则称为样本相关系数，记为

r22相关系数的计算公式（记住）

样本相关系数的计算公式或化简为23相关系数取值及其意义

r

的取值范围是[-1,1]

|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关

r=0，不存在线性相关关系

-1r<0，为负相关

0<r1，为正相关

|r|越趋于1表示关系越密切；|r|越趋于0表示关系越不密切24取值及其意义-1.0+1.00-0.5+0.5完全负相关无线性相关完全正相关负相关程度增加r正相关程度增加25相关系数的例题分析263.相关关系的显著性检验1）r

的抽样分布r是依据样本数据计算的，根据一个样本的相关系数能否说明总体的相关性呢？这需对样本相关系数的显著性进行检验。样本相关系数的理论分布函数是很复杂的。

r的抽样分布随总体相关系数和样本容量的大小而变化。在进行这项检验时，通常假设x与y是正态变量，如果总体相关系数

=0,则样本相关系数r服从t分布272）检验的步骤1. 检验两个变量之间是否存在线性相关关系等价于对回归系数b1的检验采用R.A.Fisher提出的

t检验检验的步骤为提出假设：H0：

；H1：

0

计算检验的统计量：

确定显著性水平，并作出决策若t>t，拒绝H0

若t<t，不能拒绝H028相关系数的显著性检验(例题分析)

对不良贷款与贷款余额之间的相关系数进行显著性检(0.05)提出假设：H0：

；H1：

0计算检验的统计量3.根据显著性水平＝0.05，查t分布表得t(n-2)=2.0687由于t=7.5344>t(25-2)=2.0687，拒绝H0，不良贷款与贷款余额之间存在着显著的正线性相关关系

29相关系数的显著性检验(例题分析)各相关系数检验的统计量301.一元线性回归模型什么是回归分析？(Regression)从一组样本数据出发，确定变量之间的数学关系式对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度31回归分析与相关分析的区别相关分析中，变量x

变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x

可以是随机变量，也可以是非随机的确定变量相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制

32回归模型的类型33一元线性回归含义涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示

因变量与自变量之间的关系用一个线性方程来表示344.回答“变量之间是什么样的关系？”5.方程中运用1个数字的因变量(响应变量)被预测的变量1个或多个数字的或分类的自变量(解释变量)用于预测的变量(多元）6. 主要用于预测和估计一元线性回归含义（续前）35一元线性回归模型具体形式描述因变量y如何依赖于自变量

x和误差项的方程称为回归模型一元线性回归模型可表示为

y=b0+b1x+ey是

x的线性函数(部分)加上误差项线性部分反映了由于

x的变化而引起的

y的变化误差项

是随机变量反映了除

x和

y之间的线性关系之外的随机因素对

y的影响是不能由

x和

y之间的线性关系所解释的变异性0和

1称为模型的参数36一元线性回归模型基本假定误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的

x值，y的期望值为

E(y)=

0+

1x对于所有的

x值，ε的方差σ2都相同误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2)独立性意味着对于一个特定的

x值，它所对应的ε与其他

x值所对应的ε不相关对于一个特定的

x值，它所对应的

y值与其他

x所对应的

y值也不相关37回归方程(regressionequation)描述

y的平均值或期望值如何依赖于

x的方程称为回归方程一元线性回归方程的形式如下

E(y)=0+1x方程的图示是一条直线，也称为直线回归方程0是回归直线在

y轴上的截距，是当

x=0时

y的期望值1是直线的斜率，称为回归系数，表示当

x每变动一个单位时，y的平均变动值38估计的回归方程(estimatedregressionequation)一元线性回归中估计的回归方程为用样本统计量

和

代替回归方程中的未知参数

和

，就得到了估计的回归方程总体回归参数

和

是

未知的，必须利用样本数据去估计其中：

是估计的回归直线在

y

轴上的截距，

是直线的斜率，它表示对于一个给定的

x

的值，

是

y

的估计值，也表示

x

每变动一个单位时，

y的平均变动值392.参数的最小二乘估计使因变量的观察值与估计值之间的离差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小40最小二乘估计的图示xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾41

和的计算公式

根据最小二乘法的要求，可得求解

和的公式如下42

例3.2

合金的强度y(×107Pa)与合金中碳的含量x(%)有关。为研究两个变量间的关系。首先是收集数据，我们把收集到的数据记为(xi,yi),i=1,2,,n。本例中，我们收集到12组数据，列于表3.2中

进行回归分析首先是回归函数形式的选择。当只有一个自变量时，通常可采用画散点图的方法进行选择。43表3.2合金钢强度y与碳含量x的数据

序号x(%)y(×107Pa)序号x(%)y(×107Pa)10.1042.070.1649.020.1143.080.1753.030.1245.090.1850.040.1345.0100.2055.050.1445.0110.2155.060.1547.5120.2360.044

为找出两个量间存在的回归函数的形式，可以画一张图：把每一对数(xi,yi)看成直角坐标系中的一个点，在图上画出n个点，称这张图为散点图，见图3.2

45

从散点图我们发现12个点基本在一条直线附近，这说明两个变量之间有一个线性相关关系，这个相关关系可以表示为

y=0+1x+(1)

这便是y关于x的一元线性回归的数据结构式。通常假定

E()=0,Var()=

2(2)

在对未知参数作区间估计或假设检验时，还需要假定误差服从正态分布，即

y~N(0+1x,

2)(3)显然，假定(3)比(2)要强。

46

由于0,1均未知，需要我们从收集到的数据(xi,yi)，i=1,2,…,n，出发进行估计。在收集数据时，我们一般要求观察独立地进行，即假定y1,y2,,yn,相互独立。综合上述诸项假定，我们可以给出最简单、常用的一元线性回归的数学模型：

47

由数据(xi,yi)，i=1,2,…,n，可以获得0,1的估计，称

为y关于x的经验回归函数，简称为回归方程，其图形称为回归直线。给定x=x0后，称为回归值（在不同场合也称其为拟合值、预测值）。

48表3例3.3的计算表

由此给出回归方程为:

例3.3

使用例3.2种合金钢强度和碳含量数据，我们可求得回归方程，见下表.

49为了更清楚地理解相关和回归的概念，我们来看一个具体的实例1其中X收入，Y消费50从上表中，我们很容易发现：（1）随着收入水平的提高，消费水平也在提高；（2）对于给定的收入（X），消费（Y）的取值不是唯一一个具体的值，而是一系列值，换句话说，消费（Y）是一个随机变量，它不完全由收入确定决定，还受到其它因素的影响。因此，我们可以说变量X和Y具有因果关系。另一方面，消费是随着收入水平的提高而提高，因此可以认为收入是因，而消费是果。因此变量X和Y具有回归关系。51这一点，很容易从下图中可以看出52估计方程的求法(例题分析)【例】求不良贷款对贷款余额的回归方程回归方程为：y=-0.8295

+0.037895

x回归系数=0.037895表示，贷款余额每增加1亿元，不良贷款平均增加0.037895亿元

^53估计方程的求法(例题分析)不良贷款对贷款余额回归方程的图示54一元线性回归模型的经典假设

（1）E(ui)=0(i=1,2,….,n)，残差分布均值为零。这个假设的具体涵义是：虽然随机因素对因变量有影响，但从平均意义上来说，其影响为零，从而因变量的平均水平（期望）完全由解释变量确定。由此可得：E（Y|X）=b0+b1X，称为总体回归函数。（2）Var(ui)=2(i=1,2,……，n)随机扰动项方差恒定，称为同方差。这个假设的具体涵义是：虽然各个随机扰动项的取值是不同的，但是其方差是相同的。违背该假定就称为异方差，我们后面专门对其进行研究。55（3）E(ui,uj)=0这个假定的具体涵义是：随机扰动项（误差）相互不相关，因而各个因变量之间也是不相关的，在正态分布的假定下，不相关等价与独立。违背这个假定，就称为序列相关。（4）Cov(Xui)=0这个假定的具体涵义是：解释变量是可观察的，确定的，因而与ui不相关。违背这个假定就称为随机解释变量。以上假定就是著名的高斯——马尔科夫假定或者是回归的经典假定。56进一步，对ui假定如下：（5）

ui～N（0，2

）这个假定的具体涵义是：随机项具有正态分布。以后我们可以看到这个假定的重要性。57用Excel进行回归分析第1步：选择“工具”下拉菜单第2步：选择“数据分析”选项第3步：在分析工具中选择“回归”，然后选择“确定”第4步：当对话框出现时

在“Y值输入区域”设置框内键入Y的数据区域

在“X值输入区域”设置框内键入X的数据区域

在“置信度”选项中给出所需的数值在“输出选项”中选择输出区域在“残差”分析选项中选择所需的选项583.回归直线的拟合优度(1)变差因变量

y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量

x的取值不同造成的除

x以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差

来表示。59(2)变差的分解(图示)xy{}}60(3)离差平方和的分解(三个平方和的关系)SST=SSR+SSE总平方和(SST){回归平方和(SSR)残差平方和(SSE){{611.总平方和(SST)反映因变量的

n个观察值与其均值的总离差2.回归平方和(SSR）（SSR：sumofsquaresforregression)反映自变量

x的变化对因变量

y取值变化的影响，或者说，是由于

x与

y之间的线性关系引起的

y的取值变化，也称为可解释的平方和3.残差平方和(SSE)反映除

x以外的其他因素对

y取值的影响，也称为不可解释的平方和或剩余平方和(4)三个平方和的意义62(5)判定系数r2(coefficientofdetermination)回归平方和占总离差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

R21，说明回归方程拟合的越好；

R20，说明回归方程拟合的越差;判定系数等于相关系数的平方，即R2＝r263例题分析【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义

判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系64(6)估计标准误差(standarderrorofestimate)实际观察值与回归估计值离差平方和的均方根反映实际观察值在回归直线周围的分散状况对误差项的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量反映用估计的回归方程预测y时预测误差的大小

计算公式为注：例题的计算结果为1.9799654.显著性检验(1)线性关系的检验检验自变量与因变量之间的线性关系是否显著将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数p)残差均方(MSE)

：残差平方和SSE除以相应的自由度(n-p-1)（注：P为字变量个数）66线性关系的检验的步骤提出假设H0：1=0线性关系不显著2.计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F

作出决策：若F>F

,拒绝H0；若F<F

,不能拒绝H067例题分析(以前面资料)提出假设H0：

1=0不良贷款与贷款余额之间的线性关系不显著计算检验统计量F确定显著性水平=0.05，并根据分子自由度1和分母自由度25-2找出临界值F

=4.28作出决策：若F>F

,拒绝H0，线性关系显著68方差分析表Excel输出的方差分析表69(2)回归系数的检验在一元线性回归中，等价于线性关系的显著性检验检验x与

y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布70样本统计量的分布

是根据最小二乘法求出的样本统计量，它有自己的分布的分布具有如下性质分布形式：正态分布数学期望：标准差：由于

未知，需用其估计量sy来代替得到的估计的标准差71回归系数的检验检验步骤提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)计算检验的统计量

确定显著性水平，并进行决策

t>t，拒绝H0；

t<t，不能拒绝H072例题分析对例题的回归系数进行显著性检验(＝0.05)提出假设H0：b1=0H1：b1

0计算检验的统计量

t=7.533515>t=2.201，拒绝H0，表明不良贷款与贷款余额之间有线性关系73回归系数的检验例题分析表P值的