第六章相关分析与线性回归分析课件

第六章相关分析与回归分析1、一元相关分析2、多元相关分析3、一元线性回归分析4、多元线性回归分析第六章相关分析与回归分析1、一元相关分析第一节一元相关分析一、变量之间的两类关系确定性关系（函数关系）；非确定性关系（相关关系）；第一节一元相关分析函数关系是一一对应的确定关系设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x

，当变量x取某个数值时，

y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量各观测点落在一条线上

xy函数关系是一一对应的确定关系xy函数关系

(几个例子)某种商品的销售额y与销售量x之间的关系可表示为y=px(p为单价)圆的面积S与半径R之间的关系可表示为

S=R2

企业的原材料消耗额y与产量x1

、单位产量消耗x2

、原材料价格x3之间的关系可表示为

y=x1x2x3

函数关系

(几个例子)某种商品的销售额y与销售量x之间的关系相关关系

(correlation)变量间关系不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量

x取某个值时，变量y的取值可能有几个各观测点分布在直线周围

xy相关关系

(correlation)变量间关系不能用函数关系相关关系

(几个例子)父亲身高y与子女身高x之间的关系收入水平y与受教育程度x之间的关系粮食单位面积产量y与施肥量x1

、降雨量x2

、温度x3之间的关系商品的消费量y与居民收入x之间的关系商品销售额y与广告费支出x之间的关系相关关系

(几个例子)父亲身高y与子女身高x之间的关系相关关系

(类型)相关关系线性相关非线性相关完全相关

不相关正相关负相关正相关负相关相关关系

(类型)相关关系线性相关非线性相关完全相关不相关相关关系的描述与测度

(散点图)相关关系的描述与测度

(散点图)相关分析及其假定相关分析要解决的问题变量之间是否存在关系？如果存在关系，它们之间是什么样的关系？变量之间的关系强度如何？样本所反映的变量之间的关系能否代表总体变量之间的关系？为解决这些问题，在进行相关分析时，对总体有以下两个主要假定两个变量之间是线性关系两个变量都是随机变量相关分析及其假定相关分析要解决的问题散点图

(scatterdiagram)不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关散点图

(scatterdiagram)散点图

(例题分析)【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的增长，这给银行业务的发展带来较大压力。为弄清不良贷款形成的原因，管理者希望利用银行业务的有关数据进行定量分析，以便找出控制不良贷款的办法。下面是该银行所属的25家分行2002年的有关业务数据散点图

(例题分析)【例】一家大型商业银行在多个地区设有分行第六章相关分析与线性回归分析课件散点图

(不良贷款对其他变量的散点图)散点图

(不良贷款对其他变量的散点图)散点图

(5个变量的散点图矩阵)散点图

(5个变量的散点图矩阵)散点图

(5个变量的散点图矩阵)不良贷款贷款余额累计应收贷款贷款项目个数固定自产投资散点图

(5个变量的散点图矩阵)不良贷款贷款余额累计应收贷款SPSS软件使用说明选项为Graphs－ScatterSPSS软件使用说明选项为Graphs－Scatter相关关系的描述与测度

(相关系数)相关关系的描述与测度

(相关系数)相关系数

(correlationcoefficient)度量变量之间关系强度的一个统计量对两个变量之间线性相关强度的度量称为简单相关系数若相关系数是根据总体全部数据计算的，称为总体相关系数，记为若相关系数是根据样本数据计算的，则称为样本相关系数，简称为相关系数，记为r也称为线性相关系数(linearcorrelationcoefficient)或称为Pearson相关系数(Pearson’scorrelationcoefficient)

相关系数

(correlationcoefficient)相关系数

(计算公式)

样本相关系数的计算公式或化简为相关系数

(计算公式)样本相关系数的计算公式或化简为相关系数的性质性质1：r

的取值范围是[-1,1]

|r|=1，为完全相关r=1，为完全正相关r=-1，为完全负正相关

r=0，不存在线性相关关系

-1r<0，为负相关0<r1，为正相关|r|越趋于1表示关系越强；|r|越趋于0表示关系越弱相关系数的性质性质1：r的取值范围是[-1,1]相关系数的性质

(取值及其意义的图解)-1.0+1.00-0.5+0.5完全负相关无线性相关完全正相关负相关程度增加r正相关程度增加相关系数的性质

(取值及其意义的图解)-1.0+1.00-0相关系数的性质性质2：r具有对称性。即x与y之间的相关系数和y与x之间的相关系数相等，即rxy=ryx性质3：r数值大小与x和y原点及尺度无关，即改变x和y的数据原点及计量尺度，并不改变r数值大小性质4：仅仅是x与y之间线性关系的一个度量，它不能用于描述非线性关系。这意味着，r=0只表示两个变量之间不存在线性相关关系，并不说明变量之间没有任何关系性质5：r虽然是两个变量之间线性关系的一个度量，却不一定意味着x与y一定有因果关系相关系数的性质性质2：r具有对称性。即x与y之间的相关系数和相关系数的经验解释

|r|0.8时，可视为两个变量之间高度相关0.5|r|<0.8时，可视为中度相关0.3|r|<0.5时，视为低度相关|r|<0.3时，说明两个变量之间的相关程度极弱，可视为不相关上述解释必须建立在对相关系数的显著性进行检验的基础之上相关系数的经验解释|r|0.8时，可视为两个变量之间高度相关系数

(例题分析)相关系数

(例题分析)相关系数的显著性检验相关系数的显著性检验相关系数的显著性检验

(r

的抽样分布)1. r的抽样分布随总体相关系数和样本容量的大小而变化当样本数据来自正态总体时，随着n的增大，r

的抽样分布趋于正态分布，尤其是在总体相关系数很小或接近0时，趋于正态分布的趋势非常明显。而当远离0时，除非n非常大，否则r的抽样分布呈现一定的偏态当为较大的正值时，r呈现左偏分布；当为较小的负值时，r呈现右偏分布。只有当接近于0，而样本容量n很大时，才能认为r是接近于正态分布的随机变量相关系数的显著性检验

(r的抽样分布)1. r的抽样分相关系数的显著性检验

(检验的步骤)1. 检验两个变量之间是否存在线性相关关系等价于对回归系数b1的检验采用R.A.Fisher提出的t检验(假设数据是成对地从正态分布中取得的)检验的步骤为提出假设：H0：；H1：0

计算检验的统计量：

确定显著性水平，并作出决策若t>t，拒绝H0

若t<t，不拒绝H0相关系数的显著性检验

(检验的步骤)1. 检验两个变量之间是相关系数的显著性检验

(例题分析)对不良贷款与贷款余额之间的相关系数进行显著性检验(0.05)提出假设：H0：；H1：0计算检验的统计量3.根据显著性水平＝0.05，查t分布表得t(n-2)=2.069由于t=7.5344>t(25-2)=2.069，拒绝H0，不良贷款与贷款余额之间存在着显著的正线性相关关系相关系数的显著性检验

(例题分析)对不良贷款与贷款余额之相关系数的显著性检验

(例题分析)各相关系数检验的统计量相关系数的显著性检验

(例题分析)各相关系数检验的统计量相关系数的显著性检验

(需要注意的问题)即使统计检验表明相关系数在统计上是显著的，并不一定意味着两个变量之间就存在重要的相关性因为在大样本的情况下，几乎总是导致相关系数显著比如，r=0.1，在大样本的情况下，也可能使得r通过检验，但实际上，一个变量取值的差异能由另一个变量的取值来解释的比例只有10%，这实际上很难说明两个变量之间就有实际意义上的显著关系相关系数的显著性检验

(需要注意的问题)即使统计检验表明相关SPSS软件使用说明选项为Analyze－Correlate－Bivariate

SPSS软件使用说明选项为Analyze－Correlat相关系数的显著性检验

(需要注意的问题)即使统计检验表明相关系数在统计上是显著的，并不一定意味着两个变量之间就存在重要的相关性因为在大样本的情况下，几乎总是导致相关系数显著比如，r=0.1，在大样本的情况下，也可能使得r通过检验，但实际上，一个变量取值的差异能由另一个变量的取值来解释的比例只有10%，这实际上很难说明两个变量之间就有实际意义上的显著关系相关系数的显著性检验

(需要注意的问题)即使统计检验表明相关如果样本数据不是来源与正态分布，该如何？如果样本数据不是来源与正态分布，该如何？Spearman秩相关系数Pearson线性相关系数必须假设数据是成对地从正态分布中取得的，并且数据至少在逻辑范畴内必须是等间距的数据。如果这两条件不符合，一种可能就是采用Spearman秩相关系数来代替Pearson线性相关系数。Spearman秩相关系数是一个非参数性质（与分布无关）的秩统计参数，由Spearman在1904年提出.Spearman秩相关系数Pearson线性相关系Spearman秩相关系数

假设原始的数据xi，yi已经按从大到小的顺序排列，记x’i，y’i为原xi，yi在排列后数据所在的位置，则x’i，y’i称为变量x’i，y’i的秩次，则di=x’i-y’i为xi，yi的秩次之差。取值介于-1~1之间

Spearman秩相关系数假设原始的数据xi，yi已经按从相关关系不等于因果关系，如何在多个变量之间找因果关系？相关关系不等于因果关系，如何在多个变量之间找因果关系？

暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在超级市场帮助卖冷饮，小明在游泳池收门票。每天晚上，二人闲聊。昨天大明冷饮卖得多，小明门票也收得多，今天，大明卖得少，小明门票也收得少。一个月下来，他们发现，超级市场冷饮销售量和游泳人数呈正相关。是不是爱吃冷饮的人想游泳？或爱游泳的人喜欢冷饮？爸爸是教统计学的，将他们11天冷饮销售量(X1)、游泳人数(X2)以及当天的气温(X3)的记录汇集于下表。案例暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在超级第六章相关分析与线性回归分析课件结论：喜欢游泳的人都爱喝冷饮？Or爱喝冷饮的人都喜欢游泳？结论：喜欢游泳的人都爱喝冷饮？Or爱喝冷饮的人都喜欢游泳？第六章相关分析与线性回归分析课件偏相关系数（部分相关系数）部分相关系数反映校正其它变量后某一变量与另一变量的相关关系，校正的意思可以理解为假定其它变量都取值为均数。即扣除其他变量的影响后，变量Y与X的相关，称为Y与X的偏相关系数。计算公式偏相关系数（部分相关系数）部分相关系数反映校正其它变量后衡量偏相关程度用偏相关系数表示：ryx1

x2

为1阶偏相关系数，即清除了X2

的影响后Y与X1之间的相关系数，ryx1

x2

x3

为2阶偏相关系数，即清除了X2与X3的影响后

Y与X1

之间的相关系数，ryx1

x2…xk

为(k-1)阶偏相关系数，即清除了X2…X3的影响后Y

与X1

之间的相关系数，衡量偏相关程度用偏相关系数表示：

暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在超级市场帮助卖冷饮，小明在游泳池收门票。每天晚上，二人闲聊。昨天大明冷饮卖得多，小明门票也收得多，今天，大明卖得少，小明门票也收得少。一个月下来，他们发现，超级市场冷饮销售量和游泳人数呈正相关。是不是爱吃冷饮的人想游泳？或爱游泳的人喜欢冷饮？爸爸是教统计学的，将他们11天冷饮销售量(X1)、游泳人数(X2)以及当天的气温(X3)的记录汇集于表13-4。暑假期间双胞胎兄弟大明和小明参加勤工俭学，大明在超级第六章相关分析与线性回归分析课件游泳人数残差冷饮销售量残差偏相关系数游泳人数残差冷饮销售量残差偏相关系数SPSS软件使用说明选项为Analyze－Correlate－Partial选择计算的那些变量到Variable框中。选择一个变量作为控制变量到Controllingfor框中。SPSS软件使用说明选项为Analyze－Correlat第二节一元线性回归一、一元线性回归模型二、参数的最小二乘估计三、回归直线的拟合优度四、显著性检验五、回归分析应用第二节一元线性回归一、一元线性回归模型什么是回归分析？

(regression)从一组样本数据出发，确定变量之间的数学关系式对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出哪些变量的影响显著，哪些不显著利用所求的关系式，根据一个或几个变量的取值来预测或控制另一个特定变量的取值，并给出这种预测或控制的精确程度什么是回归分析？

(regression)从一组样本数据出发趋向中间高度的回归回归这个术语是由英国著名统计学家FrancisGalton在19世纪末期研究孩子及其父母的身高时提出来的。Galton发现身材高的父母，他们的孩子身材也高。但这些孩子平均起来并不像他们的父母那样高。对于比较矮的父母情形也类似：他们的孩子比较矮，但这些孩子的平均身高要比他们的父母的平均身高高。Galton把这种孩子的身高向平均值靠近的趋势称为一种回归效应，而他发展的研究两个数值变量的方法称为回归分析趋向中间高度的回归回归这个术语是由英国著名统计学家Franc回归分析与相关分析的区别相关分析中，变量x

变量y处于平等的地位；回归分析中，变量y称为因变量，处在被解释的地位，x称为自变量，用于预测因变量的变化相关分析中所涉及的变量x和y都是随机变量；回归分析中，因变量y是随机变量，自变量x

是非随机的确定变量相关分析主要是描述两个变量之间线性关系的密切程度；回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归方程进行预测和控制回归分析与相关分析的区别相关分析中，变量x变量y处于回归模型的类型回归模型一元回归多元回归线性回归非线性回归线性回归非线性回归回归模型的类型回归模型一元回归多元回归线性回归非线性回归线性一元线性回归模型一元线性回归模型一元线性回归涉及一个自变量的回归因变量y与自变量x之间为线性关系被预测或被解释的变量称为因变量(dependentvariable)，用y表示用来预测或用来解释因变量的一个或多个变量称为自变量(independentvariable)，用x表示因变量与自变量之间的关系用一个线性方程来表示一元线性回归涉及一个自变量的回归回归模型

(regressionmodel)回答“变量之间是什么样的关系？”方程中运用1个数值型因变量(响应变量)被预测的变量1个或多个数值型或分类型自变量(解释变量)用于预测的变量3. 主要用于预测和估计回归模型

(regressionmodel)回答“变量之间一元线性回归模型描述因变量y如何依赖于自变量x和误差项

的方程称为回归模型一元线性回归模型可表示为

y=b0+b1x+ey是x的线性函数(部分)加上误差项线性部分反映了由于x的变化而引起的y的变化误差项

是随机变量反映了除x和y之间的线性关系之外的随机因素对y的影响是不能由x和y之间的线性关系所解释的变异性0和1称为模型的参数一元线性回归模型描述因变量y如何依赖于自变量x和误差一元线性回归模型

(基本假定)因变量y与自变量x之间具有线性关系在重复抽样中，自变量x的取值是固定的，即假定x是非随机的误差项ε是一个期望值为0的随机变量，即E(ε)=0。对于一个给定的x值，y的期望值为E(y)=0+

1x对于所有的x值，ε的方差σ2都相同误差项ε是一个服从正态分布的随机变量，且相互独立。即ε~N(0,σ2)独立性意味着对于一个特定的x值，它所对应的ε与其他x值所对应的ε不相关对于一个特定的x值，它所对应的y值与其他x所对应的y值也不相关一元线性回归模型

(基本假定)因变量y与自变量x之间具有线一元线性回归模型

(基本假定)x=x3时的E(y)x=x2时y的分布x=x1时y的分布x=x2时的E(y)x3x2x1x=x1时的E(y)0xyx=x3时y的分布0+1x一元线性回归模型

(基本假定)x=x3时的E(y)x=x2回归方程

(regressionequation)描述y的平均值或期望值如何依赖于x的方程称为回归方程一元线性回归方程的形式如下

E(y)=0+1x方程的图示是一条直线，也称为直线回归方程0是回归直线在y轴上的截距，是当x=0时y的期望值1是直线的斜率，称为回归系数，表示当x每变动一个单位时，y的平均变动值回归方程

(regressionequation)描述估计的回归方程

(estimatedregressionequation)一元线性回归中估计的回归方程为用样本统计量和代替回归方程中的未知参数和，就得到了估计的回归方程总体回归参数和

是未知的，必须利用样本数据去估计其中：是估计的回归直线在y

轴上的截距，是直线的斜率，它表示对于一个给定的x

的值，是y

的估计值，也表示x

每变动一个单位时，y的平均变动值估计的回归方程

(estimatedregression参数的最小二乘估计参数的最小二乘估计最小二乘估计

(methodofleastsquares)德国科学家KarlGauss(1777—1855)提出用最小化图中垂直方向的误差平方和来估计参数

使因变量的观察值与估计值之间的误差平方和达到最小来求得和的方法。即用最小二乘法拟合的直线来代表x与y之间的关系与实际数据的误差比其他任何直线都小最小二乘估计

(methodofleastsquareKarlGauss的最小化图xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)ei=yi-yi＾KarlGauss的最小化图xy(xn,yn)(x1最小二乘法

(

和的计算公式)

根据最小二乘法，可得求解和的公式如下最小二乘法

(和的计算公式)根据最小二用Excel进行回归分析第1步：选择“工具”下拉菜单第2步：选择【数据分析】选项第3步：在分析工具中选择【回归】，选择【确定】第4步：当对话框出现时

在【Y值输入区域】设置框内键入Y的数据区域在【X值输入区域】设置框内键入X的数据区域在【置信度】选项中给出所需的数值在【输出选项】中选择输出区域在【残差】分析选项中选择所需的选项用Excel进行回归分析第1步：选择“工具”下拉菜单回归直线的拟合优度回归直线的拟合优度变差因变量

y的取值是不同的，y取值的这种波动称为变差。变差来源于两个方面由于自变量x的取值不同造成的除x以外的其他因素(如x对y的非线性影响、测量误差等)的影响对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示变差因变量y的取值是不同的，y取值的这种波动称为变差。误差的分解

(图示)xyy误差的分解

(图示)xyy误差平方和的分解

(三个平方和的关系)SST=SSR+SSE总平方和(SST){回归平方和(SSR)残差平方和(SSE){{误差平方和的分解

(三个平方和的关系)SST=SSR误差平方和的分解

(三个平方和的意义)总平方和(SST—totalsumofsquares)反映因变量的n个观察值与其均值的总误差回归平方和(SSR—sumofsquaresofregression)反映自变量x的变化对因变量y取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化，也称为可解释的平方和残差平方和(SSE—sumofsquaresoferror)反映除x以外的其他因素对y取值的影响，也称为不可解释的平方和或剩余平方和误差平方和的分解

(三个平方和的意义)总平方和(SST—t判定系数R2

(coefficientofdetermination)回归平方和占总误差平方和的比例反映回归直线的拟合程度取值范围在[0,1]之间

R21，说明回归方程拟合的越好；R20，说明回归方程拟合的越差判定系数等于相关系数的平方，即R2＝r2判定系数R2

(coefficientofdeter判定系数

(例题分析)【例】计算不良贷款对贷款余额回归的判定系数，并解释其意义

判定系数的实际意义是：在不良贷款取值的变差中，有71.16%可以由不良贷款与贷款余额之间的线性关系来解释，或者说，在不良贷款取值的变动中，有71.16%是由贷款余额所决定的。也就是说，不良贷款取值的差异有2/3以上是由贷款余额决定的。可见不良贷款与贷款余额之间有较强的线性关系判定系数

(例题分析)【例】计算不良贷款对贷款余额回归的估计标准误差

(standarderrorofestimate)实际观察值与回归估计值误差平方和的均方根反映实际观察值在回归直线周围的分散状况对误差项的标准差的估计，是在排除了x对y的线性影响后，y随机波动大小的一个估计量反映用估计的回归方程预测y时预测误差的大小

计算公式为注：例题的计算结果为1.9799估计标准误差

(standarderrorofesti估计标准误差的自由度估计标准误差的是残差平方和SSE除以它的自由度后的平方根残差平方和SSE的自由度之所以是n-2，原因是在计算SSE时，必须先求出和，这两个估计值就是附加给SSE的两个约束条件，因此在计算SSE时，只有n-2个独立的观测值，而不是n个一般而言，在有k个自变量的多元回归中，自由度则为n-k一般的规律是：自由度=n-待估参数的个数估计标准误差的自由度估计标准误差的是残差平方和SSE除以它的显著性检验显著性检验线性关系的检验检验自变量与因变量之间的线性关系是否显著将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数k)残差均方：残差平方和SSE除以相应的自由度(n-k-1)线性关系的检验检验自变量与因变量之间的线性关系是否显著线性关系的检验

(检验的步骤)提出假设H0：1=0线性关系不显著2.计算检验统计量F确定显著性水平，并根据分子自由度1和分母自由度n-2找出临界值F

作出决策：若F>F

,拒绝H0；若F<F

,不拒绝H0线性关系的检验

(检验的步骤)提出假设2.计算检验线性关系的检验

(例题分析)提出假设H0：1=0不良贷款与贷款余额之间的线性关系不显著计算检验统计量F确定显著性水平=0.05，并根据分子自由度1和分母自由度25-2找出临界值F

=4.28作出决策：若F>F,拒绝H0，线性关系显著线性关系的检验

(例题分析)提出假设确定显著性水平=0线性关系的检验

(方差分析表)Excel输出的方差分析表线性关系的检验

(方差分析表)Excel输出的方差分析回归系数的检验在一元线性回归中，等价于线性关系的显著性检验采用t检验检验x与y之间是否具有线性关系，或者说，检验自变量x对因变量y的影响是否显著理论基础是回归系数

的抽样分布回归系数的检验在一元线性回归中，等价于线性关系的显著性检验检回归系数的检验

(样本统计量的分布)

是根据最小二乘法求出的样本统计量，它有自己的分布的分布具有如下性质分布形式：正态分布数学期望：标准差：由于未知，需用其估计量se来代替得到的估计的标准差回归系数的检验

(样本统计量的分布)是根据最小二回归系数的检验

(检验步骤)提出假设H0:b1=0(没有线性关系)H1:b1

0(有线性关系)计算检验的统计量

确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0回归系数的检验

(检验步骤)提出假设确定显著性水平，回归系数的检验

(例题分析)对例题的回归系数进行显著性检验(＝0.05)提出假设H0：b1=0H1：b1

0计算检验的统计量

t=7.533515>t=2.201，拒绝H0，表明不良贷款与贷款余额之间有显著的线性关系回归系数的检验

(例题分析)对例题的回归系数进行显著性检回归系数的检验

(例题分析)P值的应用P=0.000000<=0.05，拒绝原假设，不良贷款与贷款余额之间有显著的线性关系回归系数的检验

(例题分析)P值的应用P=0.0000回归分析结果的评价建立的模型是否合适？或者说，这个拟合的模型有多“好”？要回答这些问题，可以从以下几个方面入手所估计的回归系数

的符号是否与理论或事先预期相一致在不良贷款与贷款余额的回归中，可以预期贷款余额越多不良贷款也可能会越多，也就是说，回归系数的值应该是正的，在上面建立的回归方程中，我们得到的回归系数为正值如果理论上认为x与y之间的关系不仅是正的，而且是统计上显著的，那么所建立的回归方程也应该如此在不良贷款与贷款余额的回归中，二者之间为正的线性关系，而且，对回归系数的t检验结果表明二者之间的线性关系是统计上显著的回归分析结果的评价建立的模型是否合适？或者说，这个拟合的模型回归模型在多大程度上解释了因变量y取值的差异？可以用判定系数R2来回答这一问题在不良贷款与贷款余额的回归中，得到的R2=71.16%，解释了不良贷款变差的2/3以上，说明拟合的效果还算不错考察关于误差项的正态性假定是否成立。因为我们在对线性关系进行F检验和回归系数进行t检验时，都要求误差项服从正态分布，否则，我们所用的检验程序将是无效的。正态性的简单方法是画出残差的直方图或正态概率图回归分析结果的评价回归模型在多大程度上解释了因变量y取值的差异？可以用判定系数Excel输出的部分回归结果名称计算公式AdjustedRSquareIntercept的抽样标准误差Intercept95%的置信区间斜率95%的置信区间Excel输出的部分回归结果名称计算公式AdjustedR五、利用回归方程进行估计和预测根据自变量x

的取值估计或预测因变量y的取值估计或预测的类型点估计y的平均值的点估计y的个别值的点估计区间估计y的平均值的置信区间估计y的个别值的预测区间估计五、利用回归方程进行估计和预测根据自变量x的取值估计或预点估计点估计点估计2.点估计值有y的平均值的点估计y的个别值的点估计在点估计条件下，平均值的点估计和个别值的的点估计是一样的，但在区间估计中则不同对于自变量x的一个给定值x0

，根据回归方程得到因变量y的一个估计值点估计2.点估计值有对于自变量x的一个给定值x0，根

y的平均值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的平均值的一个估计值E(y0)，就是平均值的点估计在前面的例子中，假如我们要估计贷款余额为100亿元时，所有分行不良贷款的平均值，就是平均值的点估计。根据估计的回归方程得y的平均值的点估计利用估计的回归方程，对于自变量xy的个别值的点估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的一个个别值的估计值，就是个别值的点估计例如，如果我们只是想知道贷款余额为72.8亿元的那个分行(这里是编号为10的那个分行)的不良贷款是多少，则属于个别值的点估计。根据估计的回归方程得y的个别值的点估计利用估计的回归方程，对于自变量x的区间估计点估计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计对于自变量

x的一个给定值x0，根据回归方程得到因变量y的一个估计区间区间估计有两种类型置信区间估计(confidenceintervalestimate)预测区间估计(predictionintervalestimate)区间估计点估计不能给出估计的精度，点估计值与实际值之间是有误置信区间估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的平均值的估计区间，这一估计区间称为置信区间(confidenceinterval)

E(y0)

在1-置信水平下的置信区间为式中：se为估计标准误差置信区间估计利用估计的回归方程，对于自变量x的一个给定值置信区间估计

(例题分析)【例】求出贷款余额为100亿元时，不良贷款95%置信水平下的置信区间解：根据前面的计算结果，已知n=25，

se=1.9799，t(25-2)=2.069

置信区间为当贷款余额为100亿元时，不良贷款的平均值在2.1141亿元到3.8059亿元之间置信区间估计

(例题分析)【例】求出贷款余额为100亿元预测区间估计利用估计的回归方程，对于自变量x的一个给定值x0

，求出因变量y

的一个个别值的估计区间，这一区间称为预测区间(predictioninterval)

y0在1-置信水平下的预测区间为注意！预测区间估计利用估计的回归方程，对于自变量x的一个给定值预测区间估计

(例题分析)【例】求出贷款余额为72.8亿元的那个分行，不良贷款95%的预测区间解：根据前面的计算结果，已知n=25，

se=1.9799，t(25-2)=2.069

预测区间为贷款余额为72.8亿元的那个分行，其不良贷款的预测区间在-2.2766亿元到6.1366亿元之间预测区间估计

(例题分析)【例】求出贷款余额为72.8亿元的影响区间宽度的因素置信水平(1-)区间宽度随置信水平的增大而增大数据的离散程度s区间宽度随离散程度的增大而增大3. 样本容量区间宽度随样本容量的增大而减小4. 用于预测的xp与x的差异程度区间宽度随xp与x的差异程度的增大而增大影响区间宽度的因素置信水平(1-)置信区间和预测区间

(例题分析)置信区间和预测区间

(例题分析)置信区间、预测区间、回归方程xpyxx预测上限置信上限预测下限置信下限置信区间、预测区间、回归方程xpyxx预测上限置信上限预测估计和预测需要注意的问题在利用回归方程进行估计或预测时，不要用样本数据之外的x值去预测相对应的y值因为在一元线性回归分析中，总是假定因变量y与自变量x之间的关系用线性模型表达是正确的。但实际应用中，它们之间的关系可能是某种曲线此时我们总是要假定这条曲线只有一小段位于x测量值的范围之内。如果x的取值范围是在xL和xU之间，那么可以用所求出的利用回归方程对处于xL和xU之间的值来估计E(y)和预测y。如果用xL和xU之间以外的值得出的估计值和预测值就会很差估计和预测需要注意的问题在利用回归方程进行估计或预测时，不要实际数据是曲线而模型为直线xE(y)xLxUE(y)实际数据是曲线而模型为直线xE(y)xLxUE(y)残差

(residual)因变量的观测值与根据估计的回归方程求出的预测值之差，用e表示反映了用估计的回归方程去预测而引起的误差可用于确定有关误差项的假定是否成立用于检测有影响的观测值残差

(residual)因变量的观测值与根据估计的回归方程用残差证实模型的假定用残差证实模型的假定残差图

(residualplot)表示残差的图形关于x的残差图关于y的残差图标准化残差图用于判断误差的假定是否成立检测有影响的观测值残差图

(residualplot)表示残差的图形残差与标准化残差图

(例题分析)残差与标准化残差图

(例题分析)残差图

(形态及判别)(a)满意模式残差x0(b)非常数方差残差x0(c)模型不合适残差x0残差图

(形态及判别)(a)满意模式残差图

(例题分析)残差图

(例题分析)残差的正态性假定

(残差的正态概率图)残差的正态性假定

(残差的正态概率图)标准化残差

(standardizedresidual)残差除以它的标准差也称为Pearson残差或半学生化残差(semi-studentizedresiduals)计算公式为注意：Excel给出的标准残差的计算公式为这实际上是学生化删除残差(studentizeddeletedresiduals)标准化残差

(standardizedresidual)残标准化残差图用以直观地判断误差项服从正态分布这一假定是否成立若假定成立，标准化残差的分布也应服从正态分布在标准化残差图中，大约有95%的标准化残差在-2到+2之间标准化残差图用以直观地判断误差项服从正态分布这一假定是否标准化残差图

(例题分析)标准化残差图

(例题分析)残差的正态性假定

(标准化残差的正态概率图)残差的正态性假定

(标准化残差的正态概率图)用残差检测异常值和

有影响的观测值用残差检测异常值和

有影响的观测值异常值

(outlier)如果某一个点与其他点所呈现的趋势不相吻合，这个点就有可能是异常点，或称为野点如果异常值是一个错误的数据，比如记录错误造成的，应该修正该数据，以便改善回归的效果如果是由于模型的假定不合理，使得标准化残差偏大，应该考虑采用其他形式的模型，比如非线性模型如果完全是由于随机因素而造成的异常值，则应该保留该数据在处理异常值时，若一个异常值是一个有效的观测值，不应轻易地将其从数据集中予以剔除异常值

(outlier)如果某一个点与其他点所呈现的趋势不异常值

(识别)异常值也可以通过标准化残差来识别如果某一个观测值所对应的标准化残差较大，就可以识别为异常值一般情况下，当一个观测值所对应的标准化残差小于-2或大于+2时，就可以将其视为异常值异常值

(识别)异常值也可以通过标准化残差来识别有影响的观测值如果某一个或某一些观测值对回归的结果有强烈的影响，那么该观测值或这些观测值就是有影响的观测值一个有影响的观测值可能是一个异常值，即有一个值远远偏离了散点图中的趋势线对应一个远离自变量平均值的观测值或者是这二者组合而形成的观测值有影响的观测值如果某一个或某一些观测值对回归的结果有强烈的影有影响的观测值

(图示)不存在影响值的趋势有影响的观测值存在影响值的趋势有影响的观测值

(图示)不存在影响值的趋势有影响的观测值存在杠杆率点

(ieveragepoint)如果自变量存在一个极端值，该观测值则称为高杠杆率点(highieveragepoint)在一元回归中，第i个观测值的杠杆率用hi表示，其计算公式为

如果一个观测值的杠杆率，就可以将该观测值识别为有高杠杆率的点

一个有高杠杆率的观测值未必是一个有影响的观测值，它可能对回归直线的斜率没有什么影响杠杆率点

(ieveragepoint)如果自变量存在一个高杠杆率点

(图示)高杠杆率点高杠杆率点

(图示)高杠杆率点第四节多元线性回归1、多元线性回归模型2、回归方程的拟合优度3、显著性检验4、利用回归方程进行估计和预测6、变量选择与逐步回归7、虚拟自变量的回归第四节多元线性回归1、多元线性回归模型一、多元回归模型一个因变量与两个及两个以上自变量的回归描述因变量y如何依赖于自变量x1

，x2

，…，

xk

和误差项

的方程，称为多元回归模型涉及k个自变量的多元回归模型可表示为

b0

，b1，b2

，，bk是参数

是被称为误差项的随机变量

y是x1,，x2，，xk

的线性函数加上误差项

包含在y里面但不能被k个自变量的线性关系所解释的变异性一、多元回归模型一个因变量与两个及两个以上自变量的回归b0多元回归模型

(基本假定)误差项ε是一个期望值为0的随机变量，即E()=0对于自变量x1，x2，…，xk的所有值，的方差2都相同误差项ε是一个服从正态分布的随机变量，即ε~N(0,2)，且相互独立多元回归模型

(基本假定)误差项ε是一个期望值为0的随机变多元回归方程

(multipleregressionequation)描述因变量y的平均值或期望值如何依赖于自变量x1，x2

，…，xk的方程多元线性回归方程的形式为

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk称为偏回归系数

bi

表示假定其他变量不变，当xi

每变动一个单位时，y的平均变动值多元回归方程

(multipleregressione二元回归方程的直观解释二元线性回归模型(观察到的y)回归面0ix1yx2(x1,x2)}二元回归方程的直观解释二元线性回归模型(观察到的y)回归面估计的多元回的方程用样本统计量估计回归方程中的参数

时得到的方程由最小二乘法求得一般形式为

是估计值是y

的估计值估计的多元回的方程用样本统计量参数的最小二乘法求解各回归参数的标准方程如下使因变量的观察值与估计值之间的离差平方和达到最小来求得

。即参数的最小二乘法求解各回归参数的标准方程如下使因变量的观察值二、回归方程的拟合优度1、多重判定系数2、估计标准误差二、回归方程的拟合优度1、多重判定系数多重判定系数回归平方和占总平方和的比例计算公式为因变量取值的变差中，能被估计的多元回归方程所解释的比例多重判定系数回归平方和占总平方和的比例修正多重判定系数用样本量n和自变量的个数k去修正R2得到计算公式为避免增加自变量而高估R2意义与R2类似数值小于R2修正多重判定系数用样本量n和自变量的个数k去修正R2得到估计标准误差Sy对误差项的标准差的一个估计值衡量多元回归方程的拟合优度计算公式为估计标准误差Sy对误差项的标准差的一个估计值三、显著性检验1、线性关系检验2、回归系数检验和推断三、显著性检验1、线性关系检验线性关系检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验方法是将回归均方(MSR)同残差均方(MSE)加以比较，应用F检验来分析二者之间的差别是否显著如果是显著的，因变量与自变量之间存在线性关系如果不显著，因变量与自变量之间不存在线性关系线性关系检验检验因变量与所有自变量之间的线性关系是否显著线性关系检验提出假设H0：12k=0线性关系不显著H1：1，2，k至少有一个不等于02.计算检验统计量F确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F

4.作出决策：若F>F

，拒绝H0线性关系检验提出假设2.计算检验统计量F确定显著性水平回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误)对每一个自变量都要单独进行检验应用t检验统计量回归系数的检验线性关系检验通过后，对各个回归系数有选择地进行回归系数的检验

(步骤)提出假设H0：bi=0(自变量xi

与

因变量y没有线性关系)H1：bi

0(自变量xi

与

因变量y有线性关系)计算检验的统计量t

确定显著性水平，并进行决策t>t，拒绝H0；t<t，不拒绝H0回归系数的检验

(步骤)提出假设确定显著性水平，并进行决回归系数的推断

(置信区间)回归系数在1-置信水平下的置信区间为

回归系数的抽样标准差回归系数的推断

(置信区间)回归系数在1-置信水平下的四、变量选择与逐步回归1、变量选择过程2、向前选择3、向后剔除4、逐步回归四、变量选择与逐步回归1、变量选择过程变量选择过程在建立回归模型时，对自变量进行筛选选择自变量的原则是对统计量进行显著性检验将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型确定引入自变量是否使SSE有显著减少的方法，就是使用F统计量的值作为一个标准，以此来确定是在模型中增加一个自变量，还是从模型中剔除一个自变量变量选择的方法主要有：向前选择、向后剔除、逐步回归、最优子集等变量选择过程在建立回归模型时，对自变量进行筛选向前选择

(forwardselection)从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量，并将其首先引入模型分别拟合引入模型外的k-1个自变量的线性回归模型如此反复进行，直至模型外的自变量均无统计显著性为止向前选择

(forwardselection)从模型中没向后剔除

(backwardelimination)先对因变量拟合包括所有k个自变量的回归模型。然后考察p(p<k)个去掉一个自变量的模型(这些模型中每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止向后剔除

(backwardelimination)先对逐步回归

(stepwiseregression)将向前选择和向后剔除两种方法结合起来筛选自变量在增加了一个自变量后，它会对模型中所有的变量进行考察，看看有没有可能剔除某个自变量。如果在增加了一个自变量后，前面增加的某个自变量对模型的贡献变得不显著，这个变量就会被剔除按照以上方法不停地增加变量并考虑剔除以前增加的变量的可能性，直至增加变量已经不能导致SSE显著减少在前面步骤中增加的自变量在后面的步骤中有可能被剔除，而在前面步骤中剔除的自变量在后面的步骤中也可能重新进入到模型中逐步回归

(stepwiseregression)将向前逐步回归

(例题分析—SPSS输出结果)VariableEntered/Removeda

modelVariableEnteredVariableRemovedmethod1各项贷款余额x1Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.2固定资产投资额x4Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100.

aDependentvariable:不良贷款y逐步回归

(例题分析—SPSS输出结果)Variable逐步回归

(例题分析—SPSS输出结果)ModelsummarymodelRR-SquareAdjustedR-Square

Std.ErroroftheEstimate

1.844a.712.6991.97992.872b.761.7391.8428aPredictors:(Constant),各项贷款余额x1bPredictors:(Constant),各项贷款余额x1,固定资产投资额x4逐步回归

(例题分析—SPSS输出结果)Modelsum逐步回归

(例题分析—SPSS输出结果)

ANOVAc

modelSumofSquaresdfMeanSquareFSig.1RegressResidualTotal222.48690.164312.65012324222.4863.92056.754.000a2RegressResidualTotal237.94174.709312.65022224118.9713.39635.034.000baPredictors:(Constant),各项贷款余额x1bPredictors:(Constant),各项贷款余额x1,固定资产投资额x4cDependentvariable:不良贷款y逐步回归

(例题分析—SPSS输出结果)ANOVAcModelUnstandardizedCoefficientsUnstandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)

贷款余额x1-.830.038.723.0050844-1.1477.534.263.0002(Constant)

贷款余额x1

固定资产投资x4-.443.050-.032.697.007.0151.120-.355-.6366.732-2.133.531.000.044aDependentvariable:不良贷款yCoefficientsaModelUnstandardizedUnstandardi五、虚拟自变量的回归1、含有一个虚拟自变量的回归2、用虚拟自变量回归解决方差分析问题五、虚拟自变量的回归1、含有一个虚拟自变量的回归虚拟自变量

(dummyvariable)用数字代码表示的定性自变量虚拟自变量可有不同的水平只有两个水平的虚拟自变量比如，性别(男，女)有两个以上水平的虚拟自变量贷款企业的类型(家电，医药，其他)虚拟变量的取值为0，1虚拟自变量

(dummyvariable)用数字代码表示的虚拟自变量的回归回归模型中使用虚拟自变量时，称为虚拟自变量的回归当虚拟自变量只有两个水平时，可在回归中引入一个虚拟变量比如，性别(男，女)一般而言，如果定性自变量有k个水平，需要在回归模型中引进k-1个虚拟变量虚拟自变量的回归回归模型中使用虚拟自变量时，称为虚拟自变量的虚拟自变量的回归

(例题分析)【例】为了研究考试成绩与性别之间的关系，从某大学商学院随机抽取男女学生各8名，得到他们的市场营销学课程的考试成绩如右表虚拟自变量的回归

(例题分析)【例】为了研究考试成绩与性别之虚拟自变量的回归

(考试成绩与性别的散点图)男女虚拟自变量的回归

(考试成绩与性别的散点图)男虚拟自变量的回归

(成绩与性别的Mean/SD/1.96*SD箱线图)虚拟自变量的回归

(成绩与性别的Mean/SD/1.96*S虚拟自变量的回归

(例题分析)引进虚拟变量时，回归方程表示为E(y)=0+1x男(x=0)：E(y)=0—男学生考试成绩的期望值女(x=1)：E(y)=0+1—1女学生考试成绩的期望值注意：当指定虚拟变量0，1时0总是代表与虚拟变量值0所对应的那个分类变量水平的平均值1总是代表与虚拟变量值1所对应的那个分类变量水平的平均响应与虚拟变量值0所对应的那个分类变量水平的平均值的差值，即平均值的差值

=(0+1)-0=1虚拟自变量的回归

(例题分析)引进虚拟变量时，回归方程表示虚拟自变量的回归

(例题分析)【例】为研究工资水平与工作年限和性别之间的关系，在某行业中随机抽取10名职工，所得数据如右表虚拟自变量的回归

(例题分析)【例】为研究工资水平与工作年限虚拟自变量的回归

(例题分析)引进虚拟变量时，回归方程写为

E(y)=0+1x1+2x2女(

x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10表示：女性职工的期望月工资收入(0+2)表示：男性职工的期望月工资收入1表示：工作年限每增加1年，男性或女性工资的平均增加值2表示：男性职工的期望月工资收入与女性职工的期望月工资收入之间的差值(0+2)-0=2虚拟自变量的回归

(例题分析)引进虚拟变量时，回归方程写为用虚拟自变量回归

解决方差分析问题用虚拟自变量回归

解决方差分析问题方差分析的回归方法

(例题分析)引进虚拟变量建立回归方程：E(Y)=0+1x1+2x2+3x30—家电制造业投诉次数的平均值

(0+1)—零售业投诉次数的平均值

(0+2)—旅游业投诉次数的平均值

(0+3)—航空公司投诉次数的平均值

方差分析的回归方法

(例题分析)引进虚拟变量1、自变量和因变量都是定量变量时的线性回归分析：选项：Analyze－Regression－Linear把有关的自变量选入Independent，把因变量选入Dependent，然后OK即可。如果自变量有多个（多元回归模型，选Method:Stepwise

），只要都选入就行。SPSS软件使用说明

1、自变量和因变量都是定量变量时的线性回归分析：SPSS软件2、自变量中有定性变量（哑元）和定量变量而因变量为定量变量时的线性回归分析选项：Analize－Generallinearmodel－Univariate，在Options中选择ParameterEstimates，再在主对话框中把因变量（s1）选入DependentVariable，把定量自变量选入Covariate，把定性因变量（income）选入Factor中。点击Model，在SpecifyModel中选Custom，再把两个有关的自变量选入右边，再在下面BuildingTerm中选Maineffect。然后就Continue-OK。

2、自变量中有定性变量（哑元）和定量变量而因变量为定量变量时第六章相关分析与回归分析1、一元相关分析2、多元相关分析3、一元线性回归分析4、多元线性回归分析第六章相关分析与回归分析1、一元相关分析第一节一元相关分析一、变量之间的两类关系确定性关系（函数关系）；非确定性关系（相关关系）；第一节一元相关分析函数关系是一一对应的确定关系设有两个变量x和y，变量y随变量x一起变化，并完全依赖于x

，当变量x取某个数值时，

y依确定的关系取相应的值，则称y是x的函数，记为y=f(x)，其中x称为自变量，y称为因变量各观测点落在一条线上

xy函数关系是一一对应的确定关系xy函数关系

(几个例子)某种商品的销售额y与销售量x之间的关系可表示为y=px(p为单价)圆的面积S与半径R之间的关系可表示为

S=R2

企业的原材料消耗额y与产量x1

、单位产量消耗x2

、原材料价格x3之间的关系可表示为

y=x1x2x3

函数关系

(几个例子)某种商品的销售额y与销售量x之间的关系相关关系

(correlation)变量间关系不能用函数关系精确表达一个变量的取值不能由另一个变量唯一确定当变量

x取某个值时，变量y的取值可能有几个各观测点分布在直线周围

xy相关关系

(correlation)变量间关系不能用函数关系相关关系

(几个例子)父亲身高y与子女身高x之间的关系收入水平y与受教育程度x之间的关系粮食单位面积产量y与施肥量x1

、降雨量x2

、温度x3之间的关系商品的消费量y与居民收入x之间的关系商品销售额y与广告费支出x之间的关系相关关系

(几个例子)父亲身高y与子女身高x之间的关系相关关系

(类型)相关关系线性相关非线性相关完全相关

不相关正相关负相关正相关负相关相关关系

(类型)相关关系线性相关非线性相关完全相关不相关相关关系的描述与测度

(散点图)相关关系的描述与测度

(散点图)相关分析及其假定相关分析要解决的问题变量之间是否存在关系？如果存在关系，它们之间是什么样的关系？变量之间的关系强度如何？样本所反映的变量之间的关系能否代表总体变量之间的关系？为解决这些问题，在进行相关分析时，对总体有以下两个主要假定两个变量之间是线性关系两个变量都是随机变量相关分析及其假定相关分析要解决的问题散点图

(scatterdiagram)不相关负线性相关正线性相关非线性相关完全负线性相关完全正线性相关散点图

(scatterdiagram)散点图

(例题分析)【例】一家大型商业银行在多个地区设有分行，其业务主要是进行基础设施建设、国家重点项目建设、固定资产投