统计学 相关与回归分析.ppt

1、相关回归,第九章 相关与回归分析,南京财经大学统计学系,相关分析与回归分析是现代统计学中非常重要的内容，在自然、管理科学和社会经济领域有着十分广泛的应用。 在分析变量之间关系的时，常用的基本模型: (1)相关模型; (2)回归模型 实践中到底使用哪种模型取决于研究者的研究目的和数据的收集方式和条件。相关分析: 变量 X 和 Y 都被视为随机变量，服从二元分布；经典的回归分析: 通常变量 x 不是随机变量，在事先选好的值中取值，变量 Y 是随机变量，在变量 x 的给定值处有相应的观测值。 例1：太阳镜的日销售数量 Y 与日最高气温 X 之间的关系 例2：人均消费与人均GDP的关系,相关分析与回归

2、分析,相关分析 用一个指标来表明现象间相互依存关系的密切程度。 回归分析 根据相关关系的具体形态，选择一个合适的数学模型，来近似地表达变量间关系。 相关分析所研究的变量是对等关系；回归分析所研究的两个变量不是对等关系。 因果,本章内容,一、相关关系的概念和分类 二、线性相关关系的识别 三、一元线性回归分析 四、多元线性回归分析 五、非线性回归分析,相关分析,New,New,一、相关关系的概念和分类,一、函数关系和相关关系 二、相关关系的分类 相关程度、 相关方向、 相关形式、 变量多少、 相关性质,二、线性相关关系的识别,（一）散点图 （例子） 最简单、最直观的识别方法, 但难以给出相关的程度

3、. （二）直线相关系数 直线相关系数的设计思想 总体相关系数与Pearson相关系数 相关系数的检验,三、一元线性回归分析,变量y对x的一元线性回归总体模型,一元线性回归方程,一元线性经验回归方程,估计方法：普通最小二乘估计 、标准误差 的估计 模型评价：可决系数、显著性检验1 2 预测方法：点预测，区间预测 将代入回归方程得=181.5830+0.441410000=4595.5628（元）,一元线性回归模型的概念,New,四、多元线性回归分析,基本概念：回归系数、被解释变量（因变量）、解释 变量（自变量）、多元回归、 随机误差项。,基本假设,解释变量是确定性变量，不是随机变量，且要求矩阵X

4、中的自变量列之间不相关，样本容量的个数应大于解释变量的个数。 独立、同分布、零均值 正态分布的假定条件：,参数估计,与一元线性回归方程的参数估计原理一样, 应该使得估计值与观测值y之间的残差在所有样本点上达到最小，即使Q达到最小 参数的最小二乘估计值为： 另外，,模型评价-拟合优度,一般不再用可决系数 而是用修正的可决系数,模型评价-显著性检验1,整个回归方程的检验,模型评价-显著性检验2,单个回归系数的检验,EXCEL演示和解释,五、非线性回归分析,线性回归模型的结构特点: （1）被解释变量是解释变量的线性函数变量线性 （2）被解释变量也是参数的线性函数参数线性 根据实际分析建立的模型往往不

5、符合上述线性特点，称为非线性模型。如: 柯布道格拉斯生产函数 处理非线性回归模型的方法有两种： (1) 把非线性关系转化为线性关系，然后再运用线性回归的分析方法进行估计。 (2) 利用非线性最小二乘法直接估计 非线性模型转换成线性模型的常用方法:直接和间接代换法,函数关系：对一个或几个变量任意一个取值，另一个变量都有唯一确定值与之相对应，这种关系确定性的关系称为函数关系。 如某种商品的销售额Y与该商品的销售量X以及价格P之间的关系可以表示为Y=PX，这就是一种函数关系。 一般把作为影响因素的变量称为自变量；把发生对应变化的变量称为因变量。Y是因变量，P与X是自变量。,函数关系,相关关系：当一个

6、或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但它仍按某种规律在一定的范围内变化，这种不确定的相互关系，称为相关关系 如：劳动生产率与工资水平的关系, 家庭支出和收入的关系，人的体重和身高的关系。 相关关系不能用函数精确表达, 但经常用一定的函数形式去近似地描述。,相关关系,按相关程度划分,完全相关：当一种现象的数量变化完全由另一个现象的数量变化所确定时，这两种现象间的关系为完全相关。即函数关系。 不相关：当两个现象彼此互不影响，其数量变化各自独立时，称为不相关。 不完全相关：两个现象之间的关系介于完全相关和不相关之间，称为不完全相关。(主要表现形式,主要研究对象，常简

7、称为相关，即狭义的相关),正相关：当一个现象的数量由小变大，另一个现象的数量也相应由小变大，这种相关称为正相关。如家庭支出随家庭收入的提高而增加。 负相关：当一个现象的数量由小变大，而另一个现象的数量相反地由大变小，这种相关称为负相关。如商品流转的规模越大，流通费用水平则越低。,按相关方向划分,按相关形式划分,线性相关：当两种相关现象之间的关系大致呈现为直线关系时，称之为线性相关。如人均消费与人均收入通常呈线性关系 非线性相关：如果两种相关现象之间,并不表现为直线的关系,而是近似于某种曲线关系，则这种关系称为非线性相关。,散点图,单相关：一个变量对另一个变量的相关关系，称为单相关。 复相关：当

8、所研究的是一个变量对两个或两个以上其他变量的相关关系时，称为复相关。如某种商品的需求与其价格水平及人们收入水平之间的相关关系就是一种复相关。 偏相关：在某一变量与多种变量相关的场合，当假定其他变量不变时，其中两个变量的相关关系称为偏相关。,按变量多少划分,真实相关：当两种现象之间的相关确实具有内在的联系时，称之为“真实相关”。 虚假相关：当两种现象之间的相关只是表面存在，实质上并没有内在的联系时，称之为“虚假相关”。,按相关性质划分,散点图: 又称相关图，它是以直角坐标系的横轴代表变量X，纵轴代表变量Y，将两个变量相对应的数值用坐标点的形式描述出来，用来反映两变量之间相关关系的图形。,散点图,

9、相关图,数据,散点图,散点图,设计思想,总体相关系数,二维随机变量总体(X, Y), 随机变量X和Y的总体相关系数： （数） 性质：（1） （2） 的充分必要条件是存在常数 和 使得 以概率1成立。,协方差,(随机变量),(数),样本相关系数,例9.2,Pearson相关系数，样本相关系数,例子,图9.5 从二元总体中抽取的一个随机样本,为什么要检验？,相关系数检验,1.要检验的假设： 或 2.检验方法一t检验 检验统计量 (原假设成立时),例9.3,3. 检验方法二直接利用R的分布 总体相关系数检验更简单的方法: 直接查 R 分布的临界值表，即相关系数临界值表(附表九).,例9.3,例 9.

10、3,法一： t统计量 显著性水平0.05，查表得到临界值： 由于 ，所以否定原假设，接受备择假设，表明总体相关系数显著不为零，即人均国内生产总值与人均销售金额之间确实存在着线性相关关系。,方法二：,普通最小二乘估计,正规方程组：,求解正规方程组得：,例子,例子,回归方程：,Excel: Slope( ); intercept( ); steyx( ),可决系数,估计标准误差,例子,例 子,new,Excel函数: Steyx( ),Excel函数: RSQ( ),显著性检验1,例子,显著性检验2,例 子,相关分析,函数关系与相关关系 相关关系的分类 完全、不完全、不相关; 正相关、负相关; 线

11、性相关、非线性相关; 单相关、复相关、偏相关 线性相关的识别 散点图 (如何用EXCEL画？) 相关系数及其检验 总体相关系数 (数) 样本相关系数(Pearson),相关分析 (续),(随机变量),(数),或者直接查 R 的分布的临界值表，即相关系数临界值表(附表九).,总体模型 样本模型 模型的两部分；自变量(解释变量)，因变量(被解释变量) 回归系数；回归系数的意义 假设条件： 独立同分布, 均值为0, 方差为 一元线性回归方程(直线) 一元线性经验回归方程 几何解释：截距和斜率,一元线性回归分析概念,普通最小二乘估计(OLS) 实际值 与相应点的估计值(拟合值) 残差 ；残差平方和 的

12、无偏估计 斜率和Pearson相关系数的关系,一元线性回归估计方法OLS,无偏估计,例子,一元线性回归模型评价,一元线性回归模型的拟合优度 可绝系数(判定) 正确认识其作用； 拟合程度, 解释力度 与Pearson相关系数的关系 一元线性回归模型回归系数的显著性检验(正确认识) 假设 独立同分布 整个回归方程的检验 方差分析(F检验) 回归系数的显著性检验 t 检验,注意：当常数项 时，上述估计和检验不再成立！,例子,例9.5 综合,最常用指标,一元线性回归模型预测,点预测 Excel: trend( ),forecast( ) 区间预测 Y 的均值 的区间估计 Y 的个别值 的区间估计(预测区间),注：条件是 独立同正态分布， P230-231三点结论.,多元线性回归分析,总体模型 样本模型 ( 独立同分布,均值为0) 普通最小二乘估计(OLS) 的无偏估计：,无偏估计,方差为,多元线性回归模型评价,多元线性回归模型的拟合优度 可绝系数(判定) 正确认识其作用 多元线性回归模型回归系数的显著性检验(正确认识) 假设 独立同分布 整个回归方程的检验 方差分析(F检验) 回归系数的显著性检验 t 检验,注意：当常数项 时，上述估计和检验不再成立！,例9.7 例9.8,非线性回归模型,参数线性和变量线性 非