应用回归课程综述

应用回归分析课程综述材料回归分析的基本思想和方法及“回归”名称的由来归功于英国统计学家F.Galton。目前回归分析已是统计学中一个非常重要的分支，在自然科学、管理科学和社会经济，生物科技，军事国防等领域均有着非常广泛的应用。本学期学习由何晓群，刘文卿两位学者编著的《应用回归分析》第三版，此书共有十章内容。第一章到第十章由浅入深，循序渐进地讲述了回归分析的建模过程。本书概括起来可分为五大部分，分别为：回归分析概述、线性回归、回归诊断及方法改进、非线性回归以及含定性变量的回归。下面将一次从这五个部分对本课程进行综述。应用回归分析是统计学中的一个非常重要的分支，通过建立统计模型可以研究变量间相互关系的密切程度!结构状态以及模型预测”因此，应用回归分析在自然科学!管理科学和社会经济等领域应用十分广泛”目前国内高校统计专业使用的回归分析教材大致分两类:一类面向数学系纯数理类统计专业，这类教材结构严谨，注重阐述回归分析的理论和数学公式的推导。一类面向经济类统计专业，其内容系统实用，注重对统计思想的分析和讨论，我们目前使用的教材属于后一类，是由何晓群、刘文卿主编的普通高等教育“十一五”国家级规划教材。该教材的重点是结合SPSS软件讲述回归分析中的各种方法，比较各种方法的适用条件，并正确解释分析结果，仅对一些基本的公式和定理给出了推导和证明。本文主要介绍应用回归分析课程的目的、学习的主要内容、该课程在实践中的应用以及学习该课程之后的心得体会，以求对应用回归分析有更深一步的理解和掌握。写作的指导思想是在不失严谨的前提下，明显不同于纯数理类教材，努力突出实际案例的应用和统计思想的渗透，结合统计软件全面系统地介绍回归分析的实用方法，尽量结合中国社会经济、自然科学等领域的研究实例，把回归分析的方法与实际应用结合起来，注意定性分析与定量分析的紧密结合，努力把同行以及我们在实践中应用回归分析的经验和体会融入其中。回归分析是统计学中的一个非常重要的分支。它在自然科学、管理科学和社会、经济等领域应用十分广泛。回归分析是以概率论与数理统计为基础，主要对随机现象统计资料进行分析和推断。通过本课程的教学，使学生掌握应用统计的一些基本理论与方法，初步掌握利用回归分析解决实际问题的能力。教学要求回归分析研究具有相关关系的变量间的统计规律性，通过对本课程的系统学习，让学生获得回归分析的基本知识，掌握基本应用技能。要求学生掌握用经典的线性回归分析建模的方法，掌握回归诊断的方法，并利用相关知识和方法解决现实中的实际问题。一、回归分析概述变量间的统计关系要认识和掌握客观经济规律就必须探求经济想象间的经济变量之间的变化规律，变量间的统计关系是经济变量变化规律的重要特征。变量间的统计关系分为两种：函数关系和相关关系（统计关系）。函数关系是一种极端的情况，即一个变量能完全决定另一个变量的变化，相关关系则不能完全决定。由此对两种关系的研究已形成两个重要的分支，叫做回归分析和相关分析。两种分析的方法，侧重点不同，但又相互依存。回归模型的建立过程修改模型应用经济因素分析 I 经济变量控制 I 经济预测决策1）设置指标变量回归模型的一般形式如果变量七，气，…,x与随机变量y之间存在相关关系，则随机变量 y与相关变量x,X,...,X之间的概率模型为TOC\o"1-5"\h\z1 2\o"CurrentDocument"y=f（x,x,...,x）+8 （1）重要知识点：古典线性回归模型的基本假设1）解释变量x，x，…，x是非随机变量，观测值x，x，…，x是常数。1 2 p i1i2 ip2） 等方差及不相关假定条件3） 正态分布的假定条件4） 通常为了便于数学上的处理，还要求n>P，即样本量的个数要多于解释变量的个数。回归分析应用与发展迄今为止，回归分析已有200年的历史且应用领域十分广泛。在发展过程中，矩阵理论和计算机技术的发展为回归分析的应用提供了极大的方便;很多统计学方法也丰富回归分析的理论和方法研究。如：时间序列分析、判别分析、主成分分析、因子分析、典型相关分析。目前自变量的选择、稳健回归、回归诊断、投影寻踪、分位回归、非参数回归等。仍是统计学家研究的热点话题。近年来新的研究方法也在不断出现，如非参数统计、自助法、刀切法、经验贝叶斯估计等方法都对回归分析起着渗透和促进的作用。二、线性回归线性回归中主要描述了一元线性回归模型和多元线性回归模型及其相关知识。一元线性回归（1） 一元线性理论回归模型即仅考虑两个变量之间的关系，描述工与y之间的线性关系的数学形式为TOC\o"1-5"\h\zy=p+px+s （2）0 1则式（2）即为变量y对x的一元线性理论回归模型。一般称x为解释变量（自变量），y为被解释变量（因变量），p,p是未知参数，p为回归常数，p为回归系数，0 1 0 1s表示其他随机因素的影响，通常满足古典假定中零期望等方差的条件。（2） 回归方程E（y|x）=p0+p1x （3）对式（2）两边同时求条件期望，可得式（3）。（3） 参数估计本书中参数估计的方法主要介绍普通最小二乘估计和极大似然估计。此外，参数估计的方法还有矩估计等经典估计方法。1） 普通最小二乘估计2） 极大似然估计（4） 最小二乘估计的性质1） 线性性性质2） 无偏性3） 方差有效性（5） 回归方程的统计学检验参数的显著性检验（t检验），回归方程的显著性检验（F检验），相关系数的显著性检验，拟合优度的检验（R2）（6） 残差分析1） 残差图识别2） 残差的三个性质（7） 预测和控制（8） 本章评注多元线性回归分析（1）多元线性回归的一般形式（2） 多元线性回归模型的基本假定（3） 回归参数的估计（4） 参数估计量的性质（5） 回归方程的统计学检验（6） 中心化和标准化（7） 相关阵和偏回归系数样本相关阵即为样本观测值之间的简单相关系数矩阵。偏决定系数：偏决定系数测量在回归方程中已包含若干个变量时，再引入某一个新的变量时，y的剩余残差的相对减少量，它衡量的是自变量对y的变差减少的边际贡献。偏相关系数：在多元线性回归分析中，当其他变量被固定后，给定的任两个变量之间的相关系数叫做偏相关系数。偏决定系数的平方根称为偏相关系数。（8） 本章评注三、回归诊断异方差性（1） 背景原因（2） 产生后果（3） 检验方法（4） 消除异方差性的方法自相关性（1） 背景原因（2） 产生后果（3） 检验方法（4） 消除自相关性性的方法多重共线性（1） 背景原因（2） 产生后果（3） 检验方法（4） 消除多重共线性的方法1） 提出一些不重要的解释变量2） 增大样本容量3） 逐步回归法4） 岭回归法5） 主成分回归法6） 偏最小二乘法4.自变量的选择（1） 全模型和选模型（2） 自变量选