应用统计学-绪论

1、马昕经济学教研室电话：62783253（H）Email: 应用统计学教材：何晓群多元统计分析，中国人民大学出版社,2004参考书何晓群现代统计分析方法与应用,中国人民大学出版社,1998王学民应用多元分析，上海财经大学出版社Jams M Lattin等著，多元数据分析（英文版），机械工业出版社考核方法：读书报告：30分（考试前交）期末考试（开卷） ：70分课程内容：第一章 绪论第二章 向量、矩阵与多维正态分布第三章 聚类分析第四章 判别分析第五章 方差分析第六章 回归分析第七章 主成分分析第八章 因子分析第九章 对应分析第十章 结构方程模型第一章 绪论多元数据分析的必要性多元数据分析方法概论多

2、元数据的描述统计基本知识回顾一、多元数据分析的必要性信息时代数据时代，决策：经验科学经济发展科学研究军事企业组织信息组织市场分析投资决策设备管理你的直觉判断总是正确的吗？基于数据分析的决策对La Quinta旅馆进行以回归分析为基础的选址数据分析从大量数据中发现尽可能多的有用信息，从而把握事物特征的过程每个数据：反映某个事物某一方面的特征统计学：单变量分析描述统计集中趋势离散趋势变量分布异常点推断统计：从样本统计量推断总体参数参数估计：样本均值估计总体均值，假设检验：总体均值或方差的检验，两总体均值/方差相等的检验相关分析：两个随机变量间的（线性）相关程度回归分析：一个随机变量和一组随机变量间

3、的依存/相关关系为什么需要多元数据？一般来说事物通常具有多面性，即每一事物有多方面特征例：学生的能力、物种、国家经济实力、企业竞争力必须全面考虑事物的各个方面，才能对其正确认识。两变量分析有时会得到虚假结果Distinguishing MidgesSuppose we are interested in measuring the wing length and the antenna length.Distinguishing MidgesWhat can you do with both variables that you cant do with just one of them?Si

4、mpsons ParadoxExample: 44% of male applicants are admitted by a university, but only 33% of female applicantsDoes this mean there is unfair discrimination?University investigates and breaks down figures for Engineering and English programmesMaleFemaleAccept3520Refuse entry4540Total8060为什么需要多元数据-续Sim

5、psons ParadoxNo relationship between sex and acceptance for either programmeSo no evidence of discriminationWhy?More females apply for the English programme, but it it hard to get intoMore males applied to Engineering, which has a higher acceptance rate than EnglishMust look deeper than single cross

6、-tab to find this outEngineeringMaleFemaleAccept3010Refuse entry3010Total6020EnglishMaleFemaleAccept510Refuse entry1530Total2040Simpsons ParadoxIn this example, the bivariate analysis (cross-tabulation or correlation) gave misleading resultsIntroducing another variable gave a better understanding of

7、 the dataIt even reversed the initial conclusions二、多元数据分析过程及方法反映对象行为的、可被观测的所有特征面精选特征面子集行为数据测量模型模式多元分析方法行为数据结构蠓：身体长度、翅膀长度、翅膀宽度、触角长度、翅膀长度、触角长度定比数据Some Common Patterns in Point Clouds planes filaments clusters outliersData Analysis:Finding and Interpreting such Patterns多元数据分析方法概述多元分析的目的：探索数据的模式（结构）多元数据

8、分析的难点：维度太多使我们难以发现规律、把握重点多元分析方法的核心：概要和简化工具：矩阵代数、统计软件具体方法聚类分析：按距离远近分类判别分析：给定样本定类亲疏判别主成分分析、因子分析、对应分析：找出主要因素，化简数据方差分析多元回归分析结构方程模型GroupingDiscriminating Principle Component, Factoring，CorrespondenceInferring推断exploring探索数据模式Structural Equation Model课程重点强调方法的应用而非理论推导强调方法的内涵与几何解释强调SPSS软件的应用和结果的解释牢记：从数据中获取信

9、息没有确定的方法具体问题具体分析三、多元数据的描述数据的计量尺度：告诉我们从数据中可获得哪些信息。品质数据：计算无意义定类尺度：按穷尽和互斥原则将对象某种特征归类通常用虚拟变量表示：定序尺度对象特征等级或顺序差别的测度三、多元数据的描述数值数据定距尺度：测度对象特征的间距，不能做绝对比较。定比尺度：即可测度间距，又可做绝对比较。数值数据的矩阵表示： 样本数n，变量数p数据的矩阵描述注：若无特别说明，向量均指列向量四、统计基本知识回顾：单变量分析描述统计参数估计假设检验相关与回归1. 描述统计描述数据的集中趋势均值中位数众数描述数据的离散趋势极差方差、标准差变异系数异常点目的：描述数据分布与正态

10、分布的可能偏离正态分布具有许多有利于统计的特性一般独立随机事件的分布都服从正态分布人的身高，产品质量偏度：用来度量对称性的指标峰度：刻画一个分布陡峭或平缓程度的指标正态右偏左偏正态比正态更陡比正态平缓分布的偏度与峰度标准化变量对于任意变量x，将观测值转换成相应Z值的过程称为将该变量标准化，所得到的变量Z称为标准化变量。 相对度量例：地区供电局数据基本概念2、参数估计总体样本变量观测值华北电大的所有学生华北电大的所有学生中所有抽取的100名学生基本概念（续）参数统计量精确度准确度偏误标准差：小标准误：小标准差：大标准误：小标准误差standard error标准差standard deviati

11、on抽样推断：从样本统计量推断总体参数参数估计：在未知总体参数的情况下，利用样本统计量来估计总体参数的方法。参数点估计参数区间估计假设检验：先对总体参数作一个假设，然后通过搜集样本数据，用样本统计量判断对总体参数的假设是否成立参数估计：总体参数的点估计假设在总体X中， 为未知参数（均值、方差、成数等）。由样本（x1、x2xn ）构造统计量 来估计未知参数，称 为的点估计量。 将某次抽样的样本观测值，代入即得该估计量的一个点估计值 。方法 矩估计法 极大似然估计法 最小二乘法设为待估计的总体参数， 为样本统计量，则的优良标准为：点估计量的优良性标准指样本统计量抽样分布的平均值等于被估计的总体指标

12、无偏性设 和 是总体指标的两个无偏估计量，有效性若，则称为比 更有效的估计量如果随着样本容量n的增大，样本估计量在概率意义下越来越接近于总体真实值，则称该估计量是待估参数的一致估计量。一致性一致性是对一个估计量的最起码要求。“如果你在n趋于无穷大时还不能正确地得到它，那你就不应该做这件事”葛兰杰n1n2n3n1n2n3置信度（1-）反映了估计的可靠程度。根据样本指标和抽样极限误差可以得到满足一定置信度的总体指标的可能范围定义设总体参数为，L、U为由样本确定的两个统计量，对于给定的（01)，有P(LU)=1-，则称（L, U）为参数的置信度为1-的置信区间参数估计：参数的区间估计可靠度精确度为什

13、么要做区间估计？任意抽出一个妇女，试猜测其体重，猜对赢50元，猜错输50元如何猜？输赢概率如何？例：20个妇女的体重资料如表, 平均体重：123.6pound,标准差：15.5猜均值上下一个标准差：赢的概率？输的概率猜均值上下两个标准差：输赢概率？区间估计原理0.6827落在范围内的概率为68.27%样本抽样分布曲线原总体分布曲线置信度1-=0.6827区间估计原理0.9545落在范围内的概率为95.45%样本抽样分布曲线原总体分布曲线置信度1-=0.9545目的前提条件 置信度的置信区间估计总体均值正态总体方差已知估计总体均值正态总体方差未知（小样本）估计总体均值 置信区间一览表总体分布知，

14、正态总体方差未知（大样本）例 某保险公司从投保人中随机抽取36人，计算出此36人平均年龄为39.5岁，已知投保人年龄近似正态分布，标准差7.2岁，试以99%的可靠度求所有投保人平均年龄的置信区间。如果将可靠度降低到95%的水平呢？解：求所有投保人平均年龄的置信区间。现有一个点估计量在点估计量基础上，构造投保人平均年龄的置信区间关键是置信区间的宽度是多少。置信区间宽度取决于置信度和抽样平均误差：根据置信度查表得到在99%的置信度下，投保人年龄总体均值的置信区间为： （39.5-3.1, 39.5+3.1）36.442.6置信度95%，Z/2=1.96, =1.96*1.2=2.35, 置信区间(

15、37.2,41.9)3、假设检验采用逻辑上的反证法先认为假设为真，观察在此前提下所抽到样本的出现是否合理。若合理则判断假设可接受，反之拒绝假设。判断是否合理的依据统计上的小概率原理（即这里的反证法是基于一定概率的反证法）。 假设检验的步骤提出原假设和备择假设:收集样本数据，确定适当的检验统计量及其分布规定显著性水平，确定拒绝域和接受域计算检验统计量的值作出统计决策假设的三种形式：Z临界点Z/2接受域-Z/2ZZ/2Z临界点-Z拒绝域Z -ZZ临界点Z拒绝域ZZ接受域Z Z在原假设为真的前提下，出现观察到的样本以及更极端样本的概率。P值（P-value）:拒绝原假设的最小显著性水平。如果检验的统

16、计量为t，c是从样本得到的统计量的值。左侧检验时，P值= ptc右侧检验时，P值= ptc双侧检验中，P值=单侧P值的2倍。Z临界点-tcZ临界点t/2c精确p值例：某机器制造出的肥皂厚度为5公分。今欲了解机器性能是否良好，随机抽取10块肥皂为样本，测得平均厚度为5.3公分，样本标准差为0.3公分。试以0.05的显著性水平检验机器性能良好的假设。建立假设检验统计量接受域：tT0.05/2=2.263.16T0.01/2=3.25P(3.16)=0.01155利用 P 值进行决策若P值 ,不能拒绝 H0若P值 0 为正相关， 0 为负相关；|=0 表示不存在线性关系；|1 表示完全线性相关；0|

17、1表示存在不同程度线性相关： | 0.4 为低度线性相关； 0.4 | 0.7为显著线性相关； 0.7| 1.0为高度线性相关。样本相关系数有容量为n的样本(xi,yi)i=1,2,n相关系数的假设检验实际研究中，相关系数一般都是利用样本数据计算得到的，因而随样本的变化而变化，具有一定的随机性。从样本相关系数推断总体相关系数需要进行假设检验。相关系数的检验分为两类：总体相关系数是否为0的检验，即总体是否相关的检验相关系数等于某一给定值的检验相关系数的显著性检验（t检验法）提出假设：目的检验总体两变量间线性相关性是否显著步骤构造检验统计量：相关系数的显著性检验（t检验法） 根据给定的显著性水平，确定临界值 ； 计算检验统计量并做出决策。 确定接受域与拒绝域:若 ，则接受H0 ,表示总体两变量间线性相关性不显著;若 ，则拒绝H0 ,表示总体两变量间线性相关性显著步骤手表需求回归分析指对于具有因果关系的诸相关变量，根据其相关关系的具体形式，选择合