统计软件课件第一讲

统计软件林旭东

第一讲

统计学及统计软件介绍统计学的目的“统计学是收集和分析数据的艺术”《大不列颠百科全书》统计学是研究人们如何通过观察和实验认识自然规律和社会规律的一门方法论学科，成为科学研究者必不可少的工具。统计学的应用领域广泛。其他学科的发展不断地向统计学提出新的挑战问题。当今收集数据手段发达和数据存储分析设备强大，堆积了大量的科学数据，等待统计学者分析。统计学应有更长远的洞察力，提出前瞻性和普适性的方法，指导其他学科如何探索科学规律。统计学的特点统计学具有独特的哲学思想。很多原创的统计方法是源于哲学思想，而不是源于数学演绎。统计学需要多方面的人才。

统计学艺术匠人，能对数据进行精雕细刻。

统计方法制造者，能提出有普适性和指导应用的统计方法。

统计理论研究者，从理论上论证现有统计方法的有效性，提出改进的方法。统计学需要跨学科的人才。

统计学家在经济领域获得了多项诺贝尔奖；

2011年统计学家在计算机领域获得“图灵奖”。一些经典的统计思想KarlPearson（1857-1936）1900年发表在《哲学杂志》卡方（chi-square）拟合优度检验，被认为是现代统计学理论的开端。使得人们能够根据观测数据客观地评价科学假说的合理性，刻画观察到的现象与科学假说的距离：他是从数学上对生物统计研究的第一人，1901年他与高尔顿、韦尔登一起，创办了“生物统计学”杂志，使生物统计学有了自己的一席之地。一些经典的统计思想假设检验反证法思想：令“假设”成立，看产生什么后果。如果不合理现象出现，则拒绝假设。方差分析（Fisher，1922）(AnalysisofVariance，简称ANOVA)，又称“变异数分析”或“F检验”。似然原理，使得到数据的似然最大的模型是最好的模型。Bootstrap方法（EfronBradley，1979），不必进行数学演绎，利用从观测数据中随机抽取，自助的进行统计推断：

统计学需要大量的跨学科人才鼓励统计学专业的学生在不同的阶段转向其他学科：

经济、信息、生命、医学、流行病学、环境、气象、地质、社会学、心理、法律、历史等。统计学影响“ForToday’sGraduate,JustOneWord:Statistics”

BySteveLohr,TheNewYorkTimes,August5,2009Ikeepsayingthatthesexyjobinthenext10yearswillbestatisticians,”saidHalVarian,chiefeconomistatGoogle.”AndI’mnotkidding.”麻省理工学院数据商务中心主任EBrynjolfsson：”我们正在快速进入任何事情都可以用数据来度量和操控的时代，这是人类的巨大挑战，我们必须有能力去利用，分析和解释这些数据。“统计学影响Science-11February2011Vol331

（dealingwithdata）本课程的目的使大家形成数据分析的初步能力；并能使大家形成自主学习和自主探索深层次数据问题的能力；切记盲目自大。

前沿：

高维、小样本数据的问题

复杂相依数据的分析（缺失与删失、动态时空、选择偏倚）

统计软件统计软件的发展，也使得统计从统计学家的圈内游戏变成了大众的游戏。只要输入数据，点几下鼠标，做一些选项，马上就得到令人惊叹的漂亮结果了。是否傻瓜式的统计软件使用可以代替统计课程了？当然不是。数据的整理和识别，方法的选用，计算机输出结果的理解都不象使用傻瓜相机那样简单可靠。统计软件的问题诸如法律和医学的软件都有不少警告，不时提醒你去咨询专家。

这是注意饭碗的律师和大夫的高明之处。

但统计软件则不那么负责。只要数据格式无误、方法不矛盾而且不用零作为除数就一定给你结果，而且没有任何警告。

可能统计学家缺乏商业头脑。统计软件的问题另外，统计软件输出的结果太多；

即使是同样的方法，不同软件输出的内容还不一样；有时同样的内容名称也不一样。

这就使得使用者大伤脑筋。即使统计学家也不一定能解释所有的输出。

因此，就应该特别留神，明白自己是在干什么。不要在得到一堆毫无意义的垃圾之后还沾沾自喜。统计软件的种类SAS：这是功能非常齐全的软件；美国政府政策倾斜(“权威性”)许多美国公司使用。价格不菲,每年交费。即使赠送,条件苛刻SAS公司傲慢无礼尽管现在已经尽量“傻瓜化”，仍然需要一定的训练才可以进入。对于基本统计课程则不那么方便。统计软件的种类S-plus：这是统计学家喜爱的软件。功能齐全图形漂亮有不断加入的各个方向统计学家编写的统计软件包。也可以自己加入算法。有强大而又方便的编程功能，使得研究人员可以编制自己的程序来实现自己的理论和方法。它也在进行“傻瓜化”以争取顾客。但主要以其方便的编程为顾客所青睐。在R软件之前是统计学家的首选软件。但是对于不会编程者,不那么“傻瓜”。统计软件的种类R软件：免费的,志愿者管理的软件。其编程语言与S-plus所基于的S语言一样。编程方便，语言灵活，图形功能强大。有不断加入的各个方向统计学家编写的统计软件包。也可以自己加入自己算法的软件包。从网上可以不断更新和增加有关的软件包、数据和程序。可以使用其他软件编制的程序。可以通过网上服务把程序变成机器语言。这是发展最快的软件，受到世界上统计师生的欢迎。是用户量增加最快的统计软件。对于一般非统计工作者来说，主要问题是它没有“傻瓜化”。统计软件的种类Excel：严格说来不是统计软件，但作为数据表格软件，必然有一定统计计算功能。

注意，多数装Office时没有装数据分析的功能，画图功能都具备(虽然不好看)。

对于简单分析，Excel还算方便，但随着问题的深入，就不那么“傻瓜”，需要很麻烦地使用函数，甚至根本没有相应的方法了。（在目前阶段的中国使用广泛的工具）统计软件的种类SPSS：这是一个很受欢迎的统计软件；它容易操作，输出漂亮，功能齐全，价格合理。对于非统计工作者和统计工作者都是很好的选择。（在最新的SPSS20中已经可以和R对接了）其他有关软件简介Minitab：这个软件是很方便的功能强大而又齐全的软件，也已经“傻瓜化”，在我国用的不如SPSS与SAS那么普遍。Statistica：也是功能强大而齐全的“傻瓜化”的软件，在我国用的也不如SAS与SPSS那么普遍。Eviews：这是一个主要处理回归和时间序列的软件。Systat:已经被SPSS购买而消失GAUSS：这是一个很好用的统计软件，许多搞经济的喜欢它。主要也是编程功能强大。目前在我国使用的人不多。MATLAB：这也是应用于各个领域的以编程为主的软件，在工程上应用广泛。编程类似于S和R。但是统计方法不多。FORTRAN：这是应用于各个领域的历史很长的非常优秀的编程软件，功能强大，有大量数学软件包及一定的统计软件包。计算速度比前面介绍的都快得多。但需要编程和编译。操作不那么容易。C/C++:是许多软件,诸如SAS的基础;但没有软件包,编程不方便。SPSS的发展1968年，3位美国斯坦福大学的学生开发了最早的SPSS系统，并基于这一系统于1975年在芝加哥合伙成立了SPSS公司。SPSS的基本功能包括数据管理、统计分析、图表分析、输出管理等。SPSS最早名为StatisticalPackageforSocialScience（社会学统计软件包），这是为了强调其社会科学应用的一面（因为社会科学研究中的许多现象都是随机的，要使用统计学和概率论的定理来进行研究）。后来为了扩大服务领域和深度，2002年改名为StatisticalProductandServiceSolution（统计产品和服务解决方案）。SPSS定位为针对常规统计分析应用的统计软件。SPSS最新版本为20，本书以16版为教学模板。SPSS的安装、启动和退出SPSS的操作方式命令行方式：即用户一条一条地提交命令，软件系统直接对命令进行解释执行，用户再根据执行结果提交下一条命令。程序方式：用户批量提交，软件系统批量执行，批量输出结果。菜单对话框方式：“人机互动型”。SPSS对话框的构成SPSS的四种窗口1.数据窗口（SPSSDataEditor）SPSS的四种窗口2.输出窗口（SPSSOutputViewer）3.语法窗口（SPSSSyntaxEditor）：提供程序方式进行分析，适合高级分析人员；最新版本实现与R和python的对接就更加强大了此功能。4.脚本窗口（SPSSScriptEditor）SPSS的四种结果输出枢轴表/轻量表统计图表文本格式模型分析结果的保存和导出SPSS的系统选项SPSS的帮助系统StatisticsCoach（统计辅导）Tutorial