《统计分析软件：使用R与Python》 课件 第1章 引言

1.1统计分析概述1.2现有统计软件简介1.3R下载安装及使用1.4Python下载安装及使用第1章引言

引言统计分析软件简介Excel、SPSS、SAS、Matlab,S-plusPython、RPython语言简介下载和安装PythonAnaconda运行PythonR语言简介下载和安装RRstudioMarkdown常用的R包R包和R包合集的安装R包的使用、更新、迁移数据分析的未来要求

1.统计学、数学、计算机等专业优先，有统计学应用基础；

2.两年以上移动互联网行业数据分析经验，社交类项目经验更优；

3.具备产品经理经验，理解产品设计原理与产品逻辑。参与过产品设计与执行；

4.逻辑思维能力强，表达能力强；

5.熟练运用各种内外部数据统计工具，快速响应各个部门的数据需求，至少掌握一种统计分析工具，如SAS、SPSS、R等；

6.重视数据可视化呈现，报告撰写能力强；

7.好奇心强，对数据执着，对问题刨根问底。1.1统计分析概述数据分析的未来热门职位发展“钱”途良好。统计学就业前景统计分析的特点1.模型只能是对客观世界的一种近似，是现实的简单化或理想化。

Essentially,allmodelsarewrong,butsomeareuseful.——GeorgeBox.“有用的”模型能抓住并凸显现象中与分析目的最相关之主要特征，因此统计分析的成功与对主题领域的了解密切相关。统计分析的特点2.分析者应根据目的来寻找合适的数据和分析方法。数据：数据的来源；数据的真实性；数据所含信息；数据是否适合分析。方法：同一个问题，可采用多种分析方法，也可能需要多种方法。统计分析的特点3.统计分析是一个学习与实践的过程统计学：统计学基础、多元统计分析、非参数统计、贝叶斯统计计量经济学：时间序列、面板数据、微观计量、非参数时间序列分析：一元、多元、波动分析、非线性专业领域背景知识有关软件：Matlab、R、SPSS、SAS、Python从统计认识过程而言，充分体现着定性分析和定量分析对立统一的关系。定量分析研究是统计研究的特色所在，但统计的定量分析不是纯粹数量意义的，即不是就数量论数量，而是基于所研究事物本身的特点，并且从所研究事物的有关联系或现实背景中，紧紧扣住认识所研究事物内在本质这一主题来展开的，注重的是定量分析背后的具体含义和意义，这也正是统计学与数学的区别所在。

统计分析的特点那么统计研究怎样才能通过数量来体现其具体含义与现实意义？这就必须结合定性分析，即以定性分析为起点，并以定性分析为终点。具体来说，统计研究总是按照“初步（感性）的定性认识——客观科学的定量认识——高级（理性）的定性认识”这一过程来进行的。统计分析的特点1.2现有统计软件简介统计软件的种类很多。有些功能齐全，有些价格便宜；有些容易操作，有些需要更多的实践才能掌握。还有些是专门的软件，只处理某一类统计问题。网上可以获得的统计或者计量软件起码有多达几百种。面对太多的选择往往给决策带来困难。这里介绍最常见的几种。SPSS、EXCEL、SAS、Eviews、R语言、Matlab、Python,……统计软件的种类很多。差异较大：

功能是否齐全？

价格是否便宜？是否开源？

是否容易操作？

软件是否太大？

是否专门性软件？只处理某一类统计问题。 面对太多的选择往往给决策带来困难。这里介绍最常见的几种。1.2现有统计软件简介统计软件——Excel

严格说来并不是统计软件，但作为数据表格软件，必然有一定统计计算功能。而且凡是有MicrosoftOffice的计算机，基本上都装有Excel。注意：有时在装Office时没有装数据分析的功能，那就必须装了才行。当然，画图功能是都具备的。对于简单分析，Excel还算方便，但随着问题的深入，Excel就不那么“傻瓜”，需要使用函数，甚至根本没有相应的方法了。统计软件——Excel

SPSS是软件英文名称的首字母缩写，原意为StatisticalPackagefortheSocialSciences，即“社会科学统计软件包”。但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为StatisticalProductandServiceSolutions，意为“统计产品与服务解决方案”，标志着SPSS的战略方向正在做出重大调整。

2009年

IBM

收购了

SPSS

公司统计软件——SPSS操作简便：界面非常友好，除了数据录入及部分命令程序等少数输入工作需要键盘键入外，大多数操作可通过鼠标拖曳、点击“菜单”、“按钮”和“对话框”来完成。编程方便：具有第四代语言的特点，告诉系统要做什么，无需告诉怎样做。只要了解统计分析的原理，不需通晓统计方法的各种算法，即可得到需要的统计分析结果。功能强大：具有完整的数据输入、编辑、统计分析、报表、图形制作等功能。自带11种类型136个函数。全面的数据接口：能够读取及输出多种格式的文件。如*.dbf文件，文本数据文件，Excel的*.xls文件等均可转换成可供分析的SPSS数据文件。能够把SPSS的图形转换为7种图形文件。结果可保存为*.txt,word,PPT及html格式的文件。统计软件——SPSS统计软件——SPSS统计软件——SAS

功能非常齐全(不如R齐全)的软件；尽管价格相当不菲，许多公司，特别是美国制药公司，还是因为其功能众多和某些美国政府机构(FDA)认可而使用；尽管现在已经尽量“傻瓜化”(远不如SPSS“傻”)，但仍然需要一定的训练才可以进入。可以对它编程；帮助系统很差，查寻不易；对于基本统计课程则不那么方便。统计软件——SAS统计软件——S-plus

这是R出现之前统计学家最喜爱的软件；功能齐全；强大的编程功能，使得研究人员可以编制自己的程序来实现自己的理论和方法；目前正在进行“傻瓜化”以争取顾客。但仍然以编程方便为顾客所青睐。统计软件——S-plus统计软件——MATLAB

这也是应用于各个领域的以编程为主的软件，在理工领域应用最广泛。编程类似于S和R。但是统计方法不多。StatisticsToolbox—统计工具箱EconometricsToolbox-计量经济学工具箱统计软件——MATLAB统计软件——Python简介Python是一种面向对象、直译式计算机程序设计语言，由荷兰人GuidovanRossum发明于1989年，1991年发行第一个公开发行版。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。

之所以选中Python（大蟒蛇的意思）作为程序的名字，是因为他是一个叫MontyPython的喜剧团体的爱好者。Python是一种解释型、高级和通用的编程语言，支持多种编程范型，包括结构化、过程式、反射式、面向对象和函数式编程。它拥有动态类型系统和垃圾回收功能，能够自动管理内存使用，并且其本身拥有一个巨大而广泛的标准库。除此之外，Python官方的第三方库的仓库PythonPackageIndex(PyPI，/)还包括数十万个由第三方团队或个人开发的Python库。统计软件——Python简介Python2.0于2000年发布，Python3.0于2008年发布。需要注意的是，Python3.x是Python2.x的主要修订版，两者并不完全兼容。根据TIOBE编程语言排行榜最新数据，Python是使用率排名第一的编程语言。统计软件——Python简介

R免费，永远正版R资源公开(不是黑匣子)R可以在UNIX,Windows和MacosX上运行R有优秀的内在帮助系统R有优秀的画图功能学生能够轻松地转到商业支持的S-Plus程序(如果需要使用商业软件)R语言有一个强大的，容易学习的语法，有许多内在的统计函数统计软件——R软件其它统计软件

Eviews：用于处理回归和时间序列的经济类软件Rats:专门处理时间序列数据Amos:结构模型Nlogit:离散选择模型和受限因变量模型Stata:面板数据模型功能很强大Gauss:运算速度最快的计量经济学软件。计量经济学大牛的最爱。FORTRAN：这是应用于各个领域的历史很长的非常优秀的数学编程软件，功能强大，也有一定的统计软件包。计算速度比这里介绍的都快得多。但需要编程和编译。操作不那么容易。KDnuggets-数据分析师的工具软件Kaggle-统计学家使用的分析软件关于编程语言没有最好的语言，只有最合适的语言；没有糟糕的语言，只有糟糕的程序员；没有一种语言是万能的，只会一种语言是万万不能的；废除对语言的宗教信仰，建立对语言的哲学思维；编程就是在人脑和电脑之间寻找最佳平衡点的过程。关于统计编程语言个人认为统计分析最佳搭配：

R[统计分析]+Python[数据预处理]R语言的由来R语言是从S语言演变而来的。S语言是二十世纪70年代诞生于贝尔实验室，由RickBecker,JohnChambers,AllanWilks开发。基于S语言开发的商业软件Splus，可以方便的编写函数、建立模型，具有良好的扩展性，取得了巨大成功。1995年由新西兰Auckland大学统计系的RobertGentleman和RossIhaka，编写了一种能执行S语言的软件，并将该软件的源代码全部公开，这就是R软件，其命令统称为R语言。1.3R下载、安装及基本操作R软件简介R是开源软件，代码全部公开，对所有人免费。R可在多种操作系统下运行，如Windows、MacOS、多种Linux和UNIX等。R需要输入命令，可以编写函数和脚本进行批处理运算，语法简单灵活。目前在R网站上约有20000多个程序包，涵盖了基础统计学、社会学、经济学、生态学、地理学、医学统计学、生物信息学等诸多方面。通过用户自编程序，R语言很容易延伸和扩大。它就是这样成长的。R是计算机编程语言。对于熟练的编程者，可能会觉得该语言比其他语言更容易上手。而对计算机初学者,学习R语言使得学习下一步的其他编程不那么困难。那些傻瓜软件（SAS,SPSS等）语言的语法则完全不同。R的优点R的缺点没有商业支持（但有网上支持）；需要编程，不够傻瓜；速度不如C++或FORTRAN下载和安装RTheComprehensiveR

ArchiveNetwork简称CRAN，提供下载安装程序和相应软件包。R主页/

Windows版本下载地址之一：/mirrors.html下载完成后，双击/CRAN/bin/windows/base/R-3.5.1-win.exe

开始安装。一直点击下一步，各选项默认。图1R软件首页/

R登陆界面(Windows版)菜单栏快捷按钮控制台命令行R程序包为什么要安装程序包？特定的分析功能，需要用相应的程序包实现。例如：时间序列分析，往往要用到TSA程序包，多元正态分布mvtnorm包等等。程序包是什么？

R程序包是多个函数的集合，具有详细的说明和示例。Window下的R程序包是已经编译好的zip包。每个程序包包含R函数、数据、帮助文件、描述文件等。常用的R包常用R程序包base-R基础功能包stats-R统计学包nlme-线性及非线性混合效应模型Graphics-绘图lattice-栅格图TSA-

时间序列分析mvtnorm-多元正态分布分析truncnorm-截尾正态分布cluster-聚类分析TSA包页面R程序包在CRAN提供了每个包的源代码和编译好的MacOS、Window下的程序包以TSA包为例，CRAN提供了：Packagesource:TSA_1.01.tar.gzMacOSXbinary:TSA_1.01.tgzWindowsbinary:TSA_1.01.zip

Referencemanual:TSA.pdf

等Window平台下程序包为zip文件，安装时不要解压。R程序包安装1连网时，用函数install.packages()，选择镜像后，程序将自动下载并安装程序包。例如：打开RGui,在控制台中输入

install.packages(“TSA")2安装本地zip包路径：Packages>installpackagesfromlocalfiles选择光盘或者本地磁盘上存储zip包的文件夹。非CRAN-R程序包安装3.知道源代码网址用函数install.packages()，install.packages("http://www.lepem.ufc.br/jaa/colorout_1.1-0.tar.gz",repos=NULL)install.packages("/hadley/devtools/archive/v1.7.0.tar.gz",repos=NULL,method="libcurl")#httpsisbuiltinvialibcurl.4.github安装包可以用devtools

library(devtools);install_github("author/package")5.bioconductor安装包可以用BiocManager

BiocManager::install("Biobase")程序包使用在控制台中输入如下命令：library(TSA)查看帮助文件如何知道TSA程序包内部都有哪些函数？最常用的方法：1输入命令??TSA2查看pdf帮助文档（从程序包下载页面下载）帮助文件的内容以lm函数为例：?lmCRANtask

Views

是一个由R语言社区成员提供的按功能分类的R包合集，如贝叶斯、时间序列、生存分析等。RTaskViewsRTaskViews如果你想快速安装某个类型的R包合集可以用下面的命令（ctv包为必须）：#Toautomaticallyinstalltheseviews,thectvpackageneedstobeinstalled,e.g.,via

install.packages("ctv")library("ctv")#andthentheviewscanbeinstalledviainstall.viewsorupdate.views(whichfirstassesseswhichofthepackagesarealreadyinstalledandup-to-date),e.g.,install.views("Econometrics")#or

update.views("Econometrics")

RstudioRstudio是Rstudio(Posit)公司开发的R语言集成开发环境（IDE），在基于窗口的R编程中别广泛的使用，相对于R自带的GUI界面而已具有更加友好的界面、更好的项目管理功能、package管理功能、图片预览功能等。RStudio工具下载：/products/rstudio/download/Rstudio性能：MRO引入“IntelMKLforparallelmathematicalcomputing”发挥多核处理器的性能，提高了R的运行速度。可重复性：MRO引入了checkpoint包，每天对R包（CRAN）进行镜像，这样当用户设置时间之后，安装使用这一天的R包，脚本运行的结果应该是一致的。MicrosoftROpen官网：/open和对应版本R完全兼容，更新比官方R发行版要慢，Mac版更慢MicrosoftROpenMarkdownMarkdown是一种轻量级标记语言，纯文本格式编写文档，可与HTML混编，可导出HTML、Word、PDF格式的文件，是RStudio内置的帮助文件的主要格式。RMarkdown则是通过R语言制作的Markdown格式的文件，其中包含嵌入的R语言代码。通过RMarkdown编写的文档，简洁、高效、易读、易写，所有作业及作业要求用：RMarkdown格式MarkdownRMarkdown文档编辑需要安装rmarkdown包RMarkdown代码及编译结果在Windows和Mac上安装和运行Python的方法比较简单，从Py