数据分析过程中各个步骤中使用的工具

1、；数据分析过程中各个步骤使用的工具数据分析也好，统计分析也好，数据挖掘也好、商业智能也好，都需要在学习的时候掌握各种分析手段和技能，特别是要掌握分析软件工具！学习数据分析，一般是先学软件开始，再去应用，再学会理论和原理！没有软件的方法就不去学了，因为学了也不能做，除非你自己会编程序。下图是一个顶级的分析工具场，依次从X和Y轴看：第一维度：数据存储层>数据报表层>数据分析层>数据展现层第二维度：用户级>部门级>企业级>BI级我结合上图和其他资料统计了我们可能用到的软件信息。具体的软件效果还需要进一步研究分析和实践。1 第一步：设计方案可以考虑的软件工具： mi

2、nd manager。Mind manager(思维导图又叫心智图)，是表达发射性思维的有效的图形思维工具 ，它简单却又极其有效，是一种革命性的思维工具。思维导图运用图文并重的技巧，把各级主题的关系用相互隶属与相关的层级图表现出来，把主题关键词与图像、颜色等建立记忆链接。思维导图充分运用左右脑的机能，利用记忆、阅读、思维的规律，协助人们在科学与艺术、逻辑与想象之间平衡发展，从而开启人类大脑的无限潜能。思维导图因此具有人类思维的强大功能。思维导图是一种将放射性思考具体化的方法。我们知道放射性思考是人类大脑的自然思考方式，每一种进入大脑的资料，不论是感觉、记忆或是想法包括文字、数字、符码、香气、食

3、物、线条、颜色、意象、节奏、音符等，都可以成为一个思考中心，并由此中心向外发散出成千上万的关节点，每一个关节点代表与中心主题的一个连结，而每一个连结又可以成为另一个中心主题，再向外发散出成千上万的关节点，呈现出放射性立体结构，而这些关节的连结可以视为您的记忆，也就是您的个人数据库。2 第二步：数据采集可以考虑的工具软件：word、excel、access、oracle、mysql。2.1 Word、Excel和Access等有关office软件的内容，我们就不介绍了。2.2 Oracle Database又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它

4、是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的 适应高吞吐量的数据库解决方案。介绍：2.3 MySQL（发音为"my ess cue el"，不是"my sequel"）是一种开放源代码的关系型数据库管理系统（RDBMS），MySQL数据库系统使用最常用的数据库管理语言-结构化查询语言（SQL）进行数据库管理。这个也不做过多介绍。3 第三步：数据处理可以考虑的工具软件：Epidata、excel、 SPSS

5、、ETL。3.1 EpiData工具是一个既可以用于创建数据结构文档，也可以用于数据定量分析一组应用工具的集合。EpiData协会于1999年在丹麦成立。EpiData采用Pascal开发。在允许的情况下，尽可能地使用开放标准（如HTML）。介绍：下载地址：3.2 Excel工具有关Office软件的信息不做介绍3.3 SPSS工具（Statistical Product and Service Solutions），“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”（SolutionsStatistical Package for the Social Sciences），

6、但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方案”，标志着SPSS的战略方向正在做出重大调整。为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称SPSS，有Windows和Mac OS X等版本。百度百科介绍：BFmrHEngsfG5ou233d9aAxvgrrlw-NqSiZoa下载地址：备注：安装需要注册码3.4 ETL模式是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载

7、（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。目前，ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、Kettle开源的工具有eclipse的etl插件。cloveretl.数据集成：快速实现ETL百度百科介绍：6XXe_rywObzPm2QflItlwnSDrX5eUpsW8h-Ja0ISldXVuoMN0Pn5d1iCtTu 相关软件下载：FineBI工具4 第四步：

8、数据分析可以考虑的工具软件：SPSS、SAS、Matlab、Eviews、Stata、Excel、Weka、RapidMiner。4.1 SPSS是一个综合类数据分析处理软件，前面介绍了，我们在这一部分就不再介绍。4.2 SAS（全称STATISTICAL ANALYSIS SYSTEM，简称SAS）是全球最大的软件公司之一，是由美国NORTH CAROLINA州立大学1966年开发的统计分析软件。百度百科介绍：下载地址：备注：安装需要虚拟光盘、sid等信息。也可以购买sid。4.3 Matlab每个人都很了解，我就不做太多介绍了。4.4 Eviews是Econometrics Views的缩

9、写，直译为计量经济学观察，通常称为计量经济学软件包。它的本意是对社会经济关系与经济活动的数量规律，采用计量经济学方法与技术进行“观察”。另外Eviews也是美国QMS公司研制的在Windows下专门从事数据分析、回归分析和预测的工具。使用Eviews可以迅速地从数据中寻找出统计关系，并用得到的关系去预测数据的未来值。Eviews的应用范围包括：科学实验数据分析与评估、金融分析、宏观经济预测、仿真、销售预测和成本分析等。介绍：JW8XexwC-_vZ-7sL4zNWZQcCvN4oWReneCHa7mopZtK4VAvbdF2hUjNwbYIgngbqTQdcm7ApSfoTwTR4Ct_下载地

10、址：4.5 Stata 是一套提供其使用者数据分析、数据管理以及绘制专业图表的完整及整合性统计软件。它提供许许多多功能，包含线性混合模型、均衡重复反复及多项式普罗比模式。Stata 其统计分析能力远远超过了 SPSS ，在许多方面也超过了 SAS ！由于 Stata 在分析时是将数据全部读入内存，在计算全部完成后才和磁盘交换数据，因此计算速度极快（一般来说， SAS 的运算速度要比 SPSS 至少快一个数量级，而 Stata 的某些模块和执行同样功能的 SAS 模块比，其速度又比 SAS 快将近一个数量级！） Stata 也是采用命令行方式来操作，但使用上远比 SAS 简单。其生存数据分析、纵

11、向数据（重复测量数据）分析等模块的功能甚至超过了 SAS 。用 Stata 绘制的统计图形相当精美，很有特色。介绍：下载：4.6 weka全名是怀卡托智能分析环境（Waikato Environment for Knowledge Analysis），是一款免费的，非商业化（与之对应的是SPSS公司商业数据挖掘产品-Clementine ）的，基于JAVA环境下开源的机器学习（machine learning）以及数据挖掘（data minining）软件。它和它的源代码可在其官方网站下载。有趣的是，该软件的缩写WEKA也是New Zealand独有的一种鸟名，而Weka的主要开发者同时恰好来

12、自New Zealand的the University of Waikato。介绍：下载：4.7 RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。免费提供数据挖掘技术和库100%用Java代码（可运行在大部分操作系统上）数据挖掘过程简单，强大和直观内部XML保证了标准化的格式来表示交换数据挖掘过程可以用简单脚本语言自动进行大规模进程多层次的数据视图，确保有效和透明的数据图形用户界面的互动原型命令行（批处理模式）自动大规模应用Java API（应用编程接口）简单的插件和推广机制强大的

13、可视化引擎，许多尖端的高维数据的可视化建模值得一提的是，该工具在数据挖掘工具榜上位列榜首。备注：下载需要注册帐号，并付费！4.8 Origin为OriginLab公司出品的较流行的专业函数绘图软件，是公认的简单易学、操作灵活、功能强大的软件，既可以满足一般用户的制图需要，也可以满足高级用户数据分析、函数拟合的需要。5 第五步：数据呈现可以考虑的工具软件：Excel、SAS、SPSS、Crystal Xcelsious、PPT、Swiff Chart、Foxtable、Cognos、Tableau。5.1 Excel和PPT5.2 SAS和SPSS这两类的情况在前面都有介绍，在这一部分也不做太多

14、介绍。5.3 Crystal Xcelsius是全球领先的商务智能软件商Business Objects的最新产品，中文名：“水晶易表”。当我们需要向客户和同事展示商业数据，但听众却很容易被一大堆数据搞得疲倦和困惑。而且，即使人们希望通过增加图表和图形来增加展示的效果、来更好地表达意见，似乎也收效甚微。因为这些静止的、标准的表现形式看起来都是一样的。当今的市场竞争激烈，资源短缺，各种组织已经大量投资于科技手段以获得关于公司运营的数据，但人们很难快速的让这些数据变得有意义从而做出快速、准确的决策，并保持在竞争的前列。通过“如果那么会(What if)”分析来为公司未来的绩效进行建模，这项工作经常

15、是由统计学家来完成，但他们不太了解当事人需要做出决策并改善业绩的前沿领域。随着Crystal Xcelsius的推出，以上问题都会得到解决！只需要简单的点击操作，Crystal Xcelsius就可以令静态的excel 电子表格充满生动的数据展示、动态表格、图像和可交互的可视化分析，我们还可以通过多种“如果-那么会”情景分析进行预测。最后，通过一键式整合，这些交互式的Crystal Xcelsius分析结果就可以轻松的嵌入到PowerPoint、Adobe PDF 文档、Outlook和网页上了。下载地址：备注：破解注册：使用内存注册破解工具，点击"Patch",

16、在安装目录下找到xcelsius.exe，确实，再使用下列序列号注册：Crystal Xcelsius pro 4.X序列号：Xcl4Pro-DLR8FHNM14FAMA2B9NDAXcl4Pro-DWQMAHB94R4G0A036AD6Xcl4Pro-NYXA3BDF10R39AAQ12FDXcl4Pro-0TQW42AM01FA156ECARV如果电脑上安装是精简版的office 2003等版本，可能会提示出错。5.4 Swiff Chart主要可以帮你把商业或重要学术研究上的数据制成图表，并且利用参数或是加入“动作事件”而成为动态图表，完成之后更可以输出成为 Flash (*.SFW)

17、格式，或是嵌入Powerpoint 投影片中，不论用来放在网页上传播或是演示文稿使用都十分好用方便。下载地址：5.5 Foxtable是广东狐表软件公司开发的软件。它将Excel、Access、Foxpro以及易表的优势融合在一起，无论是数据录入、查询、统计，还是报表生成，都前所未有的强大和易用，使得普通用户无需编写任何代码，即可轻松完成复杂的数据管理工作，真正做到拿来即用。下载地址：5.6 Cognos是在BI核心平台之上，以服务为导向进行架构的一种数据模型，是唯一可以通过单一产品和在单一可靠架构上提供完整业务智能功能的解决方案。它可以提供无缝密合的报表、分析、记分卡、仪表盘等解决方案，通过

18、提供所有的系统和资料资源，以简化公司各员工处理资讯的方法。作为一个全面、灵活的产品，Cognos业务智能解决方案可以容易地整合到现有的多系统和数据源架构中。Cognos强大的报表制作和展示功能能够制作/展示任何形式的报表，其纯粹的Web界面使用方式又使得部署成本和管理成本降到最低。同时Cognos还可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。百度百科介绍：下载地址：5.7 Tableau 是桌面系统中最简单的商业智能工具软件，Tableau 没有强迫用户编写自定义代码，新的控制台也可完全自定义配置。在控制台上，不仅能够监测信息，而且还提供完整的分析能力。Tableau控制台灵活，具有高度的动态性。Tableau公司将数据运算与美观的图表完美地嫁接在一起。它的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。但是不易使用和下载。6 第六步：报告撰写；可以考虑的工具软件：Word、Excel、PPT、latex1. 前三个都是我们常见的office工作软件，我们不做过多介绍。2. latex是一个编译pdf的工具，可以很好的插入图片、表格等文件，同时