大数据财务分析入门（第2版）大数据平台及操作工具

大数据财务分析入门

大数据平台及操作工具大数据的功能哪些平台可以用于大数据一流商用数据分析工具Hadoop究竟是什么学习目标●认识可用的大数据软件工具。●认识名为Hadoop的开源软件。●了解MapReduce和R这两个软件的作用。导语本章将介绍各种大数据平台以及可在这些平台上使用的操作工具。这些工具中最重要的是名为Hadoop的操作系统。Hadoop是一个开源框架，许多组织机构选择用它来支持大数据工作。本章将集中讨论IT术语，会计师要想对大数据应用有个基本了解，必须学习这些术语。大数据的功能数据分析(dataanalytics，DA)是对原始信息进行分析的一项研究，目的是对数据进行推断。大数据的功能可以在机构的特定部门内部使用的业务分析有哪些？营销分析：●竞争对手。●定价。●品牌。●市场趋势。●市场规模。客户分析：●终身价值。●销售渠道。●细分类别。●满意度。●忠诚度。●客户流失/情绪。财务分析：●现金流量。●销售预测。●股东价值。●产品盈利能力。●客户盈利能力。员工分析：●潜力。●能力。●领导力。●招聘渠道。●员工绩效。●员工流失/情绪。运营分析：●供应链。●欺诈检测。●项目绩效。●对环境的影响。●企业责任。核心分析：●数据挖掘。●预测。●可视化分析。●相关分析。●回归分析。大数据的功能数据分析包括检查、清理、修改和建模，目的是发现有价值的数据、提出结论、为做出明智的选择提供支持。数据挖掘的关注点在于建模和发现，目的是进行预测。商业智能侧重于聚集企业数据。在统计应用中，有描述性统计和以下几个类型的数据分析：●探索性分析：在数据中发现新特征。●确认性分析：确认或否认现有的认知。●预测性分析：专注于统计模型，进行预测。●文本性分析：使用统计、结构和语言技术从非结构化数据(如电子邮件)中提取信息并分类。大数据的功能预测性分析侧重于根据从现有数据集中提取的数据，对未来的结果或模式进行预测。它不能保证结果，只能就可能发生的情况做出具有一定可靠性的预测，并与假设情景和风险分析或敏感性分析相结合。预测性分析包括数据挖掘、统计建模和机器学习等操作。大数据的功能上述概念与商业智能有何关系？小测验1.什么是探索性分析？a.使用统计模型进行预测。b.确认现有认知。c.在数据中发现新特征。d.规定要采取的行动。哪些平台可以用于大数据？哪些平台可以用于大数据？硬件和操作系统(OS)的选择硬件的选择是大数据系统的核心。大多数机构会建立IT结构。软件的选择系统程序直接控制计算机并执行I/O(输入/输出)存储器操作。DeviceDrivers(设备驱动)、BIOS(基本输入输出系统)软件、硬盘引导扇区(HDSectorBoot)软件、汇编程序和编译程序都是系统程序。小测验2.以下哪项不属于大数据的基础资源？a.SAPb.Oraclec.IBMd.惠普哪些平台可以用于大数据？供应商的选择1.ActianVector拥有从Hadoop中实现商业价值的能力。2.AWS(AmazonWebServices，亚马逊网络服务)于2006年开始通过云计算向企业提供IT基础设施服务。3.Cloudera提供了一个统一的大数据平台——企业数据中心。4.惠普大数据服务可以帮助IT基础设施处理电子邮件、社交媒体和网站下载中不断增加的字节，并将它们转换为有益的信息。5.HortonworksHadoop数据平台(HDP)是唯一一个完全开放的HDP。6.IBM包括以下类型的信息管理数据和分析功能。7.Infobright是一个分析数据库平台，用于存储和分析机器生成的数据。8.Kognitio软件可与现有的商业集成、分析报告工具、“数据湖”(大型对象存储库，可一直以本机格式保存数据)及Hadoop存储无缝交互。9.MapR是唯一一个为重大商业生产应用构建的分布系统。哪些平台可以用于大数据？供应商的选择（续）10.微软的愿景是让所有用户都能从数据(不管什么数据)中获得可操作的洞见，包括隐藏在非结构化数据中的洞见。11.Oracle是一套完整的基础设施和软件工具，可以满足组织机构的大数据需求。12.Pivotal大数据套件为敏捷数据提供了广泛的基础。13.SAPHANA等软件可以简化IT结构。14.TeradataAster有一个分析引擎，这是一个本地图表处理引擎，用于跨大数据集进行图表分析。15.新一代的数据分析师使R成为当今市场上最受欢迎的分析软件。小测验3.什么是MapR？a.一种减少大数据分析量的程序。b.ApacheHadoop的不完全发行版本。c.ApacheHadoop的完全发行版本，囊括十几个项目。d.大数据的关系数据库。4.什么是Teradata？a.大数据农业应用。b.数据分析软件。c.用于图表分析的本地图表处理引擎。d.关系数据库。一流商用数据分析工具基于来自KDNuggets(一个商业分析网站)的亚历克斯·琼斯(AlexJones)所设置的指导原则，作者列出以下一流商用数据分析工具。他的推荐基于工具的免费可用性(供个人使用)、易用性(无须编码、设计直观)、强大功能(超出基本的Excel)和资源存档完好(如支持商业需求的简单的谷歌搜索)。16.Tableau是数据可视化软件，旨在将大量原始数据转换为更易于解释的格式，可用于决策。17.KNIME可以使用可视化编程来操作、分析数据并建模。18.RapidMiner是一个数据科学平台，它将数据准备、机器学习和预测模型部署结合在一起。19.Google的FusionTables已停产，但用户仍可以通过更高版本的Excel使用GoogleMaps进行相同的分析。20.NodeXL是一个用于网络和关系的可视化和分析软件。21.Import.io可快速访问网络数据。22.谷歌搜索引擎并未得到充分利用。23.Solver是Excel中一个优化和线性规划工具，允许用户设置限制条件。24.WolframAlpha的搜索引擎是网络中隐藏的宝贝，它帮助推动了苹果Siri(语音助手)的发展。 小测验5.WolframAlpha是什么？a.数据分析软件b.书呆子版谷歌c.预测分析软件d.MapR框架中的子程序6.文中用（

）对谷歌地图进行说明。a.咨询服务b.犯罪统计c.供应商离差d.美国各地的邮局Hadoop究竟是什么？Hadoop是一个能够存储大型数据集的框架。这些数据集使用简单的编程模型分布在多个计算机集群中，并用Java编写，从而可在单个计算机或大型商用硬件计算机集群上运行。Hadoop术语：●开源软件：在创建和管理程序的开发人员的开放网络上运行。●框架：能让用户开发和运行软件应用程序的一切，通过程序、工具箱、连接等完成。●分布式数据：分布并存储在多台计算机上，并且可以在多台相连的计算机上同时进行计算。●大规模存储：Hadoop框架可以将大量数据以块的形式存储在低成本的商品硬件集群上。●更快的处理：在紧密连接的低成本计算机集群中并行处理大量数据，以快速得出结果。小测验7.下面哪项是对Hadoop的描述？a.专有的。b.开源的。c.私有的，但可用以降低非营利组织的成本。d.专有的，必须在Unix环境中运行。Hadoop究竟是什么？Hadoop的历史更大的数据需求使得用户需要更快的搜索和处理功能。为了应对这一需求，道格·卡廷(DougCutting)和迈克·卡菲瑞拉(MikeCaferella)着手进行了Nutch项目——一个开源网络搜索引擎项目。他们在低成本的计算机上使用分布式数据和计算来同时完成多个任务。同一时期，谷歌也在进行类似的项目，以分布式方式实现数据存储和处理，更快得出更相关的搜索结果。2006年，卡廷跳槽到雅虎，继续进行Nutch项目，该项目分为两部分：网络爬虫和分布式处理(也就是后来的Hadoop)。2008年Hadoop作为开源项目发布，由非营利机构ASF进行管理和维护。由软件开发人员和贡献者组成的全