基于云计算的大数据统

1、    基于云计算的大数据统    王颖?梁雪晴?王延辉摘 要：本文主要是对基于云计算的大数据统一分析平台进行研究与设计，首先介绍了大数据的基本特点以及基于云计算构建的大数据统一分析平台的优势，而后从大数据统一分析平台的体系结构、软件结构等来实现大数据统一分析平台，在此基础上实现企业业务数据的统一处理与分析，提升企业核心竞争力。关键词：云计算；大数据分析；低响应时间；高速一、概述随着现代科学技术的不断发展和应用，互联网成为人们生活中不可缺少的有机组成部分，各个社会行业领域积极地促进信息化、网络化进程来提升企业的管理效率和数据信息的管理水平，也使得社会迈入

2、了信息时代。信息时代的核心是数据，随着时间的推移和互联网用户的不断增加，互联网中的数据呈指数级增长，目前已经达到了传统数据技术难以处理和管理的地步。反过来讲，海量数据对于一个企业来说，是一笔无形的财富，里面蕴含着很多对企业深度经营和精确营销非常重要的信息，一个企业如何从海量数据中高效、快速地挖掘出对企业有用的知识，势必会让其在市场竞争中占有一席之地。大数据的快速发展，与云计算、物联网一起颠覆了传统的互联网观念，对于企业的发展决策、行为预测等起到非常重要的作用。然而传统网络构架对于数据洪流的处理随着数据量的继续增加已经显得捉襟见肘，而基于云计算的思想构建大数据的统一分析平台，将会大大降低大数据统

3、一分析平台的成本和数据处理的压力，从而有效地实现对海量数据的快速存储、处理与高效分析，最终减少数据分析的响应时间，提升企业业务的处理效率，最终提升企业在市场同业务中的竞争力。二、基于云计算的大数据统一分析平台的优势大数据是“big data”，即大量信息数据，其在概念上需要符合三点：1）数据量庞大，该数据量一般在pb级别，常用海量等模糊词来形容；2）数据结构复杂，大数据包含的信息众多，类型复杂，除了传统常规的结构化数据之外，大部分属于非结构化数据，其包含的信息更加丰富；3）数据关联度大，数据之间由于业务管理而使其关联度非常高，这也是数据挖掘的最终意义体现，能够挖掘到彼此之间相互的重要知识信息。

4、目前，大数据技术正在高速发展和广泛应用，通过搭建云平台来实现大数据的统一分析平台，将提升整个系统对数据结构复杂度的包容力，实现了更多类型的非结构化数据处理能力和逻辑关联能力的提升，最终实现了支持多类型非结构化的pb级别容量数据的分析，最终实现了前端应用在业务响应时间的减少，实现了其业务分析的价值提升，无论从经济发展还是企业的战略制定，都具有非常重要的实用价值。利用云计算平台构建大数据统一分析平台，具有非常明显的优势，首先，能够按照企业的不同业务的优先级来实现快速地对信息资源计算能力的分配；再者， 云计算平台构建大数据分析平台，通过细化数据集，保留数据集合内部的数据区别于联系，从而优化业务精确度

5、，保持业务差异化，最终提升企业业务处理效率和水平；同时，云平台实现大数据分析，能够针对关键业务开展范围内的组织写作，实现最佳算法的传播与挖掘结果的快速展现；最后，云平台自身具有成本低的优势，通過云计算构建大数据分析平台，可以构建商业化的大数据分析组件，从而扩展企业业务能力，提高业务机会，提升市场竞争力。所以，利用云计算构建大数据统一分析平台，对于企业来说，提升业务数据处理能力，优化数据细分粒度，降低数据访问延迟，加快数据仓库的构建以及实现数据分析的集成，从而为企业在市场竞争中取得先机优势。三、基于云计算的大数据统一分析平台的设计1.分析平台的体系结构基于云计算的大数据统一分析平台的设计，基本上

6、抛弃了硬件结构，在相关的节点实现上都是以云计算平台构建相应的虚拟硬件设施，来提供相应的硬件服务。基于云计算平台，按照大数据统一分析平台的基本需求构建相应的体系结构，从而实现最终的数据挖掘下的大数据分析功能。如图1所示，为基于云计算大数据统一分析平台的体系结构示意图。图1 基于云平台的大数据统一分析平台体系结构示意图如图1所示，整个系统结构的主要实现是以云计算为基础，而相应的业务功能则是以大数据的思想来实现。在大数据统一分析平台的后端，是整个大数据分析平台的数据来源，主要是各个信息管理系统的数据库存储数据，例如企业的erp系统、crm系统等这些系统都会随时产生大量的数据，为数据挖掘提供最原始的基

7、础数据。这些源数据在数据转移下，经过大数据预处理技术，从而对数据进行转换、清洗、去除噪声数据等过程，最终形成可挖掘的数据，放置到数据仓库中，最终经过大数据的数据挖掘技术实现对处理后的数据的处理，从而生成对于企业决策最基本的知识信息。最后，通过前端应用的实现，将这些数据形成直观形象的数据报表，供企业决策者查阅分析，从而为企业的发展提供有效的、科学的依据。2.分析平台的软件结构大数据软件架构的一般采用大数据分布式存储和处理的思想来实现，通过构建一个master主机和多个slave的segment服务器来实现对数据库源数据的访问、分析和处理。这种软件结构每个存储节点都相互独立，彼此之间没有数据共享，

8、通过master主机来实现slave节点的数据交换。一般的，master服务器和segment服务器之间通过互联网相连，各个存储节点之间在结构上没有关联，属于完全无共享结构，从而实现了软件结构的高扩展性，通过添加网络节点和简单配置即可增加网络分布存储节点。此外，为了提升系统高可用性，对于master和segment主机采用一主一备的方式，通过ge网络将主机与segment服务器相连，镜像网络实现数据备份，从而提升系统的可用性。四、结语基于云计算的大数据统一分析平台的设计，是充分利用云计算技术和大数据数据挖掘技术，来试下对海量数据的存储与管理，在高速的、智能的数据分析下，实现对海量数据的知识挖掘，最终优化企业的业务处理能力，提升企业服务效率和水平。参考文献：1 李巍巍. 基于云计算的大数据统一分析平台设计与应用j. 自动化与仪器仪表