基于云计算的大数据处理技术研究

1、基于云计算的大数据处理技术研究摘 要：在信息技术不断发展的今天，各类信息泛滥，人们每天的生活、工作都会接触到海量数据，已然进入了大 数据时代。对于海量数据信息，如果采用传统的数据处理办 法，很难保证数据信息传输的安全性、快速性。云计算的出 现为大数据存储、传输提供了便利，也为数据处理提供了重 要保障。文中首先对大数据与云计算之间的关系进行分析， 然后探讨了云计算及其关键技术，最后提出云计算背景下的 大数据处理技术，希望能够为相关人员提供参考。关键词：云计算；大数据；处理技术；海量数据中图分类t=r.号：TP274 文献标识码： A 文章编号：2095-1302（2017）06-00-02在计算

2、机网络技术、通信技术不断发展的今天，人们获取信息资源的渠道更多，信息传播的形式也更加多元化、便 捷化，将现阶段称之为信息大爆炸时代也不为过。此外，在 信息传播过程中，对数据处理体系提出了更高的要求。据预 测，到 2020 年，世界数据量会超过 35 亿 GB ，而针对大数 据随机性、庞大性、离散性、爆发性的特点，还需要选择更 加强大的数据处理技术。云计算的出现为数据处理革新提供 了基础，基于此，加强对云计算背景下大数据处理技术的研 究具有十分现实的意义。1 大数据和云计算之间的关系 云计算技术指采用集中式远程计算资源池，按照需求进行分配， 为终端用户提供计算服务技术， 且这种服务成本低、 效果

3、好。云计算属于数据处理方式，具有以下技术特点：1）透明性。从物理角度分析，资源池对所有终端用户都是透明的；2）云计算能够为任何行业提供无限能力的计算机服务；3）快捷性。云计算能够根据终端用户的要求为其订制服务，同时服务技术具有很强的伸缩能力；4）云计算数据在获取方面较为简单，能够促进资源共享，且成本较低。现阶段，云计算是最为强大的数据处理、运用、存储平台，是大数据处理的首选技术。云计算能够为大数据提供的 存储空间、处理能力是无限的，可满足超级容量数据的存储 及传输，而这也是传统数据处理技术无法实现的。此外，云 计算相对于其他技术更侧重计算与处理，即云计算是大数据 处理的工具，而大数据是处理的对

4、象。2 云计算及其关键技术概述 在并行技术、分布式计算及网格计算等基础上，云计算技术的形成与发展可通过网络连接技术，集中数据计算、存 储等功能，构建能够为用户提供无限服务的资源池。2.1 数据存储技术 信息存储的安全性、数据读写的高效性是保证云计算技术实施的基础，利用分布式存储技术将海量数据存储于服务 器集群中，还能够实现对数据的备份处理，提高数据的安全 性。此外，通过数据加密技术、冗余存储模式等，可有效避免数据信息泄漏或遭到威胁。其中，HadooP团队开发的GFS 与 Google 非开源的 GFS 都是在云计算系统中被广泛运用的 存储系统。2.2 数据管理技术 云计算能够通过分布式处理及分

5、析为用户提供高效服务，但对数据管理技术的管理能力有较高的要求。其中，开源数据管理模块HBase以及BigTable数据管理技术是现阶段主要的数据管理技术。云服务平台管理如图1 所示。2.3 虚拟化技术 虚拟化技术是云计算系统中存储、计算的基础，主要通过相关方式将真实环境中的计算机系统、组件等转移到虚拟环境中，然后结合操作系统、硬件资源、软件应用程序等组成虚拟化层结构。般虚拟层可以分为上中下三层，通过中间层连接上下两层结构，为其提供类似的功能，保证其运行在虚拟化环境中。虚拟化技术的运用能够实现对相关系统功能的整合，保证资源利用的最大化。3 云计算背景下大数据处理技术 传统数据管理以收集、存储为主

6、，而云计算背景下，大数据管理方式得到了改变与创新，侧重点在于数据的分析、 挖掘，为相关人员决策提供依据。3.1 大数据采集技术 根据采集形式的不同，可将大数据采集分为两类，即集中式采集与分布式采集。这两种采集方式各具优劣，我们以 优点为例进行说明。集中式采集能够掌控全局数据，而在灵 活性方面，采用分布式采集模式的优势更为明显。在大数据 采集过程中，既包括对企业内部数据的采集，也包括采集企 业之间的信息数据，通过分布式并行计算模式，将几种采集 模式混合使用，提升数据采集的整体效率。即在大数据采集 过程中，对于企业内部采用集中采集模式，而企业之间采用 分布式采集模式。在每一个企业内部都设置多个中心

7、服务 器，将企业共享的信息数据进行存储。对于中心服务器间的 组织则采用分布式数据采集模式。根据结构类型的不同，可将大数据分为结构化数据、半结构大数据及非结构化数据。在数据采集过程中，应该先对 数据类型进行分析，根据不同类型，通过云计算的扩展、容 错等优势，实现对数据的同构化，实现各结构数据对接。3.2 大数据存储技术大数据的一大特点是“大” ，如果采用传统数据存储技术，将难以满足大数据的储存需求。原因如下：1）在大数据时代背景下，数据量迅速增长，传统以单结点为主的数据仓库在海量数据面前显得力不从心。2）按行存储是传统数据仓库的主要形式，但在视图、索引等维护上需要花费过大的成本。在云计算背景下，

8、大数据存储以列式存储为主。这种方式主要根据数据的属性存储，与按行存储相反，将每一个属 属性列进行访问， 大大提升系统输入 /输出的效率。 由于相邻 列?稻堇嘈拖嗨贫雀撸 ?因此采用这种存储模式能够提升数据 的压缩率，压缩后更能减少数据传输的成本。大数据存储发 展如图 2 所示。性按照一列进行存放。在数据投影过程中，只能对涉及到的3.3 大数据联机分析技术 联机分析处理技术是大数据仓库系统中的关键内容，复杂的数据分析过程，其重点在决策性分析，为用户提供实际 结果。采用联机分析手段，从综合数据分析出发，建立多维 模型，得到全面数据分析结果，为决策者提供参考依据。联 机分析处理的一个特点就是数据分析

9、，将数据仓库与联机分 析技术相结合，不仅能够计算海量数据，还能够分析数据。3.4 大数据挖掘技术采用联机分析技术，往往只能够获取表层的知识信息，但对于数据信息潜在的联系却知之甚少。但在云计算背景，利用数据挖掘技术能够获悉数据本身，并将数据之间潜 在的联系想明白，利用概念、规律或模式等将其表示出来。目前，大数据挖掘技术主要为并行模式，在大规模数据处理 中具有较大优势。以往串行数据挖掘处理的数据规模较小， 花费时间较长，而采用分布式并行数据挖掘技术，利用分布 式系统，采用集群、 拆分等多种方式， 提升数据计算的效率。此外，云计算背景下的数据挖掘技术能够发挥并行挖掘优 势，与其他串行方式相比，并行挖

10、掘技术能够通过机器集群 拆分分布式系统中的并行任务，将任务进行拆分后再处理， 由更多的机器进行分任务的处理，提升数据处理效率，可在定程度上节约数据处理的成本。3.5 大数据可视化技术 通过数据挖掘技术可实现对大数据多维度、深层次的分析，便于获取更多有效信息。在云计算平台基础上就能够实 现可视化技术， 将上述信息具体化， 使其更形象的展示出来， 将数据信息之间的关系更直观的展示给用户，便于用户理 解。可视化技术是指在数据存储空间中，用图形图像的方式将数据库以及数据库中的相关数据表示出来，同时，在展示 过程中利用某些手段，将图像中蕴藏的相关隐藏信息挖掘出 来。传统的数据处理过程仅仅基于数据本身，对

11、数据中蕴含 的信息进行观察与分析。但借助云计算可视化技术，不仅能 够实现对非空间数据多维度图像的显示，同时还能在图形显 示过程中实现直接的检索过程，帮助用户更好地挖掘数据信 息、理解数据信息，提升信息检索效率。4 结语 通过上述分析可知，在信息技术不断发展的今天，人们进入了大数据时代，对于海量大数据的处理与分析，传统的 数据处理技术已明显出现颓势。而云计算的出现正好解决了 这一问题，为大数据处理提供了可能，通过大数据采集、存 储、分析与挖掘，实现对大数据的合理运用，为客户提供更 高质量的数据服务。参考文献1任磊.基于电力行业云计算的大数据架构研究J. 科技与企业， 2015（2）： 94.2龚旭.基于云计算的大数据处理技术探讨J.电子技术与软件工程， 2015（ 10）：198.3张兰.基于云计算的电子商务数据缓存处理的研究 J.电脑知 ?R 与技术， 2016，21（ 1）： 87-88.4 任梁.试论云计算技术下的大数据处理系统J.电子技术与软件工程， 2014 （16）： 27.5 郭群.基于云计算下大数据在医疗领域的应用研究 J.福建电脑， 2016，32（ 6）： 131