大数据处理：技术与流程

1、大数据处理：技术与流程文章来源： ecp大数据时间： 2013/5/22 11:28:34发布者： ecp大数据（ 关注： 848） 标签：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。特点是： 数据量大 (volume) 、数据种类多样 (variety)、要求实时性强 (velocity)。对它关注也是因为它蕴藏的商业价值大(value)。也是大数据的 4v 特性。符合这些特性的，叫大数据。大数据会更多的体现数据的价值。各行业的数据都越来越多，在大数据情况下， 如何保障业务的顺畅， 有效的管理分析数据， 能让领导层做出最有利的决

2、策。这是关注大数据的原因。也是大数据处理技术要解决的问题。大数据处理技术大数据时代 的超大数据体量和占相当比例的半结构化和非结构化数据的存在，已经超越了传统数据库的管理能力，大数据技术将是it 领域新一代的技术与架构，它将帮助人们存储管理好大数据并从大体量、高复杂的数据中提取价值，相关的技术、 产品将不断涌现，将有可能给 it 行业开拓一个新的黄金时代。大数据本质也是数据，其关键的技术依然逃不脱：1）大数据存储和管理； 2）大数据检索使用（包括数据挖掘和智能分析）。围绕大数据，一批新兴的数据挖掘、数据存储、数据处理与分析技术将不断涌现，让我们处理海量数据更加容易、更加便宜和迅速， 成为企业业务

3、经营的好助手，甚至可以改变许多行业的经营方式。大数据的商业模式与架构云计算及其分布式结构是重要途径1） 大数据处理技术正在改变目前计算机的运行模式，正在改变着这个世界：它能处理几乎各种类型的海量数据，无论是微博、 文章、 电子邮件、 文档、 音频、 视频， 还是其它形态的数据；它工作的速度非常快速：实际上几乎实时；它具有普及性： 因为它所用的都是最普通低成本的硬件，而云计算它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。云计算及其技术给了人们廉价获取巨量计算和存储的能力， 云计算分布式架构能够很好地支持大数据存储和处理需求。这样的低成本硬件 +低成本软

4、件 +低成本运维，更加经济和实用，使得大数据处理和利用成为可能。2） 大数据的存储和管理云数据库的必然很多人把 nosql叫做云数据库， 因为其处理数据的模式完全是分布于各种低成本服务器和存储磁盘， 因此它可以帮助网页和各种交互性应用快速处理过程中的海量数据。它采用分布式技术结合了一系列技术，可以对海量数据进行实时分析，满足了大数据环境下一部分业 务需求。但我说这是错误的，至少是片面的，是无法彻底解决大数据存储管理需求的。云计算对关系型数据库的发展将产生巨大的影响，而绝大多数大型业务系统 （如银行、证券交易等） 、电子商务系统所使用的数据库还是基于关系型的数据库，随着云计算的大量应用，势必对这

5、些系统的构建产生影响，进而影响整个业务系统及电子商务技术的发展和系统的运行模式。基于关系型数据库服务的云数据库产品将是云数据库的主要发展方向，云数据库（ clouddb），提供了海量数据的并行处理能力和良好的可伸缩性等特性，提供同时支持在在线分析处理（olap）和在线事务处理 (oltp)能力， 提供了超强性能的数据库云服务， 并成为集群环境和云计算环境的理想平台。 它是一个高度可扩展、 安全和可容错的软件， 客户能通过整合降低it 成本，管理位于多个数据，提高所有应用程序的性能和实时性做出更好的业务决策服务。这样的云数据库要能够满足：a 海量数据处理：对类似搜索引擎和电信运营商级的经营分析系

6、统这样大型的应用而言，需要能够处理pb级的数据，同时应对百万级的流量。b 大规模集群管理：分布式应用可以更加简单地部署、应用和管理。c 低延迟读写速度：快速的响应速度能够极大地提高用户的满意度。d 建设及运营成本：云计算应用的基本要求是希望在硬件成本、软件成本以及人力成本方面都有大幅度的降低。所以云数据库必须采用一些支撑云环境的相关技术，比如数据节点动态伸缩与热插拔、对所有数据提供多个副本的故障检测与转移机制和容错机制、sn（ share nothing）体系结构、中心管理、节点对等处理实现连通任一工作节点就是连入了整个云系统、与任务追踪、数据压缩技术以节省磁盘空间同时减少磁盘io 时间等。云

7、数据库路线是基于传统数据库不断升级并向云数据库应用靠拢，更好的适应云计算模式，如自动化资源配置管理、虚拟化支持以及高可扩展性等，才能在未来将会发挥不可估量的作用。3） 大数据的处理和使用新型商业智能的产生传统针对海量数据的存储处理，通过建立数据中心， 建设包括大型数据仓库及其支撑运行的软硬件系统，设备（包括服务器、存储、网络设备等）越来越高档、数据仓库、olap及 etl、bi 等平台越来越庞大，但这些需要的投资越来越大，而面对数据的增长速度， 越来越力不从心， 所以基于传统技术的数据中心建设、运营和推广难度越来越大。另外一般能够使用传统的数据库、数据仓库和bi 工具能够完成的处理和分析挖掘的数据，还不能称为大数据， 这些技术也不能叫大数据处理技术。面对大数据环境， 包括数据挖掘在内的商业智能技术正在发生巨大的变化。传统的传统商业智能技术，包括数据挖掘， 主要任务舒建立比较复杂的数据仓库模型、数据挖掘模型，来进行分析和处理不太多的数据。也许由于云计算模式、 分布式技术和云数据库技术的应用，我们不需要这么复杂的模型，不用考虑复杂的计算算法，就能够处理大数据，对于不断增长的业务数据，用户也可以通过添加低成本服务器甚至是pc机也可以，来处理海量数据记录的扫描、统计、分析、预测。如果商业模式变化了， 需要一分为二， 那么新商业智能系