大数据平台MPP与Hadoop架构分析

1、 Page * MERGEFORMAT 5大数据平台MPP与Hadoop架构分析大数据平台MPP架构MPP (Massively Parallel Processing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的 CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。 MPP架构数据库应具有的特征： 任务并行执行; 数据分布式存储(本地化); 分布式计算; 私有资源; 横向扩展; Shared Nothing架构。大数据平台Hadoop架构通过

2、对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能，在最新的版本中就已经实现了）。NameN

3、ode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据。HDFS支持文件形式的数据。从内部来看，文件被分成若干个数据块，这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间，如打开、关闭、重命名文件或目录等，也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写，并在NameNode的统一调度下进行数据库的创建、删除和复制工作。NameNode是所有HDFS元数据的管理者，用户数据永远不会经过NameNode。架构对比分析HadoopMPP平台开放性完全开放闭源或部分开源扩展能力高低拥有

4、成本低高运维复杂度低（熟悉Hadoop即可）高（需掌握特定厂商的技术，容易被绑架）系统和数据管理成本高中应用开发维护成本高中数据规模PB级别部分PB计算性能高较高数据结构结构化、半结构化和非结构化结构化数据场景支持多样化的工具支持复杂的数据场景如交互式sql分析（Impala），数据挖掘Spark，流式计算Spark Streaming，实时查询HBase，全文搜索Solr等仅支持SQL综合而言：1、Hadoop在处理非结构数据和半结构数据上具备优势,尤其适合海量数据批处理等应用需求。当然随着Hadoop技术的成熟,基于Hadoop的即席查询技术也逐渐崭露头角。比如仿照Dremel的开源项目Cloudera Impala已经有不弱于MPP的性能。而且基于Hadoop架构的CDH平台提供了多样化的数据分析包括实时计算和历史计算，涉及数据查询、数据统计、数据分析（挖掘、学习）、文本检索等。且Hadoop天生具有低成本包括硬件成本，软件成本，开发成本，运维成本等的优势，对于超大数据集也能够很好的支持如PB或以上，CDH的扩展能力也是相当优秀，Cloudera在国外有数个上千节点的项目，在国内也有银联近300个