数据存储与分析平台需求

数据存储与分析平台需求掌握大数据数据存储与分析平台项目建设需求

按照需求分析工程师、软件设计工程师的分析，对我们的项目中数据的存储和分析进行了整体的设计，系统结构如下：简介

从架构图中，我们可以看到，我们通过Flume将数据采集子系统产生的数据存储到HDFS平台，进行数据的存储，在存储的过程完成之后再通过MapReduce进行数据的清洗工作，清洗之后符合规则的数据还需要再存储在HDFS中，然后将存储之后的数据转换成Hive中的表，再通过Hive的SQL对整个项目的需求进行分析，分析之后的结果会暂存再Hive的表中，最后通过Sqoop工具将最后的结果传输到可视化子系统中。

架构图解释

数据处理过程在凌晨00:01启动，首先将接收到的数据通过Map/Reduce程序完成不合规数据的清洗，将有效数据保存并上传到HDFS分布式存储系统后，将数据导入Hive数据仓库后，启动数据分析模块，完成数据统计后，将统计结果通过Sqoop推送到数据可视化模块，完成当前的离线分析工作。数据处理过程mapreduce MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。组件介绍sqoop Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。组件介绍HDFS

HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoopCore项目的一部分。组件介绍Flume Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。组件介绍HIVE hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapRed