【技术研究】大数据方案

消息接收消息接收消息接收实时计算Kafkaspoutbolt……boltspoutbolt……boltspoutbolt……boltAdapterKafka高速缓存redismc安徽云南青海数据接入方案-storm车牌、终端对应关系g_vbox其他应用其他应用storm集群消息接收业务处理1业务处理n结果落地消息接收消息接收消息接收实时计算Kafka接收运算1……结果落地AdapterKafka高速缓存redismc安徽云南青海数据接入方案-sparkstreaming车牌、终端对应关系g_vbox鹰眼其他应用spark集群接收运算1……结果落地接收运算1……结果落地Kafka分布式文件存储（HDFS）YARNHbaseMRhivesparkimpalazookeeper离线分析实时查询数据存储整体方案轨迹查询里程计算分析统计……平台管理(CM)数据采集(Flume)说明：1、Flume直接采集消息中间件kafka消息，并存储至Hbase中，提供业务查询能力；2、分析工具（hive、spark、impala）通过读取hbase存储在hdfs上数据，提供分析统计能力；3、Hbase支持动态扩展，快速修改表结构，提供高效的KV查询，同时可以集成sql工具，具备sql查询能力；4、数据存储至HDFS，支持动态扩展，支持数据保留多个数据副本，数据安全可靠；5、使用YARN提供统一的资源管理和调度，方便集群各组件资源动态配置；消息落地Hbase数据存储方案Kafka分布式文件存储（HDFS）zookeeper大数据平台平台管理(CM)消息落地Flume-安徽Flume-云南Flume-青海说明：1、kafka分布式消息中间件，通过按topic方式，实现按省份分发消息；2、flume针对不同省份topic，实时采集消息，并存储到Hbase中；3、Hbase存储基于HDFS，提供数据副本机制，高效安全；4、Hbase做为NOSQL数据库，提供快速KV查询，支持高并发（只支持单行事务）；Hbase安徽云南青海Hbase数据备份方案HbaseNameNodeNameNodeDataNodeDataNodeDataNode数据备份程序（impala/hive）Hadoop集群HDFS数据备份步骤：1、编写impala或hive程序，定期执行，把需要备份数据同步至hive表（底层数据存储在HDFS上），hive表数据按省份、日期分区；2、编写hbase程序，批量清理Hbase中历史数据；历史数据迁移方案数据迁移步骤：1、搭建大数据集群，部署组件包括：集群管理工具（CM）、分布式文件系统（HDFS）、Hbase数据库、zookeeper、yarn等；2、部署数据同步工具sqoop；3、设计Hbase表结构，重点关注rowkey设计；4、编写sqoop数据同步脚本；5、执行数据同步；6、新旧数据库数据量比对；MySQLsqoopHbase测试集群配置清单CPU内存存储操作系统节点名称部署程序I732G1T*7200转，机械盘centos6.5master-0平台管理工具（clouderamanger）服务端（server）、客户端（agent）MySQL数据库（元数据存储）zookeeperNameNodeResourceManagerNodeManagerHiveServer、metaStoreServermaster-1zookeeperNameNodeResourceManagerNodeManagerMasterimpalastateStoreimpalacatalogserverslave-0zookeeperRegionServerDataNodeFlumekafka（broker）gateWay(hive)impaladaemonslave-1RegionServerDataNodesqoopkafka（broker）gateWay(hive)impaladaemonslave-2RegionServerDataNodekafka（broker）gateWay(hive)impaladaemon配置说明：1、集群中机器采用同构方案，即CPU、内存、存储采用完全相同的要求；2、此为配置仅用于开发测试，生产中需要提高配置；生产集群最小配置要求CPU内存存储网卡操作系统节点名称部署程序2*IntelXeonE52630V32.4G/八核/十六线程128G,最大支持扩展至1T2*600GSAS15000转；6*2TSATA；千兆网卡centos6.5master-0平台管理工具（clouderamanger）服务端（server）、客户端（agent）MySQL数据库（元数据存储）zookeeperNameNodeResourceManagerNodeManagerHiveServer、metaStoreServermaster-1zookeeperNameNodeResourceManagerNodeManagerMasterimpalastateStoreimpalacatalogserverslave-0zookeeperRegionServerDataNodeFlumekafka（broker）gateWay(hive)impaladaemonslave-1RegionServerDataNodesqoopkafka（broker）gateWay(hive)impaladaemonslave