物联网大数据分析实验室建设方案

物联网大数据分析实验室建设方案 物联网大数据分析实验室建设方案物联网大数据分析实验室建设方案3、Hadoop核心主要功能设计4、HDFS介绍-文件读流程Client向NameNode发起文件读取的请求。物联网大数据分析实验室建设方案物联网大数据分析实验室建设方案NameNode返回文件存储的DataNode的信息。Client读取文件信息。5、HDFS介绍-文件写流程Client向NameNode发起文件写入的请求。NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。6、MapReduce——映射、化简编程模型输入数据->Map分解任务->执行并返回结果->Reduce汇总结果->输出结果物联网大数据分析实验室建设方案物联网大数据分析实验室建设方案7、HBase——分布式数据存储系统Client：使用HBaseRPC机制与HMaster和HRegionServer进行通信Zookeeper：协同服务管理，HMaster通过Zookeepe可以随时感知各个HRegionServer的健康状况HMaster:管理用户对表的增删改查操作HRegionServer：HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据HRegion:Hbase中分布式存储的最小单元，可以理解成一个Table物联网大数据分析实验室建设方案HStore：HBase存储的核心。由MemStore和StoreFile组成。HLog：每次用户操作写入Memstore的同时，也会写一份数据到HLog文件2、平台性能及优势先进性、开放性。基于Hadoop/Spark主流大数据结构的应用技术和开放式的体系框架，结构化设计，灵活可拆分，具有灵活的可扩充接口，易于修改调整、二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风险，保证投资的有效性和延续性。可扩展性。由于采用了平台化构建思想，章鱼大数据整个系统可做到与底层多种硬件环境、操作系统、数据接口的自由适配，保证系统在软件、硬件环境方面的灵活配置以及未来的拓展应用。采用基于开放的模块化设计，可根据需要进行灵活动态的模块扩充，并保证原系统环境不受影响。系统提供开放的标准接口，可实现与外围业务系统的无缝集成应用，灵活扩展系统的业务应用范围。物联网大数据分析实验室建设方案物联网大数据分析实验室建设方案3、稳定性、可靠性。系统采用集群结构应用模式，集中安装部署，客户端零安装，所以系统的运行不受任何客户端单点故障的影响。技术框架的支撑，可以实现数据信息的持久、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。4、其他优势。八、硬件系统建设1、服务器采用二十台高性能品牌服务器作为大数据节点进行建设，采用企业级全千兆三层交换机进行网络数据交换。每台节点的配置如下：处理器每节点支持2个英特尔®至强®处理器E5-2620v4CPU物联网大数据分析实验室建设方案高速缓存高速缓存15MBQPI总线速率7.2GT/s内存提供12个内存插槽，标配192G内存，支持高级内存纠错，内存镜像，内存热备等高级功能磁盘标配3块3TBSAS硬盘标配2块480GSSD硬盘网络控制器集成1个高性能千兆以太网控制器（双口），支持虚拟化加速，网络加速，负载均衡，冗余等高级功能电源标配大功率高效白金级电源，1+1冗余虚拟化技术支持VMwarevSphere、Docker、OpenStack等2、实验终端设备采用20台普通品牌PC机作为物联网大数据实验终端设备。每台终端配置如下：处理器处理器第四代智能英特尔酷睿I3处理器内存DDR38G内存磁盘500GBSATA硬盘显卡集成H110芯片显卡声