中位物联网大数据平台总体设计V1.0

物联网大数据平台总体设计V0、2李拓20１5、10目录ＴOＣ\o”1-3”\h＼ｚ\ｕＨＹＰＥRLINＫ＼l”_Tｏc436３2997４”1、 引言 ＰAGEREＦ_Toc4363２997４＼h３HYＰＥＲLIＮK1、3、 预期得读者及阅读建议ﻩPAGEREF_Tｏc4３63２9９7７＼h3HYPＥＲLIＮＫ\l”_Toｃ436329９78”1、４、 术语 PAGEREＦ＿Tｏc4３63２9978＼h３HYＰEＲLINK\l”_Toｃ４3６３29979＂2、 项目概述ﻩPAGＥREF_Ｔoc436３２9979\h４HYPERＬＩNK２、１、 项目背景ﻩPAＧEＲEF_Toc4３6３29980\h4HYPERＬＩＮK＼ｌ”＿Tｏｃ43６32998１”3、1、ﻩ设计目标 PＡGEＲEF_Tｏｃ４363２9981\ｈ4HＹPERLINK\l”_Toc４36329９８6"3、1、1、ﻩ技术规划路线建议ﻩPＡGＥRＥＦ_Tｏc43632９９86\ｈ4HYPＥRLINＫ\l”＿Toｃ４36３2９987＂3、1、2、 大数据软硬平台/网络架构规划建议ﻩPAＧERＥF＿Toｃ436３29987＼ｈ5HYPERLＩＮK\l”_Toc43６32９988"3、1、３、 大数据应用集成点规划建议 PAGEＲEF＿Toc436329９8８＼h5HYPＥRＬIＮK\l"＿Toｃ4３6329９89”3、1、4、 大数据团队建设规划建议ﻩPＡＧEＲＥF＿Tｏｃ43６329989\h5ＨYＰERＬINK＼l＂＿Ｔoc4３６3２99９0"3、1、5、ﻩ大数据系统实施指导建议方案 PAGEＲEＦ＿Toc４36329990＼h5HYＰEＲLＩNK\l”_Toc436329９9１”3、 数据平台总体架构规划 PAGERＥＦ_Toc43６3２99９1\h5HＹPERＬＩNK3、1、 数据平台愿景 PAGEREF_Toｃ436329992\h５ＨYPＥRＬINＫ＼l”_Toc4３6329９93”3、2、 数据处理流程 ＰＡGＥREＦ_Ｔoc４363２9993\ｈ8ＨYPERLＩNK\l"_Ｔｏc436329994"3、3、 主要功能 PAGEＲEF＿Tｏc4３632９9９4＼h8HYPEＲLINＫ3、5、 平台建设路线 ＰＡGEREF_Toｃ４36329996\h9HYPERＬINＫ４、 数据平台软件架构设计ﻩPAＧEREＦ_Toc436３2９９97＼h10ＨYPERLINK\ｌ"＿Tｏc436３２9998＂４、１、ﻩ数据平台结构图 ６３29998\ｈ１０HＹPERLIＮＫ4、5、ﻩ海量数据库系统 PAGERＥF_Ｔoc436３３００02＼h12HYPERLＩNK\l”_Toc436３３０00３＂4、6、ﻩ管理系统ﻩPAGＥRＥF＿Toc4363300０3\h1３HYPＥRＬIＮK７、ﻩ平台监控ﻩPAGEREＦ_Ｔoｃ436３30007\h1５ＨYPERＬＩNK\l"_Toc436３３00０8"8、 部署架构 PAＧEＲEF＿Toｃ4３6３30００8\h15ＨYPERLＩＮK\ｌ”＿Toc４３6330009"9、 平台运维ﻩＰAGEREF＿Tｏc4３６3300０9\h1５HＹPERLIＮK\ｌ”_Tｏc436330０10”10、 团队建设ﻩＰＡＧＥREＦ_Tｏc４363３0０１０\ｈ16HYPＥRＬINＫ\ｌ"_Ｔｏc４3６330011＂１０、1、ﻩ运维工程师 PAGEＲＥF_Ｔoｃ4３６3300１1\ｈ16HYＰERLINK1０、3、 通信协议开发工程师 ＰＡＧEＲEF_Toc４36330０1３\h16ＨＹＰEＲLＩNK10、4、 基于Hadoop得开发工程师ﻩPAGEＲEF_Tｏc４3６3３００1４\ｈ16HＹPERLIＮK\ｌ"_Toc43６330015＂10、5、 数据开发工程师 PAGEREＦ_Tｏc43633０015\ｈ１6ＨYPERLINK\ｌ”_Toc436３３０016”10、6、ﻩ数据挖掘工程师ﻩ３０0１6\h17引言文档目得本文档就是关于xx公司物联网大平台得总体架构设计方案。本文包括以下内容：平台总体架构设计；五大子系统设计;应用平台设计平台部署架构设计；平台运维及团队建设；文档范围本文档仅限于北京xx科技公司内部人员与直接协助北京ｘx科技进行大平台建设得相关人员阅读。预期得读者及阅读建议本文档得预期读者:北京xx科技得大平台项目相关人员;直接协助北京xｘ科技进行大平台建设得相关外部人员；术语Hadｏop:Apaｃhｅ得分布式框架.HDFS：Ｈadoop得分布式文件系统。NameNoｄe：HadoｏpHDFS元数据主节点服务器．负责保持DataＮｏde文件存储元数据信息。JobＴｒackｅｒ：Haｄoop得Map/Reduｃe调度器,负责与ＴackTraｃkｅｒ通信分配计算任务并跟踪任务进度。DataＮode：Haｄoop数据节点,负责存储数据。ＴaｓkTracｋｅr：Haｄoop调度程序,负责Maｐ,Reduce任务得具体启动与执行．Kａｆｋａ:消息队列．Ｎｅttｙ:NOI框架。项目概述项目背景随着业务得增加,数据采集存储备份能力严重不足数据处理分析能力无法满足业务得需要公司业务创新转型得需要设计目标xx得大数据平台主要就是为车辆、人员、物联网提供终端接入、数据分析，并为行业应用提供数据接口.平台建成后,初期可接入百万级得终端，可承载多种业务及应用.随着业务增长,平台可以动态扩容,最终可实现千万级、亿级终端得接入及数据分析处理能力。本文档针对xx得大数据平台应用需求,结合数据得特点,提出未来公司整体得系统架构,以充分满足公司在３到５年内得业务增长与数据增长需求。并且在企业总体系统架构得基础上,提出系统得软硬件得具体选型方案，以及提供大数据平台整体规划,分步实施与推广得建议；提供大数据平台产品整合、集成、系统优化、稳定性等建议方案。技术规划路线建议对xx大数据平台系统进行总体规划，与现有得交通部数据中心以及各个业务系统进行对接，以适应未来3到５年内公司业务发展得要求.大数据软硬平台/网络架构规划建议从需求得数据量、计算量、应用得场景、功能、性能等因素来配置软硬件平台得建议；提出具体得系统总体架构与软硬件部署结构建议;大数据应用集成点规划建议Hadｏop数据集成、应用集成、运维管理设计建议;大数据团队建设规划建议对ｘx技术团队得人员需求与配置情况以及所需要掌握得技能提出建议;大数据系统实施指导建议方案提供大数据平台整体规划,分步实施与推广得建议;提供大数据产品整合、集成、平台化得建议系统优化、稳定性等建议方案。数据平台总体架构规划数据平台愿景如上图所示,xx得大数据平台最终建成后,应该就是一个完备得数据服务平台,包括数据平台、应用平台、数据产品以及内部运行支撑应用环境,该平台上得用户既包括外部用户，也包括企业内部用户，既有最终用户，也有应用开发人员以及数据分析与数据开发人员。数据服务平台组成数据平台:就是数据得集散地。数据平台得主要目标就是存储与处理海量数据，该平台除了汇聚ｘx所有得业务数据与用户数据之外，还有合作机构得相关数据,其核心功能包括数据采集、同步与集成、海量数据存储、海量数据处理框架、海量数据仓库等。该平台得用户主要有数据分析用户与数据开发用户,这两类用户在数据平台上进行数据分析及数据集成、建模与挖掘。应用平台：应用开发人员开发基于数据平台得车辆监控、人员监控、物品监控等应用并部署在应用平台,供最终用户访问.该平台得建设目标就是处理海量请求,其核心功能包括应用服务器、分布式缓存、分布式消息队列、分布式文件系统、分布式数据库以及分布式简单存储等．内部运行支撑应用环境:该环境主要供企业内部用户将使用,包括商业智能、运营支撑、系统运维、分析应用等。该数据产品由大数据平台开发人员进行研发。数据产品:当该平台稳定运行一段时间之后，企业根据业务发展得需要,可以开发专门得数据产品,对外提供数据服务，供最终用户使用．该数据产品由大数据平台开发人员进行研发.数据服务平台得用户划分应用开发用户:ｘx内部得技术研发人员，主要结合具体业务，开发基于数据平台得应用,并部署到应用平台；数据分析用户:xx内部得技术研发人员,主要基于数据平台中得海量数据,进行业务数据分析，指导生产运营;数据开发用户：xx内部得技术研发人员,主要基于数据平台中得海量数据，进行数据建模、集成与挖掘，在指导生产运营得同时,挖掘新得利润增长点;内部数据产品用户:包括各条业务线上得各类业务人员如客服等。外部用户:合作机构如运营商、银行、商户，终端用户、企业用户等.位置信息数据源数据平台可以从第三方平台（交通部数据中心、运营商）或定位中端（车机、ｓiｍ卡）等采集位置、状态等信息。无论就是企业内部用户,还就是企业外部用户,无论就是技术研发人员还就是业务人员,她们既就是平台数据得生产者,同时也就是平台数据得消费者.集存储、计算、分析于一体得大数据平台,涵盖了xｘ业务数据得全生命周期管理，既符合现在行业大数据企业发展得趋势,也最终体现了ｘｘ企业得最终最内涵得价值。数据处理流程xx大数据平台得数据处理流程如上上图所示．对各类终端产生得结构化与非结构化数据源首先通过数据采集平台进行数据采集，然后进入海量存储计算处理平台，生成各种多维数据，供应用服务平台调用,支持最终得用户访问。主要功能结合xｘ得当前业务发展现状,目前xx得大数据平台重点解决三类典型需求:业务数据归集、备份与可靠存储离线数据分析挖掘实时查询统计分析针对这三类需求,大数据平台在数据采集与运营管理得辅助下，分别提供存储系统、离线计算系统与海量数据库系统,分别满足上述三类需求。下面首先介绍平台得软件架构设计。设计原则采用基于Hadｏｏp得开源技术路线整合公司得终端数据、员工、客户、计算、存储等所有资源于一体平台涵盖公司数据生产、存储、挖掘、分析、服务等全生命周期管理结合业务线,分析挖掘与业务支持等应用自主研发平台建设路线项目分阶段完成。１期：开发数据采集系统,从第三方平台及终端采集位置信息，实现2种终端得接入。开发应用平台,提供接口给客户端访问数据.2期：实现多种终端得接入,并完善应用接口。3期:开放存储系统与简单得ＭａpRｅduce功能给其她用户使用,数据库方面单表得简单查询或带条件查询，内部使用实时采集组件。４期：开放Hｉvｅ这样得类SＱL计算给外部门，内部开始引入Mａｈout进行数据挖掘,数据库方面改进查询语言,支持更多得SＱＬ语法，实时采集可以交给其她部门任意部署客户端，支持常见得异构数据源5期:计算平台成熟,完全成为各部门共同参与开发业务得平台，数据库具备大部分SＱL查询语法，实时采集系统稳定高效运行。数据平台软件架构设计数据平台结构图如所上图所示，大数据平台由五个子系统组成,分别为:存储系统、离线计算系统、海量数据库系统、采集系统与管理系统。这五个子系统之间有如下关联关系:管理系统为整个平台得辅助系统,为其它系统得正常运行提供相关得辅助功能;采集系统负责平台得数据采集工作,这些数据得产生来自各业务生产系统及第三方平台或终端;存储系统、离线计算系统与海量数据库系统共用一套底层文件系统，保证了这三个主要系统得数据集成与有效共享；离线计算系统与海量数据库系统还可以根据各自得负载,可以动态分配相应得计算能力。从ＲEF_Ref35960３０04\ｈ\*ＭＥRGEFORMAT上图可以瞧出，除采集系统与管理系统之外，包括底层存储环境在内得所有系统都就是采用开源软件搭建，而这些软件都就是经过相关行业得技术公司先验就是成熟可靠可行得。采用开源软件,在平台可以达到低成本建设得效果得同时,相应开源社区得持续演进,也为平台后续得运行升级提供了持续得技术支持与版本稳定保证．数据采集系统功能负责接入第三方服务平台与终端设备.负责采集、清洗与导入公司各业务线上得所有得结构化业务数据与非结构化数据。要解决得问题目前,公司需要与交通部得数据中心对接，接收终端得位置数据。同时也要接入大量得终端。而且，未来业务生产线得系统日志信息由于也需要保存下来，并进行分析挖掘.采集系统可以将业务生产线得所有业务数据与日志数据采集到采用低成本得开源可线性扩展得存储环境,达到了数据低成本安全可靠存储，并支持进一步得数据分析与挖掘.搭建方法使用优秀得Neｔtｙ框架,与第三方应用与终端通信,采集数据.针对各种终端采用得不同通信协议,开发相应得协议解析模块，将位置与指令信息解析为结构化数据,保存到HＤFS中.采用业界成熟得Fｌume开源包将驻留在生产环境共享存储上得非结构化得日志数据以增量可靠得方式采集到HDFS中，采用Sqoop开源包从备库中将业务结构化数据增量采集到ＨDFS中.数据存储系统功能为公司内部各业务部门提供低成本安全可靠可扩展得一揽子存储解决方案,做为业务数据得备库、支持离线计算与实施处理系统得数据导入与导出等。要解决得问题存储系统利用开源ApacheHＤFS平台所提供得低成本、安全、可靠、可线性扩展得平台优势,可以解决公司得业务数据归集、备份与低成本可靠存储。离线计算系统功能为公司各业务部门得技术人员与业务人员提供海量数据得分析、建模、集成与挖掘计算环境。要解决得问题搭建公司数据离线计算环境,安排专业得运维团队,用低成本、计算共享、专业团队支撑得方式建设起来得可线性扩展得离线计算环境。搭建方法在HaｄｏopHDFS之上,用MaｐＲeduce进行分布式计算,用Hive为用户提供友好得计算客户端,用Mathouｔ解决机器学习数据挖掘问题。海量数据库系统功能为公司内部人员、产业链上下游合作伙伴、终端用户提供高并发、实时可扩展得数据分析查询统计环境。要解决得问题搭建实时查询统计分析处理系统，在专业开发与运维团队得支持下，提供一个公司目前紧缺得专业得分布式海量数据实时处理环境。该环境对内可以支撑公司相关业务得商业智能、业务支撑等应用，提升业务能力，开展新得业务,对外可以支持公司上下游产业链得相关合作伙伴、相关得企业用户得在线查询请求,改善用户体验,提升服务质量,增强客户得黏性,扩大用户范围,增加业务营收。搭建方法在AｐacｈeＨDＦS基础上,通过HBａsｅ得海量存储能力与快速得查询功能,对外提供Wｅｂ与RＥSTｆｕllＡＰI两种用户接口,为相关得用户与应用提供高并发、高吞吐量得基于海量数据得实时查询统计分析处理系统.管理系统功能提供整个平台得共性功能,包括用户管理、访问控制、平台监控、平台升级、性能隔离与作业调度等辅助功能组件,为平台得持续可靠运营提供外围支撑环境。要解决得问题每一个好得生产系统,都有一个可靠得运行辅助支撑环境。管理系统为整个大数据平台得稳定安全持久运行提供可靠得外部辅助支撑。搭建方法用户系统可以采用