智慧水务项目解决方案说明书

智慧水务解决方案说明书XX科技股份有限公司编制目录一、项目存在问题及需解决问题 31.存在问题 32.需解决问题 4二、解决方案 61.解决方案架构 62.关键技术 7（1）Hadoop 7（2）SpringMVC 7（3）MyBatis 7（4）Echarts 8（5）MySQL 8（6）Hive 8（7）HBASE 9（8）Zookeeper 9（9）Flume 9三、开发范围 101.数据生产 102.数据采集/消费 103.数据分析 114.数据展示 12项目存在问题及需解决问题存在问题1、硬件资源存在过度浪费随着我国智慧城市建设战略的提出，越来越多的城市开始进行智慧城市建设，但是由于现阶段很多标准与规范尚不完善，导致很多城市盲目的开展相关基础设施的建设，致使软件、设备以及硬件等资源出现了极大的浪费，致使投资预算严重超标，从而对智慧水务大数据平台的建设造成严重影响。2、信息来源较为单一由于智慧水务的概念是最近几年刚刚提出的，所以导致我国在建设智慧水务大数据平台时，仍然存在许多问题，而缺乏足够的有效信息便是其中之一，并且也由此造成在建设水务智慧大数据平台期间，很多信息得不到充分的匹配，同时也出现了各个职能部门在信息搜集过程中存在意见不一致的状况，从而影响整个大数据平台的建设进度。3、信息安全与资金调配不到位对于智慧水务大数据平台而言，信息安全是考验平台运行的关键问题。然而在现阶段，我国专业信息技术安全人才较为匮乏，致使大数据平台在建设期间需要频繁地解决安全问题，影响了平台的建设效率与质量。另外，建设智慧水务大数据平台需要较多的资金支持，但是资金短缺是很多城市所面临最为严重的问题，导致大数据平台的建设难上加难。需解决问题1、注重信息系统的整合鉴于智慧水务大数据平台的建设存在较强的专业性，所以在大数据平台建设期间，必须要做好信息系统整合工作，规范大数据平台中的各类数据库、数据类型以及相关接口，这样可以在大数据平台上进行实时的信息共享，为智慧水务大数据平台的运行搭建奠定坚实的基础。以力通智慧水务平台为例，其通过大数据采集与云计算、物联网等新一代信息技术，将海量数据，经数据处理器进行差异数据处理分析，能够实现建立统一的数据管理平台，对各个业务系统中的数据进行统一抓取、统一格式存储、统一分析处理。2、灵活地制定大数据平台运行方式对于智慧水务大数据平台来说，其运行方式存在多种类型，如果供水企业的规模较小、运营资金有限，便可以通过购买服务的方式来快速地完成自身大数据平台的搭建，同时用户还可根据自身的实际需求来对不同种类的服务进行定制，并且可交由网络来存储自身的数据信息，确保数据信息的安全性。由此可见，将智慧水务大数据平台的运维交给专业人员或者机构来实施，不仅可以提供更为优质的大数据服务，同时也可始终保持大数据平台的先进性与可靠性。3、将大数据思想贯彻到底大数据时代的到来，使得社会的发展以及民众的生活质量均提升到了一个新的阶段。对于大数据来说，数据量大、种类多，实时性强是其最为基本的特点，同时也是现阶段智慧城市发展的核心所在。因此，在建设智慧水务大数据平台过程中，必须要将大数据时代的思想予以有效贯彻，利用大数据平台的先进性来帮助相关企业提升生产、管理等工作环节的质量与效率，同时实现生产成本显著降低，对相关企业今后的发展可起到关键的促进作用。4、注重专业人才队伍的培养在建设智慧水务大数据平台过程中，为了提高平台的建设质量，专业人才的培养是十分关键的，同时也可保证大数据平台今后的应用效果。其中，由于水务系统专业众多，必须要根据专业的不同来合理地进行人才培养，同时加强复合型人才培养的力度，确保各个项目的协作交流可以顺畅无阻。此外，应关注数据库管理与维护人才的培养，因为在大数据平台运行期间，难免会遇到数据库管理方面的问题，同时数据库的维护，也存在较强的专业性，所以应加大数据库管理与维护人才的培养力度。解决方案解决方案架构图SEQ图表\*ARABIC1智慧水务解决方案总体架构HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。核心技术HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。HiveHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)-->HDFS线上数据-->flume-->kafka-->sparkstreaming实时流式处理消费存储模块流程图：图SEQ图表\*ARABIC