智慧环保项目解决方案说明书

智慧环保解决方案说明书XX科技股份有限公司编制目录一、项目存在问题及需解决问题 31.存在问题 32.需解决问题 4二、解决方案 61.解决方案架构 62.关键技术 7（1）Hadoop 7（2）SpringMVC 7（3）MyBatis 8（4）Echarts 8（5）MySQL 8（6）Hive 8（7）HBASE 9（8）Zookeeper 9（9）Flume 9三、开发范围 101.数据生产 102.数据采集/消费 103.数据分析 114.数据展示 12项目存在问题及需解决问题存在问题由于前期缺乏统筹规划,在标准规范制定、集约化建设、资源共享和业务协同、智慧环保建设方面面临很多问题,归纳起来,主要表现在以下几个方面。环境信息标准规范体系不完善。我国各类环境业务系统建成于不同时期,不同的业务系统都自成一套管理体系，由于缺乏统一的环境信息标准和规范，导致了同一类数据有多种不同的编码体系、同一种管理事务有多套应用系统、同一数据的来源有多个采集渠道等问题。由于不同部门的信息管理渠道与数据标准存在差异，造成了基层环保工作人员工作内容繁冗重复。而领导决策缺少横、纵向可量化分析的数据基础,严重制约了环境管理效率和环境监管能力。低水平重复建设现象普遍存在。近几年,我国各地环保部门纷纷加大信息化建设力度，采购了大量软硬件资源,建立了多个应用系统。但是,由于缺乏统一的环境信息化建设规划和顶层设计，各部门大多是独立开展环保信息化建设工作，面向同一业务需求存在多个相互独立的业务应用系统,数据、应用相互矛盾的现象常有发生。与此同时,各部门的信息化建设在运维过程中普遍存在设备资源利用率低、信息系统运维难、人工成本高和能源消耗大等问题。信息资源共享和业务协同能力不足。多年以来,我国各级环保机构面向不同业务需求,已建成了环境监测、应急管理、污染源监控等一系列应用系统,也积累了大量的环境信息资源,但这些系统的互联互通性差,信息资源交换难,造成大量的“应用孤岛”、“数据孤岛”。此外,目前我国的环境业务应用系统的功能更多停留在表层的信息存储和传递,缺乏面向管理决策的数据海量存储、深度挖掘、综合应用和智能分析,无法满足新时期环境管理与科学决策支撑的业务需要。信息化应用与管理需求不匹配。环境污染常常是多地域共同造成的,环境治理也需要各方的协同配合。但目前的环境管理方式是辖区负责制，各地方环保机构只关注自己管辖范围内的环境问题，严重影响了污染治理的效果。亟需打破部门壁垒,促进跨行业、跨区域、跨部门的业务协同和资源共享。环保信息化的深入推进对现行的环境管理工作方式提出了新的挑战,需要国家层面站在更高的角度，统筹推进全国各区域的环保信息化建设。需解决问题1、加强基础设施建设，找寻更多发展点与赢利点总的来说，智慧环保是一种兴盛的产业，绝大部分人对于此事并不了解，而且对它的优点了解并不深刻。因而，智慧环保产业要想完成迅速发展壮大，就务必从认知层和服务项目层下功夫。在认知层层面，理应扩张在全社会的宣传和倡导，此外，创建优秀的信息精确测量、监管等认知系统软件，完成对社会发展各类信息内容的认知和解决;在服务项目层层面，智慧环保产业应当充分利用无可比拟的云计算技术、互联网技术、互联网大数据等技术，融合剖析各种海量数据，大量地服务于各种传统产业，为传统产业的环保给出的数据支持和服务咨询。就现阶段来讲，智慧环保产业要想在全社会发展范围内寻得创业商机，就务必先从社会发展认知和服务项目下手，搭建可认知的信息管理系统及其多方位的综合服务平台，在社会发展中找寻盈利点和商机。智慧环保产业根据各类互联网技术把握了很多的信息内容，因而在发展流程中是具备先天优势和敏感度的,因而搞好社会发展认知和社会化服务这两条 线，必定会获得长期发展。2、潜心维护保养和经营阶段，把握发展壮大主动权当今智慧环保正处在迅速发展壮大阶段,从我国到各地区都会着眼于智慧环保的基本建设，预估五年内可以基本建设完成。完工以后必定会展开试运行，另外伴随着很多的中后期维护保养，这些工作并不是哪一个部门可以承揽的，要靠社会的能量，要靠市场的导向性，因而中后期智慧环保产业的经营及维护保养必定是发展壮大的头等大事。因而智慧环保产业要想完成迅速健康发展，就务必提早搞好运作及中后期维护保养的提前准备，紧随市场智慧环保的基本建设进展，争得在智慧环保中后期把握发展壮大主动权。3、传统式环保产业应利用信息内容技术加快转型发展在我国的环保任务十分严峻,而且耗资极大,后期我国必定会在环保上颁布大量现行政策，对环保标准会更为严苛，传统产业假如不能够完成转型发展，很有可能会因为担负不了环境污染的处罚而造成倒闭。因而,传统产业要想从这次环保战事中获得开创性发展壮大，必须协同信息化管理技术，加速技术转型发展，那样才可以占领一些智慧环保市场。4、自主创新运营模式，提升盈利效率就现阶段来讲，针对智慧环保产业的详细介绍还比较少，各界人士对于此事可能也是持犹豫心态，在我国的智慧环保基本建设依然以政府部门带头实施建设，可是伴随着智慧环保基本建设的发展壮大，必然后期会存有很多的经营及维护保养工作，只靠政府部门的能量难以保持长期发展壮大。因而，智慧环保务必自主创新运营模式，将智慧环保走向市场。一方面，能够采用在小城市规划建设示范点，当取得实效以后，再扣除中后期的附加费、维护费用;另一方面，根据小城市示范点吸引住大都市的注意与兴趣，完成大都市的选购和基本建设。解决方案解决方案架构图1解决方案架构图系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。Hadoop能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。关键技术HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。Hivehive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)-->HDF