版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、 智慧环保云平台建设方案目 录 TOC o 1-3 h z u HYPERLINK l _Toc517203745 一、背景及意义 PAGEREF _Toc517203745 h 4 HYPERLINK l _Toc517203746 二、目标与内容 PAGEREF _Toc517203746 h 4 HYPERLINK l _Toc517203747 2.1. 项目目标 PAGEREF _Toc517203747 h 4 HYPERLINK l _Toc517203748 2.2主要研发内容 PAGEREF _Toc517203748 h 5 HYPERLINK l _Toc51720374
2、9 三、思路与方法 PAGEREF _Toc517203749 h 6 HYPERLINK l _Toc517203750 3.1总体技术路线 PAGEREF _Toc517203750 h 6 HYPERLINK l _Toc517203751 3.1.1业务系统的分析 PAGEREF _Toc517203751 h 6 HYPERLINK l _Toc517203752 3.1.2 云存储平台搭建 PAGEREF _Toc517203752 h 7 HYPERLINK l _Toc517203753 3.1.3传感器数据分析与处理 PAGEREF _Toc517203753 h 7 HYP
3、ERLINK l _Toc517203754 3.2 总体技术架构 PAGEREF _Toc517203754 h 7 HYPERLINK l _Toc517203755 四、进度安排 PAGEREF _Toc517203755 h 8 HYPERLINK l _Toc517203756 五、成果及效益 PAGEREF _Toc517203756 h 10 HYPERLINK l _Toc517203757 六、PM2.5云监测系统前端方案 PAGEREF _Toc517203757 h 11 HYPERLINK l _Toc517203758 6.1概述 PAGEREF _Toc517203
4、758 h 11 HYPERLINK l _Toc517203759 6.61.1背景 PAGEREF _Toc517203759 h 11 HYPERLINK l _Toc517203760 6.1.2意义 PAGEREF _Toc517203760 h 11 HYPERLINK l _Toc517203761 6.2设计 PAGEREF _Toc517203761 h 12 HYPERLINK l _Toc517203762 6.2.1 系统架构 PAGEREF _Toc517203762 h 12 HYPERLINK l _Toc517203763 6.2.2 传感器 PAGEREF _
5、Toc517203763 h 15 HYPERLINK l _Toc517203764 6.2.3 计算 PAGEREF _Toc517203764 h 17 HYPERLINK l _Toc517203765 6.2.4 采集部分 PAGEREF _Toc517203765 h 19 HYPERLINK l _Toc517203766 6.2.5 通信部分 PAGEREF _Toc517203766 h 20 HYPERLINK l _Toc517203767 6.2.6 电源部分 PAGEREF _Toc517203767 h 21 HYPERLINK l _Toc517203768 6.
6、3特点 PAGEREF _Toc517203768 h 22 HYPERLINK l _Toc517203769 七、PM2.5云监测系统后端方案 PAGEREF _Toc517203769 h 24 HYPERLINK l _Toc517203770 7.1. 概述 PAGEREF _Toc517203770 h 24 HYPERLINK l _Toc517203771 1.1背景 PAGEREF _Toc517203771 h 24 HYPERLINK l _Toc517203772 1.2意义 PAGEREF _Toc517203772 h 25 HYPERLINK l _Toc5172
7、03773 7.2. 设计 PAGEREF _Toc517203773 h 26 HYPERLINK l _Toc517203774 7.2.1 系统架构 PAGEREF _Toc517203774 h 26 HYPERLINK l _Toc517203775 7.2.2系统可靠性与扩展性 PAGEREF _Toc517203775 h 28 HYPERLINK l _Toc517203776 7.3特点 PAGEREF _Toc517203776 h 31背景及意义 目前环保局已经拥有包括“阳光政务系统”、“12369 投诉系统”、“排污申报收费系统”、“污染应急指挥控制系统”、“机动车排气
8、监测系统”、“污染源在线监测系统”、“环境空气质量监测系统”、“危险固体废弃物管理系统”、“核与辐射管理系统”在内的多套业务系统,可进行业务审批、意见收集、任务指派、排污申报与收费等各项业务功能。存在的问题主要是这些系统各自为政,数据无法有效共享与集成,导致同类数据在不同系统中存在冗余和不一致问题,同时这些系统间缺乏统一的数据管理模式,导致数据保存不规范、不完整。 这些数据的冗余、不一致和缺失使得在日常业务工作中,虽然各系统能发挥自己的做用,处理各自业务功能,但各系统中的数据无法进行有效融合,不能支持全局的数据应用、处理和分析功能,导致出现明明有数据可是却无法找到,无法使用的局面。 通过本次项
9、目研究,一方面利用信息网格技术,动态集成现有系统的业务数据,打破各系统间隔阂,解决环保局范围内各系统的数据集成问题,实现全局范围的数据共享、分析与使用。另一方面,利用云存储和云计算技术,打造一个具有高容量、高可维护性、高性价比、高容错的云平台,支撑海量信息的存储和处理。目标与内容2.1. 项目目标本次课题的研究目标是建立一个集成环保局范围内各在用系统的平台,该平台集成各种环保相关的信息系统的数据库数据、用户投诉数据,以及来至传感器的各种声、光、气、水、温数据。该平台能在对信息进行分析处理的情况下,利用网络服务器通过电脑、智能手机、平板设备等移动终端提供包括企业信息查询、污染应急指挥控制、污染源
10、在线监控等各类服务,可以形成对信息的全面掌握、实时监测、智能分析、历史积累。2.2主要研发内容(1)现有信息系统的数据集成对在用的业务系统进行分析,明确需要集成的数据,以及数据间的相互关系后,制定一个统一的数据格式,然后采用信息网格技术实现数据的抽取与集成。(2)基于物联网技术的信息自动采集与分析利用各类传感器实现环境监测中各种声、光、气、水、温数据的自动采集,并导入到用的分析系统中进行数据分析。(3)基于云存储的中心数据库的建设在集成业务系统数据和环境监测信息的基础上建设一个基于云存储的、可扩展,具有统一规范数据格式的中心数据库,将各业务系统核心数据抽取到中心数据库进行存储,确保信息的完整和
11、安全可靠。(4)基于云计算与语义技术的环保数据处理和分析方法利用云计算平台的强大处理能力,结合语义技术进行数据的处理和挖掘,将数据转换为信息;(5)智慧环保云平台的建立在中心数据库上开发建立包括企业信息全寿命管理(即从企业登记开始到企业注销的全程信息管理)、数据精确分析、处置决策、趋势分析等在内的应用,并为其它系统预留数据调用接口,最终建成一个涵盖在用系统数据,支持全局信息管理分析与应用的“智慧环保”系统。思路与方法3.1总体技术路线总体技术路线如图1所示。可分为三个方面开展。图 SEQ 图 * ARABIC 1 “智慧环保云”实施技术路线图3.1.1业务系统的分析(1)对在用业务系统的关键流
12、程、关键业务数据、数据间逻辑关系进行分析,确定需要集成的数据为数据集成和建立中心数据库做准备(2)利用信息网格技术实现关键业务数据进行按需提取。(3)对来自各业务系统的数据进行集成,建立一个面向环保系统的业务数据库。(4)将传感器数据与业务数据结合,建立中心数据库。(5)在中心数据库的数据支持下,利用云计算与语义技术进行数据分析,为业务处理、决策提供信息支持。(6) 在中心数据库上开发建立包括企业信息全寿命管理(即从企业登记开始到企业注销的全程信息管理)、数据精确分析、处置决策、趋势分析等在内的应用,并为其它系统预留数据调用接口。(7)完成“智慧环保云”的部署工作。3.1.2 云存储平台搭建通
13、过采购存储硬件,在现有的云存储软件的基础上,搭建一套大容量的云存储系统,该系统用于保存业务数据已经运行业务处理平台。3.1.3传感器数据分析与处理 了解目前在用的传感器类型,确定信息接收和分析处理的方法,将传感器数据集成进系统中。3.2 总体技术架构系统包括三个部分:数据层,中心数据库层及应用层,系统整体架构如图2所示图2 系统体系结构(1) 数据层 数据层有各业务系统中的关键性业务数据和各类传感器采集的数据组成,它们为整个“智慧环保”系统提供数据来源。(2)中心数据库层 中心数据库层由一个基于云存储的综合数据库构成,在这里对来至数据层的各类数据进行汇总、处理、集成与管理,确保数据的唯一性和确
14、定性,并为上层应用提供数据支持。(3)应用层应用层包含各类基于全局数据的应用, 包括:企业信息的全寿命管理、数据的精确分析、城市物量统计、辅助决策等同时提供一个数据接口,可为其它系统提供按需的数据服务。进度安排序号阶段工作内容起止日期阶段成果形式1可行性调研阶段该阶段主要进行项目的可行性论证,熟悉现有业务系统、理清各系统间关系、进一步明确“智慧环保”系统应具备的功能,同时进行技术可行性分析。结合调研结果,撰写项目可行性报告2业务系统分析阶段找出关键业务流程和关键业务数据,确定需要集成的数据、确定数据的格式和相互间逻辑关系完成业务系统分析,形成中心数据库数据字典,完成项目的概要设计。2传感器数据
15、分析与处理阶段理清需要处理的传感器数据、了解数据处理方式并将其整合到项目中完成传感器的数据分析工作,针对每类传感器数据出具分析报告,包括数据类型、采集方式、数据保存格式等信息。2云存储平台建设阶段主要进行硬件设计与采购,搭建存储的软硬件平台完成具有海量存储能力的云存储平台。3数据提取与集成阶段利用网格技术,开发适用与环保系统的信息集成中间件完成数据的集成工作。开发信息系统中间件软件4中心数据库的建立结合 存储硬件平台,数据字典、传感器数据,建立一套中心数据库,将业务数据、传感器数据统一提取保存在中心数据库中系统中心数据库的建立5业务处理平台建设阶段根据业务需要,开发基于中心数据库的业务处理平台
16、,形成包括企业信息全寿命管理(即从企业登记开始到企业注销的全程信息管理)、数据精确分析、处置决策、趋势分析等应用在内的业务处理平台研发一套业务处理平台6“智慧环保云”的部署与推广完成“智慧环保云”的部署工作,提供项目的详细设计、数据库字典、用户手册、维护手册。部署系统,提供目的详细设计、数据库字典、用户手册、维护手册。成果及效益预期成果为是一个集成各种系统的平台,通过网络服务器提供各种信息服务。集成各种环保相关的信息系统,输入是各种声、光、气、水、温等传感器的数据,各种数据库数据,及用户投诉数据,输出是各种信息服务,通过电脑、移动终端等提供服务。可以形成全面掌握、实时监测、智能分析、历史积累等
17、能力。 依靠云计算、物联网和信息网格技术,构建“智慧环保云”,做第一家“说得清”的环保管理者,依靠先进技术提升管理水平,在全国做出优质示范。 全面掌握:对各种来源数据进行汇聚,原来散落在不同系统、描述不同内容的局部数据发挥整体作用。 精确分析:可以以某个企业、某个区域、某个时段等作为分析对象,依靠数据的相互印证和补充而实现精确分析。 及时预警:各种物联网传感器、接入系统和人工测量的结果的自动综合可以及时发现环境危险信号,将危险消灭在萌芽状态中。 长效管理:依靠云计算平台的海量存储能力,不断积累历史数据,可以对监测对象和整体环境趋势进行长期的跟踪和分析。PM2.5云监测系统前端方案6.1概述PM
18、2.5云监测方案,是基于PM2.5测试的辅助测试。主要是反映局部区域的相关参考值,从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补。6.61.1背景目前许多城市的环境监测中心站点较少,分布分散,环境监测的数据仅从宏观上反映城市的整体的空气质量,但是不能从微观上反映局部区域、特定区域的空气质量的好坏,这就需要建设更多的环境监测站点,提供更多的实时的环境监测数据。国外一套PM2.5环境监测系统价格在10万美金,国产价格在10-50万人民币,价格昂贵。建设更多的环境监测站点需要巨大的资金投入,成本太高。的PM2.5云监测系统价格大约在1万人民币,非常廉价,能够解决资金投入问题,同时满
19、足一定的测量精度,和现有的空气环境自动监测系统形成互补,为环保部门服务。目前350米以下都有颗粒污染物,污染程度比较严重,加之信息化工作处于低端水平,以及公众对于PM2.5的关注度不断提升,使得PM2.5的监测重要性日益突出。廉价的PM2.5环境监测系统与目前的传统监测站点的监测方式形成互补,满足公众环境需求,提升政府形象。6.1.2意义部署廉价的PM2.5环境监测系统,配合城市现有的环境监测站点,准确、及时、全面地反映环境质量现状及发展趋势,为环境管理、污染源控制、环境规划等提供科学依据,并结合天气状况、城市交通、人口密度、工业产值等元素,进行系统的研究,为保护环境,改善城市的大气环境质量改
20、善起到技术支撑作用。具体可归纳为: (1) 根据环境质量标准,评价环境质量。 (2) 根据污染分布情况, HYPERLINK /wiki/ o 追踪 t _blank 追踪寻找污染源,为实现监督管理、控制污染提供依据。 (3) 构建云计算海量数据处理平台,存储本区域海量数据,积累长期监测资料,为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。 (4) 为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。 6.2设计6.2.1 系统架构总体架构前端设备采集到相关的信息,通过GPRS进行无线数据传输,在有公网IP的服务器上进行数据接收和初步的处理,然后数据存
21、入数据立方进行存储和计算,并且通过WEB服务器进行数据的最后处理和公布。具体的架构详见图1。图1 PM2.5云监控平台架构PM2.5前端设备主要是由电源模块、采集模块和通信模块组成,前端内部架构具体详见图1。实际的PM2.5监测设备详见图2。图2 前端设备的架构图3 前端设备实物图部署方式在城市的不同区域布局并有效使用PM2.5的监测系统,从而能够比较全面地掌握城市不同区域,在不同时间段、不同气候特点(包括气温、风向、季节)下的 PM2.5 的实时监测数据。PM2.5环境监测系统环境数据采集设备采用先进的传感器、低功耗单片机技术和网络通讯技术相结合,可提供方便的数据查询方式,直接通过浏览器可以
22、直接访问测试数据。目前环境监测站的监测设备一般部署在离地面高度20m-25m之间,而的PM2.5环境监测系统环境监测设备根据实际的情况来进行部署。设备小巧,部署方式灵活,可以部署在电线杆等公共设施上。详细见图4。图4 部署在电线杆上前端设备6.2.2 传感器根据如下的需求:辅助测试PM2.5值,测试不需要太高的精度,主要是用来辅助PM2.5测试曲线;超低低成本的需求;选择的传感器详见图5。图5 DSM501颗粒传感器传感器的特点:PWM脉宽调制输出采用粒子计数原理可灵敏检测直径1微米以上的粒子内置加热器可实现自动吸入空气小尺寸重量轻易安装使用传感器的原理结构图详见图6.图6 传感器的原理结构图
23、模块内置一个加热器,热引起上升气流使外部空气流进模块内部。空气通过检测通道,利用光的原理、通过光和透镜以及处理模块来进行检测。具体的检测方法和通道如图7所示。图7 传感器的检测另外,传感器的透镜需要视环境状况隔一段时间进行清洁,约 6 个月一次。清洁时用棉签一头醮清水轻擦,然后用另一头擦干。不可以用酒精等有机溶剂擦拭透镜。6.2.3 计算通过传感器的检测颗粒,输出相关的PWM波,低电平的波形width是10ms-90ms,利用这个PWM波形来进行获取相关的参数,详见图8。通过获取低电平的占空比,从而通过图9获取到对应的数值。图8 传感器的采样图9 传感器采样的曲线图通过如下的计算,可以得到其中
24、一个通道的采样值。通道的LOW Pluse的占空比设定为L,测试的采样值为P。则:如果获取到的L 0.08,则:P=0.1*L*100*10(ug/m3);如果获取到的0.08= L 0.15,则:P=( (L*100 8)/6.5 + 0.8)*10( ug/m3);通过相关的采样,可以采样得到传感器的两个通道的值,一个通道是1um以上的粒子的值P1,另外一个通道是可以进行设置的,这里设置为可以检测2.5以上的粒子的值P2。PM2.5是指大气中直径小于或等于2.5 HYPERLINK /view/89514.htm t _blank 微米的 HYPERLINK /view/205541.ht
25、m t _blank 颗粒物,也称为可入肺颗粒物(暂无标准中文名)。所以在这里要计算最终的采样值PL,需要进行如下的计算:PL = P1 - P2;这里就可以计算出大气中直径小于或等于2.5 HYPERLINK /view/89514.htm t _blank 微米的 HYPERLINK /view/205541.htm t _blank 颗粒物。6.2.4 采集部分虽然肉眼看不见空气中的颗粒物,但是颗粒物却能降低空气的能见度,使蓝天消失,天空变成灰蒙蒙的一片,这种天气就是灰霾天。根据2010年灰霾试点监测报告,在灰霾天,PM2.5的浓度明显比平时高,PM2.5的浓度越高,能见度就越低。虽然空
26、气中不同大小的颗粒物均能降低能见度,不过相比于粗颗粒物,更为细小的PM2.5降低能见度的能力更强。能见度的降低其本质上是可见光的传播受到阻碍。当颗粒物的直径和可见光的波长接近的时候,颗粒对光的散射消光能力最强。可见光的波长在0.4-0.7微米之间,而粒径在这个尺寸附近的颗粒物正是PM2.5的主要组成部分。理论计算的数据也清楚地表明这一点:粗颗粒的消光系数约为0.6平方米/克,而PM2.5的消光系数则要大得多,在1.25-10平方米/克之间,其中PM2.5的主要成分硫酸铵、硝酸铵和有机颗粒物的消光系数都在3左右,是粗颗粒的5倍。所以,PM2.5是灰霾天能见度降低的主要原因。目前国内外环保部门监测
27、PM2.5普遍采用滤膜称重、射线吸收和微量振荡天平等方法。除了以上三种测试方法外,还有利用光散射的原理测定颗粒物浓度的方法。该测定方法的原理是:空气中的颗粒物浓度越高,对光的散射就越强。测定光的散射后,就可以算出颗粒物浓度。该测试方式测定速度快,自动化程度高,操作简单。本次设备使用的是红外光散射法来进行测试相关的数据。通过相关的探头来进行采集相关的数据。通过采集的通道利用红外光散射来进行获取颗粒浓度。采集空气的通道有固定的加热源,通过加热源来进行空间的动态的采集。将相关的颗粒浓度转换成相关的数据通过无线通信进行数据传输。6.2.5 通信部分前端设备的通信主要是通过GPRS进行数据的无线传输。具
28、体的数据传输的网络示意图详见图10。图10 GPRS数据传输数据在前端设备基于TCP/IP协议,经过GPRS的数据传输,通过移动网络传输数据,利用公网的服务器接受数据,然后将数据入库后,进行数据的处理,最后通过WEB服务器将数据展现出来。注意:每个前端设备有一个供应商的SIM卡进行数据通信,该SIM卡需要有GPRS业务,同时使用的地点必须有供应商的信号。例如使用中国移动的SIM卡,该卡需要有GPRS的业务,同时放置PM2.5测试前端的地点需要有中国移动的信号才可以正常的通信。6.2.6 电源部分供电方式有两种,一种是锂电池和市电互补的供电方式,另一种是太阳能供电供电方式。锂电池供电锂电池供电方
29、式是基于市电可以提供的情况下进行的。如果部署的PM2.5设备附近有市电,这样可以方便进行充电。或者是市电和锂电池进行互补方式进行供电。同时进行对电池进行电压监测,检测供电电压是否正常,电源供电是否正常。锂电池是12V电压,50Ah的规格,可以在没有充电或者没有市电互补的情况下持续10*24h的供电。具体的实物见图11。图11 锂电池供电方式的前端设备实物图太阳能供电太阳能供电方式是基于太阳能进行可持续性的充电,从而避免了提供充电或者接入市电的情况。太阳能供电是利用蓄电池和太阳能互补的方式进行供电,通过太阳能控制器来进行互补。在太阳能供电不能满足供电需求的时候,利用蓄电池进行供电。利用20W的太
30、阳能板,在一定的环境中,可以满足设备的供电要求。蓄电池的规格是12V电压,20Ah的规格,在完全没有太阳能的情况下,可以支持3*24h的无间断供电。该供电方式同时提供电压监测功能。具体的实物详见图12。图12 太阳能供电方式的前端设备实物图6.3特点1、价格低廉,大规模部署廉价的PM2.5环境监测设备每个节点只需1万元,即可满足PM2.5监测、数据传输功能,无需国外昂贵的监测设备,和现有的环境监测点形成有利互补,对PM2.5数据发布有参考意义。2、云计算海量数据处理技术架构云计算海量数据处理平台,采用先进的云计算处理技术,对环境监测的数据入库和关联查询快速响应,支持自动容错和动态扩展,具有实时
31、性、高可靠性、可伸缩性、高性价比等特点。 3、扩容性PM2.5监测前端设备可以根据需求进行增加设备,扩展整个系统的覆盖面积,但是不需要继续复杂的操作,可以动态的增加PM2.5测试的节点,并能自动组网,具有很强的扩容性。4、实时性测定速度快,自动化程度高。测试方法决定了测试的实时性,采集时间实现秒级响应,且采集时间可以任意设定,采集的数据实时入库,可实时查询。5、采集数据的准确性采集的数据经过精确的校准,且灵敏度很高,和环保部分发布的PM2.5数据及趋势接近,数据真实有效。实时采集的数据和环境监测站发布PM2.5数据对比图详见图13。图13 PM2.5数据对比图综合上述,PM2.5环境监测系统架
32、构云计算海量数据处理平台,存储本区域海量数据,积累长期监测资料,为研究环境容量、实施总量控制、目标管理、预测预报环境质量、环境治理提供数据。PM2.5云监测系统后端方案7.1. 概述PM2.5云监测平台系统,是基于PM2.5测试的辅助测试。主要是反映局部区域的相关参考值,通过先进的云计算技术数据立方的PM2.5监测平台系统分析和处理PM2.5数据从而和宏观上反映城市的整体的空气质量的监测站点的监测方式形成互补。1.1背景由于分散在城市周围需要大量的PM2.5监控点(100-10000个)需要实时的并发上传大量PM2.5数据,以及需要存储和处理海量的PM2.5的历史数据,采用传统的结局方案显然难
33、以满足需求据存储和分析处理数据的需要。PM2.5云监测平台会产生极其海量的数据。假如一个城市部署了5000个监测点,每个点每5秒上报一次数据,则一天下来,会产生8.64亿条记录,一年就会产生3153.6亿条记录,十年就会产生3万亿条记录。从趋势分析角度看,长期保存历史数据是必要的。传统的数据库无法支撑如此之多的数据量,必须使用云计算数据库。而目前的开源云计算数据库均无法在哪些庞大的数据集上做到实时处理,运用的cStor云存储系统和数据立方就成了必要的选择。1.存储层:使用公司的cStor云存储系统。cStor具有极高性价比、超低功耗、高可靠、通用、免维护等优势,可广泛应用于有大量数据存储需求的
34、场合。功耗方面,cStor每个节点几瓦的功率与业界典型值200瓦形成了鲜明的对比;存储方面,每个标准机架的最高容量可达1024TB以上,是国际先进水平的3倍;成本方面,硬件与运营成本均只有同类产品的几分之一。该产品已成功应用于视频监控、智慧交通、数字地球和动漫制作等多个领域。2.处理层:数据立方云计算分布式数据库,即可解决海量数据的高速入库、快速索引和关联查询等问题,使万亿条记录级的数据查询能够秒级处理。数据立方是全球第一套能够处理万亿记录级别的商用系统,且性能远超国际先进水平。该技术在中国移动和国家电网的评测中,较之国外产品呈现出明显的优势。目前已经开始大规模使用。2012年11月2日,与I
35、ntel公司联合发布了“Intel-数据立方云计算一体机”。图表1 Intel-数据立方云计算一体机1.2意义部署廉价的PM2.5监测平台环境系统,配合城市现有的环境监测站点,准确、及时、全面地反映环境质量现状及发展趋势,为环境管理、污染源控制、环境规划等提供科学依据,并结合天气状况、城市交通、人口密度、工业产值等元素,进行系统的研究,为保护环境,改善城市的大气环境质量改善起到技术支撑作用。具体可归纳为: (1) 根据环境质量标准,评价环境质量。 (2) 根据污染分布情况, HYPERLINK /wiki/ o 追踪 t _blank 追踪寻找污染源,为实现监督管理、控制污染提供依据。 (3)
36、 构建云计算海量数据处理平台,存储本区域海量数据,积累长期监测资料,为研究环境容量、实施总量控制、目标管理、预测预报环境质量提供数据。 (4) 为保护人类健康、保护环境、合理使用自然资源、制订环境法规、标准、规划等服务。 7.2. 设计7.2.1 系统架构总体架构PM2.5监测平台是一个处于PM2.5数据采集与PM2.5数据监测应用之间的系统。从系统基本组成与构架上来看,该共享平台由以下主要部分组成:历史数据汇总处理系统,实时数据入库系统,PM2.5监测平台数据存储系统,PM2.5监测平台数据查询分析应用系统,数据管理系统。系统总体架构图:图表2 系统总体体系架构图系统架构功能PM2.5监测平
37、台云平台需要提供的主要功能描述如下。(1)实时数据入库系统实时数据入库系统主要负责全市所有PM2.5监测点产生的数据实时存到PM2.5监测平台数据存储中心。 (2)PM2.5监测平台数据存储系统原始PM2.5数据,将全部存储在PM2.5监测平台分布式文件系统,用于存储海量的非结构化数据。为了满足和适应数据量、数据特征和查询处理的不同需求,部分存存储于关系型数据库中。(3)PM2.5监测平台数据查询分析应用系统PM2.5数据查询分析应用提供包括实时监控空气质量PM2.5,查看历史记录和分析数据等功能。PM2.5历史查询处理时,由于PM2.5数据量巨大,需要调度使用多台服务器节点进行并行处理。(4
38、)数据管理系统在实际使用中,可能用户会对某一时间段或者类型的数据特别关心,就可以通过数据管理系统查询并导出这部分数据以供使用。7.2.2系统可靠性与扩展性系统扩展性数据立方既可以在成千上万的机器上跑,也可以在很小规模上运行。PM2.5监测系统扩展优势:与其它分布式系统相比,使用数据立方的好处在于它的水平的可扩展性,在少量结点上,用数据立方处理有限的数据时,不能展示数据立方的性能,因为开始数据立方程序相关的代价比较高,其它并行/分布程序方式,比如MPI (Message Passing Interface)可能在2台,4台或许10多台计算机上有更好的性能,尽管在少量机器上协同工作在这种系统上也许
39、会取得更好的性能,但这种为性能所要付出的努力是非线性的增长。用其它分布式框架所写的程序在从十台机器的级别到成百上千台机器需要大量的重构工作,这也许要程序重写几次,并且其它框的基础元素会限制应用的规模大小。但是特别设计的数据立方有着水平的可扩展性,一个数据立方程序写完后,在10个结点上运行,如果迁徙到更大的集群上运行,几乎不需要做什么工作, 数据立方平台会管理数据和硬件资源并提供与可用资源成比例的可靠性能。针对PM2.5监测平台系统,在充分运用数据立方技术优势的基础上,完全可以做到:1加监测点只需要简单的配置即可连接到PM2.5监测平台数据存储中心,统一规范标准,名称体现PM2.5监测平台监测点理位置、PM2.5监测平台监测点编号等信息,便于快速检索,2客户需要随时更加存储设备和数据分析服务器只需要根据数据立方规范做简单修改配置即可。例如如果后续根据PM2.5监测平台的存储数据量量增加的情况下可以动态的添加存储节点。查询速度变慢只需要动态的添加少量处理节点。最大程度的节省客户成本。3与原有系统数据对接支持各个版本的数据库对接接入Oracle ,SQLServer, M
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 施工安全事件索赔施工合同
- 媒体清水池防水施工协议
- 艺人形象设计合同
- 太阳能发电施工员聘用协议
- 旅游景区景观道路照明施工协议
- 钻孔计量施工协议
- 互联网数据中心灰土工程协议
- 图书馆临时咖啡机租赁合同
- 网球场自动门施工合同
- 交通设施维修灰工施工合同
- AI时代大学生创新创业导航智慧树知到答案章节测试2023年西南大学
- 卧式罐剩余体积与液位关系计算方式-excel
- 公共政策案例分析例文范文(通用9篇)
- 三年级上册道德与法治知识点 解答题50道 部编版(含答案)
- 富士康公司组织架构及部门职责
- 库区倒罐作业操作规程
- 二年级下册乘除法口算题
- 中国地图矢量图课件
- 新版现代西班牙语第二册课后答案
- 热电厂管理提升专题方案
- 2022年第一学期田径社团活动计划
评论
0/150
提交评论