环保大数据解决方案（知识研究）

环保大数据平台建设方案

（知识研究精华版）环保大数据总体架构为“一个机制、两套体系、四个平台”。生态环境大数据管理工作机制包括数据共享开放、业务协同等工作机制，促进大数据形成和应用。组织保障和标准规范体系为大数据建设提供组织机构、人才资金及标准规范等体制保障；统一运维和信息安全体系为大数据系统提供稳定运行与安全可靠等技术保障。环保大数据平台分为基础设施层、数据管理、技术服务和业务应用层。其中，大数据环保云平台是集约化建设的IT基础设施层，为大数据处理和应用提供统一基础支撑服务；大数据管理平台是数据资源层，为大数据应用提供统一数据采集、分析和处理等支撑服务；大数据技术服务层提供模型、文本分析挖掘及智能标签服务；大数据应用平台是业务应用层，为大数据在各业务应用提供综合服务。大数据技术服务大数据管理平台大数据环保云平台统一运维信息安全体系组织保障标准规范体系生态环境大数据管理工作机制大数据应用环保大数据体系架构大数据管理平台数据源环保大数据应用环保预警与应急处置水质分析与预测废气排放检测……企业环境信用宏观画像固体废弃物监管土壤污染检测生态经济效益评估空气质量分析与预测环保舆情监测企业环境信用微观画像数据共享服务数据共享交换数据开放数据服务互联网数据PC、web、app、PAD……环保政策大气质量移动执法行业数据数据接入数据加工数据分析挖掘数据标准数据质量稽核元数据管理城市运行数据在线监控数据水污染源监控企业过程监控数据媒资系统大气污染源监控数据废弃物污染监控数据噪声染源监控数据油烟、尾气监控数据水供应消耗垃圾处理市民投诉……多维分析模型污染溯源模型环境综合分析模型环境异常预警模型模型服务大数据技术服务环境舆情分析模型气候影响分析模型文本分析自然语言理解智能标签企业环保监控环保数据监测与分析环境评估与预警生态环境基础数据库辅助决策大型项目环评决策项目选址……环保大数据平台业务架构服务器、存储、网络、虚拟化基础设施（云平台）机器学习运维管理安全体系大数据技术组件数据管理数据服务分布式数据库SDKMapReduceElasticSearchYarnHiveHBaseHDFSZooKeeperStormSparkFlumeKafkaSqoopKylinRangerZeppelinTensorFlowCaffePytorch数据源管理模板管理模型实验模型管理自定义组件深度学习任务管理任务监控机器学习数据开放服务数据申请API生成API发布API运行API文档使用统计运行监控安全认证数据治理数据处理稽核任务稽核报告数据视图数据血缘数据质量稽核元数据管理标准制定标准实施数据标准数据接入模型开发离线处理数据加工任务调度实时计算SQL

on

Streaming实时处理结构化、非结构化数据接入数据加工，包括数据清洗、整合、加工的过程数据探索，提供交互式分析、交互式建模工具全景元数据管理和数据稽核大数据管理平台是数据资源传输交换、存储管理和分析处理的平台，为大数据应用提供统一的数据支撑服务。主要实现数据传输交换、管理监控、共享开放、分析挖掘等基本功能，支撑分布式计算、流式数据处理、大数据关联分析、趋势分析、空间分析，支撑大数据产品研发和应用。大数据管理平台非结构化数据互联网数据批量企业生产、能源消耗和排放数据环境监测传感器采集的数据市民上报数据环保业务系统数据气候统计数据互联网上的环保舆情数据FTPSqoop存储API采集结构化数据存储区非结构化数据存储区结构化数据文本、图片、音频、视频CDC数据存储接入方式数据类型Batch分布式数据库HDFSMongoDBGlusterFSHBase结构化数据视频监控采集数据实时数据接入将多源异构数据导入大数据平台，通过设计数据模型和ETL操作，将数据按照设定的工作流加工。数据接入模型设计ETL，工作流调度数据消费发布及版本管理监控开发测试运维设计数据加工处理多种来源的数据可能存在数据一致性、重复性、空值等质量问题，按照相应的数据质量稽核规则，发现数据质量问题，提升数据质量。劣质数据优质数据评估/监控质量改进自动发掘数据规则业务规则数据规则库数据质量引擎查看/编辑分析工作标准规则服务标准数据服务数据治理参考数据数据质量管理提供机器学习算法、不断的参数调优、多次的算法组合最终实现模型训练。模型训练通过预测结果解决环保管理相应的实际问题。模型预测模型评估模块通过评估实现模型质量的把控，训练模型的高质量输出，从而提高预测的精确性。模型评估通过机器学习辅助环保管理部门建立强大的生态环保模型训练、环保模型预测评估能力。机器学习特征工程统计分析机器学习深度学习文本分析分类相关系数TF词条向量化回归......主成成分分析统计摘要TF-IDF协同过滤热编码聚类卡方特征选择通过调用机器学习算法组件，包括特征工程、深度学习、文本分析、统计分析等，支撑海量环保数据的建模过程。机器学习算法种类历史数据样本生成数据预处理特征工程模型训练模型评估离线线上新的数据数据预处理特征工程模型预测业务评估模型发布机器学习建模过程环境治理公众服务共享交换决策支撑通过相关环境数据的监测、分析，为环境治理提供高效及时的依据。与人口、法人、空间地理等政府基础数据库打通；吸纳其它局委办、社会团体、企业等相关数据。借助应用大数据及相关技术和工具提升环境治理水平和政府决策能力。大气、尘埃、环境健康指数，环保监督热线等大众环保信息宣传与服务。

生态环境基础数据库建设-目标公共业务库（动态指标应用）业务系统传感器监测内部数据反馈数据行业分析……内外部半结构化、非结构化数据API接口FTP文件数据仓库基础数据区企业基础类信息流程调度监控告警数据标准数据质量元数据数据安全流程调度平台……数据管控平台流程调度层大数据平台数据源层数据接入数据缓冲区……数据服务历史归档数据区监控告警专线直连法人库企业资产类信息企业财务类信息……..企业信用类信息人口库基础地理信息库宏观经济库环境评估与预警环保数据监测与分析企业环保监测公共服务库（专题类数据库）…………ODS企业内部数据市民反馈数据……环保局数据传感器网络数据污染物监测类信息企业生产、排放类信息经济与生态影响信息企业排污处罚类信息行业评测类信息环保执法类信息市民反馈投诉类信息环保舆情类信息…………企业内部数据市民反馈数据环保局数据传感器网络数据生态环境基础库生态环境基础数据库逻辑架构数据加载、过滤数据接入源数据（SRC）环保业务系统传感器监测数据企业内部数据市民反馈数据……缓存层（ODS）环境监测企业排放市民反馈信息环保舆情环保执法…集市层（DM）空气质量企业节能减排企业能源消耗工业能源消耗企业异常排放温室气体排放交通能源消耗……数据清洗ETL统一数据标准体系仓库层（DW）环境监测分析预测仓库水环境主题空气质量主题固体废弃物主题…土壤主题废气主题企业排污监测分析仓库基础信息环保处罚主题经营主题…水气排放主题水电消耗主题自然地理库企业法人库聚合汇总宏观经济库生态环境基础数据库逻辑架构水质分析模型污染溯源模型环境综合分析模型环境异常预警模型环境舆情分析模型气候影响分析模型……采用大数据技术（并行计算技术、人工智能技术），对数据等进行挖掘建模和机器学习建模，通过数据挖掘发现隐藏于其后的规律或数据间的关系，充分挖掘这些数据的价值，从而形成能指导环保风险预警的数据。环保预测预警环保预测预警模型体系123456问题理解明确水质分析的业务场景，将其映射为具体的数据建模任务;数据理解

在问题理解的基础上，理解水质分析的业务意义，并探索数据;模型评价根据业务情况，不断的修正优化模型,将模型映射会业务应用中，并从水质分析的实际应用角度进行评价;模型部署将模型应用到水质分析业务中。数据准备

收集和分析与建模有关的资料和信息，为建模作好准备工作。数据建模选择适当模型变量，确定变量之间的相互影响与变化规律，确定这些关系的数学方程的最佳结构形式。模型文本分析挖掘智能标签预测预警模型体系-水质分析模型建立过程结构化数据非结构化数据业务数据环保舆情环保执法效果监控重点企业监控公众满意度高价值密度数据……论坛贴吧微博自媒体数据投诉渠道环保局官网低价值密度数据文本分析系统（NLP）业务应用……环境运营管理环境数据中心污染源监测……环保APP应用危险固废管理抓取大量非结构化数据，如环保局官网、客户投诉、社交网络等数据，通过文本分析技术来服务环保舆情、环保执法监控、重点排污企业监控以及公众满意度等应用。模型文本分析挖掘智能标签文本分析挖掘数据层领域词库计算层服务层（高可用、高并发）应用层分类聚类word2vec依存文法相似度分词词性命名实体关键词IDF多语言支持APIAPIAPI情感分析自动标签热点分析口碑分析自动摘要定制分类语义词库标注数据类目体系知识库环保舆情环保执法效果监控重点企业监控公众满意度……模型文本分析挖掘智能标签文本分析挖掘通过分析环境监测数据，结合企业内部数据，如生产数据、能耗数据、经营数据、排污数据等，建立企业智能标签体系，全方位评估和预测企业环保违规风险。企业标签体系生成企业标签信息整合管理企业标签体系输出完整企业画像，支持各类应用全面整合内外部的企业数据，基于海量的企业特征信息，通过数据分析和挖掘技术，构建企业全维度标签体系，无缝支撑企业宏观和微观画像、精准招商等各类大数据应用：一级指标基本信息位置信息生产信息能耗信息排污信息经营信息信用信息企业资质…二级指标公司名称工商注册代码行业经营范围注册时间注册地址办公地址生产地址员工人数产品类别产品产量有毒有害物质耗电量用水量液体排放固体废弃物废气排放土壤危害销售额利润税务评级资质证书…示例模型文本分析挖掘智能标签智能企业标签通过多种模型和算法，辅助智能企业标签体系的建立。文本挖掘算法...分类、聚类算法...推荐算法...预测算法...时间序列SVR逻辑回归产品扩散模型分层贝叶斯定价模型动态模型CLV模型流失预警模型RFM模型机器学习...特征提取建模特征选择建模预测优化模型EMBaggingAdaBoostSlopeOneAprioriFPTreeHybridCFContent-basedNBI二部图HeatDiffusionSVD矩阵分解相似度计算...欧氏距离Jaccard相似度余弦相似度皮尔逊相似度LSH局部敏感哈希KNN神经网络贝叶斯网络SVM支持向量机TF-IDFVSMCRF条件随机场TextRankTopicModelLDA模型/算法企业信息数据仓库报表展现数据挖掘即席查询主题分析多维分析仪表盘传统数据分析原始数据->数据清洗、标准化、结构化事实标签模型标签预测标签标签管理系统业务标签全维度数据关系、预测分析数据挖掘语义分析建模统计分析业务规则企业画像标签层次企业内部数据互联网、第三方、合作方数据环保部门网站企业官网互联网公开数据上传API|互联网抓取|文件导入智能企业标签建立过程实现生态环境监管精准化。充分运用大数据提高环境监管能力，健全事中事后监管机制，实现“用数据管理”，提高生态环境监管的主动性、准确性和有效性。尾气排放监测固体废弃物监测蓝藻水华监测空气质量监测土壤污染监测水质监测…………精准化环保监测分析实现空气质量分析预测：空气质量动态分析空气质量AQI/API，按照分钟，小时，日数据等粒度分析空气质量扩散空间数据外在因素分析内在因素分析采用模型和算法：空气质量预测预测模型和算法海量数据规模空气质量分析与预测从生态、经济和社会三个因素评价区域的生态环境和经济、社会的均衡性。以合成指数方式综合反映生态环境、经济和社会发展的总体趋势和结构变化。432615指标体系设计从生态环境、经济实力、社会发展，三个维度刻画生态环境与经济发展的均衡性。数据采集和存储广泛采集所需要的历史数据测算结果分析对各细分指数贡献进行测算，综合考察细分结构变动特点指数合成方法确定权重确定合成方法确定生态经济指数建模测算选取历史时间段中的数据作为试算基础，运用专业的工具软件进行测算指数结果可视化展现对指数的评价结果进行可视化呈现环境评估与预警环保舆情企业监测辅助决策环保监测分析数据共享交换服务制定生态经济效益指标体系，为环保违规企业赔偿制度、生态补偿机制、责任追究制度的执行和落实提供数据和技术支撑。生态经济效益评价指标体系一级指标二级指标三级指标生态因素资源节约开发节约资源新技术的投资占总投资的占比节能减排的投入单位GDP能耗单位GDP水耗单位土地面积GDP万元GDP生态足迹资源回收利用产值环境保护环保投资三废综合治理投资垃圾无害化处理投资旅游生态环境达标率环保投资指数综合生态指标资金利用率区域生态效率突发灾害损失一级指标二级指标三级指标经济因素综合经济发展区域GDP绿色GDP区域财政收入符合生态产业占区域总产业的百分比生态产业产值占区域产业产值的百分比绿色GDP占总体的百分比国家地方的政策补贴人均影响人均绿色GDP人均生态资本投入人均用水量人均土地面积人均能源利用率社会因素社会影响城镇化率人口哦密度城市用地面积公众影响公众对于生态环境保护措施的满意度生态经济效益评价指标体系设计环保行政许可环境监察执法环保资金投入环保科技项目环保评先创优建立企业环境信用画像，在环保行政许可、环境检查执法、环保专项资金管理、环保科技项目立项、环保评先创优等维度，综合刻画企业环境信用信息状况。对环境信用状况良好的企业予以优先支持，加强对失信的约束和惩戒。企业环境信用宏观画像面对日益严峻的水环境与水生态问题，紧密结合“水十条”的实际工作需求，以物联网感知技术、水环境与水生态预警预测模型为核心技术，耦合专家经验知识，研发区域、流域、海域水环境与水生态实时管理决策支持系统，使“数字环保”向“智慧环保”延拓，将治理任务精细化到水体控制单元这一“水体细胞”，实现对水污染问题“控源”-“防范”-“节水”-“调控”的一体化治理。环境评估与预警环保舆情企业监测辅助决策环保监测分析数据共享交换服务建立环境宏观决策系统，依托全景式生态环境形势研判模式，加强生态环境质量、污染源、污染物、环境承载力等数据的关联分析和综合研判，强化经济社会、基础地理、气象水文和互联网等数据资源融合利用和信息服务，为政策法规、规划计划、标准规范