石化行业废气全过程管控应用建设项目(重发)招标文件_第1页
石化行业废气全过程管控应用建设项目(重发)招标文件_第2页
石化行业废气全过程管控应用建设项目(重发)招标文件_第3页
石化行业废气全过程管控应用建设项目(重发)招标文件_第4页
石化行业废气全过程管控应用建设项目(重发)招标文件_第5页
已阅读5页,还剩85页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

石化行业废气全过程管控应用建设项目(重发)公开招标文件目录第一章投标邀请 2第二章采购需求 6第三章投标人须知 53第四章评标方法及评标标准 65第五章合同文本 73第六章投标文件格式 75PAGE第一章投标邀请项目概况一、项目基本情况项目编号:NBMC-20249035G-1项目名称:镇海区石化行业废气全过程管控应用建设项目预算金额(元):3700000;220000最高限价(元):3700000;220000标项一:标的名称:镇海区石化行业废气全过程管控应用建设项目数量:1项预算金额(元):3700000简要技术需求或服务要求:本项目以镇海区的行政区域为边界,以涉气污染源监管为重点,主要建设内容为完成应用系统开发、建设,并完成为应用系统建设配套的基础设施建设。详细内容要求详见招标文件“第二章采购需求”。备注:/标项二:标的名称:镇海区石化行业废气全过程管控应用建设所需国产化产品采购项目数量:1项预算金额:220000简要技术需求或服务要求:采购国产化数据库软件和操作系统。详细内容要求详见招标文件“第二章采购需求”。合同履行期限:标项一:2024年12月完成初验投入运行,2025年6月完成项目竣工验收。标项二:2024年8月完成系统及数据库交付,并配合标项一的试运行、验收时间。本项目(否)接受联合体投标。二、申请人的资格要求:1.满足《中华人民共和国政府采购法》第二十二条第一款的规定;2.未被“信用中国”网站()列入“失信被执行人或重大税收违法案件当事人名单或政府采购严重违法失信行为记录名单”;未被中国政府采购网()“政府采购严重违法失信行为信息记录”中列入禁止参加政府采购活动期间。3.落实政府采购政策需满足的资格要求:/。4.本项目的特定资格要求:/。三、获取招标文件四、提交投标文件截止时间、开标时间和地点提交投标文件截止时间:2024年6月26日09点30分(北京时间)提交投标文件地点(网址):本项目通过“政府采购云平台()”实行在线提交投标文件(电子投标)。开标时间:2024年6月26日09点30分(北京时间)开标地点(网址):本项目通过政采云平台(sdf.lkj//)实行线上开标。五、公告期限自本公告发布之日起5个工作日。六、其他补充事宜1、供应商认为采购文件使自己的权益受到损害的,可以自获取采购文件之日或者采购文件公告期限届满之日(公告期限届满后获取采购文件的,以公告期限届满之日为准)起7个工作日内,对采购文件需求的以书面形式向采购人提出质疑,对其他内容的以书面形式向采购人和采购代理机构提出质疑。质疑供应商对采购人、采购代理机构的答复不满意或者采购人、采购代理机构未在规定的时间内作出答复的,可以在答复期满后十五个工作日内向同级政府采购监督管理部门投诉。质疑函范本、投诉书范本请到浙江政府采购网下载专区下载。2.其他事项:2.1为依法获取本项目招标文件及投标响应,潜在投标人应当按照《浙江省政府采购供应商注册及诚信管理暂行办法》的规定在“浙江政府采购网(sdf.lkj///)”政采云平台注册登记。中标人必须成为注册供应商,未注册的投标人,请注意注册所需时间,由此产生的后果自行承担。2.2本项目依据《浙江省政府采购项目电子交易管理暂行办法》,通过政采云平台(sdf.lkj//)实行电子交易(在线投标响应)。潜在投标人在参与本项目投标前应当完成“政府采购云平台”的账号注册、身份认证(CA数字证书申领)、“政采云电子交易客户端”下载安装,相关操作指南参考如下:1)供应商注册(入驻):sdf.lkj///v-settle-front/registry;2)浙江省“电子交易/不见面开评标”学习专题(网址sdf.lkj///luban/e-biding)3)“政府采购云平台”服务热线电话:95763。2.3对符合财政扶持政策的中小企业(小型、微型)、残疾人福利性单位给予价格优惠,执行扶持不发达地区和少数民族地区政府采购政策。2.4电子投标注意事项1)投标人应于提交投标文件截止时间前将电子加密投标文件上传到政府采购云平台(sdf.lkj//),未按规定上传电子加密投标文件,视为投标人放弃投标。2)投标人在“政府采购云平台”完成“电子加密投标文件”的上传提交之外,还可以在投标截止时间前提交以U盘为介质存储的备份投标文件,备份投标文件递交可采用现场或邮寄递交的方式,但此项并非强制要求。3)开标后,在解密指令发出30分钟内投标人应当登录政采云平台,用“项目采购-开标评标”功能解密电子加密投标文件。若投标人在规定时间内无法解密或解密失败且未提供备份投标文件的,视为投标人放弃投标;如已按照招标文件规定提交备份投标文件的,则采购代理机构按照“政采云平台”的操作规范处理,若使用备份投标文件仍然无法成功的,视为投标人放弃投标,因此产生的后果投标人自行承担。电子加密投标文件按时解密的,备份投标文件自动失效。2.5本次政府采购活动有关信息在浙江政府采购网、宁波政府采购网、宁波市公共资源交易网(镇海区分网)网站上公布,发布信息视同送达所有潜在供应商,参加投标的供应商有义务在采购活动期间浏览公告发布网站。七、对本次招标提出询问,请按以下方式联系。1.采购人信息第二章采购需求一、技术需求标项一:镇海区石化行业废气全过程管控应用建设项目(一)项目背景1、政策背景坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻落实党的十九大和十九届二中、三中、四中、五中、六中全会精神,紧紧围绕“五位一体”总体布局和“四个全面”战略布局,坚持新发展理念,积极践行“绿水青山就是金山银山”理念,以满足人民群众对优美生态环境的需要。根据《镇海区生态环境保护“十四五”规划》总体部署,“十四五”时期(2021—2025年)我区在高水平全面建成小康社会基础上,开启高水平全面建设社会主义现代化新征程,推进社会治理体系和治理能力现代化,建设美丽镇海的关键时期。《规划》指出,要坚持数字赋能、深化改革的基本原则,以数字化改革为牵引,建立健全市场化机制和法制体系,强化绿色创新和科技、数字赋能,实现“智慧”监管。完善排污企业污染源在线监控系统建设,推动生态环境领域数字化转型,提升生态环境治理的科学化智能化水平。2、污染源管控业务现状目前,镇海区生态环境分局的污染源在线监控系统已渐趋完善,经过多年的系统建设和在线监测数据积累,对污染源末端排放的监管已初具成效。但随着环保业务的发展,监管思路的拓展和数智赋能整体智治要求,也对系统提出了更高更细的要求。在此背景下,镇海区生态环境分局响应生态环境数字化改革的号召,提出了对污染源在线监控系统数字化及工艺流程数字监管的改造要求,通过建立监管执法规则库,达到污染源数据的全过程监管,保障系统运行可靠、准确、安全、高效,通过对接生产过程中各项关键参数,拓宽监管视野,将现有的末端监管向过程监控进行延伸。同时服务企业生产,拓宽降本增效路径,赋能减污降碳,提升生态环境部门生态环境治理能力。3、现有系统及使用情况(1)业务应用系统现状宁波市生态环境局镇海分局目前运用的涉气类信息化系统主要包括省级业务系统及自建系统,其中省级系统主要是重点排污单位污染源废气自动监控信息管理系统,自建系统主要包括大气环境质量在线监测与发布系统、露天垃圾秸秆焚烧监管系统、镇海区生态环境一张图、“数字治气”应用(在建)等。“数字治气”应用(在建)解决了原有数据只能在二维地图上展示及LDAR审核缺乏检测数据真实性审核功能和检测过程规范性审核功能的问题,但对污染源的监管还停留在末端,缺乏全过程的管控,在线数据真实性也缺乏监管。(2)数据资源现状镇海分局历年来数字化工作建设积累了大量的基础数据、业务数据等。现有数据资源主要包括环境质量数据、污染源在线监测数据、污染源业务数据等。环境质量数据包括常规空气站站点信息数据、小时数据、日数据、月数据、年数据、乡镇站点站点信息、小时数据、日数据、月数据、年数据、环境空气VOCs站点基础数据、小时数据、日数据、月数据、年数据、气象数据等。污染源在线监测数据包括污染源排口基础信息、排口历史监测数据、污染源厂界历史监测数据、厂界站点信息等。企业数据包括企业基础数据(企业名称、经纬度、联系人等)、生产信息(主要原辅料、生产工艺等)、业务信息(信访、审批、执法等)、在线监测信息(如有)。企业数据在镇海生态环境一张图项目中已经进行了梳理,形成了较为基础的一源一档,并在“数字治气”应用中补充了涉异味物质信息、涉VOCs物质信息数据、无组织排放源、工艺流程图等数据。4、存在的问题镇海区已经初步构建了“点-线-面”天地空一体化全天候的监测网络,但时常发生异味扰民时找不到超标排放的企业,环境空气点位数据超标企业排口在线监测、厂界站点数据却都没有超标的现象,给生态环境部门的监管工作带来很大难度。造成这一现象主要有两个原因,一是随着在线监控系统的逐年建设,监管压力增大,对监测设备的全生命周期管理有所缺失,数据的有效性及真实性难以保障;二是企业无组织排放存在数量大、点位隐蔽、排放量大的特点,但未纳入监管范围,无法精准溯源。(二)工作目标要求“以问题为导向,以监测为基础,以数据为依据,以监管为抓手”全面改善镇海区环境质量为目标,在构建污染源全过程全要素监管体系、预警体系和服务体系基础上,实现从末端监管向过程监管转变、从被动应对问题向主动发现问题、解决问题转变、从不定时现场人工监管向全景全天候24小时智慧监管转变,实现环境问题追根溯源、推演复盘、预警预测、闭环管理,切实提升大气环境领域的监管服务效能。(三)项目主要建设内容、建设规模、建设地点、建设期1、建设内容本项目以镇海区的行政区域为边界,以涉气污染源监管为重点,主要建设内容为完成应用系统建设,并完成为应用系统建设配套的基础设施建设。基础设施层建设包括在17家企业的20个在线监测站房安装各类传感器、物联网指挥巡检机器人及其配套设备,另外在20家企业安装数据采集设备(网络隔离产品)用于采集企业DCS数据。应用系统建设则包括数据资源层建设、应用支撑体系建设和应用系统开发,具体如下:(1)数据资源层建设:本项目涉及采集的数据主要有系统设备数据、自学习知识数据、自学习故障代码数据、自学习运行规则数据、过控点位数据、过控报警规则数据等,利用市区公共数据平台数据治理工具和“数字治气”应用已配置的数据处理工具进行相关数据治理工作,根据业务需求及相关信息资源标准规范建设系统设备知识库、系统设备故障码库、预警和报警运行规则库、干系人数据库、工艺流程数智监管数据库。(2)应用支撑体系建设:本项目应用支撑层设计将利用现有及新建的应用支撑组件或工具进行建设,主要包括统一身份认证、用户管理、权限管理、日志管理、地理信息共享服务、数据采集工具、工作流引擎、造假识别实现算法、过程监控报警算法等。(3)应用系统开发:本项目涉及的应用系统包括在线监控智能监管场景及工艺流程数智监管场景、浙政钉端、浙里办端。①在线监控智能监管场景通过预警和报警规则库,拓宽问题发现渠道,提高问题及时发现能力,杜绝故障和异常不能被发现,或发现后已经不能追溯的现象。通过积累的工况大数据和多年的监测数据,能够复盘系统运行的状态,能将故障和异常说清楚讲明白,避免误断误判。②工艺流程数智监管场景基于全流程环境危害识别与管控项目,通过可配置化工具,对每家企业涉及无组织排放的工艺工段及有组织排放但无监管手段的工艺工段进行流程图及实时数据展示,并针对性的设置报警规则,对报警情况进行推送,实现业务闭环。同时对报警信息进行统计分析,集成可视化的场景,实现统一管控、信息共享、联动管理,提高工作效率,降低人力成本,助力高效的运维和服务。③浙政钉端在浙政钉端实现在线监控智能监管场景及工艺流程数智监管场景报警信息查看及反馈功能。④浙里办端在浙里办端实现本企业过控数据查看、在线监控智能监管场景及工艺流程数智监管场景报警信息查看及整改反馈功能。2、建设规模项目建设层级:区级项目建设模式:新建项目,镇海区建设,推广使用3、建设地点宁波市生态环境局镇海分局。4、建设期2024年12月完成初验投入运行,2025年6月完成项目竣工验收。(四)项目需求介绍4.1业务需求分析污染源的全过程监管包括了企业工艺流程的和污染源在线监测系统运行状态的监管。污染源在线监控系统作为企业污染治理设施的组成部分,涉及区生态环境局、排污企业、系统原设备厂家、运维单位和其它如监理单位,第三方检测机构等,在数字赋能整体智治的新形势要求下,基于污染源在线监控系统运行和监管的现状,提出了新的需求。同时,仅覆盖末端排放的污染源在线监控系统已无法满足现有的精细化监管需求,石化行业由于其工艺复杂等特点,需要对主要工艺流程各个无组织排放点或未安装在线监控设备的排放源通过逻辑算法进行监管。4.1.1.业务功能分析.实现污染源在线监控系统运行工况的大屏展示设计数据展示大屏以实时呈现污染物在线监测的运行状态、预警信息、违法线索的展示和查询,确保监管的高效与直观。针对不同的污染源在线监控系统系统,需构建不同的IoT测点及IoT管理系统以及监控污染源在线监控系统设备工作状态。.实现污染源在线监控系统的违法线索识别利用物联网智慧巡检机器人采集污染源在线监控系统系统运行工况数据,通过实时动态运行环境、能耗、运行工况、样气压力、参数与计算公式以及浓度测量值等多维度分析,自动识别异常数据与虚假标注,实现违法线索的有效识别与告警,保障环境监管的精确性与实时性。.实现石化行业企业主要生产工艺流程及无组织排放口可视化结合全流程环境危害识别与管控项目排查成果,通过组态建模,对石化行业企业的实际生产工艺流程进行还原,同时对接石化行业企业DCS中的数据,实现对应工艺流程及关键点位的监控参数的实时展示。.实现石化行业企业主要生产工艺流程排放监管功能根据石化行业企业工艺设计参数,设定对应的报警规则,实现对石化行业企业主要工艺流程中点位数据的实时分析,对异常参数进行挖掘识别,实现实时预警功能,并对报警事件实现统一的管理查询及处置。4.1.2.业务流程分析.在线监测系统监管业务流程.1.原有业务流程宁波市生态环境局镇海分局已经建立了较为成熟的分级预警报警体系,对在线超标数据分为预警及报警两种提醒,当企业在线监测数据超过排放标准90%阈值时,对企业进行预警,由企业自查自纠并在2小时内答复镇海分局相关人员。在线监测超过排放标准则触发报警,对数据进行甄别,如有特殊情况则记录并闭环,如是正常报警则通知执法人员。数据轻微超标的通过远程执法完成闭环,严重超标的现场调查并采样取证进行立案查处。每年通过分类分级闭环机制处理的在线超标报警约2600条,但业务流程均在线下流转,处理效率低且大大增加了监控中心工作人员及执法人员的工作量。.2.项目建成后业务流程项目建成后预警报警及涉嫌数据造假的报警信息均可在线上提醒并由企业线上反馈,系统自动留档,可较大幅度的减轻监管人员工作量。.高值溯源管控流程.1.原有业务流程前期“数字治气”应用中建设的“高值溯源管控”场景中已经打造了出现高值时的数字化监管业务流程。但对模型反演分析出来的企业,只能通过排口监测数据、厂界监测数据等进行佐证,难以识别企业在线监测数据造假及无组织排放行为。.2.项目建成后业务流程本项目中两个场景建设完成后,溯源出嫌疑企业之后,可查看出现高值期间工艺流程监管报警信息、在线监控智能监管报警信息等,进一步缩小嫌疑企业范围并精准溯源至工段或装置,提升监管效率、减轻监管压力。.污染天气管控业务流程分析本项目建成前,污染天气应急管控期间执法人员需要对限产、停产企业进行现场检查,确保所有减排措施均落实到位。本项目建成后,执法人员可通过工艺流程监管场景数据,辅助判定企业减排措施落实情况,比如是否存在装卸原料作业等情况,都可以通过装卸设备的数据进行判断。另外,还可以发现企业在限产停产期间对在线监测数据进行人为干扰的行为。4.1.3.业务量分析在线监控智能监管将覆盖17家试点企业,每家企业按一到两个点位计,共20个污染源排放口点位。工艺流程数智监管将覆盖22家试点企业,覆盖每家企业的储运设施、生产过程、废气治理设施、废气管路等各个存在无组织排放的环节。4.2.信息计算量和存储量分析和预测4.2.1.信息计算量和存储量分析与预测本项目的数据信息量主要由基础数据信息、业务数据信息、统计分析信息、系统运行信息等构成。1)基础数据信息。基础数据信息主要是本项目中建设的系统设备数据库、自学习知识库、过控点位数据库、报警规则库等各类基础库的信息。2)业务数据信息。本项目中将新建应用系统和相应的数据库,在通过相应系统开展业务工作的过程中,将逐渐产生和积累数据。3)系统运行信息。系统运行所需信息存储量包括操作系统、基础中间件、应用支撑平台和应用系统所占空间。4.2.2.传输量分析与预测信息数据传输是在终端设备与后台业务系统之间构建起一个无缝的通信桥梁。一方面,终端设备使用无线等网络技术,将分布于全市的设备信息,发送至数据传输平台,数据传输平台再将数据推送至业务系统。另一方面,后台业务系统可以通过数据传输平台将需要控制设备的各种命令传达给具体的设备终端。本项目平台的传输量主要由物联网终端采集量、应用数据交互产生量所组成。每天物联网终端采集量约1G,年传输量为0.36T,单次登录各应用系统进行访问产生的量为80M,每天以50人次计算,年传输量为1.4T;则平台年传输量为0.36+1.4=1.76T。在线监控智能监管系统主要由现场巡检机器人采集量、应用数据交互产生量所组成,每天每台巡检机器人约0.2G流量,20个点年传输量为1.43T,单次登录各应用系统进行访问产生的量为50M,每天以50人次计算,年传输量为0.9T;则平台年传输量为1.43+0.9=2.33T。4.2.3.存储量分析与预测本项目的数据信息量主要由历史数据信息、基础数据信息、业务数据信息、统计分析信息、系统运行信息等构成。1)基础数据信息。基础数据信息主要是本项目中建设的系统设备数据库、自学习知识库、过控点位数据库、报警规则库等各类基础库的信息量。根据估算,上述数据的数据量大约为0.1TB。考虑全区生态环境管理业务的不断发展,按照年新增基础数据20%计算,则五年后基础数据信息总量约为0.9TB。2)业务数据信息:项目中将新建应用系统和相应的数据库,在通过相应系统开展业务工作的过程中,将逐渐产生和积累数据。根据估算,系统建成后日常工作过程中所产生的信息量约0.8TB。其中主要为工艺流程数智监管场景所产生的数据,包括过控点位每条数据0.5KB,每年约1.5亿条数据,需保留10年数据,约720GB;报警数据每条数据1KB,40万条数据,保留10年,约4GB;在线监控智能监管系统所产生的数据按每条数据0.5KB,每年约1000万条数据,需保留10年数据,约48GB,报警信息每条数据1KB,每年约10万条数据,保留10年,约1GB。3)系统运行信息。系统运行所需信息存储量包括操作系统、基础中间件、应用支撑平台和应用系统所占空间,共需预留约0.2TB空间。以上各项信息存储量合计约2TB。则配置的磁盘阵列的可用容量总计应不小于2TB,考虑到做RAID以及用于热备的硬盘,实配硬盘总量将大于上述计算值。4.3.数据结构与数据资源共享需求分析4.3.1.数据结构在线监控智能监管场景为了实现上述的违法线索识别功能,系统需要构建一个复杂而精细的数据结构。这个数据结构应包含以下几个主要部分:污染源在线监控系统运行工况数据:用于存储由物联网智慧巡检机器人采集的各种工况和监测数据,如电流、电压、功率、温度、湿度、样气流量、浓度测量值等。这些数据应能按时间戳进行索引,以便于后续的查询和分析。运行规则库:定义了自动巡检的规则和标准,包括各种指标的正常值范围、经验值、故障识别逻辑等。这些数据通常以规则或配置文件的形式存在,供系统自动巡检时参考。排污许可证与联网备案信息数据:记录排放口的排放详细信息,如排放标准、排放参数、联网时间、设备型号、序列号、参数值、量程、计算公式等。这些信息应与中心服务器上的备案信息进行对比,以识别无备案的异动。异常数据与告警数据:用于存储系统自动识别出的异常数据和告警信息,包括异常数据的类型、发生时间、识别逻辑、告警级别等。为了实现工艺流程数智监管场景的各项功能,需要构建一个精细化的数据机构,应包含以下几个主要部分:工艺流程点位基础数据:采集清洗过程监管点位数据,包括点位名称、点位所属装置、点位位号、点位坐标、位置隶属关系、点位排放物质、物质属性、点位监控参数、报警规则等。报警规则库,用于定义各个工艺流程点位的报警标准。异常数据与报警记录:用于存储工艺流程数智监管场景产生的报警信息,包括报警点位、时间、报警规则和报警级别等。4.3.2.数据共享需求分析本项目相关的系统的数据接入共享的要求如下表:序号资源名称数据项共享方式更新频度1企业信息企业名称、企业地址、生产信息、业务信息、排污许可证信息等数据接口实时2污染源监测数据污染源在线监测浓度数据、流量数据等数据接口实时3重大风险源数据储罐温压流数据、可燃气体报警数据等数据接口实时4.3.3.数据处理需求由于石化行业废气全过程管控业务数据资源种类多样,需要依托于多种覆盖数据处理逻辑的数据处理工具,对接入及导入的数据进行处理,并建立标准化的数据处理模式与流程。4.3.4.专题库建设需求.建设污染源数智造假场景专题库数据采集与整合库:用于实时或批量采集、整合来自不同来源的数据,如污染源在线监控系统、环境监测设备等。该库应包含数据采集、处理、存储等功能,确保数据的可靠性和时效性。数据可视化展示库:提供多种数据可视化工具和图表类型,如折线图、柱状图、散点图等,用于将分析结果以可视化的方式呈现给用户,帮助其更好地理解数据趋势和规律。预警规则库:建立识别模型,通过对异常数据的分析,及时发现并预警可能存在的造假行为。该库应包含丰富的告警规则和触发条件,以及相应的应对措施和解决方案。.建设石化行业企业主要工艺流程点位数据库系统能够通过系统对接或者数据采集设备采集等方式,对石化行业企业工艺流程中可能涉及无组织排放的点位数据进行统一管理。4.4.功能需求分析4.4.1.应用系统功能需求.工艺流程数智监管场景工艺流程数智监管场景需基于全流程环境危害识别与管控项目,通过可配置化工具,对每家企业涉及无组织排放的工艺工段及有组织排放但无监管手段的工艺工段进行流程图及实时数据展示,并针对性的设置报警规则,对报警情况进行推送,实现业务闭环。同时对报警信息进行统计分析,集成可视化的场景,实现统一管控、信息共享、联动管理,提高工作效率,降低人力成本,助力高效的运维和服务。.在线监控智能监管场景在线监控智能监管场景需实现排污许可证和企业装置工况数据的管理,包括数据的手工录入、存储、查询与更新。同时,需支持联网备案及变更管理,确保联网数据的实时性和准确性。对于系统IoT测点,需进行统一管理,包括测点配置、状态监控及故障报警。数据展示大屏需实时呈现关键数据,如IoT测点实时数据展示、设备运行状态、预警线索实时展示等,以便快速识别异常。预警线索处置管理应支持对预警线索的灵活处理,包括忽略、挂起以进行进一步观察,以及将其转换为违法线索进行深入处理。运行规则库需根据业务需求灵活设计和配置,以支持多种预警场景的识别。整个系统需具备高度的可扩展性和可定制性,以适应不断变化的业务需求和技术发展。4.4.2.应用发布端需求本项目用户涉及生态环境监管部门、污染源企业,系统需满足多种发布需求,其中:生态环境监管部门需提供PC端、PAD端和“浙政钉”发布功能,企业服务端需提供浙江省政务服务网端和“浙里办”发布功能。4.4.3.应用支撑需求本项目应用支撑层设计将利用现有及新建的应用支撑组件或工具进行建设,主要包括造假识别算法、过程监控报警算法、统一身份认证、用户管理、权限管理、日志管理、地理信息共享服务、数据采集工具、污染源一体化闭环管理等作为业务应用支撑。其中共享利旧的应用支撑有统一身份认证、用户管理、权限管理、日志管理、地理信息共享服务、数据采集工具、污染源一体化闭环管理等。新建的应用支撑包括造假识别算法及过程监控报警算法。4.4.4.基础设施需求.安装在污染源在线监控系统上的传感器安装在系统上进行前端数据采集的传感器有电能传感器、环境温湿度传感器、温度中继传感器、压力传感器。.传感器与物联网智慧巡检机器人的网络要求传感器和物联网智慧巡检机器人之间的网络通过RS485总线连接的方式进行连接,通过一条总线可获取所有的传感器数据。.物联网智慧巡检机器人在各企业的在线监测前端将安装物联网智慧巡检机器人。物联网智慧巡检机器人是一种高效、智能的数据采集与分析设备,专注于在不同场景下实现精准、实时的监测数据采集和分析。例如该机器人能够针对管路压力、设备用电能耗、不同种类分析仪表关键参数等多种关键指标进行精确测量和数据采集,确保数据的准确性和可靠性。在数据采集的基础上,物联网智慧巡检机器人还具备强大的数据分析能力。它能够根据预设的规则和算法,对采集到的数据进行实时分析,判断数据是否异常,并在发现异常情况时及时发出报警信息,以便能够迅速响应并处理问题。.物联网智慧巡检机器人与监控中心网络利用省厅原有自动在线监测专网,实现物联网智慧巡检机器人与监控中心的网络进行连接。本专网的运营商有电信、移动、联通,可根据需求对IP地址进行规划,分配和物联网智慧运营巡检机器人以便和监控中心网络互联。.数据采集设备(网络隔离产品)工艺流程数智监管场景将采用工业安全隔离采集系统实现企业端监测监控数据的采集,工业安全隔离采集系统是新一代具备网闸功能的数据采集产品,安装于工控网络(可信网络)和外部网络(不可信网络)之间,连接两个网络并控制网络间的信息交换。产品通过专用硬件实现工控网络和外部网络之间的物理隔断,可以防止各种基于网络层和操作系统层的攻击,充分保障工控网络的安全。.云资源需求本项目后端基础设施需依托于宁波市信创云资源,统一为上层提供网络资源、计算资源、存储资源等云计算基础资源服务。系统分别部署在资源共享区和公众服务区两个区域,资源共享区主要用于部署在线监控智能监管场景及工艺流程数智监管场景数据库,共申请3台云资源;公众服务区主要用于部署工艺流程数智监管场景应用,共申请1台云资源。根据部署需求,本项目所需云资源需求如下表所示:资源名称配置要求数量用途部署区域数据库服务器4核,8GB及以上,系统盘200G,数据盘200G1在线监控智能监管场景数据库服务器资源共享区应用服务器4核,8GB及以上,系统盘200G,数据盘200GB1在线监控智能监管场景应用服务器资源共享区应用服务器4核,8GB及以上,系统盘200G数据盘200G及以上1工艺流程数智监管场景应用服务器公众服务区数据库服务器4核,8GB及以上,系统盘200G数据盘2T及以上1工艺流程数智监管场景数据库服务器资源共享区4.5.性能需求分析1)应采用B/S三层架构的体系结构,充分考虑到今后纵向和横向的扩展能力,能够满足日后模块的升级和需求的增加。2)系统应采用模块化设计,在增加后台管理模块时,无须更改页面的代码。3)支持7×24小时不间断运行,月平均故障时间<1天,月平均故障修复时间<30分钟。4)宁波市生态环境局镇海分局现有业务人员约90人,覆盖企业40家,每家企业一个账号,考虑未来业务发展,企业会增加至60-80家,局内业务人员增长至100人左右。系统需支持150个以上在线用户,支持40个以上并发用户。5)在带宽稳定的情况下,一般页面加载响应时间<2秒;10万条数据的简单查询及统计不超过4秒,百万条数据的查询及统计不超过8秒;一般资料保存响应时间<6秒;一般图表分析响应时间<10秒,比较复杂的图表分析响应时间<20秒,特别复杂的图表分析响应时间<40秒。6)支持的年数据量大于50万记录数、50G字节的数据量。4.6.系统安全需求分析本项目建设的应用系统存储和使用了污染源企业的各类隐私信息,若受到破坏,业务信息安全和系统服务安全均一般损害国家安全事项,损害社会秩序(影响国家机关、企事业单位、社会团体的生产秩序、经营秩序,影响公共场所的活动秩序)、公共利益(影响社会成员使用公共设施、获取公共数据资源、接收公共服务等)。因此,依据《信息安全技术网络安全等级保护定级指南》(GB/T22240-2020)的定级流程,网络安全等级保护自定级为第二级。(五)项目设计要求5.1.系统总体框架设计5.1.1.系统框架设计基础设施层石化行业废气全过程管控的主要前端感知设备包括工业安全隔离设备,从企业DCS采集企业生产过程中涉气装置的相关参数及在企业治理设施末端安装边缘计算设备、各类监控传感器、物联网智慧巡检机器人等,对在线监测数据进行分析。云基础设施依托于宁波市信创云,统一为上层提供网络资源、计算资源、存储资源等云计算基础资源服务。数据资源层本项目汇集前期全流程环境危害识别与管控项目排查出的企业各类涉气排放源信息,通过与石化区管委会危险化学品重大危险源风险监测预警系统对接或通过安装工业安全隔离设备从企业DCS直接读取企业生产工艺过程中的相关参数,结合“数字治气”应用的其他数据,面向业务应用提供数据服务。本项目基于面向对象数据存储方式,充分利用数据抽取、清洗、转换等数据集成手段,提供数据分析展示服务,满足宁波市生态环境局镇海分局内部外部的数据交换、数据共享与应用需求。应用支撑层本项目依托前期数字化建设成果,利用包括基础引擎(统一身份认证、权限管理、日志管理、地理信息共享服务、数据采集工具)、过程监控数据挖掘模型等内容,快速支撑本项目应用系统的快速高效的搭建。并通过污染源一体化闭环管理(“数字治气”应用建设中)实现业务的高效闭环处置。业务应用层生态环境局镇海分局石化行业废气全过程管控平台业务应用层共有两个方面。整体项目从石化行业涉气污染源监管这一业务条线出发,分析镇海区近年来环境空气质量下降的原因,发现镇海区大气管控业务中存在对企业生产过程缺乏监管、无组织排放量大且无法溯源、企业在线监测数据有造假嫌疑等现象,因此需要构建工艺流程数智监管和在线监控智能监管场景。本项目从过程污染管控体系业务条线出发,围绕石化行业过程无组织排放监管、异常工况排放监管、污染源在线监控系统运行工况、感知设备数据逻辑关系分析等几个方面,对石化行业企业实现全面的监管,全面提升石化园区VOCs排放管理水平。围绕在线监测数据造假几种情景,进行智能识别,全面提升在线监测数据质量。政策制度体系、标准规范体系、组织保障体系、网络安全体系根据国家和生态环境镇海分局对信息化的安全管理需求、运行维护保障需求、数据标准化需求等,对本项目系统进行设计。5.1.2.网络架构设计本项目部署于宁波市信创云平台,政府部门通过政务外网访问,第三方企业、社会公众通过互联网访问。第三方企业的前端感知数据通过环保专网进行传输。环保专网与镇海分局政务外网区通过数据网闸等安全设备进行安全防护。5.2.业务应用层设计5.2.1.工艺流程数智监管场景在生产工艺全过程(包含隐形排口及过程泄漏点)、污染治理设施(含在线监测系统)部署物联感知设备,将关键参数信息(浓度、流量、温度、能耗、状态或DCS信息)通过边缘计算设备接入全过程管控系统,利用大数据分析研判与评价,提高智慧感知和预警溯源能力,实现整体智治,对企业实施“源头→过程→末端→成效”全过程污染监管,确保数据有效性,提升企业VOCs污染治理能力,切实削减VOCs排放量。工艺流程数智监管场景包含首页大屏、过程监控页面、工艺流程图展示、报警管理、数据查询、统计分析等子模块。.场景首页大屏依托于互联网大数据分析技术,整合环保平台资源,多维度的数据可视化展示,集数据采集、数据处理、可视化平台于一体,为平台数据提供实质分析与统计,提升数据化管理与服务能力,及时准确掌握企业运行情况及对大气环境的影响。平台数据实时更新,过程监控数据可视化,展示重点监控企业及点位的统计数据,其中包含:企业总数、监测点位总数、监测点位在线率、报警情况地图展示功能:地图上展示企业的点位分布,按照不同的企业类型显示不同图标。企业列表搜索:可模糊搜索相关企业,选定企业后地图上展示。地图展示的点位分布可点击,将会弹出该企业信息,点击详情跳转至改企业过程监控页面。.过程监控页面展示每个已完成工艺流程数据采集企业的过程监控数据,主要功能有企业基础信息、过控统计信息、报警记录、企业搜索等。.工艺流程图展示因石化行业企业每家的原辅材料、生产装置、生产工艺、废气处理工艺及设施都不相同,所以每家企业的工艺流程图界面都需要定制化开发,且开发前需要进行大量的调研工作,具体工作包括筛选出重点监管点位、调研点位详细信息、绘制草图、关联数据等。具体功能如下:.1.实时展示在工艺流程图中对所选企业每个工艺流程中的监测数据进行展示,展示的内容有:工艺流程点位名称、实时监测数据、报警信息等。.2.监测数据查看点击工艺流程点位可查看点位基础信息及最新数据,点击详情按钮跳转至数据查询界面查询该点位历史数据及变化趋势。.报警管理针对不同的企业类型、设备类型,根据监管需求、设备设计参数,设置不同的告警规则,记录企业内部各类型站点的告警信息。.1.预警提醒预警提醒通过系统直接推送到相关工作人员。本企业触发预警规则后提醒企业相关联系人,企业相关联系人可查看具体预警信息,需要反馈的也可通过企业端进行整改反馈。.2.预警查询预警查询分为待处理、已处理、仅提醒三部分。所有预警信息均支持筛选后导出功能。.3.预警信息处理相关监管人员收到预警信息后,可将处理结果等录入系统,实现闭环管理。.4.报警规则设置报警列表里可查看对应的报警规则。具有相关权限的工作人员可对每个设备的报警规则根据实际监管需求或工艺设计参数进行修改、新增或删除。.数据查询数据查询支持过程监控点位的原始数据查询、另外还可设置筛选条件对数据进行查询。查询的数据均可导出。.统计分析可生成各类统计分析图表,包括历史趋势折线图、历史数据统计分析、归一化曲线等报警统计:可对所选时间段内的报警数据进行统计,以折线图形式展示每日或每小时的报警数量。可选择时间段,对区域内企业报警次数进行排序,排序企业清单可以导出。统计分析的图表均可导出。5.2.2.在线监控智能监管场景.系统IoT测点管理1)IoT测点实时数据接收设计高效的数据接收机制,确保从IoT设备或传感器中实时接收测点数据。实现数据的解析、转换和标准化,以统一的数据格式存储和展示。2)测点预警接收接收由IoT设备或传感器触发的预警信息。对预警信息进行解析和处理,生成预警事件,并触发相应的预警处理流程。3)IoT测点配置管理提供测点配置的增、删、改、查功能,包括测点名称、设备型号、采集频率、数据格式等。支持对测点配置进行版本控制和历史记录查询导出,方便管理和追溯。4.IoT测点AI运行规则配置管理设计AI运行规则的配置界面,支持自定义规则条件和动作。提供规则模板和示例,方便用户快速创建和配置AI运行规则。实现规则的存储、查询和动态加载,确保规则的灵活性和可扩展性。5)IoT测点配置同步管理 实现测点配置的自动同步和更新机制,确保不同平台或系统间的数据一致性。监控配置同步状态,及时处理同步异常,确保系统的稳定性和可靠性。.数据展示大屏设计数据展示大屏旨在实时展示IoT测点数据、预警线索、联网备案信息变更、系统运行异常预警、监测数据实时预警、运维异常实时预警以及专项的预定义统计指标,提供直观、高效的数据可视化,帮助用户快速识别潜在风险和问题。数据展示大屏功能模块:1)IoT测点实时数据展示展示IoT测点的实时数据,包括温度、湿度、压力、流量等关键指标。采用图表或曲线形式,动态展示数据变化趋势。2)数采仪操作日志变动展示展示数采仪的操作日志变动,包括操作时间、操作内容、操作人员等信息。提供日志查询和导出功能,方便用户进行追溯和分析。3)预警线索实时展示展示联网备案信息变更、系统运行异常预警、监测数据实时预警、运维异常实时预警等预警线索。提供预警详情和处置建议,方便用户快速响应和处理。4)联网备案信息变更展示展示排污许可证与首次联网备案不一致、量程、限值、参数和计算公式变更、联网备案超期等变更信息。提供变更详情和处理建议,确保备案信息的准确性和合规性。5)系统运行异常预警展示展示小间运行环境异常、采样异常、预处理异常、各主要分析设备异常、数采和网络异常、系统及主要设备运行能耗异常等预警信息。提供异常详情和处置建议,确保系统的稳定运行和数据的可靠性。6)监测数据实时预警展示展示工况相关的监测数据实时预警信息,如排放超标、浓度异常等。提供预警详情和处置建议,帮助用户及时应对潜在的环境风险。7)运维异常实时预警展示展示运维过程中的异常信息,如设备故障、维护超时等。提供异常详情和处置建议,确保运维工作的及时性和有效性。8)专项的预定义的统计指标实时展示展示用户关心的专项统计指标,提供指标对比和趋势分析功能,帮助用户深入了解数据背后的规律和趋势。预警内容清单如下:序号类型二级分类预警内容1联网备案信息变更排污许可证与首次联网备案不一致点位数不够2监测项目不符3量程、限值、参数和计算公式变更工作物理量程调整4参数变更5计算公式修改6联网备案超期验收和联网超期7系统运行异常预警小间运行异常小间环境温湿度异常8能耗为零/偏低9采样异常采样探头加热温度异常10伴热管温度异常11伴热管功率异常12采样泵功率异常13采样管路异常14预处理异常机柜环境温湿度异常15加热盒温度异常16加热盒能耗异常17冷凝器温度异常18冷凝器能耗异常19预处理管路异常20各主要分析设备异常仪表风异常21主分析仪报警22主分析仪能耗异常23粉尘仪报警24数采网络异常数采区平台通讯故障25数据采关键日志修改报警26监测数据实时预警末端监测数据异常折算数据计算异常27流量计算异常28恒值29运维异常工况相关异常校准和全过程比对数据虚假30质控和全过程顺序异常31维护时间超过常规32频繁开展故障、维护、校准33手工比对数据与在线数据不符合.预警线索处置管理设计预警线索处置管理方案旨在实现对预警线索的有效管理,包括预警线索的识别、分类、处置和跟踪,确保预警线索得到及时、合理的处理,提高预警管理的效率和准确性。具体功能如下:1)预警线索展示系统根据预设规则或算法自动检测并生成预警线索,或者由人工手动触发预警线索。展示所有已识别的预警线索,包括预警线索的类别、描述、生成时间等信息。2)预警线索分类管理根据预警线索的性质和严重程度,将其分为不同的类别。提供对预警线索的分类管理功能,支持新增、修改、删除预警线索类别。3)预警线索处置操作根据预警线索的类别和具体情况,采取相应的处置措施。处置操作包括忽略、挂起需观察、转违法线索处理等。忽略:对于误报或不影响系统运行的轻微预警线索,可以选择忽略,不进行进一步处理。挂起需观察:对于需要进一步观察或确认的预警线索,可以选择挂起状态,待观察后再做进一步处理。转违法线索处理:对于涉及违法行为的预警线索,经人工审核后应及时转交给相关部门或法律机构进行处理,确保违法行为得到及时制止和处罚。处置结果反馈:记录预警线索的处置结果和反馈信息,包括处置时间、处置人员、处置结果描述等。.预警规则配置管理设计预警规则配置管理,旨在构建一个灵活、可扩展的预警系统,能够支持多种预警规则的定义、配置和管理,以适应不同场景和需求。.1.预警规则管理规则配置界面:提供直观、易用的规则配置界面,支持用户通过拖拽、选择、填写等方式进行规则配置。规则分类:将预警规则按照不同的逻辑和应用场景进行分类,如停运规则、高低值规则、高高低低值规则、偏差值规则、变化率规则等。规则模板:为每个规则类别设计相应的模板,提供预定义的字段和参数,方便用户快速创建和配置预警规则。规则表达式:支持基于数学表达式、逻辑表达式等自定义预警规则,以满足复杂场景的需求。规则存储:将配置好的预警规则存储在数据库中,支持版本控制和历史记录查询,方便管理和追溯。规则调度:根据配置好的预警规则,系统自动调度和执行预警任务,生成预警线索并推送给相关人员。.2.预警规则扩展规则扩展接口:提供开放的规则扩展接口,支持用户根据实际需求自定义新的预警规则,并集成到预警系统中。规则动态加载:支持预警规则的动态加载和更新,无需重启系统即可生效,提高系统的灵活性和可扩展性。.系统管理系统用户、系统权限、系统安全、系统配置系统用户:对系统用户进行管理的系统。系统用户管理的主要功能包括用户的录入、维护、查询、分析等。系统用户管理支持多种用户的录入和管理,如管理员、操作员、监测员等。系统用户管理支持对用户的属性信息、用户信息、数据信息等进行管理和维护。系统权限:对系统权限进行管理的系统。系统权限管理的主要功能包括权限的录入、维护、查询、分析等。系统权限管理支持多种权限的录入和管理,如管理员权限、操作员权限、监测员权限等。系统权限管理支持对权限的属性信息、权限信息、数据信息等进行管理和维护。系统安全:对系统安全进行管理的系统。系统安全管理的主要功能包括安全策略的制定、安全性检查、安全性优化等。系统安全管理支持多种安全策略的制定和实施,如访问控制策略、数据加密策略、日志管理策略等。系统安全管理支持对安全性检查和安全性优化的查询、分析等。系统配置:系统配置进行管理的系统。系统配置管理的主要功能包括系统配置的录入、维护、查询、分析等。系统配置管理支持多种系统配置的录入和管理,如硬件配置、软件配置、网络配置等。系统配置管理应该支持对系统配置的属性信息、系统配置信息、数据信息等进行管理和维护。5.2.3.Pad端适配为方便执法人员进行现场执法,需对污染源数字孪生地图、工艺流程数智监管场景、在线监控智能监管场景、高值点溯源管控场景PC端功能进行前端页面改造,使其适配于现生态环境局镇海分局执法人员所使用的执法PAD。执法人员使用PAD可以在网页端查看污染源数字孪生地图.5.2.4.浙政钉端在原有的数字治气浙政钉端功能基础上,增加过程管控模块和在线智能监管模块。.过控管控可查看工艺流程数智监管场景所覆盖企业清单,点击可查看该企业点位列表、报警列表等。同时,收到过控报警相关的执法任务或现场检查任务时,可在移动端进行反馈,形成任务闭环。.在线智能监管可查看在线智能监管场景产生的报警信息,点击报警列表,可分类型、时间段查询该企业报警信息。还可在移动端进行反馈,形成任务闭环。5.2.5.浙里办端本项目在原有的数字治气浙里办端功能基础上,增加本企业过程监控数据查看功能。另外本企业环保联系人收到报警信息提醒后可登录企业端查看过控报警信息,并进行核实整改或申诉。5.3.项目集成与接口设计要求5.3.1.关联系统需求分析本项目主要依托于前期的生态环境一张图系统及“数字治气”应用进行建设并进行统一整合。在数据层面上,需要共享污染源数据、环境空气监测站点数据等。同时本项目新产生的污染源相关数据也将同步至生态环境一张图的一企一档数据中,为原有的业务系统提供更丰富的数据来源,实现更精细化的监管。在业务流程层面,依托“数字治气”应用的监管端及两端的功能,进行报警信息的流转,实现业务流程的闭环管理。5.3.2.接口需求(1)对外提供的接口本项目对建设单位以外部门提供的接口主要为各类数据共享接口,其他需求部门可从浙江省一体化数字资源上申请数据,以数据接口的形式调用所需数据。需由本项目对建设单位已有系统提供数据的系统有镇海区“数字治气”应用,本项目将对镇海区“数字治气”应用提供数据接口,实现相关数据的共享。(2)项目需要使用的接口本项目所需要使用的接口主要为数据接口,从浙江省一体化数字资源上申请数据,以数据接口的形式调用所需数据,为业务场景提供数据支撑。需要调用的数据包括污染源重大危险源数据、污染源在线监测数据等。5.3.3.项目边界及约束需求镇海区“数字治气”应用在省市平台总体框架下,打造镇海区大气环境监管特色应用,主要涉及与镇海区生态环境一张图系统、镇海区“数字治气”应用、石化区管委会危险化学品重大危险源风险监测预警系统、其他相关系统等系统存在边界关系。5.4.应用支撑层设计要求5.4.1.造假识别实现算法在线监控智能监管场景中各类预警的生成需要通过以下各类算法来实现:序号类型二级分类算法预警内容1联网备案信息变更排污许可证与首次联网备案不一致坏值分析点位数不够2坏值分析监测项目不符3量程、限值、参数和计算公式变更坏值分析工作物理量程调整4坏值分析参数变更5坏值分析计算公式修改6联网备案超期阈值判断验收和联网超期7系统运行异常预警小间运行异常阈值判断小间环境温湿度异常8时间序列分析能耗为零/偏低9采样异常时间窗口算法采样探头加热温度异常10时间窗口算法伴热管温度异常11趋势分析算法伴热管功率异常12趋势分析算法采样泵功率异常13决策树采样管路异常14预处理异常阀值判断机柜环境温湿度异常15阀值判断加热盒温度异常16趋势分析算法加热盒能耗异常17时间窗口算法冷凝器温度异常18趋势分析算法冷凝器能耗异常19决策树预处理管路异常20各主要分析设备异常阀值判断仪表风异常21坏值分析主分析仪报警22趋势分析算法主分析仪能耗异常23坏值分析粉尘仪报警24数采网络异常坏值分析数采区平台通讯故障25坏值分析数据采关键日志修改报警26监测数据实时预警末端监测数据异常坏值分析折算数据计算异常27坏值分析流量计算异常28时间序列分析算法恒值29运维异常工况相关异常时间窗口算法校准和全过程比对数据虚假30时间窗口算法质控和全过程顺序异常31阀值判断维护时间超过常规32时间窗口算法频繁开展故障、维护、校准33阀值判断手工比对数据与在线数据不符合注:以上算法为初步设计暂定的算法,供应商可以根据项目实际情况和专业能力配置合理的算法。5.4.2供应商根据项目的需求和初步设计要求,提供详细的过程监控报警算法方案。5.4.3.污染源一体化闭环管理(共享利旧)镇海区“数字治气”应用(软件)项目中已建设了污染源一体化闭环管理流程,用于汇集各个业务系统发现问题,进行反馈形成闭环。5.4.4.统一身份认证(共享利旧)依托浙江政务服务网、浙里办的组织架构和用户体系,分别构建面向企业PC端和移动端的用户体系和认证体系,实现用户统一身份认证和用户信息同步,根据认证程度不同,实名认证用户可分为不同等级,不同等级的用户赋予不同的权限,具体依据浙江政务服务网和浙里办授权体系设定。政府端应用实现与生态环境局镇海分局现有应用系统的集成和单点登录。5.4.5.用户管理(共享利旧)用户管理包括账号、部门、角色管理。5.4.6.权限管理(共享利旧)支持多权限集合的管理,权限集合可以自定义设置,将外部系统作为权限集合接入到用户中心进行管理,比如菜单权限、部门权限、报表权限、站点控制权限等。5.4.7.日志管理(共享利旧)为评价本应用系统的实战实效,计算通用指标、辅助指标、业务核心指标的结果,系统具备日志功能,记录并分析应用的用户登录日志、应用访问操作日志、用户访问日志、系统报错日志、接口调用日志等,具备各类日志的统一识别、采集、分类、查询、统计等功能。可通过日志分析组件,对应用中各类日志进行统一管理,应保证运行日志的真实性、连续性和完整性;对日志文件进行备份、存档,可进行存储分析定位查看日志。5.4.8.地理信息共享服务(共享利旧)本次项目涉及地理信息共享服务开发的有2D地图。基于2D地图开发的应用,地理信息共享服务通过调用宁波市自然资源和规划局的电子地图组件,镇海区现有地图资源,能够集中管理地理数据及相关业务数据,采用数据共享服务模式,能够直接将数据以标准服务的形式,通过系统共享给其他授权用户。5.4.9.数据采集工具(共享利旧)提供ETL设计与开发工具、ETL运行引擎、ETL监控工具、基础元数据服务等功能组件;支持多种操作系统平台,如UNIX、WINDOWS、LINUX等;支持各类数据源,如主流关系型数据库管理系统(ORACLE、SQLSERVER等);支持平面数据文件(文本文件,Excel,XML文件等);支持Oracle、SQLServer等数据库接口,支持WebServices的读写;具有并行处理能力,支持多线程处理;数据导入支持批量加载(sqlloader方式)、insert模式、行删除模式等。本项目中,将利用市公共数据平台资源,并配套数据采集工具,为从各个业务系统中获取数据、构建统一的生态环境基础数据库提供便利。5.5.数据资源层设计5.5.1.数据采集根据环境数据的来源和格式,按照不同来源的更新机制及不同企业类型,将数据采集分为手工录入、系统对接入库、设备对接入库等方式。数据清洗数据清洗是对业务数据中不符合标准规范或者无效的数据进行相关操作。在进行数据整合之前先定义数据的清洗规则,并对符合清洗规则的数据设置数据的错误级别。当进行数据整合过程中遇到符合清洗规则的数据时,将把这些业务数据置为问题数据,并根据错误的严重程度进行归类。对出现的问题数据进行标记后存入问题数据库中,经确认后再决定是通过清洗转换后入库,还是直接放弃,抑或其他方式处理。对于清洗前后的

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论