城市管理数据治理与分析展示系统需求说明

城市管理数据治理与分析展示系统需求说明1、城市管理数据治理与分析展示系统升级改造1.1 数据汇聚对接为加快完善以环卫全流程为核心的业务数据专题、数据分析专题数据库建设，本期项目需对新建垃圾分类、环卫系统产生的数据进行汇聚，动态更新数据资源目录清单，并保障好与“穗智管”平台的数据对接。1.1.1 数据采集服务垃圾分类数据管理系统、市城市管理智慧环卫系统于2021年建设完成，本期项目建设主要是对升级改造功能产生的数据进行清洗和梳理工作，对城市管理数据质量进行全面的监控和提升。综合性城市管理数据库作为市智慧城市管理的数据资源中心，用于归集城市管理信息模块的格式化和非格式化数据，并通过现有已建立的信息系统元数据标准规范，对分散、多样化的数据进行清洗、转换、分类、集成等操作，对数据质量进行全面的监控和提升，加载到对应的数据库中，并对所有数据资源进行实时监控和异常监控。同时，由于综合性城市管理数据库归集了所有的核心数据，相关数据的服务接口统一通过数据管理平台，向各业务系统、可视化展示分析输出数据服务。1、数据总体架构数据源：数据源包括新建的垃圾分类数据管理系统、市城市管理智慧环卫系统。数据梳理：根据已有数据标准规范，采用已建的大数据平台，对接入的系统数据进行处理。（1）结构化数据对于结构化数据，经过加载、抽取、转换、清洗、比对等处理后，按照数据分类和分层进行存储。（2）非结构化数据对于非结构化数据，按数据来源和数据类型（如文档类、图片类、音频类、视频类等）进行存储目录规划，并按数据分析需求进行预处理（如关键字标签）后分别存入结构化数据库和对象存储库中。资源库：对数据进行处理后形成业务管理子专题库、业务运行子专题库。（1）业务管理子专题库包括分类小区数据、分类投放点数据、投放人数据等。（2）业务运行子专题库包括清扫保洁数据、机械化作业数据、公厕保洁数据等。2、数据汇聚范围本次汇聚的系统范围如下：序号模块名称主要数据项1垃圾分类数据管理系统垃圾收集点数据、各类垃圾量数据等2市城市管理智慧环卫系统公厕数据、保洁数据等3、数据调研对本期需要接入的系统，涉及的业务对象和业务范畴进行梳理，包括业务对象梳理和精细化业务梳理两部分内容。业务对象梳理：对本期接入的各个数据系统按照管理业务、基本对象、子对象、公用属性、对象属性等维度进行详细梳理，为数据规范化提供支撑。精细化业务梳理：对本期接入的各个数据系统按照管理业务、业务大类、业务数据对应系统等维度进行详细梳理，为数据规范化提供支撑；调研的内容包括数据和业务流程两部分。业务部门的数据都与其业务密切相关，在调研报告的输出中，需要详细阐述被调研部门的业务现状。4、数据汇聚流程数据采集是将综合性城市管理数据库所需要的业务数据从本次新建的业务应用系统中采集出来并建立原始库的过程。数据采集的方式通常有以全量/增量方式从各类主流数据库、各类文件（txt、excel、csv等）采集的结构化数据；5、数据采集方式配置在确定需要进行采集的数据后，通过判断将要采集数据类型，使用已建的大数据平台-采集任务配置工具来配置相应的数据采集方式，其中结构化数据采用数据库直接采集方式，非结构化数据采用文件采集方式，单机数据和纸质文档数据采用手工输入方式。6、数据采集频率配置默认采用T+1的采集周期方式，在每天凌晨零点30分（为了消除各业务系统和采集系统时间不一致导致的增量数据丢失问题，不以0点开始，往后推迟30分钟）的时候开始进行数据采集。对于有特殊时间要求，但未达到实时的数据，根据业务系统的压力和采集时间等情况进行综合分析，采用准实时(时间单位为分钟或小时)的采集周期。对于实时性要求比较高的数据，采用实时(时间单位为秒或分钟)的采集周期，各业务系统将数据实时推送到前置机。数据同步方式选择为了最大程度减少对原始业务系统的影响和最大程度减少采集任务配置的复杂度，本次采用业内常用的标准，1百万条记录为平衡点：对于数量小于1百万以下的数据表，采用全量采集方式。采集速度快，配置简单。对于数据量大于1百万的表，采用增量同步方式。如果有时间戳字段，采用时间戳的方式。不需要每次都同步全表数据，提高采集效率。考虑到业务的影响以及部署的复杂性等相关因素，本次项目将结合接入系统的实际情况，主要采取时间戳的方式进行数据增量同步。7、数据采集任务配置对不同采集源数据的采集作业进行图形化配置，包括关系型数据库、非关系数据库、业务文件、服务接口数据等。1.1.2 数据处理服务数据处理服务主要实现对数据采集库数据的清洗、转换、翻译、校验、去重、合并处理，并将相关的表合并成标准表和宽表，将杂乱的数据变为有序、干净和高质，提升数据价值，为主题库的创建和数据分析应用提供基础。1、数据清洗数据清洗是对数据校验出不符合标准的数据进行清洗处理的过程。（1）清洗规则配置清洗规则配置是按照数据规范标准要求，根据实际业务情况，配置清洗的规则，不同数据源数据的清洗规则配置通过模板、标识进行管理。数据清洗包括但不限于以下内容：缺失值清洗：对每个字段都计算其缺失值比例，然后按照缺失比例和字段重要性，分别制定策略。格式内容清洗：格式不一致：日期、全半角等显示格式不一致，要统一成统一的格式。内容中有不该存在的字符：去除首尾空格或者出现了格式之外的字符，以半自动半人工的方式找出问题，去掉不需要的字符。逻辑错误清洗：主要是去掉一些使用简单逻辑推理就可以直接发现问题的数据，去除不合理值。（2）清洗任务调度清洗任务调度主要针对已配置的清洗任务进行实时调度或周期性调度，包括任务的启动、停止、暂停、重启等调度方式。（3）清洗结果查询清洗结果查询提供每次清洗工作完成后，对形成的新数据进行查询的功能。包括清洗时间、清洗数据条数，清洗前数据值、清洗后数据值等。3、数据加工（1）数据比对数据比对是将采集来源不同的但具有业务关联性质的数据进行相互比对，通过比对规则配置，筛选出比对不一致数据的过程。比对规则配置：将来源于不同系统但包含同一对象信息的数据源进行比对，不同数据源数据的比对规则配置通过模板、标识进行管理。比对周期配置：比对周期包括实时比对，定期比对。（2）数据转换数据转换是将比对出的不一致数据进行针对性图形化转换处理的过程。转换规则配置：转换规则配置是根据实际业务情况，针对比对不一致数据配置转换的规则，不同数据源数据的转换规则配置通过模板、标识进行管理。转换任务调度：转换任务调度主要针对已配置的转换任务进行实时调度或周期性调度，包括任务的启动、停止、暂停、重启等调度方式。转换结果查询：转换结果查询提供每次转换工作完成后，对形成的新数据进行查询的功能。包括转换时间、转换数据条数，转换前数据值、转换后数据值等。（3）数据合并关联：对关联表的数据进行相关的JOIN操作，将多张表的数据关联成一个表。合并：对多来源的表进行合并操作，如案件基本信息表，来自不同系统，需要根据实际业务情况进行合并，并添加数据来源字段。1.2 数据主题库建设本期项目数据主题库初步设计如下，具体以项目实施为准：序号数据及数据项1分类小区数据：标识码、名称、地址、坐标X、坐标Y、面积、户数2分类投放点数据：标识码、名称、地址、坐标X、坐标Y3分类收集点数据：标识码、名称、地址、坐标X、坐标Y4投放垃圾桶数据：标识码、编号、地址、容量5投放人数据：人员姓名、所示区域、所属小区等6监督员数据：标识码、名称、类型、地址、坐标X、坐标Y、启用日期、建筑面积、垃圾来源分类、垃圾分类状态、日均垃圾收集量、日清运次数7清扫保洁路段数据：行政区划代码、路段编号、路段名称、起点、终点、道路走向、道路等级、路段长度、总面积、主路面积、辅路面积、人行道面积、绿化带面积、隔离带面积、是否有护栏8运输企业数据：行政区划代码、企业编号、企业名称、社会信用代码、公司负责人、负责人电话、停车场所地址、停车场所面积、总车辆数、自有车辆数、驾驶员数、道路运输许可证编号、道路运输许可证有效期结束时间、道路运输许可证有效期开始时间、运输处置许可证编号、运输处置许可证有效期结束时间、运输处置许可证有效期开始时间9运输车辆数据：行政区划代码、车牌号、企业编号、制造厂商、车辆型号、车辆吨位、停车场所、工作场所10运输司机信息数据：行政区划代码、驾驶证号、姓名、身份证号、性别、年龄、工龄、企业编号11清扫保洁作业数据：行政区划代码、路段编号、作业开始时间、作业结束时间、作业车辆类型、作业车辆车牌号、作业车速、有效作业次数、有效作业里程、作业完成率、违规次数12机械作业数据：在线车辆数、作业里程数、作业完成率、车辆违规作业告警类型、告警详细列表、告警处置13车辆行驶轨迹数据：标识号、车牌号、行驶地址、X坐标、Y坐标14车辆行驶行为数据：标识号、车牌号、异常行为类型、异常行为发生时间、异常行为发生地址、X坐标、Y坐标15人员工作数据：上班打卡时间、上班打卡位置。下班打卡时间、下班打卡位置、作业里程、违规信息16人员轨迹数据：标识号、人员编号、人员名称、X坐标、Y坐标、时间17中转站地磅称重数据：地磅编号、地磅名称。中转站名称、中转站地址、车牌号、净重、毛重、皮重、进场时间、称重时间、离场时间18垃圾分类数据：分类垃圾计量、车辆收运记录、监督员、所属垃圾站点、所属小区19垃圾转运数据：标识号、转运车牌号、转运量等20餐厨垃圾数据：餐饮企业数、运输公司数、收运车辆数、餐厨垃圾产生数、已收运数、已收运企业数、未收运企业数、收运完成进度21公厕运行数据：公厕名称、公厕位置、异味监测数据、人流量监测数据、用水用电监测数据、保洁记录、保洁时间、异常告警记录、异常告警时间22公厕保洁作业数据：标识号、公厕名称、人员名称。保洁时间、保洁记录1.3 环卫数据可视化展示1.3.1 智慧公厕场景（卫）对接公厕数据主题，获取公厕智能物联感知设备数据，分析并展示公厕监管数据，综合展示公厕运营情况，包括：基础数据展示：公厕数量汇总数据、各等级公厕数据分配情况；公厕男女蹲位情况等；公厕运行数据展示：展示单个公厕平均男女厕人流量、公厕臭气浓度平均值、温湿度平均值，展示辖区内公厕使用负荷度；公厕日常运营数据展示：展示公厕用水量、用电量平均值与时间维度变化趋势，查看是否有异常用水用电情况；公厕保洁人员在岗情况：根据排班信息获取应在岗人员、实在岗人员；通过人流分析、环境分析、消耗品分析、使用者反馈等维度分析，反应公厕保洁、运营指数。1.3.2 环卫保洁场景（洁）通过接口获取车辆定位监控系统的定位数据，洒水喷头开闭与机扫车扫盘落地数据，采集并关联道路视频卡口数据，对数据按照预置业务模型进行分析，多维度展示环卫保洁分析场景。1、作业过程数据分析各类型作业完成情况展示：包括机扫作业、洒水作业，显示当日完成进度；各作业公司车辆状态统计：显示查询时刻各状态类型车辆数量，包括在线、离线、空驶、作业等；累计作业完成情况展示：展示整个辖区作业完成情况，包括规定里程、行驶里程等；不同道路类型作业完成进度等；显示各公司作业完成情况：显示各公司作业完成情况，各标段（公司）作业对比分析；2、异常情况自动分析发现分析车辆是否按规划作业路线进展机扫、洒水作业，作业车速是否符合要求，是否超长停车，作业次数、作业时间是否符合要求。在地图上实现显示车辆运行轨迹，并结合视频卡口和车载定位数据进行多重考核取证，自动分析研判车辆作业偏离路线，出车不出力等异常行为。根据预设指标或参数，自动发现的超速、越界、超时停泊、油耗异常、未按规定要求启动开关等事件实时预警。显示各公司违规情况：各公司违规事件发生数量、各类违规事件占比情况；显示单车工作时长、有效作业里程，与行业同行标准进行对比分析，分析是否在合理区间；1.3.3 垃圾投放收集场景分析（产）1、全市垃圾分类概览实现全市范围垃圾分类工作的区划管理，以区、街镇为单位，将行政区划、定时投放点、误时投放点、有害垃圾暂存点、两网融合点、宣传教育阵地等静态监管对象在地图上进行属性展示，准确的掌握车辆基础数据、各区域配置的作业人员数量、各处置终端的基础信息等。在GIS看板中以区为单位统一展示试点小区、社区、单位等整体数据，如参与试点小区/机构的数量、居民/服务人口、参与考核责任单位的数量等。另外，运用数据透传功能，将基础数据库和决策支持模块中的相关业务数据展示在GIS地图中，通过数据分析展示出全市垃圾整体运行情况，包括分类覆盖人口、分类覆盖率、收运合格率、居民知晓率、居民参与率、试点单位数量、整体平均垃圾减量率等实时数据，并与指标要求对比，查看目前的进展差距。2、各区基本情况以小区、社区或街道为单位统一展示试点小区、社区、单位等详细数据，如名称、试点小区/机构名称、类型、居民/服务人口、考核责任单位及责任人等。另外展示各区垃圾分类工作质量情况，包括区域名称、垃圾分类开始时间、目前垃圾分类覆盖率、目前垃圾减量率、垃圾分类质量、区域垃圾分类工作质量排名、区域分类工作存在问题展示，可以时间维度、以图形或报表的形式输出统计数据及变化趋势，直观展示其垃圾分类整体概况。3、垃圾分类智能分析集成各类垃圾分类投放智能识别数据，对垃圾堆积，厨余垃圾混投、垃圾桶满冒事件进行归集、统计、预警，提高市局分类投放业务集中监管能力。4、运行指标及达成情况展示参照市级管理部门颁布的垃圾分类考核标准，通过对监管数据的统计分析，全面展示全市分类运行指标，如分类覆盖率、居民宣教知晓率、分类正确率等数据。以可视化方式进行静态数据展示，动态演变过程展示。5、考核数据及排行评比根据市里的垃圾分类考核办法及各项垃圾分类指标，综合考核、评价全市各管理单位，形成评比排行榜，并在宣传平台和公众服务平台进行公示。6、督导员展示展示督导员的GIS分布，统计其督导到岗率和督导履职率，展示其基本信息、督导到岗情况和督导履职情况。7、分类点位展示展示投放点点位的GIS分布情况，展示其基础信息（包括投放点名称、投放点负责人、投放点负责人联系方式等）、投放垃圾桶的配置情况和设备安装情况，统计分析其垃圾分类投放重量情况、督导到岗情况。8、分类事件展示统计分析投放点的垃圾分类事件情况，展示其总事件数、办结事件数和办结率，并展示各类事件详情。9、分类宣教馆展示展示分类宣教馆的的GIS分布情况，并展示分类宣教馆的名称、管理员、可预约类型、地址、开馆时间等基础信息。10、分类设备综合展示展示分类设备的投放点安装分布情况，并根据设备类型展示不同的设备详情。若为普通摄像头，则展示投放点监管视频；若为智能AI摄像头，则展示AI摄像头的不同事件办结情况和监管视频。11、视频综合展示展示所有投放点的视频GIS分布情况，并展示其在线/离线状态，统计其在线率，点击点位查看具体的实时视频画面和视频回看。1.3.4 环卫收运场景分析（运）1、垃圾收运总览对生活垃圾车、餐厨垃圾车、密闭式压缩车和其他垃圾车进行可视化实时监控，并显示车牌号、车辆类型、所属公司、产权单位、垃圾来源、当前载重、历史垃圾收运吨数和垃圾去向等详情2、生活垃圾收运分析对接垃圾运输车辆车载终端，获取车辆运行定位数据与行为数据，对生活垃圾车实现区域作业范围和运输路线分析，及时发现车辆跨区作业、直运偏离路线等违规行为；3、餐厨垃圾收运分析对餐厨垃圾车，根据车辆位置停留与餐厨垃圾点匹配，垃圾桶RFID识别、单桶称重计量等管理手段，分析实现餐厨垃圾收运计量溯源，发现车辆异常路线行驶行为，通过地磅计量与车载计量比对，结合异常停留、偏航，智能分析预警车辆注水等重大违规行为。1.3.5 环卫转运场景分析（转）结合垃圾压缩转运站智能化建设，以人工智能AI分析等技术手段，提高压缩转运环节监管能力；1、转运高峰分析通过收运车辆进出识别数据分析，关联收运区域和路线，分析压缩站能力区域覆盖范围，分析车辆高频进出时段，排队时长，结合车辆收运路线，为高效调度、错峰转运提供优化依据。2、站内行为监督集成压缩站内清扫、地面冲洗行为智能识别数据，规范压缩站作业行为，对压缩转运站内的空气环境进行实时监测预警，结合收运车辆进出、定时冲洗，找准异味高发时段的人为影响要素，尽力减少臭气扰民影响。3、违规及溯源分析集成压缩站内垃圾桶颜色智能识别数据，发现混收混运的违规行为，智能实时统计压缩站压缩垃圾量（按桶），实现一定精度的垃圾分类计量溯源。1.3.6 车辆智能调度场景（调）通过卫星定位、机器视觉识别、车载终端调度等智能化手段，优化调度作业流程。1、智能调度分析监督以车载终端定位数据、垃圾压缩站和终处理站（入口）摄像机识别的车辆排队拥堵情况为数据源头，结合压缩站和终处理厂出现的设备设施故障，定期检修计划，实现场站拥堵态势监测，关联处置能力模型和在途车辆位置，实现拥堵排队情况的预警，实时收集调度任务反馈；2、车辆运行态势感知可以按照运输车辆、车队、场站不同业务视角，展示收运作业完成情况，调度变更执行情况，排队拥堵持续情况。1.3.7 环卫终处理场景（处）针对当前及未来一定时间垃圾处理设施规划情况，设计垃圾处理数据专题，综合垃圾处置方式及垃圾处置量、各区垃圾处理能力等形成数据专题展示；1、处置能力分析按照处理能力分析展示转运车辆、参与营运单位、历史处理量、区域分布等情况；2、处置方式分析按照处置方式分类展示焚烧厂、填埋场、循环利用不同方式的日处理能力，最大接收能力，年处理量，耗材用量、飞灰产量（处理量）等。1.3.8 环卫全流程可视化场景（全）基于GIS地图，实现当前市环卫全流程贯通业务分析展示；1、全流程业务数据分析以分类投放点、收集点、餐厨垃圾点等为源头，以压缩站为中间环节，以收运车、压缩运输车为连接，至末端终处理厂，按照行政区划，分析各区垃圾产生量（车、桶），分析收运路线，压缩站连接的收运线路、转运线路，压缩处理量（车、桶），终处理厂连接的收运线路，处理量（车、桶、吨）；可以按照生活垃圾、餐厨垃圾、大件垃圾、厨余垃圾等按不同时间维度进行垃圾流转分析。2、环卫节点业务分析从分类点、收集点、压缩站、终处理厂不同环节展开，自动分析出垃圾来源、压缩环节、收运车辆（企业）、处理量等数据，形成贯穿环卫整个业务流程，覆盖大部分区域的环卫全流程业务网。1.4系统非功能性要求1.4.1. 系统性能要求（1）数据精度为了保证数据的准确，对用户输入的数据必须准确，对于一些标准数据，应提供相应的数据验证功能。对于输入数据必须同时遵循相关的国际、国家规定。系统对用户输入和接口输入的相关数据项的校验将尽量使用国际、国家的相关规定，对于无国际、国家标准的数据项将使用现行的惯例或者用户的相关规定。输出的统计分析结果应能够正确反映实际情况。要求必须保证查询结果符合查询条件。对于用户的每个查询请求，系统将分析其查询条件的组合情况，并保证查询结果与用户的查询请求保持一致。与外部接口通信，必须保证通信过程中数据传输的准确性。对于所有外部接口，系统将与其定义明确的通信协议，并确定每个数据项的取值范围以及相关一致性规定。（2）时间特性要求在500个并发用户访问时，确定条件的信息查询响应时间小于3秒钟；打开一般系统界面的响应时间在3秒内，第一次打开的响应时间不超过5秒。对于一般的系统提交操作，响应时间在3秒内。对于简单的查询操作，响应时间应在3秒内，对于较复杂的组合查询，响应时间在5秒内。在业务高峰时，每分钟能够同时处理100条数据更新操作、300条数据查询操作；（3）灵活性要求系统设计为可以对系统各种关键业务参数进行配置，通过不同的配置以满足不同的业务模式。系统内部设计与外部接口设计必须尽量减少耦合程度，在外部