数据质量管理系统建设方案

1、数据质量管理系统介绍 第1页目录现状及系统定位系统架构设计核心功能介绍系统特点第2页数据质量管理现存问题及制约原因制约原因系统应用对象不明确、系统应用层级定位不清因定位不清造成系统界面设计不能满足各层级需求系统适应性不能满足地域性、个性化需求，差异显著缺乏针对数据质量管理标准化流程及沟通机制系统适用性不强，未强调数据质量管理，更多偏向于数据上报及下发管理数据质量校验规则不全方面、针对网省适用性相对较差不具备自建指标校验能力技术元素造成业务人员无法使用系统运维等人员对业务不清造成数据质量无法及时得到确认业务人员对运维人员依赖性强数据质量不受控制直接上报国网源数据提供人员无法使用系统，无法对上报数

2、据进行确认不支持校验规则自定义修改无数据质量预判机制缺乏数据质量问题分析、归集及经验共享机制缺乏考评通报机制数据质量查询功效不完善问题第3页趋于严谨数据质量评价考评规则上月28日 本月5日 本月8日 本月15日允许省（市）重复上报数据，截止5日统计各省（市）及时率本段时间允许省（市）修改各指标数据，截止8日统计各省（市）准确率、完整率、接入率截止8日不允许省（市）修改指标数据，从9日至15日出具运行监测控数据质量阅读通报123当前总部数据质量考评过程上月28日 本月8日 本月15日只允许省（市）上报一次，不允许修改系统生成较难明细数据与上报数据增加防修改加密码，增加上报审计功效1后期总部数据质

3、量考评过程一次性出具运行监测控数据质量阅读通报2省企业业务系统数据质量管理系统省企业运监系统国网运监系统123第4页提供友好、易操作数据质量管理界面系统应用满足运监人员、业务人员及系统运维人员需求建立数据质量异常在线沟通及数据调整流程提升数据质量管理省企业运监数据质量提升系统建设目标及定位定制化开发建设自定义数据校验规则，满足省企业实际业务运行现实状况依靠数据质量管理方法，有效结合制度及管理文件，经过系统落地建立省企业当地数据质量问题归集共享平台建立省企业数据质量评价功效，促进数据接入质量提升提供数据质量问题继而辅助功效缩短数据质量校验频度，提供预判功效接口及数据链路监测能力提升数据质量监测能

4、力提升实现省运监中心对企业业务数据产生、数据接入到汇总计算结果全过程、可视化监测管理，确保数据完整、准确、及时高质量接入及上报。第5页目录现状及系统定位系统架构设计核心功能介绍系统特点第6页系统应用设计第7页功效清单功效点功效点描述系统管理包含资源监测、配置管理、安全管理、备份恢复、日志管理等数据加工经过对计算规则库进行配置，提供计算引擎和统计服务，实现数据加工数据存放对存入数据转存需求进行处理，提供数据压缩服务数据处理对接入数据质量管理系统数据进行正确性检验、格式转换、标准统一，并提供数据调整功效数据访问跨平台数据访问服务及数据访问服务数据接入传输提供数据接入及传输通道元数据管理数据监测点管

5、理及维护，映射关系模型维护等数据质量评价依照管理制度对数据接入情况进行排名比较数据看板对系统各个步骤运行情况进行统计、分析、展示支撑工具门户集成、二次开发接口等支撑服务第8页系统集成设计第9页物理布署设计第10页系统安全设计安全控制点防护策略设计身份认证1、设置密码存放和传输安全；2、保护身份验证Cookie；3、同一用户同时只允许登录一个；授权1、设计资源访问控制方案，验证用户访问权限；2、限制用户对系统级资源访问；3、设计统一访问控制机制；输入输出验证1、设计验证全部起源不在可信范围之内输入数据；2、应在服务器端和客户端都应进行输入验证；3、应对输入内容进行规范化处理后再进行验证，如文件路

6、径、 URL地址等，需要规范化为标准格式后再进行验证；配置管理1、应使用最少特权进程和服务帐户；2、应防止应用程序调用支撑系统资源；3、单独分配管理特权；会话管理1、设计登录成功使用新会话；2、设计会话数据存放安全；3、设计会话安全终止；4、设计合理会话存活时间；加密技术1、不使用自创加密方法；参数操作1、确保用户没有绕过检验；2、应验证从客户端发送全部数据；异常管理1、使用通用错误信息；2、程序发生异常时，应在日志中统计详细错误消息；审核和日志1、审计功效开启和关闭；2、应用系统开启和停顿；3、访问控制信息；4、用户对数据异常操作事件；第11页目录现状及系统定位系统架构设计核心功能介绍系统特

7、点第12页明细查询数据看板（有好图换之）监测校验卡板采取“一页纸”设计思绪，面向省企业运监中心、省企业业务部门、地市企业运监中心、地市企业业务部门，实现四方面用户定制化适用需求，并可实现自定义配置，用户可在看板完成所需全部功效。依据用户权限及需求建立模块化看板功效，基础功效为国网运监数据接入要求，如接入率、及时率、完整性、准确性等，业务部门界面包含本期、往期数据接入情况，运监中心能够看到本层级及下级数据接入情况，监测看板数据依据等率时间随时刷新界面情况，第一时间了解数据接入请款个，同时提供接入情况对比功效（如数据接入增加率等）。系统将集成门户待办功效，数据接入情况实时进行通知，并依据内容同时发

8、送运监中心及业务部门，用户可经过通知了解概要情况，同时也可进入看板了解详细情况。看板集成了系统全部功效，类似于系统首页，用户可发起问询、数据下钻、调整流程、校验规则配置等多项功效。功效点规划功效点说明功效实现场景配置选择预判展示按业务对数据进行分类，并提供各指标展示控件，即各类展示主题用户选择岗位权限内关注主题进行展示。看板集成预警功效，系统在后台实现自动校验后完成预判展示功效，将校验结果展示在看板上。看板集成钻取功效，实现预判数据、业务指标数据、业务明细数据穿透查询第13页数据加工对监测点计算规则进行设置，支持各类函数，脚本支持自定义函数公式管理，公式由数据加工服务进行存放和管理在数据加工服

9、务中，计算点用于表示公式，包含公式执行脚本、触发方式及其他相关配置信息计算点可以选择是否在实时库中对应测点和不对应测点用户可以对计算点进行增加、删除、修改调用脚本执行计算算法，生成并保存计算结果根据用户配置周期，当周期抵达时自动对脚本进行运算周期可认为年、月、日、小时、分钟、秒为单位进行设置等计算结果存放，如果计算点对应了实时库测点则脚本执行结果自动存放在对应实时库测点中，如果没有对应可以经过调用数据提交接口处理计算结果功效细分功效实现计算规则库函数支持周期触发计算公式管理事件触发计算脚本编辑器定时触发计算计算结果存放计算引擎规则设置第14页数据处理对数据源发送数据进行校验，并生成告警对产生异

10、常数据进行同时强调数据预判后处理流程，用户经过发起流程方式，提醒业务部门重新推送数据支持数据即时、批量修正及重新推送调整功效细分功效实现数据校验数据校验判断校验告警发送数据同时批量修正流程修正数据修正第15页数据接入接收不一样数据起源数据并解析成数据质量管理系统标准格式存入增删改接口服务器，分发接入接口、历史补招任务，设置运行计划数据源自定义监测点定义（增删改查），包含所属数据源、监测点名称、描述、计算公式、启用标志等监控运行接口运行状态，包含内存使用、数据写入量、写入监测点列表等接入数据异常及时告警功效功效细分功效实现接入适配器管理接口服务器管理数据源定义管理接口机运行状态监控接入监控管理自

11、定义监测点管理接口适配器接入异常处理接口异常管理第16页数据质量评价根据省企业数据质量管理方法，在系统中固化数据质量评价规则，每七天期内对各业务数据质量进行打分评选，按照及时性、准确性等要求，按天倒排。通报结果定时以模板形式发送各业务部门，抄送企业领导。功效细分功效实现评价流程流程定义流程及角色关联评价汇报指标定义评价定义模板定义第17页目录现状及系统定位系统架构设计核心功能介绍系统特点第18页系统应用特点促进省企业大数据应用及标准化建设数据质量管理系统应用将有效结合结合省企业电力大数据技术研究、应用系统及多项目建设结果，促进包含大数据建设、运行与服务等统一大数据标准规范体系建设，为企业电力大数据建设提供保障。提升运监中心数据综合管理水平 经过对数据质量管理指标重定义、监测校验频度分析定义，构建由数据分析、数据接入、数据校验、数据展示、数据调整一体化管理体系，做到数据妥善保管、高质量有序存放、方便查阅，严防毁损、散失和泄密，从而大大提升运监中心数据综合管理水平。促进企业大数据管理标准化数据质量管理专业化第19页系统建设重点数据质量管理需建立强有力管理制度做支撑，有效确保数据管理执行可行性，确保数据接入及时、准确，需与业务职能部门建立