2024智慧城市数据管理标准

智慧城市 SQL脚本监 SQL防火 URL监 Session监 附件一数据导入/修改流 附件二数据导入/修改/提取申请 附件三数据导入/修改/汇总 GB/2321GB/T20000—2014GB/T20001—2015《标准编写规则》盈利性的计算机行业标准协会，该协会成立于1989年。元数据管理系主数据管理系数据采集监数据应数据存数据标数据质据管理需求，建立数据标准规范体系。全面调研智慧城市大数据平台、社区各政务标准规范体系建设不是一蹴而就的，需要在系统建设过程中不断的修订完善。因此标准体系的维护是一项很重要的工作，标准体系的维护主要包括以下几个过程：数据导入/修改操作只能由IT负责人指定的人员或第三方服务商执行，导入/修改《数据导入/修改/提取汇总表》（附件三）须保存3年。IT负责人每年委派人员页面配置方式是无需开发只需要通过WEB功能页面进行模板内容相关配置，门或单位填报该指标。系统通过Webservice接口、FTP文件推送等方式，实现数字段筛选，是通过编辑select语句对源中多余的字段过滤掉，减少转换数据获取，以统一数据接口结构存储到ODS接口区中，按照统一的数据标准进行清洗、转换，存储到ODS的数据整合区及数据汇总区，如下图所示。数据清洗、数据转换等过程实现从数据源业务系统到数据中心ODS的数据集成，洗转换规则，对数据源的数据进程采集，存储到ODS中，并对数据进行稽核与反数据加载是数据采集过程中最有意义的环节，是将ODS中清洗转换后的数据加载到DW中存储。数据通过数据加载后形成的数据资产，为后续数据深度利用提数据中心DW层数据与ODS层数据不同之处是其存储了数据的历史信息。在数汇总层的数据一般是周期性的报表数据和指标数据，DW和ODS存储结构主要区别是DW为了记录数据更正过程，增加了数据状态字段来区分。ODS数据中心DW层到数据集市的重组加载主要是根据数据应用需求将数据的相关析、编制数据接口、数据获取4个步骤:步确认。（此项工作比较艰难，一般不建议开展ODS戳等时间信息，统一采用北京时间(GMT+8)数据输出提供多种输出方式如视图、WebService接口等，对于数据的输出方象、WebService服务的WSDL在数据信息时，经过不安全网络的（例如INTERNET网），如果需要特殊用户的口令（比如说UNIX下的Oracle），所以网络的安全威胁还表现为病毒传播、黑客攻击、IPB/S三层架构中的应用服务器等基础软件本身的漏洞和缺陷、用户权限设置不合理以及一些不安全协议的使用等因素都可能构成对系设计缺陷等也会引起系统的安全风险问题。图5.1各级管理机构的建立各级管理机构的职能、权限划分人员岗位、数量、职责定义12、日常操作管理办法（针对网络安全管理员3456、日志管理办法（针对网络安全管理员7ODSODSODS对源系统获取的数据进行及稽核比对之后，ODSODSODS每天都有很多ETLETL1）数据质量管理人员每天要对ETL加载任务执行情况进行检查。ETL每天ETL级：每六次加载执行一次数据校验2）3）ABAB对数据质量进行的综合描述（包括存在问题）数据质量管理会利用元数据描述，对后续源系统中的数据进行数据质量稽核稽核的数据结构以及语法或语义描述等。在数据整合过程中ODS数据抽取是从数据源系统获取数据，需要考虑抽取策略包括增量/全量、数据清洗主要是指清除对系统无用的或者不符合数据格式规范的“脏数消除。数据加载是指将抽取转换后的数据加载到ODSODS数据稽核结果在ODS系统中的异常数据进行修正,数据质量考核人员亦可作为数据质量提升的考核依据。SQL告警条件：超时设置：SQL告警条件：作用：防御非法运行sql脚本，统计sqlURL告警条件：1）URLURLURLSession告警条件：1）Session2不同IP地址同一时间多次访问单个或某些Seesion告警条件：作用：告警条件：1）cpu使用百分比超过96%系统硬盘剩余内存小于5%使用内存负荷长时间处于90%作用：虚拟机cpu告警条件：1）可用空间小于使用率超过并依据稽核和检查过程中发现的数据质量异常情况进行告警和拓扑呈现的过程。图10.1数据填报人员及时对数据进行修改；对于已上报的数据但数据值与同期值比较偏数据管理委数据管理委员会(集团领导（各业务部门（科信部（科信部及厂商督数据质量架构及安标准管理全管管理员理员员运维人图11-1数据管理委员会下设业务管理团队、技术管理团队和IT实施团队，归数据管IT图11.3节为此提供必要的技术支撑。ODS中的数据质量稽核和管理的总体原则如下：ODS行计划和任务的评估与审核，用户也可以通过ODS制定数据稽核任务进行数据质ODS负责；ODSODS负责稽核业务系统域与ODS相关的数据质量问题，即ODS只负责对抽ODS负责提供数据质量报告和质量管控指标来指导管控活动或评估管控结附件一数据导入/述导入/修改原因、导入