(高清版)DB2201∕T 16-2022 城市智能体数据治理技术规范　

2201CityintelligentagentdatagovernancetechnicalI本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定本文件起草单位：吉林科讯信息科技有限公司、讯飞智元信息科技有1城市智能体数据治理技术规范本文件规定了城市智能体数据治理技术的缩略语、数据探查、数据规整、治理管理的本文件适用于指导城市智能体大数据平台关于数据治理设计单位以及城市智能体建设部门在城市GB/T34960.5－2018信息技术服务治理第5部分：数据治GB/T13000－2010信息技术通用多八位编码字符集（UCS）撑，为城市经济、社会、城市数字化转型等提供支持的智慧城市巨系4缩略语DDL：数据库模式定义语言（DataDefinitionLanguETL：描述将数据从来源端经过抽取、转换、加载至目的端的过程（ExtraHASH：散列函数（HashfunctioMD5:信息摘要算法（MD5Message-DSHA：安全散列算法（SecureHashAlgUUID：通用唯一识别码（UniversallyUniqueIdentifie2基础类检查数值大小校验检查对两个字段的值进行大小比较，不满足数字业务类检查身份证合法性检查身份证号码与性身份证号码与出身份证有效期检查身份证号重复检查3业务类检查3.姓名中有不是汉字的非法字符（除•外）出生日期合法性为保障采集的各源系统的实体数据的一致性，检查获取的数据表和各源系统数据表业务字段数据数据格式杂乱、数据错误、数据缺失等，进行有效的4将字段中的值统一全部替换为另外一个值。例如：将原字段日期中值“1997年元月”字段值应填充为一个默认值，包括但不局限于全部填日期格式字段值应转换为字符串类字段。例如：yy/MM/ddHH:mm:ss；yy-MM-ddHH:mm:ss；yyMMddHHmmss；yyMMddHHmm；yyMMdd。当字段值为空时，应配置填充的数据，分为统一默认值填充和从关联字段获取填充两5将字段值按照配置的标准字典进行标准转换。例如：将性别字段值转换为标准字典中性合并表数据，将第一张表中字段及数据合并到第二张表中，应支持关联表数据，将两张表通过关联字段进行关联配置，选择关联后的字段信息传输到下一段d)数据源字典管理：应具备业务系统未进行标准化之前的字典的维护和管理。涉及的数据源、数据库、表、维度等进行记录和管理。元数据管理主6a)数据源管理：通过增加、修改、删除等方式管理各类数据库的连接信息，以便同步各应用系统的元数据信息；b)元模型管理：用于获取不同数据库类型的元模型信息，并展示出各类异构数据库的所有元模型及属性信息；c)元数据注册：在数据源下依托元模型进行元数据注册，包括但不局限于表、视图、索引、字段、列族、消息、ETL等各类元模型下元数据的注册；d)元数据分析：应支持按数据源查看已注册的所有元数据以及元数据的血缘影响关系，并在此基础上支撑创建DDL表功能，新增编辑表、字段、索引等元数据信息，扩展数据库元数据信息。7.3数据资源管理通过对各层数据库中数据资源进行梳理盘点，构建分层管理的数据仓库体系，将数据目录与业务目录进行映射。数据资源管理主要包括：a)目录分类管理：将数据目录按多层次分类配置形成树状结构，用于分类展示数据资源，实现数据资源的快速检索；包含对目录分类的新增、修改、删除，通过目录分类来定义数据仓库的层b)