T-COSOCC 014-2024 信息技术应用创新 经营管理系统数据管理技术规范

Informationtechnologyapplicationinnovation—DatamanagementtespecificationsforoperationI 2 2 2 2 2 3 3 3 3 4 4 5 5 5 6 7 7 7 7 7 8 8 8 9 9 9 9 9 9 9 9 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定本文件起草单位：昆仑数智科技有限责任公司、北京京航计算通讯研究所、启明信息技术股份有限公司、远光软件股份有限公司、国网信通亿力科技有限责任公司、国网信息通信产业集团有限公司、四川中电启明星信息技术有限公司、南方电网数字平台科技（广东）有限公司、广东盈世计算机科技有限公司、北京中电普华信息技术有限公司、航天云网数据研究院（江苏）有限公司、北京通州网络安全产业园运营管理有限公司、蓝象标准（北京）科技有限公司、嵩嘉标准化技术服务（北京）有限本文件主要起草人：李洪宇、徐永伟、杜阿卫、张允君、罗奕、丁学英、郭仕锐、冯亚玲、郝家雨、王磊、刘永进、边梦娜、戚玮、杨志娅、胡兴勇、段正轩、张德保、段小莉、熊凡凡、姜冰、周企业的经营管理类软件是构筑现代化企业的重要信息基础，有助于提升企业经营管理的科学性、降低企业管理成本、提升业务流程效率和业务决策水平，高效推动业务与财务、业务与业务、企业内目前各企业经营管理系统由于技术体系和标准不统一，容易造成企业内部各部门、各系统之间以及企业与产业链上下游之间在数据共享协同方面的问题，因此亟需制定相关数据管理标准对信息技术通过技术规范的制定，对经营管理系统的数据采集、存储、集成、开发和应用等重要内容标准化提供参考。本文件的制定一是可以为经营管理系统数据管理方面相关设备及软件供应商在数据存储、数据集成等方面提供指导，确保各设备与系统之间更好兼容；二是可以为数据管理功能开发和运维团队提供指引，保障不同平台和系统之间的兼容和数据流通；三是可以为经营管理系统数据的设计、实施、维护等数据开发和利用方面提供指导、同时为数据的统一管理和规范服务提供参考，保障数据的完整性、可靠性和可用性；四是可以为政府相关监管部门在政策制定方面提供依据。本文件的制定结合了云计算、数据湖和数据仓库的技术特征，并充分参考部分集团型制造企业的数据治理体系，为经营管理数据的高效利用提供了成熟、先进且全面1信息技术应用创新经营管理系统数据管理技术规范本文件给出了经营管理系统的数据对象范围和数据管理体系，规定了相应的元数据管理、主数据管理、数据建模、数据标准管理、数据集成和共享、数据质量管理、数据安全管理等方面的技术规范本文件适用于组织和机构对经营管理系统在数据管理与数据应用能力建设的指导和评下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适GB/T36073数据管理能力成熟度评估GB/T42450信息技术大数据数据一种用于分析和报告来自多个来源的结构化和半结构化数据的，面向商务智能活动的数据管理系一种用于以原生格式存储、处理和保护大量结构化、半结构化和非结构化数据的集关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权2在数据处理系统中，提供对数据的访问，执行或监控数据的存储，以及控制输入输出操作等功能。4缩略语API：应用程序接口（ApplicationPrograERP：企业资源计划(EnterpriseResourcePlanETL：数据的提取、转换和加载（ExtJDBC：Java数据库连接（JavaDatabaseco5.1定义经营管理数据是指企业在经营活动过程中产生的各类数据，它们用于支持企业的日常管理决策、战略规划、业务分析以及运营优化等活动。这些数据通常涵盖销售数据、财务数据、客户数据、市场5.2特点经营管理数据具备决策导向性、综合性、及时性和动态性、相关性和可行动性、预测性、规范性5.3性质经营管理系统数据应表现其具备的业务属性，包括类型、来源、格式、结构、内容、质量、时间、经营管理系统数据应具备可通过API、数据库连接、数据集成工具、文本传输协议、消息队列、ETL工具、Web服务、数据共享平台等技术手段，实现系统间应用集成和数据共享的能力。经营管理系统数据应能适应企业内外部环境和管理要求的变化，应具备数据转换能力，可适应不3经营管理系统数据应具备参数化配置性质，以满足不同场景需求，例如定制规则引擎、工作流程设计器、报表和仪表板定制、数据导出和导入、扩展性插件、多5.4.1主数据指经营管理系统主数据，包括但不限于物料清单、工作中心能力和成本费率、工艺路线、仓库和指由生产经营活动在进行中产生的数据。如客户指在经营管理系统运行过程中，由信息系统按照既定的程序逻辑，对数据按生产业务需求进行运经营管理系统数据管理体系见图1，参考GB/T36073中对数据管理能力成熟度评估模型（DCMM）8个数据管理能力域的划分，关注经营管理系统数据从收集、数据治理到应用的过程。以元数据和主数据管理为基础，以数据标准体系为支撑，标准化数据建模和数据开发过程，形成数据集成与共享能力。数据质量管理和数据安全管理为整体过程提供质量和安全保经营管理系统元数据应包含但不限于以下三种类型：业务元数据、技可针对不同应用领域和功能，满足对数据对象的描述、定位4经营管理系统主数据应是具备高价值、高共享、相对稳定的基础数据。主数据技术体系应数据平台和主数据集成两个层面的设计。平台层面应包括但不限于元模型管理、主数据清洗、主数据经营管理系统数据模型具有强业务属性，数据模型应具备解释和可解释性，能够解释模型原理和结果，以便理解和接受模型的决策。数据模型向上应能承接业务需求，向下应能数据标准体系应明确规范企业经营管理业务活动中所涉及数据的规范化定义和统一解释，命名和命名约定、数据分类和层次机构、数据格式和数据类型、数据采集和录入规则、数据交换和集数据存储应保障数据的安全性和可靠性。应依据数据的重要性和安全规定合理规范数据的准入准出标准和人员对数据的访问权限，数据存储应依据数据完整性和可靠性要求合理规划备份策略，包括经营管理系统数据集成和共享应能横贯企业内外部的目标异构系统、应用、数据源，具备经营管理业务板块和数据仓库等系统的应用协同和数基于数据仓库的结构化数据集成、基于数据湖的多类型数据融应在数据模型设计、数据资产管理、主数据管理、数据仓库等解决方案和过程中执行数据质量管数据质量报告、数据质量规划与策略以及相关数据质量工具和技术，可改善各维度的数据问题应制定并采取各种策略、技术和活动，包括但不限于从组织建设、业务流程、规章制度、技术工具等方面确保数据的可用性、完整性和保密性，以及能够控制数据安全风险或将风险带来的企业经营管理系统的元数据应包含但不限于业务元数据、技术元数据和操作元数据三类，要求如a)数据来源应具有唯一性，确保数据在一个数据集中或整个数据管理环境中的唯一性，包括使用主键、唯一性约束、数据去重、数据匹配与合并等能力保障每个数据实体只有一个唯一的b)业务元数据应包括对数据的定义、结构、来源、更新频率、质量评级等信息，范围包含但不5c)技术元数据应包括数据库架构、应用程序代码、系统配置、安全权限等信息，范围包含但不d)操作元数据应包括系统日志、用户活动日志、性能指标、配置更改历史等信息，范围包含但e)数据平台的元数据应包含但不限于数据仓库、数g)应支持半结构化、非结构化数据元数据提c)支持对半结构化和非结构化数据采用图像识别、自然语言处理等人工智能技术识别和采集元a)基于元数据管理工具构建符合公共仓库元模型（CWM）规范的元数据仓库，实现集中化管理；b)提供对元数据增、改、删、查、发布等管理功能；c)支持元数据版本管理，支持按版本的查询、对比和回溯操作；d)提供统一的元数据访问接口服务，支持开放数据库连接（ODBC）、JDBC、一组架构约束条件和原则（REST）API、内容管理互操a)资源地图内容范围包括业务流程、部门和职能、数据资产、应用程序、模块和功能、报表和c)支持不同数据源导入生成资源地图，对d)支持资源之间的关联和依赖关系的呈现，支持相关资源进行分组、支持利用标签进行资源说e)支持用户通过鼠标或触控交互来展开或收起子图、放大或缩小图形、查看节点的详细信息等；f)支持对于包含敏感信息的资源地图的权限控制能力；h)支持针对大规模资源地图对于加载速度和渲染性能的要求。追踪数据的来源和去向，识别数据之间的关系和传递路径，应符合下列a)血缘分析的内容应包括数据来源、数据去向、数据传递路径、数据转换、数据关系、数据质b)支持通过日志记录、元数据提取、数据仓库或数据湖等方式对数据进行采集和追踪；c)支持建立元数据管理系统，使用ApacheAtlas、Collibra、d)支持使用如ApacheNiFi、Talend、不同数据源数据；使用如InformaticaDataQuality、Trifacta、或国内自主可控的、先进6f)支持利用自动化脚本根据预定义的规则和算法，自动追踪和分析数据的来源和去向；g)支持可视化展示技术，利用图形化工具或Web可视化库，并以树状图、流程图等形识别和评估数据或资源变更对组织或系统的影响，应符合a)当元数据发生变化时，应评估影响的范围，包括变更对数据之间的依赖关系变化的影响、变更对业务过程产生的影响、变更对数据质量的影响、变更对性能和资源消耗的影响、变更对b)支持使用数据监控工具或具备同等能力的数据平台能力对数据变更进行实时监控，收集变更c)支持使用数据质量工具或具备同等能力的数据平台能力对数据进行质量评估和分析，识别变e)支持使用图形化工具或自主研发可自定义的可视化界面，将影响分析结果以图表或报表的形f)支持使用版本控制机制，记录和管理元a)元数据冷热度分析内容应包括但不限于数据访问频率、数据访问模式（周期性访问、突发性b)支持使用数据监控工具，如ApacheNiFi、ApacheKafka或国内自主可），f)支持对数据进行分级存储，将热数据存储在高速存储介质中（如固态硬盘），将冷数据存储基于反向工程将元数据模型（通常是逻辑模型）转换为应用系统数据库中的物理表，实现数据模a)应支持定义元数据模型，在设计工具或建模工具中创建逻辑数据模型，其中包含实体、属性、b)应使用有权限控制的应用系统数据库连接；OracleSQLDeveloperDataModeled)应支持利用反向工程工具映射元数据模型到数据库表，将元数据模型中的实体、属性、关系e)应支持生成和执行数据库模式定义语言（DDL）语句的能利用元数据记录和管理数据在数据仓库内的流转过程，对数据仓库的设计和建模过程进行辅助和a)数据表信息：记录数据仓库中的数据表，7b)数据字段信息：记录数据表中的字段，包括字段名称、描述、数据类型、长度、精度、是否d)维度信息：记录维度表的名称、描述、属性、层次结构等信息；e)事实信息：记录事实表的名称、描述、度量等信f)数据质量规则：定义数据质量规则h)数据安全和权限控制：记录数据表或字段的安全策略、权限控制信息，以确保数据的访问控i)数据变更历史：记录数据表或字段的变更历史，包括创建j)数据文档化：记录数据表和字段的文档描述，如数据字典、数据模k)数据可视化和报表设计：记录数据可视化和报表的设计信息，以支持数据仓库中的分析和报a)支持主数据分类，按一定的维度和特征对主数据划分，包括但不限于根据数据域分类、根据数据特性分类、根据数据管理责任分类、根据数据使用分类、根据数据的生命周期分类、根b)支持主数据编码，支持设置码段、码位、步长等，以满足不同业务需求，编码方式包括特征值编码、固定值编码、日期码、流水码、组c)支持设置中文名称、英文名称、字段类型、长度、唯一性约束、校验规则等主数据属性；d)提供主数据管理视图配置功能，支持为不同分类主数据分配不同的属性。a)主数据编码不允许修改，以多版本形式维护属性定义；b)业务流程无法使用冻结的主数据记录，记录维护主数据状态的历史信息；c)对于失效的主数据记录进行归档操作，即迁移至历史数据库，对归档的主数据不可修改，只支持跟踪主数据的血缘关系，通过可视化方式有效的管理数据变化和异常情况，应符合下列要求：a)记录主数据的最初来源以及数据的变换和处理步骤；b)建立主数据之间的关系模型，包括数据源、数据仓库和数据消费者之间的关联关系；d)记录主数据的血缘关系，编制数据血缘文a)支持包含国产数据库在内的多数据源抽取数据，并能将数据加载到目标系统或数据仓库的能c)具备数据匹配和去重能力，对于主数据集成，具备识别和处理不同数据源中的重复数据，并8d)具备检测和修复数据质量问题的能e)具备数据安全和权限控制能力，主数据集成涉及敏感数据，需具备严格的数据安全和权限控f)具备实时的数据抽取和传输能力；g)具备定义和管理数据转换规则和映射关系的能力，确保数据在不同系统之间的正确转换；h)具备容错和数据回滚能力，在主数据集成过程中，对于可能会出现的错误或失败情况，具备9数据建模9.1数据建模要求9.1.1数据结构化和标准化业务数据应以结构化的方式进行组织和存储，确保数据的一致性和可比性，包括采用统一的数据9.1.2数据完整性和准确性数据模型应能够确保业务数据的完整性和准确性，可定义适当的数据约束和验证规则，确保数据在采集、存储和处理过程中没有缺失、错误或9.1.3数据可扩展性应采用合适的数据结构（如列表、数据、字典、树、图等）和关系模型（如表格、视图、主外键、），9.1.4数据一致性和关联性数据模型应能够准确地反映业务实体之间的关联关系，保持数据的一致性。通过定义适当的主键、9.1.5数据性能和查询效率应合理设计索引、分区和分片策略，优化数据访问路径和查询性能，提高数据的检索和分析效率。9.1.6数据安全和权限控制业务数据模型应考虑数据的安全性和权限控制，采用适当的数据加密和权限管理机制，确保数据9.1.7数据可视化和报表支持数据模型宜具备数据可视化和报表支持的能力，可通过图表、报表和可视化工具，呈现数据的洞9.1.8支持系统级数据模型开发数据仓库、应用系统的数据模型均应可基于企业级数据模型进行扩展，实现系统模型的正向建模。9.1.9支持数据模型的反向采集应支持对主流关系型数据库的数据结构采集，并支持数据结构在数据模型管理工具中的统一管理。9.2数据模型查询a)支持通过但不限于模型分类、标签分级等能力进行b)支持全业务域模型总览，能识别模型间拓扑关系，支持模型的逐级下钻。99.3数据模型管理数据模型管理应具备基本的创建维护功能。在状态和属性发生变更时，能自动识别出当前服务的a)支持数据模型的增删改等一系列基础维护功能；b)支持模型变更管理和发布，按企业管理需要，支持简单的审批流程配置功能；c)支持模型分版本管理，支持版本回9.4模型对比分析应支持不同模型间对比、模型内不同版本对比，识别模型差异，形成差9.5模型开发a)在面向业务应用开发方面（OLTP），应提供面向需求的数据概念模型、面向设计的数据逻辑b)在面向数据仓库应用开发方面（OLAP），应能够提供相应的元数据和主数据辅助建模开发，应详细、准确定义企业级公共业务词汇表，提供业务术语上下文的关联应详细、准确定义数据字典，包括数据元分类、数据元名称、数据元编码、数据元值域范围应详细、准确涵盖指标的业务属性、技术属性和管理属性，例如指标名称、业务含义、统计维度、应提供数据标准版本管理功能，包括版本查看、版本发布、版本对比和回溯等功能。应提供数据稽查能力，参照数据管理标准，可实现对数据模型、数据字典等进行对比分析的能力，a)具有快速的响应时间，确保用户能够快速访问和操作数据；b)支持足够的吞吐量，满足同时处理用户请求和数据交互的要求；d)具备均衡的数据分布能力，经营管理系统数据量庞大，数据颗粒度较细，应确保资源分配均e)具备缓存和性能优化能力，减少数据访问时间，提高系统性能；f)具备定期数据备份能力，以应对意外数据丢失或损坏的情况，确保数据的可恢复性；g)具备冗余和容错性，防止硬件故障引发数据丢失，可通过但不限于磁盘阵列（RAID）、备用h)确保数据的一致性，避免数据损坏或不一致的情况，例如，可通过事务处理和原子性、一致i)具备快速的故障恢复机制，以最小化系统停机时间，k)确保存储系统的高可用性，可通过使用冗余和负载a)具备数据加密的能力，保护数据安全，对涉及到个人隐私或者企业机密的敏感信息进行加密，b)具备多层防御的能力，采用防火墙、入侵检测系统、反病毒软件等技术工具构建多层防御策c)具备访问控制能力，根据不同的用户角色设定不同的访问权限，防止未授权的访问和非法操d)定期组织安全审计，检查是否存在安全隐患，及时发现和修复漏洞；e)建立完备的容灾恢复能力，构建灾难恢复计划，在出现数据丢失或者系统崩溃的情况时，具a)保障数据完整性，确保数据在整个生命周期内保持完整性和一致性不受破坏、删除、修改或b)对数据实施严格的访问控制，只允许经过授权的人员访问相关数据，限制访问权限和活动范c)根据数据的重要性及其敏感程度，将数据分为不同级别，分别设置相应的安全策略和保护措d)定期备份关键数据，防止意外损失，同时具备快速恢复数据的能力，在遭遇灾难时尽快恢复e)对在网络上传输的数据进行加密，以防数据被窃取或篡改；f)记录并保留所有涉及数据的高危操作，以便进行事后审查和追踪，确保数据的安全性和合规h)定期对系统进行安全评估，检查系统的安全性是否符合预期的标准，找出存在的安全风险并b)应支持多种标准的数据格式，如xml、json、csv等，以确保不同系统之间c)应在数据接收端应进行数据完整性检查，以确保数据没有被损坏或篡改；e)应考虑性能优化，以确保在大量数据交换场景下保障数据传输的效率和速度；f)应提供租户隔离机制，基于不同的服务实例实现不同消费者对相同数据服务的独立访问；g)应遵从数据分级管理要求，在发布服务时对相关数据资产共享风险进行评估；h)可在传输过程中使用数据压缩技术，以减少带宽占a)对数据进行验证，确保其符合预定的数据格式、范围和规则，包括但不限于验证数值字段、b)检测和移除重复的数据，标准化数据以确保一致性，例如，将日期格式标准化为统一的日期c)处理缺失数据，可以填充缺失值、删除包含缺失值的记录，或者使用适当的插补方法来填充d)检测和处理异常数据，如超出范围的数值、不符合规则的文本等，异常值可以被纠正、删除f)确保数据在不同数据源之间的一致性，包括标准化单位、货币、单位代码等。a)提供数据校验功能，包括空值检测、长度检查、数值范围检查、正则表达式校验b)提供数据表转换功能，包括字段值替换、值映射、列转行、行转列、记录合并、记录排序、标签管理包括数据的标识、分类和搜索，通过为数据添加标签来实现更精准的数据发现和利用，a)建立统一的标签体系，确保标签的一致性和标准化，标签定义明确，并与业务需求和数据特b)建立相应的标签分类和层次结构体系，标签的分类能够覆盖经营管理领域的不同维度和主题，c)具备唯一性和标识性，并能够准确地标识数据的某种特征或属性，标签的命名清晰、简洁、e)提供高效的标签搜索和检索功能，用户能够根据关键字、属性或标签进行数据的查找和筛选，f)提供对标签的版本管理功能，标签有修改和更新时记录标签的历史变更和版本信息，支持用数据目录提供了数据资源的可管理性和可发现性，支持数据驱动的决策和合作，并确保数据的安业务数据目录应能对数据进行有效的分类和组织，包含对数据目录的层次结构设计、数据分类标业务数据目录应提供方便快捷的数据检索和搜索功能，包含但不限于通过关键字、标签、属性等进行数据的查找和筛选，利用高效的搜索引擎和索引机制，支持快速的数据检索和定位。应具有对数据质量指标的定义和计算、数据质量规则的管理和应用、数据质量报告、数据审计等业务数据目录应具备数据安全和权限控制的能力，技术上包括对敏感数据的加密和脱敏处理、用户和角色的权限管理、双因素认证、水印防篡改、数据可追溯、访问审计等安全措施，以保护数据的应支持与行业主流及主流国产化系统数据源、数据仓库和分析工具集成能力，实现数据的无缝流b)数据清理工具：删除不正确或重复数据条目，修整数据项的值域；c)数据分析