DB14-T 2938-2023 能源监管服务数字化平台 数据支撑技术要求

14Digitalplatformforenergyregulatoryservices——Technicalrequirementsfo山西省市场监督管理局发布I II 1 1 1 2 2 3 7 9 10本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定本文件起草单位：山西大数据产业发展有限公司、华为技术有限公司、山西省能源发展中1能源监管服务数字化平台数据支撑技术要求本文件适用于能源监管服务数字化平台的建设及实GB/T37721信息技术大数据分析系统功能GB/T37722信息技术大数据存储与处理系统功能要求GB/T40685—2021信息技术服务数据资产管DB14/T2936—2023能源监管服务数字化平台通DB14/T2939—2023能源监管服务数字化平台数据采集DB14/T2940—2023能源监管服务数字化平台数据发布GB/T35295-2017、GB/T40685-2021、DB14/T2936-2023确立的以及界定的术语和定义适用于本能源监管服务数字化平台Digitalplatformf在自动化、信息化、智能化等相关技术的支撑下，对能源领域相关信息进行并进行充分应用，有效实施全过程动态监管，并能为能源企业、产业链上下游企业等提24缩略语ACID：原子性、一致性、隔离性、持久性（Atomicity、Consistency、IsolatioAPI：应用程序编程接口（ApplicationProgrammingInterface）CPU：中央处理器（CentralProcessingDDL：数据定义语言（DataDefiJar：Java平台上的归档文件格式（JavaArJSON：Java脚本对象描述（JavaScrMD5：信息摘要算法（Message-DigestAlgorithm）MPI：消息传递窗口（MessagePaMR：分布式运算框架（MapReduce）SLA：服务等级协议（ServiceLevelAgXML：可扩展标记语言（Extensi5.1应基于能源监管服务需求，按照DB14/T2936—2023对数据支撑的要求，将能源监管服数据，统一存储并进行数据分析，然后通过API发布或数据资5.2能源监管服务数字化平台应根据监管服务需要，采集各个系统的数据，数据采集内容及数据采集5.3能源监管服务采集的数据进行预处理之后，应传输到云平台集中存储，并建立统一数据湖，实现能源生产经营数据、能源安全监管数据、能耗数据等数据统一存储，需要提供能3储能力，数据存储方式包括但不限于分布式文件存储、数据湖存储、分布式数据仓库、时序数据库5.4能源监管服务数字化平台应实现数据治理，提供数据集成、规范设计、数据开发、数据资产、数据安全、数据服务等功能，基于能源监管服务需要，整理并生成数据资产，包括但不限于贴源层、整合/明细层、主题链接层、集市层，并通过数据发布，开放给上层不同应用系统或共享5.5能源监管服务数字化平台应提供数据分析能力，支撑能源监管服务各主题库、专题库和指标的生成，数据分析能力包括但不限于批处理分析、流处理分析、流批一体融合分析、交互分析、5.6能源监管服务数字化平台应满足能源监管服务的数据发布需求，数据发布的流程及发布的数据内5.7能源监管服务数字化平台应优先选择符合国家自主可控和安全可信相关要求的全栈自主创新技a)应提供文件的上传、下载、读写、复制、移动、c)应提供一种高效的数据组织格式，实现历史数f)应提供自动化的小文件合并能力，自动管理文件大小和布g)应提供自动化的历史数据清理能力，以防止数据过度膨胀h)应支持多样化的计算引擎和存储引擎，能够平滑的在4据治理之后的主题联接层和指标等数据，分布式数据仓库要求如a)应提供基于无共享的分布式大规模全并c)应提供保障全局强一致性事务能力，可以针对单表和多表并a)应支持多种数据类型的离线分析，包括j)应支持任务内部子任务的失败重试，以及当运5a)应支持多种数据源中获得实时流数据，完成高吞吐、低延时的实时计算，并将结果输出到消息e)宜支持直接读取前置任务计算结果作为数据源的方式来编排作业，实现复杂作业拆分的同时保h)宜支持对复杂任务的调度，如支持深度c)应支持基本的数据库、模式、表、视图、函数等对象的创6c)应支持索引数据压缩存储，对索引数据结构进行特定优b)应支持复杂事件规则由多个算子构成，各个算子通过连接线串联起来，适用于比较复杂的业务d)应支持预集成表达式函数，包括不限于数学计a)应支持转换计算，对单个或多个参数的值进行常规数学计算，表达式中不能使用系统的时序聚b)应支持聚合计算，对单个或多个参数的值进行周期性的时序聚合计算，表达式中可以使用系统c)应支持流计算，引用流作业管理中定义的作业，将输e)应支持通用基础算子预集成，包含不限于输入算子、输出算子、过滤算子、扁平算子、嵌套算a)应支持时序数据多种聚合计算，包括不限于平均值、最小值、最大值、总数、b)应支持对所选时序数据按时间做偏移，在预览列表新增一条记录，常用于同一测点不同时间的7结合能源监管服务数据集成要求，应支持批量数据迁移和实时数据集成，数据集a)批量数据迁移应提供同构/异构数据源b)应支持批量迁移表或者文件，支持同构/异构数据库之间整库迁移，一个作业可迁移c)应支持文件增量迁移、关系型数据库增量迁移、面向列的分布式f)在迁移文件到文件系统时，批量数据迁移应支持对h)应支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数a)通过主题设计构建统一的数据分类体系，用于目录化管理所有业务数据，便于数据的归类、查字段的具体取值进行标准化，从而提升数据质量和c)通过数据建模构建统一的数据模型体系，自顶向下构建企业数据分层体系，沉淀企业数据公共等5大主题库，便于数据的流通、共享、创造、创新，提升数据使用效率，极大的减少数据冗d)通过指标体系建设构建能源监管服务统一的数据指标体系，定义业务指标要素，统一指标计算d)应与批量数据迁移无缝集成，支持批量数据迁移，支持20多种异构数据源之间可靠高效的数据8a)应支持对业务指标和数据质量进行监控，数据质量可检验，及时b)应提供对业务指标数据进行质量管理的有效工具，可以灵活的创建业务指标、业务规则和业务场景，实时、周期性进行调度，满足业务的数据质量监控需全景可视，提供数据智能搜索和运营监控，数据资产要求a)应提供元数据管理能力，支持创建自定义策略的采集任务，可采集数据源中的技术元数据。支结合能源监管服务数据治理需求，数据安全应为能源信息监管服务提供数据生命