T-CPUMT 022-2024 工业互联网平台 工业大数据通.用技术要求

IndustrialInternetPlatform—Generaltechnicalrequirementsforindustria 6 6 6 8 9 9 9 9 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。T/CPUMT022《工业互联网平台工业大数据通用技术求》、T/CPUMT025《工业互联网平台服务通用要求》境通用技术要求》共同构成工业互联网平台的研发、建设及部署的基本型标准体安全三大功能体系，工业互联网体系框架见图1。工业互联网全面打通设备资产、生产系统、管理系统据互通3部分,实现信息数据在工业互联网内无缝传递。“平台”分为边缘层、PaaS层和应用层，其模块包括数据采集交换、处理分析、决策优化和反馈控制等,形成数据驱动的智能实现机器设备、系统运本文件是《工业互联网平台》系列标准之一，本系列文件结——T/CPUMT020工业互联网平台总——T/CPUMT021工业互联网平台边缘层——T/CPUMT022工业互联网平台工业大数据通——T/CPUMT023工业互联网平台工业模型及其组件研发与服务通用——T/CPUMT024工业互联网平台工业APP开发与服务技——T/CPUMT025工业互联网平台服——T/CPUMT026工业互联网平台开发及运行环境通V工业大数据是实现智能制造、提升工业竞争力的关键6工业互联网平台工业大数据通用技术要求据存储、数据处理、数据分析、数据应用，以及平台运维和数据安全等方面的技术要求。GB/T25069、GB/T35295、GB/T41778、T/CPUMT020界定的以注：一般分成三类,即企业信息化数据、工业物联网数据,以及外部跨界数据。其中,企业信息化和工业物联网中机来，得出最终的分析结果的计算框架，具备高可用、高扩展、高并发注：在工业场景下的实时计算时间要求一般为秒级及以下，且主要包半结构化数据semi-structured义元素以及对记录和字段进行分层的一种数据分布式文件系统distributed多个结构化数据集分布在一个或多个服务器集群注：此类系统中，数据可能分布在文件和/或数据集层，更为普遍的是在数据块这个层级分布，同时支持集群中多一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型注：分布式计算结果通常加载到分析环境。MapRed8注：一般通过包括统计、在线分析处理、情报检索、机器学习访问频率较低的数据，通常存储在成本较低的存储介质上，如磁带、光盘等。访问频率较高的数据，通常存储在高速磁盘上，介于冷数据和热数据之间的数据，访问频率适中，通常存储在性价比相对较高的磁盘上。4缩略语AI：人工智能（ArtificialIntelligence）API：应用程序编程接口（ApplicationPrAvro：数据序列化系统（ApacheAvro™)CSV：逗号分隔值（Comma-SeparatedVaDDL：数据库模式定义语言（DataDeDML：数据操纵语言（DataManipulationLanguagHTTP：超文本传输协议（HypertextTJDBC：Java数据库连接（JavaDJSON：JS对象表示法（JavaScriptObjectNoJWT：RFC7519标准定义的一种可以安全传输的JSON对MFA：多重身份验证（MultifactorAuthentication）oAuth：互联网上的一款安全协议（OpenAuthODBC：开放数据库连接（OpenDatabaseConneOIDC：基于OAuth2.0的身份认证授权协议（OpenIDCOTP：一次性密码（OneTimePaRPC：远程过程调用（RemoteProcedureRPO：恢复点目标（RecoveryPointOSDK：软件开发工具包（SoftwareDevelopmeSQL：结构化查询语言（StructuredQueryLSSL：安全套接层（SecureSocket9TLS：传输层安全协议（TransportLayerSecuriTPC-DS：交易处理性能委员会的评估决策支持系统的基准测试（TransactionProcessingPerformanceCouncil-DecisionSupport）)Web：全球广域网（WorldWideWeb）XML：可扩展标记语言（ExtensibleMarkupLab)支持时序数据、结构化数据、半结构化数据、非结构化数据的接入；h)支持常见数据库作为源及目标端；f)在高负载情况下，CPU利用率可保持在70g)在高负载情况下，内存利用率可保持在60%-70%之间，确保有足够的内a)应支持系统稳定运行；b)数据采集过程中数据丢失率宜低于0.a)应提供友好、直观的用户界面，使用户能轻松配置和管理数据采集任务；b)应支持拖放操作来创建和配置数据采集工作流，简化复杂操作；c)宜具备配置向导，引导用户逐步完成数据源配置、数据采集规则设定等步骤；e)可支持按时间间隔、特定时间点、事件驱动等多种调度策略，满足不同数据采集需求。a)支持通过添加新的采集节点来增加整体的处理能力，扩展后性能应线性增加；d)支持增加或减少节点过程服务不中b)硬件兼容：支持主流国产服务器。a)应支持时序、结构化、半结构化、非结构化数据类型的存储和读取；b)应支持数据生命周期配置，通过指定生效时间、设置对象保留时间及过滤条件等规则，实现h)应支持请求不同服务器的数据一致性和准确性；k)应支持添加新用户、创建用户账户、设置用户m)应支持在分布式节点、关键部件，如CPU、n)应支持查看在线或离线的用户操作日志，用户操作日志应记录每个用户具体访问时间和操作p)应支持对包括但不限于存储空间信息，文件对象数量、大小，服务流量变化，服务可用性，q)宜支持数据存储内容进行版本管理，上传同名对象时不覆盖原有对象，而是产生一个新的版r)宜具备分布式存储服务软件友好的部署能力，线上平台支持友好的服务开通；s)宜具备自定义数据源接入能力和自定义数据格式e)在高负载情况下，CPU利用率可保持在f)在高负载情况下，内存利用率可保持在60%-70%之间，确保有足够的内a)数据跨机房存储：应支持写入的数据在切块后，散落在不同的服务器中存储。b)元数据信息同步：应支持元数据自动备份，实现元数据冷热访问模式。c)操作系统故障：应支持CPU资源占用、输入/输出（I/O）资磁盘空间占用下数据存储服务能力（故障监测、自d)单节点故障：应支持单节点故障后，数据请求e)硬件故障：宜支持电源插拔，硬盘插拔，网线插拔，交换机、机架、机房故障下的服务能力f)数据跨地域容灾：宜支持数据对象自动化跨地域进行复制；a)支持可视化安装部署分布式存储系统；b)支持可视化进行数据访问；c)支持对分布式存储的相关参数进行可视化配置。a)错误检测和提示：支持对用户错误操作、命令或非法数据输入的检验能力和提示情况，要求b)日志管理：支持对所有操作行为进行日志记录，支持关键词查看日志错误问题定位。a)节点动态扩展：支持分布式存储节点动态增加；b)扩容、缩容不中断：支持增加或减少节点过程中，服务不中断。e)开发语言兼容：支持Java、C/C+括功能性、性能效率、可靠性、易用性、维护性、可扩展性、兼容性等要a)流数据源：支持常见流数据源，如传输控制协议（TCP）、用户数据报协议（UDP）、HTTP、b)表数据源：支持常见表数据源，例如通用JDBC、ODBC，专用特定数据库接口访问等。c)事件数据格式：支持常见数据格式(CSV、JSON、Avro、XMd)简单事件处理：支持逐一对数据流中单个事件进行提取、清洗、转换等处理。e)复杂事件处理：支持持续地从事件流中查询出符合要求的事件序列，进行过滤、关联、聚合f)事件窗口和水位：支持滑动和滚动等多种窗口划分，支持事件水位设置。g)缓冲和背压：支持对事件进行缓冲和背压设置。h)事件优先级：支持事件优先级和按优先处理的能力。当工业大数据平台对数据处理的实时流式计算性能效率a)简单事件处理性能：对于简单事件处理b)复杂事件处理性能：对于复杂事件处理，单b)单点故障测试：支持集群部署，单点故障下系统功能正常。c)处理一致性：支持一次和至少一次d)状态存储和容错：支持定期状态存储，集群或单机全部停机，重启后系统能从存储的状态中8.2.4易用性a)手册的一致性和准确性：人机交互界面操作与其相应的文档一致、准确。b)界面的规范性：人机交互界面规范、合理且一致。2)人机交互界面上窗口、菜单、图标、文字、鼠标等界面元素能准确理解。4)界面、人机交互、输出中的用语应与业务用语一致；a)错误检测和提示：具备对用户错误操作/命令或非法数据输入的检验能力和提示能力，出错信b)日志信息：支持输出实时日志，对实时记录人为操作及错误信息记录等。c)配置管理：支持各类配置参数的修a)垂直扩展：支持垂直扩展，性能随硬件提高而提高。b)水平扩展：支持集群部署，支持水平扩容。a)数据库兼容：支持主流国产数据库。b)中间件兼容：支持主流国产流处理中间件。c)操作系统兼容：支持在主流国产操作系统上正常运a)数据抽取的数据源支持多源异构b)数据抽取过程支持多种导入方式3)支持通过文本传输协议（FTP）等协议3)支持根据相应业务规则进行数据聚合、排序2)支持对数据进行校验，剔除错误数1)支持关系型数据库、非关系型数据库、内存数据库、分布式文件系统、数据仓库等多种3)支持通过计算机壳层（shell）脚本支持批f)批处理过程支持图形化界面设计2)批处理流程可拆分为多个子流程，应支持以图形化的方式设计子流程间的调度关系。2)支持以分、时、日、周、月、年等单位的时间进行调h)数据分析集成相应的机器学习算法：支持常见的机器学习模型训练（分类、聚类、回归、异j)数据分析支持对分析结果的上报及存储：支持数e)存储性能：集群在单实例模式下数据入库的数据容量上b)完全备份/还原：支持完全备份、还原，实现全库所有对象的备份和还原。c)误操作恢复：支持对索引、表的删除进行还原。d)集群故障处理：支持磁盘损坏后，集群节点可以正常读写操作不影响集群业务。e)高可用能力：支持集群节点挂起时，集群可以正常提供服8.3.4易用性a)各组件界面应风格一致，简洁、美观；b)主界面到各组件界面跳转分级明确，操作逻辑一致；c)控件使用一致，排列整齐、合理有e)必填项未填时应有提示信息，用户提交表单时若存在必填项未填应有明确、醒目的提示；j)不常用功能不应干扰用户正常使用、占用较少的页面面积或页面具备不常用功能隐藏、显示m)对用户输入的内容应进行自动纠正，如日期格式错误、文本框限制输入内容、数字超出范围o)系统页面应具备帮助、手册、向导等内容；p)系统应支持补丁方式升级、升级时保证原有数据的完整性和继承性；q)系统应具备友好的安装部署交互方式；r)系统安装后应自动启动用户图形化界面服务，并且图形化界面可用。a)具备维护手册、文档，用于指导运维人员进行维护；d)具备故障日志，系统应存储故障日志，帮助运维人员分析故障所在；g)具备还原功能，在出现故障或误操作时可对平台进行回溯；a)在线扩容：具备存储节点和计算节点各自扩容的能力，以满足突发的业务请求。b)分布式存储测试：支持验证测试图分析软件数据是否均衡分布存储在各个节点。c)分布式计算测试：支持验证测试图分析软件计a)数据库兼容：支持主流国产数据库。b)中间件兼容：支持主流国产批处理中间件。c)操作系统兼容：支持在主流国产操作系统上正常运d)支持列簇级别生命周期配置，根据生命周期定期清理数据。支持表的列簇设置TTL，可根据宽表数据库应支持数据批量入库，数据量200GB规模情况下，加载速率不应低b)备份/恢复：应支持元数据备份/恢复；支持业务数据备份/恢复。c)防误删恢复：应支持对表的误删除进行d)高可用能力：应支持集群在存在节点挂起时，集群可以正常提供服务。e)主备倒换能力：应支持主动倒换能力，倒换过程中可以正常提供服f)单集群跨机房高可用：宜支持集群具备跨机房高可用能力，当一个机房故障后，集群是否可g)主备容灾：应支持主备容灾能力，当主集群故障后，备集群可以接h)主备集群双读：应支持主备集群下双读能力，保证满足低时延的访问要求。i)对于关键数据，可存储多个副本，应确保在部分节点故障j)应支持定期对系统健康检查，包括硬件状态、软件更新、日志分析等，确保系统持续稳定运8.4.4易用性a)支持便捷的安装部署；c)支持监控节点系统级别的参数，如内存、CPU、磁盘、a)操作系统兼容：支持主流国产系统。9数据分析技术要求9.1概述9.2交互式分析9.2.1功能性STRING、VARBINARY、TIMESTAMP、INTERVb)支持模式、表、视图等数据库对象的定义修改；g)支持SQL查询语句，如SELECT、WHERE、GROUPBY、HAVING、SORTBY、LIMIT、JOIN（LEFT/RIGHT/FULL)、SEMIJOIN、CROSSJOIN、INTERh)支持关系、算术、逻辑、数学、集合、类型转换、日期、字符串、条件判断、窗口、聚合等j)支持定义第三方数据源Remotek)支持对数据文件进行压缩，支持Bzip、Lz4、Def9.2.2性能效率c)分区条件查询响应时间-单表查询(s)：数据量1Td)分区条件查询响应时间-多表关联(s)：数据量1Te)分区表查询响应时间(s)：数据量1g)模糊查询响应时间-多表关联(s)：数据量1T，T9.2.3可靠性b)应支持元数据备份/恢复；d)单集群跨机房高可用：宜支持集群具备跨机房高可用能力，当一个机房故障后，集群可以正e)主备容灾：应支持当主集群故障后，备集群9.2.4易用性a)支持便捷的安装部署；b)支持在线升级能力，且升级过程中业务不中断；c)支持监控节点系统级别的参数，如内存、CPU，磁盘、网络等，f)支持RestfulAPI运维接口（任务管理9.2.5可扩展性d)支持通过动态安装部署，针对不同租户建立不同计算集群；9.2.6兼容性a)数据库兼容：支持主流国产数据库。b)操作系统兼容：支持主流国产系统。9.3.1功能性a)数据模型：支持构建属性图模型。b)数据类型：支持常用数据类型，如整数/浮点数/字符串/时间戳/布尔/数组数据类型/decimalc)数据全量导入：支持全量数量导入，并保证正确性。d)数据增量导入：支持图的增量导入，并保证导入结果正确。f)图节点增删改：支持图节点增删改操g)图关系增删改：支持图关系增删改操h)图索引操作：支持索引的增加/删除/查询操作。a)紧密度算法：支持Pagerank、Betweenness、Closb)属性详细展示：支持操作图中任意节点、关系，可展示节点、关系的属性详情。c)切换展示内容：支持可视化界面可以设置点和边的展示信息为特定属性或者类型名称。d)多关系展示：支持数据库两点间多关系的展示，并可以自由选择显示关系上所展示的名称和9.3.2可靠性a)高可用：支持软件服务器自动处理节点故障。b)在线扩容：具备存储节点和计算节点各自扩容能力，以满足突发的业务请求。c)分布式存储：支持数据均衡分布存储在各个9.3.3维护性c)应支持系统资源监控，监控系统级别的参数，如内存、CPU、d)应支持图分析软件监控：系统的监控包括服务状态、图谱状态、数据量、当前请求数等；9.3.4兼容性a)软件兼容：支持主流国产操作系统和数据库。b)硬件兼容：支持主流国产服务器。c)多模数据支持：兼容关系型数据表或者资源描述框架（RDF）模型的数据的存储和计算。d)接口兼容性：支持标准的JDBC或者ODBC接口，支持restfulAPI。9.4数据搜索9.4.1功能性a)支持默认条件搜索：检查查询结果列表，符合默认查询条件结果集。b)支持可选条件搜索：逐一选择各个查询条件，查询结果正确。6)逐一输入条件，全角、半角值，查询结果正确；6)修改区间条件左、右值，使左值＞右值，查询结果为空（或提示信息正确）。e)支持组合可选、输入条件搜索：任意组合各个查询条件,更换组合内容搜索,查询结果正确。f)支持操作后检查搜索条件及查询结果：选择和输入所有查询条件后，查询结果正确。3)组合查询条件，选择或输入不存在、空格、特殊字符、超长的值，查询结果为h)支持更换组合内容搜索：半结构化数据存储与检索进行半结构数据录入并进行查询，查询结9.4.2可靠性b)完全备份/还原：应支持完全备份/还原，实现全库所有对象的备份和还原。c)误操作恢复：应支持对索引/表的删除进行d)集群故障处理：应支持磁盘损坏后，集群节点可以正常的读写操作，不影响集群业务。e)高可用能力：应支持集群在存在节点挂起时，集群可以正常提供服9.4.3易用性c)支持测试数据库是否可以监控系统级别的参数，如内存，CPU9.4.4可扩展性d)支持数据冷热分离，且对库表打冷热标9.4.5兼容性a)软件兼容：支持主流国产操作系统和数据库。b)硬件兼容：支持主流国产服务器。9.5.1功能性9.5.2可靠性d)使用交叉验证（Cross-validation）技术和多种数据增强（DataAugm模型在足够大且多样化的数据集上进行训练，避免过拟合或欠拟9.5.3易用性b)支持内容常见模型便于直接调用；e)具有自动化训练功能，使用户能快速构建和训练模型，支持自动超参数调优（AutoML）、模9.5.4可扩展性AI模型可扩展性应符合下列要求：e)支持模型利用分布式计算资源，实现任9.5.5兼容性a)软件兼容：支持主流国产操作系统和数据库。b)硬件兼容：支持主流国产服务器。a)支持应用数据查询、获取；b)支持批量查询及在线数据交互式查询获取；c)支持数据分析、数据请求及数据订阅功b)数据应用的年度可用性应达到99c)提供数据应用版本控制，可回滚历史版a)软件兼容：支持主流国产操作系统和数据库。b)硬件兼容：支持主流国产服务器。a)支持对主机、容器、服务实例等进行实时监控；a)支持提供告警恢复的方法；b)硬件兼容：支持主流国产服务器。c)100%的关键服务应纳入健康检查范a)软件兼容：支持主流国产操作系统和数据库。b)硬件兼容：支持主流国产服务器。a)支持分布式收集日志；b)系统的年度可用性应达到99.9a)支持图形化界面配置；a)软件兼容：支持主流国产操作系统和数据库。b)硬件兼容：支持主流国产服务器。c)权限和角色：应支持细分权限、角色或a)身份认证：支持用户登录重试锁定、密码强度、密码重用和有效性控制。b)存储加密：支持数据在分布式存储中进行加密。c)权限管理：支持对数据访问进行精细化权限a)身份鉴别：支持身份鉴别和认证。c)权限和角色：支持细分权限、角色或用户组，并支持通过角色或用户组对用户进行授权。d)安全审计：支持用户登录和操作日志记e)数据安全：支持节点间数据加密传输、用户与系统间数据加密传输。a)用户管理：支持