(高清版)GB∕T 37722-2019 信息技术 大数据存储与处理系统功能要求

ICS35.240GB/T37722—2019大数据存储与处理系统功能要求国家市场监督管理总局中国国家标准化管理委员会GB/T37722—2019 Ⅲ 1 13术语和定义 1 2 26大数据存储子系统功能要求 36.1基本要求 36.2分布式文件存储 36.3分布式结构化数据存储 36.4分布式列式数据存储 36.5分布式图数据存储 47大数据处理子系统功能要求 47.1基本要求 47.2批处理框架 47.3流处理框架 4 57.5内存计算框架 57.6批流融合计算框架 5IⅢGB/T37722—2019本标准按照GB/T1.1—2009给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。1GB/T37722—2019信息技术大数据存储与处理系统功能要求的功能要求。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文GB/T35295—2017信息技术大数据术语GB/T35295—2017界定的以及下列术语和定义适用于本文件。3.1一种应用图理论存储实体及其之间关系信息的非关系型数据库。注1:图数据库的数据模型由节点及边组成(即节点间关系)。注2:图数据库支持图查询、图遍历及图分析等功能，适用于复杂关系的探索与发现。3.2将一个大型作业分解成为多个任务交由多个节点分别处理，再将分解后多个任务处理的结果汇总3.33.43.52GB/T37722—2019API:应用程序编程接口(ApplicationProgrammingInterface)CEP:复杂事件处理(ComplexEventProcessing)CPU:中央处理器(CentralProceDAG:有向无环图(DirectedAcyclicGraph)GPU:图形处理器(GraphicsProcessingUnit)MPI:消息传递接口(MessagePassiTCP:传输控制协议(TransmissionControlProtocol)框架子系统大数据处理子系统大数据存储框架3GB/T37722—20196大数据存储子系统功能要求之间交换数据和文件；d)应具备关键节点(部件)高可用性设计与要求；e)宜提供数据自动备份和手动备份的功能；c)应提供文件数据的校验和同步功能，保证数据的e)应提供存储数据的压缩和加解密功能；h)宜提供小文件打包成大文件集中存储的功能；b)应提供API接口实现数据的各类查询操作；c)应提供多表关联功能；d)应支持数据分布式存储的一致性；f)宜支持行列转换。分布式列式数据存储要求如下：a)应提供数据以键值形式进行存储的功能；c)应提供按照用户需要对数据库中的数据进行列加密的功能；e)宜提供多级索引功能；f)宜提供将多个具有类似功能或存在关联的业务表合并存储的功能。4GB/T37722—2019分布式图数据存储要求如下：a)应支持由节点及边组成(即节点间关系)的数据模型；c)应支持主流图数据库开发接口；g)宜支持长任务异步会话机制。7大数据处理子系统功能要求b)应支持计算框架的水平扩展；d)应支持对全局资源的集中管理；e)应支持静态资源分配策略和动态资源分配策略；超过分配给该队列的资源上限；k)宜支持自动完成作业调度，并支持作业内多任务以无回路有向图形式描述的依赖关系；批处理框架要求如下：b)应支持离线计算任务进度与状态的实时上报；c)应支持多节点离线任务联动执行；d)应支持分析任务的多种语言开发接口；e)应支持作业调度；g)应支持批处理计算框架运行在分布式资源管理之上。队列或者进行持久化；GB/T37722—2019a)应提供内置图数据查询类的API,支持同步计算模型或异步计算模型编写迭代算法；c)应支持提供在线图分析和查询功能；f)应支持实现水平扩展的分布式图计算和查询；g)应支持图数据的并发查询。a)应支持通过分布式内存计算和DAG执行引擎提供数据处理能力；e)宜支持与非关系型数据库对接，即不迁移数据的前提下读取非关系型数据库中的数据。批流融合计算框架要求如下：a)应支持批流融合统一查询SQL语言；b)应支持多种场景下的流式SQL,如位置信息分析等；e)宜支持批流融合的计算引擎；