GB∕T 44216-2024 信息技术 大数据 批流融合计算技术要求_第1页
GB∕T 44216-2024 信息技术 大数据 批流融合计算技术要求_第2页
GB∕T 44216-2024 信息技术 大数据 批流融合计算技术要求_第3页
GB∕T 44216-2024 信息技术 大数据 批流融合计算技术要求_第4页
GB∕T 44216-2024 信息技术 大数据 批流融合计算技术要求_第5页
已阅读5页,还剩10页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS35.240信息技术大数据批流融合计算技术要求2024-07-24发布2025-02-01实施I 12规范性引用文件 13术语和定义 14缩略语 2 2 36.1统一资源管理 36.2统一计算框架 4 4 56.5统一作业管理 56.6统一权限管理 6 6 7 7附录A(资料性)批流融合计算应用场景 8A.1金融行业 8A.2智能制造行业 8A.3物联网 8A.4航空航天 8附录B(资料性)字符类型及操作中英文对照表 9 ⅢGB/T44216—2024梁钢、王新根、臧一超、张煜、周研、刘宇峰、王晋晖、张勇、李傲铁、李正、段智琛、傅彦、12信息技术大数据批流融合计算技术要求3.23.33.4所需的计算被划分并分布在多个节点上,整体结果由每个节点的结果合并而成的大数据集的处理3.53.623.73.8CPU:中央处理器(CentralProcessingUnit)DAG:有向无环图(DirectedAcyclicGraph)GPU:图形处理器(GraphicsProcessingUnit)SQL:结构化查询语言(StructuredQueryLanguage)3生命周期生命周期接口窗口租户级CPU统一计统一资源管理监控配置上报统一作业管理统一权身份鉴别状态数据任务级队列级作业级编排内存资源■批流融合计算技术应具备统一的资源调度和分配能力。统一的资源调度和分配能力具体包括:a)应支持使用同一套资源调度和分配系统,以满足资源互相共享或削峰填谷;b)应支持CPU、内存、GPU等异构资源调度和配置;c)应支持任务优先级调度:能够定义不同优先级的任务,可实现部分场景中后启动的高优先级任务能够获取运行中的低优先级任务释放的资源;d)应支持静态资源分配策略和动态资源分配策略;e)应提供匹配组织的层次结构,支持多层次的队列资源管理;f)应实现队列资源严格的隔离,即不超过分配给该队列的资源上限;g)应支持弹性资源抢占:当有空闲资源时,租户可以使用超过其配置资源,以提高系统资源整体h)应支持租户的资源抢占:当系统繁忙时,其他租户无法拿到配置应得的资源时,当前租户超过配置部分的闲置资源可以被其他租户抢占,保证各租户的服务质量;i)应支持根据作业需求动态分配计算资源,自动管理回收资源;j)应支持作业级别资源隔离,资源类型包括CPU、内存、GPU等;应支持多种运行模式,包括本地模式和集群模式;k)宜支持独立部署模式。4b)应在批/流数据集合之上统一支持常用的数据类型,涵盖可变长字符串、字节型、布尔型、整3)宜支持高级聚合语句。5j)支持针对批/流数据集合的去重操作,包括基于窗口的去重和基于任意普通字段的去重,去重1)应支持保留最新的数据;2)应支持保留最老的数据。1)应支持自定义函数,包括用户自定义函数(UDF)、用户自定义表函数(UDTF)、用户自定1)消息队列;2)键值存储;3)复杂数据结构存储;4)关系型数据库;5)搜索引擎;6)分布式文件系统。62)检查大流量时的作业稳定性。1)无状态数据;2)少量状态数据;3)大量状态数据。78(资料性)(资料性)中文名称英文名称可变长字符串VARCHAR字节型BYTE布尔型BOOLEAN整型大整型BIGINT单精度浮点型FLOAT双精度浮点型DOUBLE小数DECIMAL日期DATE时间戳TIMESTAMP数组ARRAY行聚合GroupBy滚动窗口TumbleWindow滑动窗口HopWindow会话窗口SessionWindow累积窗口CumulativeWindow连接内连接左外连接LEFTOUTERJOIN右外连接RIGHTOUTERJOIN全外连接FULLOUTERJOIN合并UNION合并所有UNION

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论