人工智能 异构人工智能加速器统一接口 编制说明

1本标准由中国电子技术标准化研究院提出，主要参编单位包括华为技术有限公司、北京航空航天大学、上海人工智能创新中心、上海燧原科技有限公司、上海壁仞科技股份有限公司、上海天数智芯半导体有限公司、软件研究所、英特尔（中国）有限公司、昆仑芯（北京）科技有限公司、上海依图网络科技有限公司、深圳云天励飞技术股份有限公司、上海登临科技有限公司、深圳鲲云信息科技有限公司、浪潮电子信息产业股份有限公司、上海商汤智能科技有限公司、腾讯云计算（北京）有限责任公司、杭州海康威视数字技术股份有限公司、美的集团（上海）有限公司、浙江大华技术股份有限公司、四川华鲲振宇智能科技有限责任公司、广电运通集团股份有限公司、山东浪潮科学研究院有限公司、南通大学等单位。具2.编制背景及意义器都有自建软件及应用生态的任务，这种现象将给人工智能计算企业和产2（2）兼容适配：众多加速器需与众多计算框架（如机器学习框架）点本标准旨在在各人工智能加速器使能软件之上与机器学习框架之下，建立中间层。对上，屏蔽加速器的异构性；对下，屏蔽机器学习框架的多种接入方式，以达到让加速器或机器学习框架快速对接而建立或复用生态3.工作过程制组成立，对该标准的立项达成共识，共同收集相关资料，多次组织专家），工作组成立。召开首次标准研讨会，进一步明确标准范围、目的、标准化分委会成员单位就异构人工智能加速器统一接口标准的范围和关键问题，3二、标准编制原则和确定主要内容的论据及解决的主要问题加速器的统一接口及其语义，给出了各加速器为实现此接口所需的接入方该标准适用于人工智能加速器接口的设计和实现，也可为人工智能加（2）接口定义，包括模型操作接口、运行时接口、运算接口等；（3）符合性测试方法，包括测试过程、指标及测量方法2.标准编制依据KhronosOpenCL3.0Specification跨处理器的并行编程接口KhronosOpenCL3.0Specification不专门针对AI计算，不能覆盖深度神经网络相关操作及相关推理、训练控制过程。本标准专为人工智能领域计算研制，在并行计算方面，与KhronosOpenCL3.04保持一定兼容。国内机构对KhronosOpenCL标准的参与受国际关系因素影响较大InteloneAPI1.2跨处理器（主要为CPU-GPU）的编程接口oneAPI标准主要为IntelCPU服务，定义接口的颗粒度和选择，以Intel指令集和调用作为第一参考。在并行计算方面，oneAPI与KhronosOpenCL3.0保持一定程度的兼容。本标准为公共标准，且不着重针对CPU-GPU间计算任务的迁移ISO/IECTR17903Overviewofmachinelearningcomputingdevices提供机器学习计算设备的概览，包含机器学习设备性能相关的特性及其使用方法和指标ISO/IECTR17903由ISO/IECJTC1/SC42中国代表团（SAC）牵头，不涉及接口，但在国际标准讨论中，认为统一接口是技术发展的重要方向，ISO/IECTR17903为本标准提供国际高水平标准上的理论铺垫IEEE2937Standardforperformancebenchmarkingforartificialintelligenceserversystems定义了AI服务器，AI服务器集群，AI计算中心（AIHPC设施）性能测试方法IEEE2937规定典型AI计算设备的性能测试方法，不涉及接口定义。但在系统使用统一接口层时，性能可能稍有损失，使用IEEE2937及相关工具（由电子四院等单位研制）实施性能损失评估，为调优提供依据3.标准编制原则工智能加速器执行机器学习计算任务（模型训练、模型推理）执行的必要及人工智能加速器执行控制（如运行时）、模型操作（如编译、转化）、5在研制过程中，本标准优先考虑与其他公共或类似的人工智能加速器尽可能少地侵入各类人工智能加速器的已有技术路线（各种加速器的已有），异构人工智能加速器统一接口的定义参考了国内主流的人工智能加速标准的参与企业包含基本全部国内外人工智能加速器研制企业及其国内代理（有产品化、商用能力的），当前已有人工智能加速器企业对接和使用五、产业化情况、推广应用论证和预期达到的经济效果人工智能加速器改动指令级或算子实现库的情况下，帮助人工智能加速器（3）用户使用：为用户提供统一接口，屏蔽异构加速器的复杂度研制机构众多，芯片产业发展迅速，有大量生态发展需求。国内深度学习框架或其它工具软件数量较多，有大量加速器适配工作量。利用中间层屏6蔽硬件异构性，是技术界常用的方法，但针对异构人工智能加速器统一接口的标准化，在国内尚属首次。ISO/IECTR17903（中国代表研）讨论过程中，各国专家认为新中间层有利于解决产业问题，认为此系未来重要的标准化方向。综上，利用标准化的技术方案降低应用、维护复通过人工智能加速器统一接口的研制和产业应用，有望降低产业中各n种加速器时，两两对接需要m*n的总体工作量。在使用人工智能加速器统一接口后，m个框架和n种加速器可分别对接本接口，总体工作量降低使用统一接口，并不阻碍特定框架对特定加速器的适配和使用。对加速器来讲，对统一接口的接入，即可获得多框架的支持。对框架来讲，对统一接口的适配，即可获得多加速器的运行能力。本标准提出一种非侵入七、与现行相关法律、法规、规章及相关标准的协调性GB/T42018-2022《信息技术人工智能平台资源供给》定义了各类人工智能物理计算资源的形态、组成、基础技术参数，虚拟计算资GB/T42018－2022标准在内容上与本标准无覆盖关系，但提出的人工智能计算设备可使用各类人工智能加速处理器。本标准旨在促进异构加速7源的基本特征，并针对各类计算设备形态，提出了测试方法器应用的简化，使其更好地服务于各类人工智能计算设备20203869-T-469《人工智能面向机器学习的系统规范》定义了机器学习系统的基础架构20203869-T-469标准在内容上与本标准无覆盖关系，但提出的机器学习系统的参考架构，为本标准所定义的统一接口，明确上下层部件、组件及运行时关系GB/T42382.1-2023《信息技术神经网络表示与模型压缩络》定义了离线模型的表示和压缩方法GB/T42382.1－2023标准定义的离线模型表示方法针对离线模型，即训练好的模型。用于不同格式离线模型的互转。本标准定义异构人工智能加速器统一接口，与已有标准不存在冲突T/CESA1228.1-2022《信息技术人工智能计算设备调度与协同第1部分：虚拟化与调度》定义了典型（CPU，GPU，NPU，FPGA）人工智能加速处理器的虚拟化方法和基础调度模式T/CESA1228.1－2022标准仅定义典型人工智能加速处理器的虚拟化方法和基础调度模式，在过程和功能层面，而非接口层面。本标准完成统一接口，可相互配套使用。AI系统的建设，可使用本标准，而不必实施虚拟化过程，也可实施虚拟化，形成更精细的算力切分和调度CESA-2021-3-018《信息技术人工智能深度学习框架多硬件平台适配技术要求与评价指标》定义了深度学习框架与各种人工智能加速器直接适配的技术要求和指标CESA-2021-3-018不定义异构加速器统一接口。本标准定义的统一