CESA-2022-039-《人工智能 边端设备模型部署工具链功能要求》团体标准（征求意见稿）

ICS35.020

CCSL70

团体标准

T/CESAXXXX—202X

人工智能边端设备模型部署工具链功能

要求

Artificialintelligence-Functionalrequirementsofedgeandterminaldevicemodel

deploymenttoolchain

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请

号和申请日期。

XXXX-XX-XX发布XXXX-XX-XX实施

中国电子工业标准化技术协会  发布

T/CESAXXXX—202X

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件由中国电子技术标准化研究院提出。

本文件由中国电子工业标准化技术协会归口。

本文件起草单位：

本文件主要起草人：

版权保护文件

版权所有归属于该标准的发布机构，除非有其他规定，否则未经许可，此发行物及其章节不得以其

他形式或任何手段进行复制、再版或使用，包括电子版，影印件，或发布在互联网及内部网络等。使用

许可可于发布机构获取。

III

T/CESAXXXX—202X

人工智能边端设备模型部署工具链功能要求

1范围

本文件给出了边端设备模型部署工具链的组成框架，规定了其功能要求。

本文件适用于人工智能领域深度学习模型在边端设备实时性运行能力的设计、研发、推广和应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T5271.34信息技术词汇第34部分：人工智能神经网络

GB/T41867-2022信息技术人工智能术语

3术语和定义

GB/T5371.34和GB/T41867-2022界定的以及下列术语和定义适用于本文件。

3.1

边端设备Edge-terminaldevice

边侧与端侧设备，一类低资源、低功耗的硬件设备，包括轻量级操作系统以及控制器、计算单元。

示例：可穿戴设备、智能相机、机器人、IoT设备。

3.2

模型部署modeldeployment

将神经网络模型以硬件语言编译并运行到硬件设备的流程。该流程包括模型压缩、模型转换、计

算图优化、编译优化。

3.3

模型压缩modelcompression

减小神经网络模型规模，提高神经网络模型运行和推理效率的方法。

3.4

工具链toolchain

一套针对神经网络模型进行模型压缩、模型转换、图优化、编译优化等流程的软件工具组合。

3.5

深度神经网络/深度模型/模型（简称）deepneuralnetwork/deepmodel/model

一类由输入层、隐藏层、输出层组成的深度学习的基础网络结构，该结构是深度学习的基础。

3.6

计算图computationalgraph

一种采用有向无环图表示的计算逻辑流程，主要包括边与节点。边表示变量，节点表示逻辑操作。

3.7

算子operator

一类进行特定运算的计算单元，深度学习中特指每一层的数值和张量运算单元。

3.8

特征图featuremap

在处理输入数据的过程中，神经网络中间各层的输出结果，表征神经网络中间各层对输入数据的转

换过程。

3.9

量化感知训练quantizationawaretraining(QAT)

1

T/CESAXXXX—202X

量化感知训练是通过对模型插入用于模拟量化推理运算逻辑的伪量化算子，通过梯度下降等优化方

式在原始浮点模型上进行微调，从而得到量化后精度符合预期的模型。

3.10

训练后量化posttrainingquantization(PTQ)

训练后量化主要是通过少量校准数据集获得网络的激活值分布，通过统计方式或者优化浮点和定点

输出的分布来获得量化参数，从而获取最终部署的模型。

4缩略语

下列缩略语适用于本文件。

AI：人工智能(ArtificialIntelligence)

CPU：中央处理器（CentralProcessingUnit）

GPU：图形处理器(GraphicProcessingUnit)

NPU：神经网络处理器（Neural-networkProcessingUnit）

DSP：数字信号处理器（DigitalSignalProcessor）

SIMD：单指令多数据流（SingleInstructionMultipleData）

ASM：汇编语言(AssemblyLanguage)

5组成框架

5.1概述

边端设备模型部署工具链面向提升深度神经网络在边端设备实时性运行能力，从模型训练到部署的

端到端全链路优化，即通过模型压缩模块，将深度神经网络模型中的冗余去除，减少模型尺寸，实现对

模型的压缩。模型转换模块，将压缩后模型转换成推理所需格式。在推理加速模块，解析转换的模型格

式，将模型进行图优化操作，并进行运行优化、结合硬件计算单元从而加速模型推理并降低硬件功耗。

辅助功能模块主要是提供模型部署过程所需的基本运维，测试验证，辅助用户使用工具链。组成框架如

图1所示,边端设备模型部署工具链由模型压缩模块、模型转换模块、推理加速模块和辅助功能模块组

成。图2展示了部署工具链流程。

2

T/CESAXXXX—202X

图1边端设备模型部署工具链组成框架

图2工具链的流程

3

T/CESAXXXX—202X

5.2模型压缩模块

5.2.1概述

模型压缩模块是将深度模型中的冗余部分找到并进行删减，从而降低深度模型的运算量及节约内存

使用。该框架主要包括三层，多深度学习训练框架适配层，压缩算法适配层，多模式训练接口层。

5.2.2多深度学习训练框架适配层

模型压缩模块易适配多种主流训练框架，根据不同训练框架的数据接口、梯度更新、损失函数、计

算图存储方式等相关方面的API进行适配，从而对不同训练框架进行支持及扩展。通过实现接口来适配

多种训练框架。

5.2.3压缩算法适配层

5.2.3.1概述

压缩算法适配层是采用主流深度学习压缩技术对深度模型进行压缩处理的接口层，应支持剪枝、量

化、知识蒸馏功能模块。同时，易支持低秩分解、网络结构搜索、超参数搜索、权重矩阵稀疏化以及自

定义算法适配的功能。

5.2.3.2模型剪枝

模型剪枝是通过删除对性能敏感度低的冗余的权重参数从而实现了深度模型参数下降的方式。其主

流方式可分为非结构化剪枝及结构化剪枝。非结构化剪枝是对任意单一权重进行评估，剪枝后的权重矩

阵是以稀疏矩阵形式存储，不利于并行计算。结构化剪枝是以一个卷积核为单位，剪枝后的深度神经网

络仍保持原始结构，适用于并行计算。因而，剪枝有助于降低模型尺寸大小，减少计算时间及能耗。

5.2.3.3模型量化

模型量化主要是将原始权重为浮点类型的深度神经网络转换映射为权重为定点类型的深度神经网

络。对权重的量化可以降低权重表达位的使用，因而可以降低其存储空间。同时，终端推理设备存在专

用的定点计算单元，通过低比特指令实现的低精度算子，使量化神经网络运行速度提升。量化技术主要

分为量化感知训练以及训练后量化。量化感知训练是通过对模型插入用于模拟量化推理运算逻辑的伪量

化算子，通过梯度下降等优化方式在原始浮点模型上进行微调，从而得到量化后精度符合预期的模型。

训练后量化主要是通过少量校准数据集获得网络的激活值分布，通过统计方式或者优化浮点和定点输出

的分布来获得量化参数，从而获取最终部署的模型。

5.2.3.4模型知识蒸馏

知识蒸馏利用性能更好的教师网络的监督信息来训练学生网络，使其达到更好的精度性能通过知识

蒸馏，可以获得精度更高的轻量的学生网络，从而降低计算成本。

注：教师网络是一个大型的、性能强的模型。学生网络是相对教师网络的一个小型的、性能差的模

型。

5.2.3.5权重矩阵低秩分解

原权重矩阵具有维数和秩，则满秩矩阵可以分解为一个的权重矩阵和一个的权重矩阵。该方法通过

将大矩阵分解为小矩阵，以减小模型的尺寸。

5.2.4多模式训练接口层

多模式训练是指可支持多种训练的资源使用的方式，在不同资源训练场景下完成单个或多个进程之

间数据传输。其主要可分为单卡、多卡以及分布式训练。其中单卡和多卡一般是指本地单机，分布式训

练是指多卡多机方式。

5.3模型转换模块

为实现模型在边端设备上的推理加速，模型转换模块指将使用不同深度学习框架训所得的模型转换

成推理框架所支持模型格式的功能结构。

4

T/CESAXXXX—202X

模型转换模块包括但不限于以下实现方式：

——直接将输入的模型转换成目标框架的模型格式；

——通过开放式的神经网络转换框架，例如，ONNX。

5.4推理加速模块

5.4.1概述

推理加速模块是将深度神经网络在不同的边端设备上进行编译和部署，从而实现推理加速。推理加

速模块主要由计算图优化适配层、算子适配层、算子库、编译器模块、运行时模块、后端加速库组成。

注：运行时包括对接边端设备的内存分配模块、调度与执行模块。

5.4.2计算图优化适配层

计算图优化适配层是对模型的网络结构进行优化的功能结构层，包括但不限于以下优化方式：

——算子融合；

——算子转换；

——算子替代；

——算子剔除。

计算图优化一般在编译前完成。

注：算子通过合并冗余的算子节点，转换某些框架不支持或者实现效率较低的算子操作、剔除无用的算子节点等方

式降低网络结构的复杂度，降低资源消耗，提升推理速度。

5.4.3算子适配层

算子适配层是对深度神经网络中的各个算子在部署到边端硬件设备时，根据不同边端硬件AI加速推

理库进行选择适配。

5.4.4算子库

算子库包含深度神经网络中各种算子的集合模块。

示例：常见算子包括conv2d、relu、batch_norm等。

5.4.5编译器模块

将推理过程中的中间代码（IR）转换成二进制汇编文本。

5.4.6运行时模块

5.4.6.1内存分配模块

内存分配模块主要为算子的输入与输出，在边端设备上分配内存。

注：此处的边端设备可以狭义地理解为GPU、NPS、DSP等。

5.4.6.2调度执行模块

调度执行模块将将模型的计算任务按照一定规则进行调度，并在边端设备上执行。

注：例如，“一定规则”可以理解为对单个算子进行调度，或者对计算图进行调度。

5.4.7后端加速库

后端加速库包括不同硬件对应的AI加速推理库。方便适配后端对深度神经网络的部署优化。

5.5辅助功能模块

5.5.1概述

辅助功能模块主要是提供AI边端设备模型部署过程所需的基本运维（如模型授权、版本管理、模

型加密），测试验证，辅助用户使用工具链。该模块主要包括授权接口、模型版本管理、模型加密、

测试集测试、性能评估、可视化界面。

5.5.2授权接口

5

T/CESAXXXX—202X

当深度神经网络部署在硬件设备上，运行时的授权管理。授权方式可使用在线授权及离线授权两种

方式。在线授权是通过联网与服务器进行授权文件校准。离线授权是提供授权文件给用户进行授权校验。

5.5.3模型版本管理

对于深度学习网络的不同版本模型部署使用时切换的管理。包括模型版本退回，模型版本升级。

5.5.4模型加密

保证用户与开发者的隐私与安全，对部署的深度学习网络进行加密处理。

5.5.5测试集测试

在深度模型部署到硬件后，采用数据集对资源消耗、性能进行测试。

5.5.6性能评估

对模型进行资源评估，如浮点操作数、参数量等。

5.5.7可视化界面

在工具链中对各个模块使用的可视化使用方式。例如展示模型结构的可视化、压缩模型过程的训练

参数可视化等。

6功能要求

6.1模型压缩模块

模型压缩模块要求包括：

a)应支持一种主流训练框架（如Tensorflow,Pytorch,MindSpore,PaddlePaddle等），宜支持

一种以上训练框架。

b)应支持剪枝、量化、知识蒸馏三种模型压缩功能，宜支持神经网络搜索、超参数搜索、自定

义算法接入。

c)应支持主流数据格式的模型转换。

d)宜支持单卡训练、多卡训练及分布式训练。

6.1.1压缩算法适配层

6.1.1.1模型剪枝

模型剪枝要求包括：

a)应支持至少一种训练剪枝算法、无训练剪枝算法。

b)宜支持自动化剪枝算法，即自动搜索每层剪枝率，无需人工设置。

6.1.1.2模型量化

模型量化要求包括：

a)应支持训练后量化算法。

b)宜支持量化感知训练算法。

6.1.1.3模型知识蒸馏

模型知识蒸馏要求包括：

a）应支持教师对分类损失的软目标生成，进行蒸馏。

b）宜支持教师网络中间特征值对学生网络进行蒸馏。

6.1.2多模式训练接口层

多模式训练接口层要求包括：

a）应支持本地单机时单卡、多卡的训练环境搭建。

6

T/CESAXXXX—202X

b）宜支持多卡多机的训练环境搭建，依靠多进程来实现数据并行的分布式训练。

6.2模型结构转换模块

模型结构转换模块要求包括：

a)应支持主流训练框架存储的模型格式（pt,onnx,pb）的解析。

b)应支持主流训练框架存储的模型格式向推理格式的转换。

c)应支持转换时对模型进行序列化。

d)应支持模型对随机输入的推理并记录过程中的算子信息与数据流动。

e)宜支持自定义算子的注册。

6.3推理加速模块

6.3.1通则

边端推理加速模块的功能包括：

a)应支持对计算图的优化。

b)应支持至少一种边端硬件后端加速，宜支持一种以上不同硬件后端加速。

c)宜支持SIMD/ASM优化。

d)宜支持模型调度优化。

e)宜支持内存管理优化。

f)宜支持超参数搜索，针对硬件资源设置最优推理超参数。

g)宜支持用户指定特定网络层作为输出。

6.3.2计算图优化适配层

计算图优化适配层要求包括：

a)应支持对推理时不参与计算的冗余算子的自动删除。

b)应支持对推理时重复出现的算子的自动删除。

c)应支持对推理时线性可融合的算子的自动线性融合(如Conv+BN+ReLU等)。

d)宜支持对内存排布相关算子(如reshape,permute,squeeze,unsqueeze等)的优化。

e)宜支持推理时常量算子的折叠优化。

6.3.3算子适配层

算子适配层要求包括：

a）应根据边端设备的计算特点与算子特点，适配性能最佳的算子；

b)应根据边端设备支持的计算精度，适配精度最接近的算子。

注：计算精度包括float32、float16、int32、int16、int8等

6.3.4算子库

算子库中包含的算子类型与数量，应满足工具链所支持模型的具体应用场景的要求，并尽可能多地

覆盖算子。

模型的具体应用场景要求由工具链开发方或者联合使用方共同定义。

注：模型的具体应用场景指自然语言处理、计算机视觉、语音等。

6.3.5编译器

编译器要求包括：

a）应支持模型源代码的解析、验证、错误诊断；

b）应生成汇编文件或者目标机器码；

c）宜支持对中间代码（中间表示）进行优化。

6.3.6运行时

6.3.6.1内存分配模块

7

T/CESAXXXX—202X

内存分配模块要求包括：

a）应对齐内存的大小；

b）应避免内存的重复分配；

c）宜支持一次分配足够大的内存，通过指针的偏移分配后续的算子内存；

c）宜支持内存的分配优化。

6.3.6.2调度执行模块

调度执行模块要求包括：

a）应支持单算子调度；

b）应支持计算图调度；

c）宜支持计算图子图调度；

d）宜支持算子的调度优化。

6.4辅助功能模块

6.4.1授权接口

授权接口要求包括：

a)应支持在线授权方式。

b)应支持离线授权方式。

6.4.2模型版本管理

模型版本管理要求包括：

a)应支持模型版本回退。

b)应支持模型版本升级。

6.4.3模型加密

模型加密要求包括：

a)宜支持使用加密方式生成Key对模型进行加密，解析时使用key进行解码。

6.4.4测试集测试

测试集测试要求包括：

a)应支持随机输入对模型进行推理，进行资源使用、响应时间测试。

b)宜支持训练模型的测试数据集对模型性能的评估。

6.4.5性能评估

性能评估要求包括：

a)应支持对模型的参数量、运算量的评估。

b)宜支持神经网络每层的参数量评估、运算量评估、数据类型及计算单元的显示。

c)宜支持典型模型的端到端效率，内存占用、内存带宽、利用率的显示。

d)宜支持每层的读写带宽、超参和量化信息导出。

6.4.6可视化界面

可视化界面要求包括：

a)应支持对模型结构的显示。

b)宜支持训练过程的可视化追踪，包括损失函数值，性能，超参数组等。

c)宜支持可视化工具链使用。

d)宜支持运行时，各计算单元工作状态、利用率查看。

8

T/CESAXXXX—202X

目次

前言.....................................................................................................................................................................III

1范围...................................................................................................................................................................1

2规范性引用文件...............................................................................................................................................1

3术语和定义.......................................................................................................................................................1

4缩略语...............................................................................................................................................................2

5组成框架...........................................................................................................................................................2

5.1概述...........................................................................................................................................................2

5.2模型压缩模块...........................................................................................................................................4

5.2.1概述...................................................................................................................................................4

5.2.2多深度学习训练框架适配层...........................................................................................................4

5.2.3压缩算法适配层...............................................................................................................................4

5.2.4多模式训练接口层...........................................................................................................................4

5.3模型转换模块...........................................................................................................................................4

5.4推理加速模块...........................................................................................................................................5

5.4.1概述...................................................................................................................................................5

5.4.2计算图优化适配层...........................................................................................................................5

5.4.3算子适配层.......................................................................................................................................5

5.4.4算子库...............................................................................................................................................5

5.4.5编译器模块.......................................................................................................................................5

5.4.6运行时模块.......................................................................................................................................5

5.4.7后端加速库.......................................................................................................................................5

5.5辅助功能模块...........................................................................................................................................5

5.5.1概述...................................................................................................................................................5

5.5.2授权接口...........................................................................................................................................5

5.5.3模型版本管理...................................................................................................................................6

5.5.4模型加密...........................................................................................................................................6

5.5.5测试集测试.......................................................................................................................................6

5.5.6性能评估...........................................................................................................................................6

5.5.7可视化界面.......................................................................................................................................6

6功能要求...........................................................................................................................................................6

6.1模型压缩模块...........................................................................................................................................6

6.1.1压缩算法适配层...............................................................................................................................6

6.1.2多模式训练接口层...........................................................................................................................6

6.2模型结构转换模块...................................................................................................................................7

6.3推理加速模块...........................................................................................................................................7

6.3.1通则...................................................................................................................................................7

6.3.2计算图优化适配层...........................................................................................................................7

6.3.3算子适配层.......................................................................................................................................7

I

T/CESAXXXX—202X

6.3.4算子库...............................................................................................................................................7

6.3.5编译器...............................................................................................................................................7

6.3.6运行时...............................................................................................................................................7

6.4辅助功能模块...........................................................................................................................................8

6.4.1授权接口...........................................................................................................................................8

6.4.2模型版本管理...................................................................................................................................8

6.4.3模型加密...........................................................................................................................................8

6.4.4测试集测试.......................................................................................................................................8

6.4.5性能评估...........................................................................................................................................8

6.4.6可视化界面.......................................................................................................................................8

II

T/CESAXXXX—202X

人工智能边端设备模型部署工具链功能要求

1范围

本文件给出了边端设备模型部署工具链的组成框架，规定了其功能要求。

本文件适用于人工智能领域深度学习模型在边端设备实时性运行能力的设计、研发、推广和应用。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T5271.34信息技术词汇第34部分：人工智能神经网络

GB/T41867-2022信息技术人工智能术语

3术语和定义

GB/T5371.34和GB/T41867-2022界定的以及下列术语和定义适用于本文件。

3.1

边端设备Edge-terminaldevice

边侧与端侧设备，一类低资源、低功耗的硬件设备，包括轻量级操作系统以及控制器、计算单元。

示例：可穿戴设备、智能相机、机器人、IoT设备。

3.2

模型部署modeldeployment

将神经网络模型以硬件语言编译并运行到硬件设备的流程。该流程包括模型压缩、模型转换、计

算图优化、编译优化。

3.3

模型压缩modelcompression

减小神经网络模型规模，提高神经网络模型运行和推理效率的方法。

3.4

工具链toolchain

一套针对神经网络模型进行模型压缩、模型转换、图优化、编译优化等流程的软件工具组合。

3.5

深度神经网络/深度模型/模型（简称）deepneuralnetwork/deepmodel/model

一类由输入层、隐藏层、输出层组成的深度学习的基础网络结构，该结构是深度学习的基础。

3.6

计算图computationalgraph

一种采用有向无环图表示的计算逻辑流程，主要包括边与节点。边表示变量，节点表示逻辑操作。

3.7

算子operator

一类进行特定运算的计算单元，深度学习中特指每一层的数值和张量运算单元。

3.8

特征图featuremap

在处理输入数据的过程中，神经网络中间各层的输出结果，表征神经网络中间各层对输入数据的转

换过程。

3.9

量化感知训练quantizationawaretraining(QAT)

1

T/CESAXXXX—202X

量化感知训练是通过对模型插入用于模拟量化推理运算逻辑的伪量化算子，通过梯度下降等优化方

式在原始浮点模型上进行微调，从而得到量化后精度符合预期的模型。

3.10

训练后量化posttrainingquantization(PTQ)

训练后量化主要是通过少量校准数据集获得网络的激活值分布，通过统计方式或者优化浮点和定点

输出的分布来获得量化参数，从而获取最终部署的模型。

4缩略语

下列缩略语适用于本文件。

AI：人工智能(ArtificialIntelligence)

CPU：中央处理器（CentralProcessingUnit）

GPU：图形处理器(GraphicProcessingUnit)

NPU：神经网络处理器（Neural-networkProcessingUnit）

DSP：数字信号处理器（DigitalSignalProcessor）

SIMD：单指令多数据流（SingleInstructionMultipleData）

ASM：汇编语言(AssemblyLanguage)

5组成框架

5.1概述

边端设备模型部署工具链面向提升深度神经网络在边端设备实时性运行能力，从模型训练到部署的

端到端全链路优化，即通过模型压缩模块，将深度神经网络模型中的冗余去除，减少模型尺寸，实现对

模型的压缩。模型转换模块，将压缩后模型转换成推理所需格式。在推理加速模块，解析转换的模型格

式，将模型进行图优化操作，并进行运行优化、结合硬件计算单元从而加速模型推理并降低硬件功耗。

辅助功能模块主要是提供模型部署过程所需的基本运维，测试验证，辅助用户使用工具链。组成框架如

图1所示,边端设备模型部署工具链由模型压缩模块、模型转换模块、推理加速模块和辅助功能模块组

成。图2展示了部署工具链流程。

2

T/CESAXXXX—202X

图1边端设备模型部署工具链组成框架

图2工具链的流程

3

T/CESAXXXX—202X

5.2模型压缩模块

5.2.1概述

模型压缩模块是将深度模型中的冗余部分找到并进行删减，从而降低深度模型的运算量及节约内存

使用。该框架主要包括三层，多深度学习训练框架适配层，压缩算法适配层，多模式训练接口层。

5.2.2多深度学习训练框架适配层

模型压缩模块易适配多种主流训练框架，根据不同训练框架的数据接口、梯度更新、损失函数、计

算图存储方式等相关方面的API进行适配，从而对不同训练框架进行支持及扩展。通过实现接口来适配

多种训练框架。

5.2.3压缩算法适配层

5.2.3.1概述

压缩算法适配层是采用主流深度学习压缩技术对深度模型进行压缩处理的接口层，应支持剪枝、量

化、知识蒸馏功能模块。同时，易支持低秩分解、网络结构搜索、超参数搜索、权重矩阵稀疏化