面向AIOT的边缘智能优化技术

1、面向AIOT的边缘智能优化技术技术创新，变革未来报告提纲从物联网到智联网的挑战边缘智能执行框架边缘智能执行优化技术挑战和展望传统物联网的应用模式物联网（IOT）技术旨在利用射频识别技术、无线数据通信技术等构造一种全球物品信息 实时共享的实物互联网。煤矿监控长城环境监控森林监控车流监控云数据中心从物联网到万物互联现象一：联网设备数量呈爆炸式增长来 源 ：Cisco Visual Networking Index: Forecast and Trends, 20172022, https:/ AIOT智联网” 物联网的新形态AIOT 智 联 网 = AI + IOT系统通过各种传感器实时采集各类信

2、息，利用机器学习对数据进行智能化分 析，实现物联网的功能智能化、应用场景化、形态多样化智能终端应用车联网智慧医疗智能安防智能应用举例SegNet语义分割C3D行为识别BERT自然语言处理YOLO v3目标检测智能应用举例（以无人驾驶为例） 数据采集预处理识 别 预 测结果呈现智能应用举例（以无人驾驶为例） 感知设备多摄像头（12个）：20-60 MB/S 激光雷达（3个）：10-70MB/S 毫米波雷达（3个）：10kB/S超声波雷达（12个）：10-100kB/SMobileye 无人驾驶原型车模型计算量大计算密集型任务 数据密集型任务智能应用举例（以无人驾驶为例） 自动驾驶每往上升一级，它

3、的计算量就增加了一个数量级AIOT应用的新特点和新需求在线搜索驾驶在线零售交易VR/AR500ms343ms*平台10ms7ms流量和收入减少20%35英尺收入减少10%动晕症人员 2100ms 销售额减少1%设备大规模相比于云计算数百万计的设备，未来需要支持的设备数量将达到数十亿计海量大数据自动驾驶汽车（ 4TB /d）, 智能工厂的生产视频数据（1PB/d）响应低延时根据不同应用场景有不同尺度的低延迟需求数据隐私性不暴露原始数据，同时能够得到理想的分析结果现有AIOT应用的实现方式终端智能应用的执行主要包括两个环节：模型训练：终端数据采集，云端模型训练，相应的机器学习平台有：在线推断：终端

4、模式端+云模式AIOT应用的模型训练 目前工作的主要思路从训练过程角度：通过剪枝、霍夫曼编码等技术，减少训练的计算量 1从计算模式的角度：模型并行数据并行混合并行1 Han S, Mao H, Dally W J. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman CodingJ. Fiber, 2015,带宽极大消耗、存在数据隐私问题AIOT应用的在线推断 基于端+ 云的推断 实现方式：模型存储在云端，终端采集数据，通过Internet传输 至云端

5、服务器进行识别云Googles Prediction APIMicrosofts Azure ML模模型型Amazon MachineLearning.终端数数据据设备苹果Siri讯飞语音识别小爱同学网络负载重、响应延迟高AIOT应用的在线推断 基于终端的推断模型压缩剪枝量化 、霍夫曼编码 2终端深度学习框架On Android终端设备增强GPUFPGAAI芯片Intel计算棒模型压缩可能会降低识别精度 终端算力受限，难以高效计算对硬件有特殊要求，不适用于通用环境 仍然无法满足应用的低延时需求云云端分离云与端之间的高延迟和有限 的网络带宽Internet难以满足应用需求AIOT应用日趋复杂，而

6、端设人机物备算力性能与能量有限端亟需一种支持“云端融合”的新型计算模式如何实现AIOT应用高精度低延时的训练和推理 是一个重要科学问题报告提纲从物联网到智联网的挑战边缘智能执行框架边缘智能执行优化技术挑战和展望边缘计算的理念边缘计算：一种层次化的分布式计算模式，通过发挥网络边缘设备的计算能力和存储能力， 在网络的边缘提供通信、存储和计算资源及服务，形成“端-边缘-云”三元架构，以降低 应用延迟和网络负载主要理念：计算由中心下放到边缘边缘计算架构计算框架：“云-边缘-端”三元架构边缘智能架构机器学习模型训练与在线推断过程和边缘计算架构的结合云计算中心模型Pb边缘服务器边缘服务器边缘服务器边缘层P

7、bPb云服务Pb模型Pb模型Pb模型终端设备终端设备终端设备Pb模型Pb模型Pb模型边缘智能体系结构智能终端边缘服务器 物理资源层基础服务层平台服务层应用层终端任务终端模型及 执行环境数据管理边缘端任务 执行环境边缘端模型 及数据管理云端任务 执行环境云端模型及 存储管理资源管理与优化智能制造智能家居 云数据中心 公共安全与智能安防智能交通与自动驾驶深度学习应用（模型训练+在线推断）虚拟化基础支撑平台Docker等深度学习基础支撑平台TensorFlow等端边云协同模型训练端边云协同在线推断数据存储管理工作流编排海量联接与自动化运维云端边边缘智能环境下模型训练方式模型训练由“端云”训练模式向“

8、端边云”训练模式转变模型训练边缘服务器智能终端云数据中心可穿戴设备智能手机智能摄像头无人机模型训练训练样本收集训练样本收集模型训练智能终端云数据中心智能手机智能摄像头无人机可穿戴设备训练样本收集训练样本收集边缘智能环境下模型训练方式模型训练由“端云”训练模式向“端边云”训练模式转变模型训练边缘服务器智能终端云数据中心可穿戴设备智能手机智能摄像头无人机模型训练训练样本收集训练样本收集模型训练在云端（边缘服务器负责进 行初步特征提取）或下移至边缘服务 器进行，样本由终端汇聚动机：训练数据可以不上云，节省带宽 和存储，一定程度可保证隐私性存在问题：小样本问题：边缘层的样本数据 标注困难，并且数量较少

9、计算与存储能力受限：边缘服务器无法训练复杂模型边缘智能环境下模型训练解决思路训练数据和训练计算在端边云“三元”计算架构之间协同分配边缘服务器智能终端云数据中心可穿戴设备智能手机智能摄像头无人机训练样本收集训练样本收集云端其 他 边 缘 节 点较少运算少量运算边缘终端少量带宽少量带宽边缘智能环境下模型训练解决思路训练数据和训练计算在端边云“三元”计算架构之间协同分配联邦学习、联邦迁移学习联邦学习联邦迁移学习边缘智能环境下在线推断方式在线推断由“端云”模式向“端边云”协同推断转变边缘服务器可穿戴设备智能手机智能终端智能摄像头终端智能应用目标检测智能购物在线推断任务模型数据模型数据模型数据推断任务推

10、断结果云数据中心边缘智能环境下在线推断方式在线推断由“端云”模式向“端边云”协同推断转变边缘服务器云数据中心可穿戴设备 智能手机智能摄像头智能终端目标检测智能购物终端智能应用在线推断任务模型数据模型数据 模型数据推断任务推断结果模型可分别部署于终端、边缘以及云之上， 推断任务可按需灵活卸载动机：在线推断的输入数据在网络边缘处处 理，可极大降低延迟终端数据可以不上云，保证隐私性计算卸载到边缘服务器，可以降低终 端设备的能耗报告提纲从物联网到智联网的挑战边缘智能执行框架边缘智能执行优化技术在线推断挑战和展望边缘智能 在线推断的解决思路ExitConv 3x3Conv 3x3LinearLinear

11、Conv 5x5Conv 5x5Conv 3x3传 统 深 度 学 习 网 络传统深度学习网络识别过程：神经网络深度越来越深不区分输入数据的质量必须经过完整的模型网络，造成冗余计算特点：边缘智能 在线推断的解决思路1 S. Teerapittayanon et al. Branchynet:Fast inference via early exiting from deep neural networks. IEEE ICPR16ExitConv 3x3Conv 3x3LinearLinearConv 5x5Conv 5x5Conv 3x3传 统 深 度 学 习 网 络Exit 1Exit 2

12、Exit 3Conv 3x3Conv 3x3LinearLinearConv 5x5Conv 5x5Conv 3x3Block 1Block 2Block 3LinearLinear分 支 深 度 学 习 网 络分支网络思路基于分支网络的边缘智能推断加速框架云数据中心层边缘服务器层终端设备层基于分支网络的边缘智能推断加速框架云数据中心层边缘服务器层 确定多出口模型结构 确定终任端务设备在层端边 云之间的分配在线推断优化技术 模型结构优化出口位置不同对应的提前退出效果也不同16层：准确率逐层提高(利)时间开销逐层上升(弊)713层：准确率几乎不变(0贡献)时间开销逐层上升(弊)Conv 1Con

13、v 2Conv jConv 13FC 1FC 2FC jFCExit 1Exit 2Exit jExit m(Exit Rate)出口个数影响分支网络的平均完成时间出口个数少：任务退出不及时(利)额外计算开销小(弊)出口个数多：任务退出及时(利)额外计算开销大(弊)问题： 如何基 于数据分布特 点确定分支网 络的出口位置 和出口个数， 达到计算开销 最小化？在线推断优化技术 模型结构优化jbaselinejjtsave p (t- t)CONVCONVCONVFCCONVCONVFCCONVFCCONV2baselineP 100%tbaseline2P , t11P , t如何设计出口的数量

14、与位置？训练集准确率计算时间出口退出率出口计算量步骤1：计算出口贡献值根据各出口的准确率（退出率的期望值）、 计算时间（计算量的反映），计算相比初始模型节省的时间成本（贡献值）：步骤2：确定出口优先级按由高至低排序，确定出口的优先级队列。n123321q1,m在线推断优化技术 模型结构优化如何设计出口的数量与位置？步骤3：出口数量、位置选择根据出口优先级，采用贪心法取前N个出口进行 构建分支网络，当总计算成本达到最小值，此时 的N个出口作为最佳方案。N 1j 1N arg min (1 p)tj N1,M 1 j 1 第j-1层的出 口仍未退出 的概率第j层的出口的计算时间CONVCONVCO

15、NVFCCONVCONVFCCONVFCCONVbaselineP 100%tbaselineP2 , t211P , td出口深度出口的退出率出口的计算时间MDNN的最大深度在线推断优化技术 模型结构优化939291908988870.06.48.0012345Accuracy(%)Runtime(ms)6789101112Value of NConv 1Conv 2Conv jConv 13FC 1FC 2FC jFCExit 1Exit 2Exit mExit j (Exit Rate)多出口的VGGNet模型N的不同取值对总体准确率与计算时间的影响以VGGNet为例，

16、寻找耗时最短且保证精度的N值，确定出口位置与数量N取3时，满足要求准确率损失1%的前提下，针对VGG16的最佳出口设置可实现3x加速比在线推断优化技术 模型切分与任务卸载 CONVCONVCONVFCCONVCONVCONVFCCONV开放性问题：如何进行端边协同卸载决策？实现思路：计算可压缩计算可分割推断任务卸载示意图卸载多模式FC端边协同执行优化单终端单任务卸载多终端多任务卸载在线推断优化技术 模型切分与任务卸载Neurosurgeon(SIGPLAN17)DDNN(ICDCS17)offlineCouper(SEC19)引入Early-exit，偏系统Edgent(TWC19)引入Ear

17、ly-exit，计算从边缘开始现有工作在线推断优化技术 模型切分与任务卸载（ 单终端单任务）问题：如何动态确定模型的切分位置步骤1：获取当前的网络状态、边缘服务器负载、终端设备的性能等。步骤2：根据当前的网络环境和边缘端的负载情况，计算在各切分点的时间期望，确定当前时刻的模型最佳切分点。BandwidthSystem LoadResponse DelayPartition PointPredictionLocal Device Local CONVCONVCONVFC CONVCONVFCCONVFCCONVEdgeRouterEdge InferenceLocal Inference。在线推

18、断优化技术 模型切分与任务卸载（ 单终端单任务）步骤2：根据当前的网络环境和边缘端的负载情况，计算在各切分点的时间期望，确定当前 时刻的模型最佳切分点。L层之前在终端上的计算成本总和L层之后在边缘服务器上的计算成本总和L层处产生的中间数据所需的传输成本42边缘系统负载维持稳定时，自适应分布式DNN 推理策略的最优切分点会随着网络环境的不同 而变化，呈现动态变化趋势。单个任务的平均完成时间：与纯终端模式相 比，平均加速比为3.8，最大加速比为6.6。3002001000400Cloud-onlyConv2d_1ReLU_2Conv2d_3ReLU_4MaxPool2Conv2d_6ReLU_7C

19、onv2d_8ReLU_9MaxPool2Conv2d_11ReLU_12Conv2d_13ReLU_14Conv2d_15ReLU_16MaxPool2Conv2d_18ReLU_19Conv2d_20ReLU_21Conv2d_22ReLU_23MaxPool2Conv2d_25ReLU_26Conv2d_27ReLU_28Conv2d_29ReLU_30MaxPool2AvgPool_32End-onlyTime(ms)Partition points(after each layer)50Mbps_40ms50Mbps_80ms50Mbps_120ms实验结果动态最优切分点实验结果带宽

20、变化影响实验结果延时变化影响单个任务的平均完成时间：与纯终端相比加速度比平均为1.7, 最大为3。 与纯云模式相比加速比平均为1.2，最大2。与0-1卸载相比平均加速度比为1.1，最大为1.3。边缘计算在工业互联网中的尝试国家重点研发计划2017年度“云计算和大数据”重点专项项目“面向工业互联网的智能云端协作关键技术及系统”项目编号：2017YFB1003000国拨经费：1816万元起止年月：2017/10-2021/09国家层面首个面向工业互联网的重大科技项目国家自然科学基金重点项目“工业互联网体系结构及关键技术研究”项目编号：61632008国拨经费：285万元（直接经费）起止年月：201

21、7/01-2021/12国家自然科学基金委在工业互联网领域的第一个重点项目面向工业互联网的智能云端协作关键技术及系统创新之处：相较于现有的工业云架构，更强调工业生产过程中端与端、云与端之间高效协同的顶 层设计及技术体系构建，全面提升了工业互联网中智能云端的深度协作、高度融合。难点问题：云端协作程度低、实时通信难，导致工业互联网中复杂化环境感知难、异质化终端互联难、 网络化数据分析难、柔性化生产控制难。解决方法：提出新型工业互联网云端融合体系结构模型，建立边缘计算模式下人机物融合的工业互联 网技术体系，构建基于“智感、效联、迅知、谐控”的智能云端协作平台。核心关键技术之一： 大数据传算适配与反馈

22、控制内容基于独立服务的弹性管理，实现传算协同与反馈控制基于模型训练与实时动态排产调度，指导企业接单及生产流程传算配置资源池监控 生产控制监控资源状态信息，解耦应用与物理设备的关联智能工厂智能排产智能物流基于SDN的动态传算网络集中控制与灵活计算能力结合基于SDN方法实现网络的集中控制和路由动态调度通过docker技术提供轻量级，灵活部署的计算能力动态传输和灵活计算相互结合实现完整的传算网络Docker+微服务架构网络控制层数据转发和处理层 感知层应用层通过控制器下发流表的 形式，实现动态的网络 路由;将封装好的docker容器部署到SDN交换机上，实现边传边算功能。面向工业互联网的智能云端协作

23、平台项目组研发了工业互联网智能云端协作平台，实现了设备、数据、服务、用户管 理等基础功能以及智感、效联、迅知协控等关键核心组件。平台部署在江苏南钢集团宽厚板厂，已汇聚8433个设备，14PB数据，1615余用户的数据信息。通过智感技术感知人员、机器、物料的状态等信息；通过效联技 术支持异构终端互联；通过迅知谐控技术配置传算过程，实现更好地感知、互联 和计算。为南钢智能云排产与富士康智能云物流等应用提供平台支撑。面向工业互联网的智能云端协作平台项目组研发了工业互联网智能云端协作平台，实现了设备、数据、服务、用户管 理等基础功能以及智感、效联、迅知协控等关键核心组件。平台部署在江苏南钢集团宽厚板厂

24、，已汇聚8433个设备，14PB数据，1615余用户的数据信息。通过智感技术感知人员、机器、物料的状态等信息；通过效联技 术支持异构终端互联；通过迅知谐控技术配置传算过程，实现更好地感知、互联 和计算。为南钢智能云排产与富士康智能云物流等应用提供平台支撑。南钢智能云排产系统智能监控：实现对重点设备运行情况进行 状态在线监测，涵盖设备生命周期全过程 管理，为其他模块提供数据级的基础产能预测：以数据统计、数据挖掘、数据 分析为理论背景，根据历史实际产能信息， 综合考虑现有订单信息和其他模块提供的 设备停修信息，按月、旬预测产能智能订单计划排程：结合产能预测信息实 现生产订单计划智能排程智能云排产系统：基于设备监控、产能预 测以及订单排程等信息进行辊期排产系统体系架构生产制造仓储物流订单管理工业生产流程物云端协作 柔性处理生产场景 协同感知异构网络高效互联云端协作系统平台人机南钢智能云排产系统智能监控输入：基于非传感器感知技术和传感器感知技术的设备状态信息。输出：设备健康状况效果：通过对设备状态的感知、分析与预测，实现基于工业互联网平台的设备 健康状况的获取。设备状态监控设备故障预测南钢智能云排产系统产能预测输入：接单库存整修信息与历史实际产能。输出：预计订单与产能