边缘计算的智能物端系统研究课件

1、物端计算机边缘计算的智能物端系统研究Ecosystem of Things in Edge ComputingIT Ecosystems EvolutionWindows、Linuxdesktop、laptopDesktop Internet Era1981-Now1994-NowPhone、PadMobile Internet Era2007-NowIoE Era?ARM ：迎接计算基础设施的第五次浪潮lll第一波：大型机；第二波： PC 与软件；第三波：互联网第四波：智能手机与云计算l 2017 年， ARM 占全球处理器晶元的 95% 产出第五波：万亿物端设备的新世界（ Fifth Wa

2、ve: Trillion-Device World ）2017 年全球半导体电路产量： 1 亿个晶元（总计 113 亿平方英寸）数据来源： SEMI, IHS, Siltronic 2017物端计算机：一种新形态计算机lNano-Server ：轻量级机群具象服务器（针对物体的微纳服务器）ll1. PC2. 智能手机3. 嵌入式系统4. HPC5. 云服务器6. 物端计算机提升“ 3+5 融合”重点是轻量级机群Things as a Service (TaaS)Cluster on a ChipSaaSPaaSIaaS物端计算机是服务器外部：功能呈现为服务内部：是轻量级机群GestureWeb

3、letVoiceSmart IoT DeviceT- RESTT- RESTT- RESTSmart Web of Things (SWoT)F ZoneT-RESTRESTF PortSWoT =Smart Webof ThingsZhiwei Xu, Xiaohui Peng, Lei Zhang, Dong Li, and Ninghui Sun. 2017. The -Stack for Smart Web ofThings. In Proceedings of SmartIoT17, San Jose, CA, USA, October 14, 2017人端设备lPCBF PUSen

4、sorsActuatorsWebletCommunicationStorage硬件F -Stack Main ComponentsSupport smart web of thingsF DK软件F OS四种物端设备lSimple thing vs. rich thinglD: device, G: gateway, R: remotes计算迁移场景l云端人脸识别场景云服务器智能摄像头云服务器智能摄像头返回识别结果手机 / 智能门锁手机 / 智能门锁返回识别结果“ 张三 ”上传视频帧图片l边缘端人脸识别场景“ 张三 ”“ 张三 ”“ 张三 ”图片上传识别结果 上传视频帧边缘服务器， 嵌入式节点

5、（资源宽松）， （资源受限）Python代码Vgg19已加载模型（570MB未加载时）Tensorflow框架Python运行时l现状（开发阶段）移植及重写：适配目标设备的异构系统和软硬件接口l移植及重写进程内存工作集： 934 MB12 KB835 MB95.6 MB3.3 MB无法执行于人脸识别任务Raspberry Pi Zero(SDRAM 512 MB)Onion OMEGA2(SDRAM 128 MB)Espduino(SRAM 520 KB)Arduino UNO Rev3(SRAM 2 KB)异构框架PyTorchTensorflowCaffeMXNet异构软硬件平台异构 OS

6、 异构协议I2CLinuxWindowsMQTTRTOSHTTPContikiSPI异构硬件X86 CPUGPUMIPS CPUARM MCU10 余种 * 100 余种 * 100 余种 * 10 余种 100 万种可能的重写工作资源受限：进程驻留工作集尺寸超过目标设备内存容量现状（部署阶段）l独立程序部署1.2.由控制节点向目标节点传输计算任务 (OTA 、下载等 )在目标节点按计划加载及执行计算任务 ( 常驻 / 计划任务 )l不足： 难以支持多用户按需部署、执行和分享人脸识别( 摄像头 )部署返回结果传输代码 (OTA, 安装 )执行和分享main ()frame = read_fra

7、me()r = face_recognize(frame)send(r, cloud_address ) 主函数入口 硬编码地址手机无设备控制权厂商云服务器有设备控制权PC无设备控制权不同用户目标设备现状（使用阶段）MQTT/TCP客户端手机/PCl通过中心服务节点交互访问的使用模式l中心节点需存在较强的计算、存储、通信资源l不足 ： 不支持物端设备间的RESTful Web访问服务端厂商云/边缘服务器视频帧11客户端 客户端RESTful Web访问智能摄像头 智能门锁目标、理念l目标：lll开发阶段： 1. 拟迁移任务的代码通过较少修改便可执行于异构软硬件设备上； 2. 拟迁移任务的资源消

8、耗情况需与资源受限环境相匹配部署阶段：多方参与及共享的按需任务部署使用阶段：端到端的 Web 直接交互能力l客户端手机/PC服务端智能摄像头客户端服务端智能门锁理念： 让设备直接提供 Web 资源及服务TaaS: Things as a Service读取视频帧：http:/camera/frames进行人脸识别：http:/camera/recognized_frames厂商云/12边缘服务器客户端服务端物理资源和 Web 资源的区别是什么？l物理资源llWeb 资源Web 资源限制接口、通信方式ll例如 RESTful API 、 HTTP(s)/ws/CoAP 等lWeb 资源同时也是服

9、务 ，能够处理外界请求、返回响应物理资源视频采集丢弃数据库屏幕显示物理资源视频采集物理资源不限制数据流向、表述方式文件 文件系统记录帧数据http:/camera/framesWeb 资源现有的 Web 服务所使用的 REST 架构是否适合计算迁移？l计算迁移需要 Web 服务端支持动态的资源扩展机制l REST 不支持从客户端到服务端的服务侧按需代码server-side code on demand服务端厂商云服务REST支持客户侧按需代码服务端智能摄像头客户端手机(JavaScript界面逻辑)HTTPHTTP请求小程序REST不支持服务侧按需代码(人脸识别代码)T-REST 架构llT

10、-REST 架构：基于 REST 扩展、提供物端 Web 资源多方部署及访问能力的 Web 架构超任务（ hypertasking, hypertask ）：分布式的计算迁移任务代码及必要执行配置“ out_func ”: recognize :,“ data_type ”: INT,“ variable ”:“ video_frames ”: “http:/C/video_frams/0”,“ nn_param ”: “ http:/G/nn_param/0”“ code ”:“”T-REST 超任务表述形式(cHT in JSON)超 任务超任务超任务资源存储资源存储EveryLite物端

11、脚本语言虚拟机异构物端硬件 ( 如传感器 )ChromeAPP物端设备RESTful 请求(例如HTTP)RESTful 访问接口GET/POST/PUT/DELETET-REST 资源存储架构识别任务Python代码MNIST已加载模型（4.7MB未加载时）Tensorflow框架Python运行时超任务+EveryLite代码MNIST压缩模型神经网络硬件支持T-REST+EveryLiteT-REST 的开发模式 :ll效果：脚本式超任务编程，部分任务百 KB 级运行时工作集尺寸。针对 MNIST ，可大幅降低工作集尺寸： 124.4 MB 188 KB应用价值：将原本执行于亿级强资源设

12、备 ( 如服务器 ) 的任务，通过超任务表述方式推向 万亿级资源受限设备 ( 如传感器、控制器、边缘设备 )3.3 MB12 KB25.5 MB95.6 MB（可外置）去除 GC 、减少库依赖等进程内存工作集：124.4 MB13.2 KB173.8 KB测试环境：1. Python 2.7.15 ， Tensorflow 1.13.1 ,应用负载 MNIST (512x10 MLP) 。2. T-REST + EveryLite 物端脚本语言原型任务内存工作集：188 KB( 神经网络外置 )1020 KB1 KB832 KBT-REST 的部署及使用模式l效果：ll服务侧按需代码能力，支持

13、计算迁移。支持任意客户端 ( 例如 Chrome 浏览器 ) 通过 RESTful 请求感知、控制物理资源，以及处理计算迁移任务l客户端服务侧按需代码价值：将万亿独立的物端计算机资源及其超任务表示的物理功能 自动生成 为全球可访问的 Web 资源及 RESTful 服务客户端厂商云服务HTTPHTTPT-REST的部署和使用模式http:/camera/recognized_frames自动生成Web服务服务端智能摄像头人脸识别任务人脸识别任务HTTP客户端T-REST ResourceResourceConfigurationhttp:/camera/framesHyperTask2GET

14、RequestInitial GET Requesthttp:/gateway/recognized_framesHyperTask1“frames”:“ http:/camera/frames ”T-REST ResourceResourceConfiguration创新 1: 利用超任务表述物端资源及功能l可计算超文本原则 (computational HyperText,cHT)ll超任务表述：将单节点独立代码链式拆解为部分与位置无关的多节点超任务诀窍： 将单一代码内的变量读写转化为与执行位置无关的Web 资源读写传统计算迁移任务代码 ( 单一节点 )超任务代码及配置 ( 多节点 )Ta

15、sk Codefunction capture(t)write_to_spi ( SETUP_ADDRESS , resolution )raw_frame_data = read_from_spi ( CEMERA_ADDRESS )converted_frame_data = convert ( raw_frame_data )frames t) = converted_frame_dataend（不可调度代码）驱动指定异构设备Task Codefunction recognize(t)frame = frames tnn_engine = load_nn (nn_param)recogn

16、ized t = eval_nn (frame_data , nn_engine)end（可调度代码）支持任意异构设备链式拆解function recognize()function capture()write_to_spi ( SETUP_ADDRESS , resolution )raw_frame_data = read_from_spi (CEMERA_ADDRESS)converted_frame_data = convert ( raw_frame_data )return converted_frame_dataendframe = capture ()nn_engine =

17、load_nn (nn_param)return eval_nn ( frame_data , nn_engine )end( 作为整体进行迁移 )只能运行于具备相同软硬件接口的单一设备capture_framehttp:/camera/frames-GETreturnClienthttp:/camera/frames?t=1532365399Clienthttp:/camera/framesPUTl创新 2 ：物端资源及功能的自动服务化可复用远端执行原则 (Reusable Remote Evaluation ，RREV)ll自动服务化： 将超任务与 T-REST 资源自动绑定，确保前端T-

18、REST 资源是唯一的 Web 访问出入口诀窍： 将超任务的部署和执行问题转化为 Web 资源的创建和读写问题自动创建 frames资源和 Web 服务执行结果复用初步测试结果l计算迁移场景：云 (S)- 网关 (G) ，云 (S)- 摄像头 (C)llll实验环境Cloudlet ：虚拟机实现Paradrop ： Docker 实现MNIST 识别负载lT-REST 相对于传统边缘计算框架 Cloudlet 和 Paradrop ：ll百 KB 级引擎大小、毫秒级启动2-3 个数量级的迁移负载大小和传输延迟优化Setup TimeOffloading Time with WiFiQuery

19、Time of a New Query with WiFiQuery Time of a Repeated Query with WiFiQuery Time of a New Query with 802.15.4Query Time of a Repeated Query with 802.15.4Time / ms1010 810 76Size / Byte1k10 510 410 310 210 110 01T1G1MCloudlet (S-G)Paradrop (S-G)T-REST (S-G)T-REST (S-C)Paradrop (S-G)十 MB 级Cloudlet (S-G

20、)GB 级百秒级十秒级毫秒级T-REST (S-G)Framework SizeMemory Footprint SizeOffloaded Size百 KB 级毫秒级T-REST (S-C)Transmission Size of a New QueryTransmission Size of a Repeated Query百 KB 级工作特色不足CREST在REST基础上新增远端执行能力(RemoteEvaluation)新增crest协议，spawn方法传输代码，remote执行远端代码破坏原有REST原则引入新应用协议crest不支持数据和功能资源复用WebofThings(WoT)

21、鼓励每个设备(物端、网关)提供Web服务不支持动态的计算迁移需求AWSGreengrass利用无服务计算(ServerlessComputing)支持计算迁移不支持物端设备的直接服务访问能力CalvinIoT/Kappa将独立计算任务拆解为一组Actor模型支持无服务计算编程Firework将独立计算任务拆解为一组数据视图模型支持通过数据触发的计算流Cloudlet基于主机虚拟机技术迁移代码平台及迁移负载过于庞大21Paradrop基于容器技术迁移代码T-REST 相关工作 T-REST 相关领域包括： REST Web 、 WoT 、边缘计算、物联网、云计算、服务计算 具体的相关工作包括：T-REST 解决了上述相关工作存在的问题T-REST 在 Web 上带来的进步lllHypertask &HypermediaRESTCREST/COAST物体即服务 (Things as a Service, TaaS)超任务即服务引擎 ( H