2023年边缘人工智能技术报告（英译中）

2023EDGEAI技术报告《了解国家的指南》EdgeAI中的硬件和软件艺术。第一章产业概述及应用用例8第二章边缘AI的优势18云/边缘计算连续体：强大的组合21第三章：边缘AI平台24第四章硬件和软件选择30第五章：TinyML38TinyML在行动：GreenWaves如何启用下一代产品41第六章：边缘AI算法4445第七章传感方式基于视觉的感知模式基于音频的感知模式环境感知模式简化数据收集：Sparkfun如何实现数据记录其他传感模式第八章：案例研究采访ST：从ST的角度对EdgeAI的一瞥SensoryInc.-通过语音激活的AI技术彻底改变用户体验Pachama-预测森林中的碳捕获ActivSurgical-实时手术可视化Medtronic-AI驱动的内窥镜NoTraffic-智能城市的交通管理BloomX-机器人第九章边缘AI的挑战数据管理挑战集成挑战安全性挑战延迟挑战可扩展性挑战成本挑战功耗挑战潜在解决方案第十章边缘AI的未来5G/6G网络的兴起与崛起神经形态计算：通过模仿人脑基于事件的处理和学习来提高AI智能：BrainChip的神经形态AI解决方案数据高效的AI：在没有足够质量的数据内存计算的情况下实现边缘AI的价值最大化数字内存计算：AxeleraAI解决方案分布式学习范式异质性和扩大挑战关键利益相关者及其角色结论确认5454565758606263656667686869707172747476777878808081848586878889909293939496981101121141164Introduction近年来，人工智能（AI）的出现确实彻底改变了我们的行业和个人生活，提供了前所未有的机会和能力。然而，尽管基于云的处理和云AI在过去十年中蓬勃发展，但我们已经遇到了诸如延迟，带宽限制以及安全和隐私问题等问题。这就是EdgeAI的出现变得非常有价值并改变了AI格局的地方。EdgeAI代表了AI部署的范式转变，使计算能力更接近数据源。它允许设备上的数据处理，并实现实时的上下文感知决策。而不是依赖在基于云的处理中，EdgeAI利用边缘设备（如传感器、相机、智能手机和其他紧凑型设备）在设备本身上执行AI计算。这种方法提供了多种优势，包括减少延迟、降低带宽效率、增强数据隐私以及在有限或间歇性连接的场景中提高可靠性。虽然CloudAI主要在远程服务器中执行数据处理和分析，但EdgeAI专注于直接在设备上启用AI功能。这里的关键区别在于处理位置和被处理数据的性质。ClodAI适用于可以容忍延迟的处理密集型应用程序,而EdgeAI在实时处理至关重要的时间敏感场景中表现出色。通过直接在边缘设备上部署AI模型，EdgeAI最大限度地减少了对云连接的依赖，从而实现本地化决策和响应。Edge涵盖了从数据中心到物联网端点的整个频谱。这包括数据中心边缘、网络边缘、嵌入边缘和本地边缘，每个都有自己的用例。计算要求基本上决定了特定应用在频谱上的位置，从数据集中边缘解决方案到嵌入在汽车轮胎等设备中的小型传感器。与振动相关的应用将朝向一端定位。“随着这些边缘平台增强其计算能力，应用程序正在逐伊恩·布拉特,Arm技术研究员兼高级总监6当涉及到EdgeAI时，重点主要放在传感系统上。这包括基于摄像头的系统、音频传感器和智能城市中的交通监控等应用。EdgeAI本质上是一个广泛的传感系统，可以持续监控和解释世界上的事件。在集成技术方法中，收集到的信息可以发送到云端进行进一步处EdgeAI在需要快速决策和即时响应时间敏感数据的应用中大放异彩。例如，在自动驾驶中，EdgeAI使车辆能够处理车载传感器数据,并做出瞬间决策，以确保安全导航。同样,在医疗保健领域，EdgeAI能够实时监测患者，检测异常，并促进即时干预。本地处理和分析数据的能力使医疗保健专业人员能够及时提供服务。拯救生命的干预措施。边缘AI应用领域可以根据特定要求（如功率灵敏度、尺寸限制、重量限制和散热）进行区分。电源灵敏度是一个至关重要的考虑因素，因为边缘设备通常是智能手机、可穿戴设备或物联网(IoT)系统中使用的低功耗设备。部署在这些设备上的AI模型必须进行优化，以实现高效的功耗，以保持电池寿命并延长运行时间。尺寸限制和重量限制在区分EdgeAI应用领域方面也起着相当重要的作用。边缘设备通常紧凑且便携，使其成为必不可少的让人工智能模型变得轻巧和节省空间。这一考虑在将边缘设备集成到无人机、机器或可穿戴设备，其中尺寸和重量直接影响性能和可用性。然而，边缘计算呈现出事先无法实现的显例如，拥有数据可以提供高级别的安全性,因为无需将数据发送到云，从而减轻了不断增加的网络安全风险。边缘计算还可以减少延迟和功耗usageduetolesscommunicationbackandforthwiththecloud,whichisparticularlyimportantforconstraineddevicesrunningonlowpower.Andtheadvantagesdon’tstopthere,asweareseemoreandmoreinterestingdevelopmentinreal-timeperformanance-anddecision-making,隐私控制和设备上学习，使智能设备能够自主和自适应地运行，而不依赖于持续的云交互。“人工智能最近的激增是由尖端算法和先进硬件之间的和谐互动推动的。随着我们的前进，这两个元素的共生将变得更加关键，特别是对于BramVerhoef博士,AxeEdgeAI在当前和未来的技术领域中具有巨大的意义。通过分散的AI处理，改进的职责，增强的隐私和安全性，正在彻底改变我们的世界。随着不断发生的快速发展，可能很难跟随该领域的所有新进展。这就是为什么Wevolver与几位行业专家，研究人员，教授和领先公司进行了合作评估，以创建有关EdgeAI现状的综合报告应用和未来的发展。本报告将为您提供实用和技术知识，以帮助您了解和导航EdgeAI不断发展的格局。Synapics的重要贡献和赞助，本报告将无法实现。他们致力于客观地分享知识和见解，以帮助激发创新技术进化与Wevolver所做的事情及其旨在实现的影响完全吻合。随着世界变得越来越互联和数据驱动，EdgeAI正在成为这一转型核心的重要技术，我们希望这份全面的报告提供所有的知识和灵感，你需要参与这个技术之旅。总编辑第一章:概述工业与应用用例近年来，数据已从集中式云数据中心明显转移到位于数据源附近的小规模本地数据中心和边缘设备。这导致了EdgeAI的出现和崛起。具体而言，在数据生成源处或附近处理的数据的激增一直是不同应用领域中EdgeAI应用的关键推动因素。如今，许多企业正在部署和使用边缘功能作为其AI应用程序的一部分。这些功能使他们能够开发具有实时性能的节能，低延迟的应用程序。此外，EdgeAI功能为企业提供了显着的安全性和数据保护优势，从而改善了隐私控制并更有效地遵守适用法规。这些优势使EdgeAI对许多不同部门的组织非常有吸引力，这些部门在各种用例中部署和使用Edge计算功能。ThisisthereasonwhytheEdgeAImarkethasagrowingmoval.Act-accordingtoFortuneBusinessInsights,theEdgeAImarketisexpectedtogrowfromUSDfrom1560billionin2022toUSD到2029年1074.7亿，复合年增长率(CAGR）为31.7%。9工业与制造业工业领域的创新者将EdgeAI和机器学习视为其未来的重要技术。工业现代化和向智能制造的转变引发了自动化、机器人和工业物联网(IIoT)的创新。制造部门一直在经历基于快速数字化转型ontheintroductionofCyber-Physical-calProductionSystems(CPPS)(e.g.,industrialrobot,intelligentautomationdevices)ontheshopfloor.Thesesystemscompriseaphysicalandadigitalpart,whichenablethedigitizationofcomplexphysicalprocesses.CPPS系统收集和分析有关生产过程的数据，例如生产计划，质量检查和资产维护。通过数据分析，他们获得了有关如何优化这些流程的独特见解。最重要的是，他们利用这些见解来实现实时驱动和控制功能，以关闭与制造车间的循环。这些功能显著提高了产品组装和质量控制等自动化任务的效率和速度。然而，基于云数据处理的实时驱动几乎是不可能的，这导致了显著的延迟。制造商越来越多地转向EdgeAI。这可以在CPPS上执行低延迟的机器学习功能，使其适合实时驱动用例。网络物理生产系统的概念。图片来源：Imkamp，D.etal.，J.Senss.Senss.Syst.，2016。10EdgeAI在制造业中的一些最突出的用例包括:•实时检测缺陷，作为质量检查过程的一部分，利用深度神经网络分析产品图像•基于工业机器人低张力操作的实时生产装配任务执行•基于增强现实（AR）和混合现实(MR）设备，为技术人员提供现场任务的远程支持；低延迟边缘计算节点用于实时渲染基于AI的AR/MR流(例如，基于AI的维修建议并有效地将远程专家的在职说明传输给现场技术人员。虽然低延迟是制造业的主要边缘AI驱动因SomeusecasesalsobenefitfromEdgeAI’ssecurityandprivacycontrolfeature-res.Forinstance,several3DprintusecasesleverageEdgecomputing避免通过集中式云基础架构共享敏感的知识1医疗保健医疗保健部门生产和管理大量敏感数据，如患者数据集。因此，在医疗保健中部署和使用EdgeAI的基本原理在于此Edge范例的实时功能和隐私控制功能。例如，EdgeAI部署在数据所有者的驻地内处理数据(例如。Procedre、护理中心、医院或患者之家)，这是一个令人信服的价值主张。同样，EdgeAI的低延迟特性使实时应用程序有时可以挽救患者的生命，尤其是在部署使用机器学习的可穿戴技术时监测生命体征、睡眠模式和运动水平。医疗保健中一些最突出的EdgeAI应用程序包括:•远程患者监测和远程医疗，为医疗保健专业人员提供有关患者状况的分析见解，而无需与其他利益相关者共享患者数据-•基于医疗或可穿戴设备上的嵌入式机器学习的疾病指标的早期诊断;EdgeAI支持一系列新颖的诊断应用程序，以前所未有的规模提供早期筛查和及时诊断的优点。•实时手术应用（例如，远程手术，机器人手术其中低延迟EdgeAI应用为外科医生提供准确的指导医疗保健行业目前正在通过以下监管举措为EdgeAI时代做准备支持人工智能的医疗设备，如欧洲医疗设“令人震惊的统计数据之一是BrainChip的NandanNayampally说：“由于可预防的慢性疾病，美国经济的生产力损失为1.1吨。但是，早期诊断需要持续的监控和相当多的智能计算。为了使这些设备和服务具有成本效益和可扩展性，您需要有能力的EdgeAI。”边缘计算在医疗保健中的使用案例。112EdgeAI为消费类产品带来了诸多好处，首先是通过智能、低延迟、高性能的AI界面实现用户交互，提升整体用户体验。在这个方向上，EdgeAI用于实现基于语音、视频、手势等模态的感知界面。其次，它可以减少访问智能设备和游戏平台等消费者设备的数据和服务时的延迟。例如，通过在智能设备中嵌入AI功能，可以实现智能管理的功能，例如确定需要维护或维修的确切时间。第三，EdgeAI功能增强了消费者产品的安全性和隐私性，因为它们减少了产品管理域之外共享的数据量。最后，EdgeAI功能通过实时数据分析功能改进了消费者产品。游戏平台支持与最终用户在循环中的实时交互功能就是这种情况。消费者可穿戴设备，如OuraRing，使用EdgeAI监控健康指标并为用户提供实时信息，3交通运输Thedevelopmentofsmarttransport-tationsystemsthatmakedecisionsinrealtimeisbasedonedgecomputingandEdgeAIfunctionalities.Specific-cally,EdgeAIfunctionalityenable大量的实时决策应用，如联网驾驶应用、自动驾驶汽车、自动拣选机和自动所有这些应用程序都表现出基于边缘的机器学习而不是基于云数据中心内的数据传输和分析的自动实时行为。自动驾驶汽车和自动驾驶有时被认为是Edge人工智能的圣杯。这是因为自动驾驶汽车部署并使用了许多EdgeAI功能（例如,边缘节点处的深度神经网络以便查看道路，了解驾驶环境并做出安全驾驶的实时决策。具有边缘计算的自动驾驶汽车架构。图片来源：Jun-HoH，Yeong-SeokS，IEEEAccess，2019。改编自Wevolver。114智慧城市EdgeAI在智能城市中有一系列用例，特别是在边缘集群或边缘设备中处理数据的用例。作为一个突出的例子，智慧城市开发和部署支持联网车辆的EdgeAI基础设施。这些基础设施通过机器学习算法在边缘处理信息，为车辆提供上下文、感知和智能功能。智能城市还利用EdgeAI来维护电网和供水网络等公用事业基础设施。例如，EdgeAI功能可以实时识别智能电表故障和漏水。这有助于优化资源使用并最大程度地减少资源智能城市中的边缘AI还用于支持一系列电信用例。例如，它用于向各种工业最终用户提供按需的机器学习服务，作为私人部署的一部分。此类电信服务可节省成本，低延迟和增强的弹性，为市政系统和公民带来关键利益。EdgeAI的另一个重要用途是在医疗监控系统中与物联网相结合，以改善智能城市的医疗设施和基础设施。通过实现大量互连的嵌入式传感器和物联网设备，这样的智能系统可以通过数据和连接为社区提供重要的服务。由于慢性疾病和病毒的传播速度非常快，例如CO-VID-19，基于互连边缘和物联网设备的强大医疗保健基础设施可以更快，更早地检测疾病，从而促进适时的治疗，降低总体成本，并使城市的医疗保健系统能够跟上甚至防止病毒传播。5面向智能城市的EdgeAI支持的物联网医疗保健监控系统。图片来源：Rathi，V.最后，EdgeAI最受欢迎的智能城市用例之一是智能监控。具体来说，EdgeAI解决方案部署在监控摄像头附近，以识别异常行为和其他安全事件，从而增强公共安全并自动执行交通法规。EdgeAI应用程序不是在云中传输大量视频流，而是在检测到可疑事件或基于边缘机器学习的其他异常后传输更少数量的116智能家居EdgeAI在几个智能家居用例中也很受欢迎,主要是在智能安全中，它涉及在智能安全设备中执行机器学习功能，如摄像头、报警系统和视频门铃。这些功能检测异常并实时产生警报。智能家居中另一个突出的用例涉及娱乐和信息娱乐应用程序。具体来说，可以部署EdgeAI功能来控制智能家居多媒体应用程序,例如音乐和家庭影院视频。智能电视机等智能设备支持此类部署。这可以在诸如Alexa之类的设备上看到，该设备在大约九年前在家庭中开创了ML时代。这证明了AI在家庭中的应用是多么成功,数百万人配备了边缘AI技术，无论所有者是否了解AI在设备中的作用。ParagBeeraka,SegmentMarketing高级总监,Arm的IoT业务部门7智能门铃利用EdgeAI人脸识别技术来检测人脸，无论光照和头部位置如何。图片来源：Xailient.1第二章:EdgeAI的优势从云到边缘AI随着云计算的引入，人们对在云上管理和分析数据的兴趣激增。当时，许多企业认为云由于其可扩展性，容量和服务质量而成为运行数据分析和机器学习功能的非常有吸引力的选择。其他人则担心几个应用程序的延迟，因为云EdgeAI优势利用边缘计算的优点，EdgeAI使组织能够开发实用的AI应用程序。这些应用程序表现出卓越的性能，低延迟，强大的安全性,改进的隐私控制和电源效率。边缘AI还使组织能够进行最佳使用网络，计算和能源资源，提高AI应用程序的整体成本效益。让我们更详细地探讨EdgeAI的优势：.减少的延迟:边缘AI应用限制了广域网上的数据传输量，因为处理发生在数据源附近而不是云中。因此，数据处理速度更快，并且减少了EdgeAI应用程序的延迟。此外,从AI应用到现场的指令的传送和退出导致低得多的延迟。这对于几类低延迟AI应用程序至关重要，例如基于工业机器人和自动引导车辆的应用程序。其他一些围绕视频构建的应用程序，其中数据必须发送到云，现在正在边缘进行处理，不仅因为它们可以,而且因为在安全案件等情况下，近乎实时地评估正在发生的事情是至关重要.实时性能：EdgeAI应用程序的较低延迟使它们适合于实现需要实时性能的功能。例如，实时检测事件的机器学习应用程序（例如，生产线中的缺陷检测、异常行为安全应用程序中的检测)不能容忍与传输和处理相关的延迟-NG的数据从边缘到云。.增强的安全性和数据保护：EdgeAI应用程序在生产或拥有数据的组织之外暴露的数据要少得多。这减少了他们的攻击面，并最大限度地减少了恶意安全攻击和数据泄露的机会。这就是为什么EdgeAI应用程序往往比他们的云同行更安全。些应用程序创建了一个可信的数据管理环境，比云中的常规AI应用程序提供更强大的隐私控制。原因是EdgeAI应用程序限制了在产生或处理敏感数据集的组织外部传输或共享的数据。.电源效率:最重要的是,云AI根本不是绿色的,因为大量数据通常由GPU(图形处理单元)和TSU(张量处理单元)处EdgeAI缓解了云AI应用程序的环境性能问题。它减少了边缘设备或边缘数据中心内的I/O操作和处理数据的数量。因此，它改善了AI应用程序的整体CO2足迹。.成本效益：边缘AI应用程序可以节约网络带宽和计算资源，因为它们传输和处理的数据比云计算应用程序少得多。此外，它们比云AI应用程序消耗的能量更少。因此，边缘AI应用程序的部署和运行成本比云AI部署要低得多。.设备上学习:某些EdgeAI应用程序可以在单个设备中执行，例如物联网设备或微控制器。这可以开发功能强大的智能设备，例如片上系统（SoC）设备。它们的主要特征之一是可以在设备上学习，这是为机器提供几乎不可能基于的智能功能的基础Nayampally评论说：“通过设备上的学习，从训练过的模型中提取的特征可以扩展到定制模型行为，而不必在云上求助于极其昂贵的模型重新训练。这大大降低了成本”。.启用新型应用程序的新功能：TheintegrationAI应用程序中的EdgeAI系统提供了几年前无法使用的功能。例如，它在运输，制造和其他工业环境中实现了一类新的实时功能。因此，EdgeAI不仅在云AI应用程序上进行了改进，而且还为创新的应用，以前是不可能的。1920在与Synaptics的对话中，我们向产品营销总监ShayKaminBraun询问了EdgeAI提供的最重要的优势。他重申了上述优势，并添加了一些值得注意的优势。虽然“EdgeAI提供了减少的响应时间延迟和更好的UX，而没有云中的网络延迟”，但KaminBraun也突出了-ted隐私和电池寿命的好处。就隐私而言,“PII(个人身份信息)保留在设备上,不会进入云。在大多数情况下只有元数据进入云至于电源效率，在边缘运行AI可以帮助您减少通过网络传输到云的数据量，从而节省电力。获得更长的电池寿命或能源之星合规性。“KaminBraun还强调了可用性的优势，鉴于其对网络的固有依赖，这可能是CloudAI的一个问题。“也许您没有移动设备的覆盖范Youcannotalwaysrelyonthecloudforprocessing.Ontheborter,ifyourapplicationiscompletelyattheedge,thenyou’renotdependentonthenetwork-work.EdgeAIprovidesfullavailability.”“通过根据上下文在传感器上进行计算，您可以比使用通用的聚合解决方案进行更好的优化。虽然电池是一个考虑因素，但较低的热占用空间可以带来更便宜，具有成本效益的芯片封装和现场使用，从21云/边缘计算连续体：强大的组合EdgeAI与云AI相比具有所有优势，许多用例仍然需要在可扩展的云数据中心内进行计算密集型数据处理。例如，深度学习应用程序就是这种情况，必须使用大量数据点进行训练。在这种情况下，始终有可能将云AI和EdgeAI范式结合在一起具体而言，可以在边缘执行第一轮本地数无趣的数据，并识别需要在云中处理的数据集。本地数据处理通常是通过将选定的数据传输到云中，其中来自不同边缘数据源的数据点聚合和处理以提取全球见解。此外，云AI应用程序可能会推送信息关于这些见解回到边缘数据源，这增强了本地处理和现场驱动功能的智能。这种两级数据处理利用云/边缘计算连续体中边缘设备的不边缘和云处理的混合解决方案。改编自Wevolver的IEBMedia。22存在固有地支持这种两级数据云/边缘数据处理方法的机器学习范例。作为一个突出的例子,费德级机器学习采用本地数据处理来跨驻留在不同组织中的各种边缘计算节点训练机器学习模型。通过这种方式，它产生了一系列本地机器学习模型。然后将它们融合在中央云位置中，从而将本地模型组合成更准确的全局模型。这种联合方法提供了强大的隐私和数据保护特性，因为源数据不需要离开边缘节点所在的组织。相反，基于传输和处理有关本地机器学习模型的数据，在云中构建了准确的全局模型。因此,机器学习模型的信息被共享,而源数据不被共享。云AI与EdgeAI功能的组合可以基于各种部署配置来实现，从而在开发、部署和操作方面提供多功能性。作为一个突出的例子,在需要本地智能、实时性能和强大的数据保护的情况下,机器学习部署可以被限制在网络的边缘。另一方面，当AI应用程序涉及处理大量数据（大数据）时，云AI是首选。显然，有许多用例可以在云和边缘之间分配AI处理。在这种情况下，分配应考虑性能，电源效率和安全性权衡，以产生最佳配置。将云计算和边缘计算的优点结合到单个云/边缘AI部署中是边缘AI系统的另一个重要23第三章:EdgeAIPlatforms选择和使用正确的EdgeAI平台需要仔细考虑各种因素。评估项目需求非常重要，包括延迟，数据处理能力，功耗，尺寸、重量和散热。例如，如果项目需要实时处理和低延迟，则首选具有高处理能力和低延迟的平台。另一方面，如果功耗是一个问题，则建议选择节能平台。反过来说,其他平台可能需要专业知识和技平台的成本也是一个重要的考虑因素。虽然某些平台是免费的，但其他平台可能需要许可费或特定功能的额外费用。经济可行性应根据项目的预算和资源限制进行评估。此外,应评估平台提供的支持水平和生态系统兼容性。具有强大支持系统和蓬勃发展的生态系统的平台可以提供宝贵的资源，文档和社区支持，使开发人员能够更有效地利用平台。如今，有各种各样的EdgeAI平台可满足开发人员的多样化需求，并可在边缘设备上部署机器学习模型。这些平台提供了独特的功能和优势，有助于构建尖端的AI应用程序。其中突出的平台是PyTorchMobile，OpenVINO，NVIDIAJetson，BrainChipAkida™,Caffe2和MXNet。每个平台都具有自己的优势和功能，为开发人员提供了一系列选择。25TensorFlowLiteTesorFlowLite是一个强大而通用的平台，旨在在Edge设备上部署机器学习模型。它提供低延迟，跨平台兼容性，用户友好的功能和高级功能，使其成为开发人员的首选。它可以在移动设备和微控制器等各种平台上实现快速高效的推理。通过基准测试，它表现出令人印象深刻的性能，在GooglePixel4智能手机上实现了1.3毫秒的中值推理延迟。树莓派4微控制器板上的2.5毫秒。为了进一步增强其功能，TesorFlowLite还支持GoogleCoralEdgeTPU等硬件加速器，从而有效降低了延迟。该平台为开发人员提供了多种数据处理功能，包括图像和音频识别,自然语言处理和时间序列分析。它为这些任务提供了一组预训练模型，并提供了工具。用于训练和优化自定义模型。TensorFlowLite适用于各种输入和输出格式，如图像、音频和传感器数据，使其能够适应不同的TensorFlowLite的一个重要方面是其可访问性。它是一个免费的开源平台，为开发人员提供但是，值得注意的是，使用像GoogleCoralEdgeTPU这样的硬件加速器可能会由于其更高的成本而产生额外的费用。在移动和边缘设备上部署深度学习模型时，功耗成为一个关键的考虑因素。TensorFlowLite通过轻量级和它具有小的内存占用空间，可以无缝集成到移动应用程序和微控制器项目中。此外，它注重散热，这对于具有尺寸和功率限制的设备来说是至关重要的因素，通过优先考虑效率和轻巧的设计，TensorFlowLite可最大程度地减少发热量，从而确保最佳性能。该平台提供了一系列全面的开发工具和API,使开发人员能够跨各种平台培训和部署他们的模型。从技术角度来看，TesorFlowLite设计灵活且可扩展。开发人员可以自定义和微调他们的机器学习模型，以满足他们的要求。此外，TesorFlowLite支持多种编程语言,包括Pytho、C++和Java，增强了其多功能性和易用性。片上学习方法允许在设备训练后添加额外的PyTorch移动PyTorch是一种广泛采用的开源机器学习PyTorchMobile针对速度和效率进行了优化,提供了低延迟，使其能够在资源受限的低功耗设备上进行部署。根据PyTorch的说法，使用该平台构建的模型在某些移动设备上可以实现小于10毫秒的延迟，这对于许多实时应用来说是足够快的。但是，PyTorchMobile模型的实际延迟取决于各种因素，包括硬件平台、模型复杂度和输入数据大小。PyTorchMobile为开发人员提供了广泛的数据处理功能，包括图像识别和自然语言处理。使用PyTorchMobile的相关成本因硬件平台、模型大小、复杂性和特定用例要求而在边缘设备上实施机器学习时，功耗至关重要，这主要是由于许多此类设备的电池寿命有限。PyTorchMobile通过较小的内存占用来解决这一问题，从而在资源受限的低功耗设备上实现高效执行。此外，PyTorchMobile支持各种硬件平台，如CPU、GPU和DSP，使开发人员能够针对特定硬件架构优化其机器学习模型，并最大限度地降低功耗。26PyTorchMobile专为轻量级和高效操作而设计，具有大约4MB的紧凑二进制大小,非常适合移动设备。它也可以在不同的这些硬件平台，包括具有有限存储和处理能力的微控制器，从而满足小形状因素和硬件限制。所经历的散热量将取决于用于部署的特定硬件平台，以及模型的大小和复在功耗方面，OpenVINO可提供优化的推理性能，从而比传统的CPU总线解决方案功耗更低。它还支持FPGA等硬件加速器，以与传统的基于CPU的解决方案相比，该平台对硬件加速器的支持可减少散热。NVIDIAJetson的另一个显著优势是它的低延迟。这些设备具有高速接口，可在处理器和其他组件之间进行快速通信。因此，可以快速处理数据，从而最大限度地减少边缘AI应用中决策所需的时间。此外，Jetson设备在广泛的范围内具有实用性边缘AI用例，包括智能相机、无人机和工业自动化。最后，PyTorchMobile为高效、低功耗的推理提供了优化的模型和工具，帮助减少平台产生的热量。它支持各种框架和编程语言,如Python，为不同的用例提供适应性。OpenVINOOpeVINO（开放视觉推理和神经网络优化)是一个敏捷平台，为部署深度学习模型提供了许多好处。其卓越的性能、对多硬件平台的支持以及灵活性使其成为首选。OpeVINO由英特尔开发，可实现跨不同平台（包括CPU、GPU和FPGA）的高效部署。基于英特尔进行的基准测试，OpeVINO在特定硬件配置上实现了低至五毫秒的推理延迟，使其适用。用于实时应用，如目标检测和图像识别。该平台为流行的深度学习框架（如的库和工具，使开发人员能够在各种平台上访问和部署模型。使用OpenVINO的成本取决于模型大小，复杂性和所采用的硬件平台等因素。OpenVINO提供与多种编程语言的无缝集成其他英特尔工具和技术，如英特尔分发的OpenVINOToolkit和英特尔SystemStudio。最后，OpenVINO通过结合模型量化和压缩等模型优化技术来实现高性能，这些技术降低了深度学习模型的规模和复杂性，从而提高了效率并加快了边缘设备的执行NVIDIAJetsonNVIDIAJetson提供多种优势,包括高处理能力、低延迟以及对各种神经网络和开发工具的支持。NVIDIAJetson在边缘AI方面的主要优势之一在于其卓越的处理能力。Jetson设备配备NVIDIAGPU,专为深度学习应用中的高性能计算而设计。这些GPU针对并行计算进行了优化，使它们能够在短时间内有效地处理大量数据。这使得Jetson设备特别适合视频分析和自主机器人等应用中的实时数据处理要求。值得注意的是，NVIDIAJetson设备由于其显著增强的数据处理能力而表现出相对较高的功耗。因此，通常需要额外的冷却措施来有效地管理产生的热量。NVIDIAJetson提供了多样化的选择神经网络和开发工具。这个生态系统为开发人员提供了广泛的阵列有效促进他们的边缘人工智能项目的选择。关于成本，使用NVIDIAJetson设备的价格可能因选择的型号和规格而异。尽管如此，这些设备被设计为边缘AI应用程序的经济高效解决方案。例如，NVIDIAJetsonNanoDeveloperKit结合了高性能和有竞争力的价格，增强了开发人员的可访问性。此外，NVIDIAJetson设备紧凑轻巧，非常适合在spa-规模和重量的考虑因素是需要解决的关键因边沿脉冲EdgeImpulse是一个端到端平台，旨在在边缘硬件上创建、训练和部署机器学习模型。与其他EdgeAI相比边缘脉冲边缘脉冲FOMO（快速对象，更多对象）使微控制器能够执行对象检测，同时运行速度更快，消耗更少的RAM。图片来源：Hackster.io.27平台，EdgeImpulse在易用性，灵活性和设备兼容性方面具有明显的优势。Theplatform-formisdesignedtoclosetouserswith机器学习和嵌入式系统的经验水平各不相同。凭借其直观的基于Web的界面，用户可以轻松创建、训练和部署机器学习模型，而无需专门的硬件或软件。这种简单性使得EdgeImpulse成为寻求快速原型设计和测试能力的企业和开发人员的一个有吸引力的选灵活性是EdgeImpulse的另一个值得注意的方面。该平台支持各种设备，包括微控制器、单板计算机和移动设备。这种多功能性使开发人员能够为各种边缘设备构建人工智能应用程序。延迟取决于特定的部署设备和所采用的机器学习模型的复杂性。EdgeImpulse提供全面的数据处理能力，执行数据收集，预处理和特征提取。它还支持各种传感器类型，确保与一系列数据源的兼容性。该平台为专业产品开发提供多种定价计划,并为从事单个项目的开发人员提供免费EdgeImpulse设计中的核心考虑因素是在保持模型的准确性和所获得的效率的同时缩减模型的内存消耗的能力，使部署的大小取决于所选择的设备和机器学习模型的尺寸。与流行的开发工具和框架（如Arduino，TensorFlow和PyTorch）的集成是一个与EdgeImpulse的无缝流程。这确保了将machine-ne-learning功能顺利地整合到现有工作流程中，从而简化了用户和组织的开发流程。Caffe2Caffe2是一个开源的深度学习框架，在开发EdgeAI应用程序中发挥着重要作用。它的突出优势在于其高性能，能够快速准确地处理大型数据集。Caffe2针对CPU和GPU进行了精心优化，其与分布式计算环境的兼容性确保了轻松的可扩展性。这种灵活性使其适用于各种计算场景。Caffe2因其低推理延迟而脱颖而出，使其特别适合实时边缘AI应用程序。基准测试已证明其在CPU和GPU平台上的性能令人印象深刻。例如，FacebookAIResearch进行了一项基准测试，展示了移动CPU上为14.4ms，GPU上为4.8ms。Caffe2支持分布式训练和操作的自动并行化使大型数据集的高效处理成为可能。它的多功能性还扩展到数据格式，全面支持图像、音频和视频。因此，Caffe2是训练和部署大型机器学习模型的绝佳选择。28作为一个开源框架，Caffe2是免费提供的,使其成为寻求构建边缘AI应用程序而不会产生实质性软件成本的开发人员和组织的负担得起的选择。但是，重要的是要注意Caffe2的强大功能由于GPU的广泛使用，消耗量往往会更高。Caffe2拥有紧凑的代码足迹，使其易于部署在存储容量有限的边缘设备上。Caffe2的库大小小于通过高效散热,Caffe2即使在高温条件下也能保持最佳性能。最后，Caffe2提供了出色的灵活性，允许与广泛的硬件平台形式，编程语言和软件框架无缝集成。这种多功能性确保了在不同开发环境中的兼容性和易用性。MXNetMXNet由于其出色的灵活性，可扩展性和高性能功能，在机器学习中获得了显着的普及。MXNet的显著优势之一是它广泛支持多种编程语言，包括Pytho、C++和Jlia。此功能使开发人员能够使用他们选择的语言，并促进MXNet与现有软件系统的无高效的数据处理是MXNet的另一个引人注目的方面。该框架的数据处理引擎经过精心设计，可以有效地处理大型数据集。MXNet也支持数据和模型并行性，使开发人员能够跨多个GPU或计算机扩展其模型。此外，MXNet提供了丰富的预构建模型和模块集合,可加速EdgeAI应用程序的开发。MXNet拥有低延迟和高性能功能。其先进的内存管理系统和深度学习优化算法支持复杂模型的快速执行。MXNet对性能的关注确保了推理和训练任务的执行效率。从成本角度来看，MXNet是一个开源框架,可以免费使用和分发。对于寻求利用机器学习功能而不产生实质性费用的组织来说，MXNet是一个负担得起的选择。MXNet在尺寸和重量方面也表现出色。凭借其轻巧的特性，MXNet可以在RaspberryPi等低功耗设备上高效运行。这使得它成为需要紧凑型和便携式系统的EdgeAI应用程序的有吸引力的选择。此外，MXNet的功能集成功能非常出色。它可以与其他深度学习框架（如TensorFlow和PyTorch）无缝集成，允许开发人员利用他们喜欢的框架，同时仍然受益于MXNet的独特特性和功能。EdgeAI平台在支持在边缘设备上开发和部署机器学习模型方面发挥着至关重要的作用。这些只是开发人员可用的各种平台的几个例子。通过仔细考虑项目要求、性能等因素能力、专业水平、支持、生态系统兼容性和成本，开发人员可以为其特定的EdgeAI项目选择最合适的平台。重要的是要记住，EdgeAI在不断发展，新的平台和技术也在不断涌现。保持最新的进步和进行彻底的评估将使开发人员能够充分利用EdgeAI平台的并在这个令人兴奋的领域推动创新。有了合适的平台，开发人员可以解锁新的可能性并创建智能边缘应用程序，从而彻底改变工业和改善我们的日常生活。29第四章:硬件和软件选择在选择和实施EdgeAI系统时，重要的是要考虑边缘设备的局限性及其与其他硬件和软件的兼容性。传感器和智能手机等边缘设备通常具有有限的处理能力、存储和电池寿命。这些限制可能会对边缘AI系统，因为它们可能需要大量资源来执行复杂的任务，例如图像识别和自然语言处理。为了克服这些限制，必须优化AI模型以使用有限的资源，并且诸如现场可编程门阵列（FPGA），专用集成电路（ASIC)和GPU之类的专用硬件可以加速边缘计算。边缘AI系统旨在。长时间运行，因此选择的硬件应支持未来的升级。它的设计应适应未来可能需要的新技术和功能。此外，在为EdgeAI系统选择软件时，兼容性是一个关键的考虑因素。由于EdgeAI系统通常需要与现有基础设施和硬件集成，因此选择与各种设备和平台兼容的软件非常重要。这包括硬件兼容性，例如与不同类型的传感器和处理器的兼容性，以及软件兼容性，例如与不同操作系统和编程语言现场可编程门阵列(FPGA)。图片来源:Microchip。3132硬件注意事项确保所选硬件满足EdgeAI系统的要求需要考虑各种因素。一个关键的考虑因素是处理能力，因为EdgeAI应用程序需要能够快速准确地处理数据的硬件。硬件的计算能力和时钟速度在实现实时处理中起着至关重要的作用，这是至关重要的在边缘AI系统中。另一个关键的考虑因素是硬件中可用的内存的数量和类型。边缘AI应用程序需要足够的内存来存储和处理大量数据，重点是快速和实时处理能力。在硬件行业中，拥有最高数量的TOPS（每秒的tera-operatios）是一场竞赛，但这不是一对一的只关注盒子数字类似于只关注手机相机的百万像素或千兆像素，而不考虑其他因素。这种隧道视觉是错误的33功耗是另一个重要方面，特别是对于IoT设备等电源资源有限的设备。针对低功耗的硬件优化对于确保设备长时间运行而无需频繁更换电池或充电至关重要。诸如利用低功率芯片、硬件加速器和智能电源管理系统的技术有助于实现。EdgeAI系统中的低功耗。在与AlifSemonics产品营销总监HenrikFlodell的对话中，他强调：“降低功耗是用户在为使用ML的边缘系统选择合适的设备时需要考虑的关键参Alif的自主智能电源管理(aiPM™)技术是功耗的重要解决方案。它有助于在需要时选择性地打开SoC中需要的部分，并根据瞬时处理需求和用例，在不需要时关闭它们。MCU内的双处理区域，以加快机器学习。始终在线的高效区域持续感知环境，而高性能区域在需要时唤醒，因此可以执行繁重的工作负载，然后返回睡眠状态。这种方法允许强大的设备在必要时表现得像低功耗MCU，从而在较小的电池上实现智能物联网设备的更长性能。“必须依赖CPU绑定处理的系统往往耗电，因为推理操作需要更长的时间才能完成，并且控制器将在更长的时间内以100％的速度运行。精心设计的现代平台卸载了为此类工作负载设计的加速器上的ML处理，因此可以更快地完成并进入睡眠状态34无缝连接对于EdgeAI系统也是必不可少的，需要硬件能够与其他设备和基于云的平台进行顺畅的数据交换。硬件应提供各种连接选项与其他设备的高效通信和数据处理。这种连接可确保该数据得到快速有效的处理和分析，有助于EdgeAI系统的整体性能。Arduino的EdgeControl是一款针对户外环境进行优化的远程监控和控制解决方案，使用户能够从智能传感器收集实时数据并在边缘利用AI。35软件注意事项当涉及到EdgeAI系统时，选择具有特定特征的软件对于优化操作至关重要。分析各种因素可确保所选软件满足EdgeAI系统的要求。兼容性是软件选择中的重要考虑因素。软件应该在硬件上高效运行，实现实时数据处理。此外，与系统中使用的其他软件组件的兼容性，例如操作系统，库和。可扩展性是EdgeAI系统设计中需要考虑的另一个重要方面。鉴于EdgeAI系统通常处理大量数据，因此软件必须能够处理与此类数据相关的实时处理和分析需求。可扩展的软件保证系统可以在不影响性能的情况下适应不断增加的数据量、处理需求和用36TheaccuracyofthesoftwareemployedinEdgeAIsystemsholdsgreatimporance-tance.Thesesystemsgreatlyrelyonaccuratedataanalysisandprocessingtoprovidemeaninglyinsightsandsupportdecision-making.Therefore,thesoftwaremustexhibithighacaccuracyandre处理数据。可解释性，或软件以全面的方式解释其结果的能力，在EdgeAI系统设计中起着至关重要的作用。可解释性允许用户了解系统的决策过程，并提供对数据分析的见解。在EdgeAI系统做出的决策具有重大影响的应用中，例如医疗保健和金融，这一点变得尤为重要。软件。在EdgeAI系统中使用应优先考虑可解释性，以清晰易懂的方式呈现结果。集成注意事项将EdgeAI与其他系统集成对于无缝和高效的运营至关重要。随着EdgeAI系统产生大量需要处理、分析和与其他系统共享的数据,选择通信协议变得势在必行。EdgeAI系统使用不同的协议与其他系统进行通信，选择与集成系统兼容的协议至关边缘AI系统集成中常用的几种协议包括轻量级协议由于其低开销和功耗而在物联网系统中被广泛使用。另一方面，CoAP专门针对基于Web的应用程序中广泛使用的协议,也适用于与基于Web的应用程序进行通信的EdgeAI系统。通信协议的选择应符合边缘AI系统和正在集成的系统。除了通信协议之外，在将EdgeAI与其他系统集成时，数据格式是另一个关键考虑因素。EdgeAI系统以各种格式生成数据，确保EdgeAI系统生成的数据与其交互的系统之间的兼容性至关重要。数据格式必须对齐并正确转换或转换，以促进之间的无缝数据交换和互操作性协议在功耗和资源需求方面的比较。图片来源：Naik，N.，IEEE国际系统工程研讨会（ISSE37这导致了两个不同的软件生态系统。第一个是传统的云软件生态系统，具有可移植的工作负载，可以在具有卸载和加速功能的服务器上运行。第二个是更传统的Linux盒子，最初是为单一功能，如路由器或ga-teway，但现在正被开发为一个连接的通用盒子，其功能可以通过新的应用程序和AI模型在其生命周期中发生变化。安全注意事项在将EdgeAI与其他系统集成时，确保安全性是一个关键因素。由于EdgeAI系统会生成大量数据，包括敏感信息，因此必须保护其免受非自动访问。应采用SSL/TLS和SSH等安全通信协议在EdgeAI系统和其他系统之间建立数据传输的安全通道。这些协议对数据进行加密，防止在传输过程中窃听和篡改。为了加强安全性，必须实施访问控制和身份验证机制。这可确保只有授权用户才能访问EdgeAI系统生成的数据，从而保护其免受未经授权的个人的侵害。还应遵循安全的软件开发实践，例如定期的代码审查和漏洞评估,以识别和减轻集成系统中的潜在安全风险。加密对于保护EdgeAI系统至关重要，不应忽视。通过将敏感数据转换为编码形式，加密可确保即使数据受到损害，未经授权的实体也无法理解。鉴于EdgeAI系统经常处理敏感数据，如个人健康信息，财务记录和有价值的知识产权，加密这些数据对于防止未经授权的访问至关重要。物联网设备的加密系统中的密钥使用情况和攻击路径。第五章:TinyML介绍TinyMLEdgeAI系统可以部署在各种配置中，并且可以部署在许多不同类型的设备和数据源中。例如，典型的EdgeAI配置涉及在本地计算机集群、物联网(IoT)网关和雾节点中部署机器学习模型。此类配置可提供EdgeAI范例的大部分优势，因为它们可改善AI应用程序的延迟、性能、能效和安全However,therearealsoEdgeAIapplicationsthatdeploymachinelearningmodelwithinembeddedsystems,suchasIoTdevices.Suchconfiguration-fallintotherealmofembeddedmachinelearning.嵌入式系统通常是另一个设备（例如，汽车GPS单元或智能家居设备）的一部分，并在这些产品中执行专门的功能。因此，嵌入式机器学习可以增强此类功能的智能。近年来，人们对TinyML的兴趣与日俱增，TinyML是一种新型的嵌入式机器学习系统,可在微型芯片和微控制器（MCU）上部署AI模型，以实现极低功耗的在线数据分单板计算机围绕一个或多个处理器构建，内存和计算能力有限。借助Tiny，可以在其上执行复杂的机器学习模型，例如深度神经网络。这可以实现各种无害且始终在线的用例，例如设备上的图像识别，对象跟踪和安全应用程序的实时事件检测。在IoT传感器应用程序中，TinyML用于交换丰富的数据源，例如图像,声音或振动。在设备上进行推理将大量数据减少到压缩的元数据，例如图片或特定声音类型中特定对象的存在和位置。这缓解了在某些情况下,“看到”特定事件与采取行动之间所需的延迟妨碍了从设备发送和处理数TiyML也用于消费电子设备，如耳塞。在这里，更复杂的深度学习模型可以用来分析icome-mig声音，如用户的语音，并生成过滤器，可以在通话过程中去除不需要的和令人不安的噪音。这种类型的神经网络属于能够从混音中分离不同信号的一类，例如从歌曲中删除人声或主音乐器或给不同的扬声器TinyML技术也集成到具有较大电源的产品中,以减少待机或空闲模式下的能耗。39TinyML的优势和挑战Tin-ML部署的功耗在毫瓦(mW)的数量级。这通常是因素将它们与其他嵌入式机器学习实例区分开来。因此，TinyML部署将EdgeAI的优势推向了极致。具体来说，它们在以下方面往往优于其他EdgeAI部署：.延迟:TinyML系统不会将数据传输到任何服务器进行推理，因为机器学习功能是在设备本身上执行的。因此，它们节省了数据传输时间，从而尽可能地优化了延迟。此外，这使TinyML非常适合需要即时反馈的某些类型的实时应用程序。.省电:MCU是低功耗设备，可以在没有能源的情况下长时间运行。这降低了执行TinyML操作所需的功率。此外,由于缺乏数据传输和I/O操作，这些操作非常节能。这些因素使TinyML部署比其他形式的EdgeAI更节能。.带宽节省:与其他EdgeAI配置不同，TinyML部署不依赖于互联网连接进行推理。数据是在设备上捕获和处理的,而不是传输到某些服务器。因此，TinyML系统最终也具有极高的带宽效.更强的隐私和数据保护：在TinyML部署的范围内，雾节点和其他服务器上没有数据。这使得恶意行为者无法通过黑客攻击边缘服务器或网络设备来访问敏感信息。总的来说，在嵌入式设备上执行机器学习模型会带来更强的数据隐私保障。.提高效率和灵活性：MCU和其他嵌入式设备的尺寸小于服务器和个人计算机。这意味着它们需要更少的空间和功率，同时提供更高的部署灵活性。例如，TinyML系统提供了在有机器学习模型的地方部署机器学习模型的最佳方法之一没有足够的空间容纳笨重的设备。尽管如此，在嵌入式设备和微控制器上开发、部署和运行机器学习时，仍然存在一些挑战和限制。主要挑战之一涉及数据收集过程。鉴于可用的功率量有限,为TiyML训练任务收集大量数据是相当困难的。这也是为什么嵌入式机器学习和TiyML任务的数据集可用性有限的原因。另一个挑战是缺乏用于处理大量信息的计算能力和存储器,这通常是在MCU和其他嵌入式系统内实现某些任务(例如,视频场景分析TinyML部署也与技能差距挑战相关。开发和部署TinyML应用程序-需要结合嵌入式系统和数据科学专业知识的多学科团队。考虑到数据科学和嵌入式系统开发技能的公认差距，这是一个加长的组合。TinyML开发工具和技术TinyML覆盖技术有效运行大型机器学习模型的关键算法技术。这些技术涵盖了模型压缩(减小模型的大小)和模型优化(安排以减少功耗的方式进行建模)。专用硬件用于最小化计算能量使用和昂贵的数据移动。不同应用中的传感器数据收集、预处理和推理之间的交互以及技术变化的速度意味着对在用于实现TinyML应用的方法中保持灵活性的硬件存在巨大需求。最先进的TinyML处理器及其工具链能够处理深度神经网络，例如以前在低于毫瓦的功率水平下消耗100毫瓦甚至瓦的对象检测TiyML应用程序的开发和部署基于机器学习、数据科学和嵌入式系统编程工具。原则上,流行的数据科学工具(例如Procedre，JpyterNoteboos，Pytho库和工具）用于训练机器学习模型。因此,模型的尺寸缩小以适合嵌入式设备。在这个方向上，许多流行的机器学习工具。40为嵌入式开发提供选项和功能。作为一个突出的例子，流行的TensorFlow机器学习工具套件的一个特殊版本被设计用于在计算能力有限的设备上进行推理，如手机、平板电脑和其他嵌入式设备。这个版本被称为TensorFlowLite，它是谷歌的轻量级、低功耗版本的TensorFlow。用于微控制器的TensorFlowLite的另一个特殊版本，即TensorFlowLiteMicro，可以在只有几千字节内存的微控制器和其他设备上使用模型。例如，TensorFlowLiteMicro的核心运行时间在ArmCortexM3上只能容纳TinyML管道的培训和开发通常受与其他ML管道相同的模型性能标准。尽管如此，TinyML开发人员在将模型部署到生产环境之前还必须考虑其他因素。41TinyML在行动：GreenWaves如何支持下一代产品将同质处理单元与集成硬件加速模块相结合，旨在实现超低功耗，延迟，灵活性和易于编程之间的完美平衡。GreenWavesTechnologies的GAP9是强大的低功耗微控制器，具有硬件神经网络加速器的可编程计算集群和逐样本音频滤波单元的组合。计算集群非常适合处理神经网络和数字信号处理任务的组合，以极端的能源效率提供可编程的计算能力。其架构采用可调节的动态频率和电压域以及自动时钟门控，以将可用的计算资源和消耗的能量调整到特定时间点的确切要求。GAP9独特的智能过滤单元非常适合超低延迟（1uS）PDM到PDM过滤任务，但如此灵活，它可以同时用作在内核上执行任务的块过滤协处理器。SFU链接到GAP9的3个串行音频接口，能够处理多达48个传入或传出的音频信号。它的SDK允许从NN开发包（如TensorFlow和PyTorch）到在GAP9上运行的C代码的简单路径。GAP9的分层和需求驱动架构专注于将嵌入式人工智能的信号处理带入下一代电池供电智能传感器的可听产品和应用中。结合嵌入式AI和信号处理的处理器在无线耳机中。图片来源：GreenWaves。42块上的新孩子TiyML的日益普及催生了更复杂的应用程序开发和部署工具。例如,许多硬件供应商和OEM(原始设备制造商)提供视觉AtoML(自动学习)工具,其简化了开发和部署TiyML管道的过程。在某些情况下，这些工具提供了用于监视TiyML部署的功耗，性能和速度的选项，同时促进了它们与云/边缘计算连续体中的其他EdgeAI系统的集成。TiyML在应用，设计和可用性方面为行业和这种普及。由于TiyML在内存和处理能力方面都适用于资源受限的环境，因此它使我们能够以更低的成本和更低的功耗设计更小的,ℼ是通过使用性能较低的处理器实现的。而且非常重要的是，更低的功耗导致。能够设计使用电池运行并持续很长时间（即不久的将来看到更多的应用，包括命令检测（唤醒词和短语检测模型），声事件检测（用于安全，智能家居和工业应用）和视觉AI（检测人，物体和运动），尽管它的度与其实际实现相比的主要原因。TinyML：机器学习和嵌入式系统的组合。“我们现在只是看到冰山一角。随着越来越多的公司创ShayKaminBraun,Synapotics产品营销总监43第六章:EdgeAI算法在边缘设备上部署人工智能（AI）由于其无需依赖云服务即可在本地执行任务的能力而变得越来越受欢迎。但是，最关键的考虑因素之一是选择适合其预期问题的合适算法在许多情况下，边缘设备具有有限的计算资源，因此算法的选择还应考虑边缘设备的计算能力以及所选择的算法是否可以平稳运行对于确保边缘设备可以有效地执行AI模型至关重要。而各种类型的AI算法可以在边缘设回归和分类算法，最近的进展和实际应用表明，其他类型的适用算法，如聚类算法和自然语言处理（NLP)算法。聚类算法使得边缘设备能够基于数据点的相似性将数据点分组为簇,而回归算法能够预测不同数据点之间的关系。NLP算法允许边缘设备理解和响应自然语言命令。,从对象识别和跟踪到质量控制和预测性维护45分类算法分类算法在EdgeAI技术中发挥着重要作用，因为它们使边缘设备能够识别和分类不同类型的数据。识别和分类数据对于许多EdgeAI应用至关重要，例如对象识别，语音识别和预测维护。使用分类算法，边缘设备可以在本地处理数据，减少延迟并节省网络带宽。边缘计算中应用了几种常用的分类算法，包括支持向量机（SVM决策树，随机森林和卷积神经网络（CNN）。接下来我们将重点介绍这些算法。机器学习分类算法。改编自Wevolver的Omdena。。46支持向量机eachclassismaximizedtoincreasetheclassificationaccuracy.SVMsareparticularlywell-suitableforsmallerdatasetandhaveastrongtheorybitaryclassificationproblems.TheycanperformwellEvenwithhigh-dimensionfeatures,whereasothermethodsmayfacedifficultiesorlimitations.However,SVMscanbesensitivetothechoiceoftheinvolvedkernelfunction,which将数据映射到更高维的特征空间中。该函数的选择会显著影响模型的精度和计算时间，因此需要精确的选择和有效的优化才能达到预期的性能。随机森林随机森林是一种集成学习方法，可以构造多个决策树来进行预测。每棵树都在数据的随机子集上进行训练，并产生其预测，最终的预测是通过汇总森林中所有树的预测来确定的。随机森林是处理大型数据集和高维特征的绝佳解决方案，因为它可以处理大量输入特征，而不会将模型过度拟合到训练数据。这是可能的,因为随机森林中的树在数据的不同子集和特征的不同子集上被训练,从而降低过拟合的风险。随机森林对于具有大量输入特征的分类问题特别有用，例如图像分卷积神经网络CNN是一种深度学习算法，通过有效地从原始输入数据中提取特征，在图像识别任务中表现出色。他们利用一系列卷积层来学习特征提取中应用的过滤器。这些卷积层之后的池化层减少了特征图的空间维度，并为输入中的小平移引入了不变是他们的优势之一，因为它们可以处理各种图像大小和分辨率。此外，可以使用随机梯度下降和反向传播在大型数据集上训练CNN，以学习高度复杂和抽象的特征。要可以使用权重修剪、量化和模型压缩等技术来优化CNN，这使得CNN成为能量受限环境中边缘设备的理想解决方案。检测算法检测AI算法通过促进网络边缘的实时分析和决策，在边缘AI系统中发挥着至关重要的作用。这些算法利用复杂的机器学习技术，包括计算机视觉，自然语言处理和信号处理，以实时识别特定的模式或事件。通过部署检测AI算法，EdgeAI系统可以以低延迟和高准确性运行，而无需依赖与云提供商的频繁通信。这在实时分析至关重要的应用中特别有利,例如安全和监视系统、工业自动化和自主车辆。此外，。部署此类算法可以降低EdgeAI系统的数据传输要求和相关成本，因为只有相关数据传输到云端进行存储。最常用的检测算法类别包括对象检测、异常检测、事件检测和人脸检测算法。目标检测算法目标检测算法是计算机视觉中必不可少的工具，可以在图像或视频中实现准确的目标识别。这些算法识别图像或视频帧中的感兴趣区域，并根据它们包含的对象对它们进行分类。这些算法的准确性依赖于训练数据集的质量和大小，以及底层AI模型的复杂性和性能。基于深度学习的对象检测算法，如YOLO和FasterR-CNN，在各种应用中表现出良好的性能，包括机器人、自动驾驶汽车和监控系统，用于实时对象检测。此外，该算法已成功用于医学领域，以帮助识别医学图像中的异常。然而,检测小的或被遮挡的对象对于大多数算法仍然是挑战,需要新的。提高其鲁棒性的方法和技术。47使用基于YOLOv4的直方图的乳房X线照相术的异常检测模型。图像来源：Kim，C-48异常检测算法异常检测算法被设计为识别和标记显著偏离系统的预期或正常行为的事件,这些算法基于历史数据建立正常行为的模式,然后监控系统以将新数据与所建立的模式进行比较。有各种方法来检测恶意，包括统计方法，聚类算法和深度学习。基于深度学习的异常检测算法（如自动编码器和RNN）已经获得了普及，因为它们可以学习复杂的模式并检测异常。然而,异常检测的挑战之一是难以定义给定系统的预期或正常行为,因为这可以根据应用和系统本身而变化。异常检测算法广泛用于工业应用中的预测性维护，它们可以在设备故障发生之前识别设备故障；在网络安全中，它们可以通过监控网络流量和识别异常模式来识别恶意行异常检测技术。异常检测技术。49事件检测算法事件检测算法可以基于数据中的模式或变化来识别特定事件或数据随时间的变化。用于事件检测的一种常用算法是背景减法算法,其从每个视频帧中减去静态背景图像并识别与背景不同的像素。用于运动检测的另一流行算法是光流,其跟踪连续视频帧中的对象对于声音事件检测，广泛的使用的算法是Mel频率倒谱系数，它从声波中提取特征以识别特定的声音模式。这些算法在各种应用中非常有价值，例如安全监控和工业自动化。例如，运动检测算法可以在检测到可疑运动时触发警报或开始视同样，声音事件检测算法可以识别语音、音乐或机器噪声等事件。在工业自动化中，事件检测算法可以监控制造过程，检测机器何时停止工作，并防止潜在的损坏情况。基于事件的边缘智能深度学习框架（EDL-EI）的架构。图片来源：Shah，S.K.等人，Sensors，50人脸识别算法面部识别算法是检测和识别照片或视频中的人脸的生物测量识别系统。这些算法通过分析和比较面部特征来工作，例如眼睛之间的距离，鼻子的形状和面部轮廓。面部识别的第一步是面部检测，涉及识别图像或视频帧中面部的存在。一旦检测到人脸，该算法将提取其特征并将其与已知人脸数据库进行比较面部识别有几种方法，包括几何，光散射和混合方法，其中几何方法分析面部的形状和结构，光散射方法分析面部的明暗模式,混合方法结合几何和光度特征以提高准确人脸识别算法广泛应用于各种应用，如安全和监控、执法和营销。然而，由于隐私问题和面部识别技术的潜在滥用，一些地区的审查和监管激增。生物识别是如何工作的。51分割算法分割算法实现实时图像分割,其将图像分割成对应于不同对象或背景的多个片段。图像分割简化了图像表示，使其更易于分析和交互。边缘设备使用分割算法来分析由网络边缘的摄像机捕获的图像和视频流。通过将图像分割成不同的区域,这些算法使得边缘设备能够实时检测和跟踪特定对象。流行的分割算法包括CNN，随机森林算法和K-Meas聚类方法。CNN使用卷积滤波器从图像中提取特征,并将图像中的像素分类为区域。随机森林算法为输入生成分割图imagebasedontheoutputofdecisiontrees.TheK-MeansClusteringalgoithmfirstconvertanimageintoahigh-dimensionspacerepresentedbypixels.Theobjectiveistominimizationthesumofsquareddistancebetweeneachpixelanditscorresp