在英飞凌 ModusToolbox™ 环境中使用 Arm® Ethos™-U55 NPU 实现机器学习应用

1在英飞凌ModusToolbox™环境中使用Arm®Ethos™-U55NPU实现机器学习应用机器学习(ML)模型需要强大的计算资源来进行训练和推理，因此，它们通常在可以进行大算力数据处理的PC或云服务器上运行。然而，在计算机架构的革命性发展和软件工具的突破性进步的引领下，嵌入式系统Al和场景正迅速扩展到物联网和嵌入式系统领域。当视频和图像等数据利用深度学习ML模型时，这些应用需要高处理能力的运算单元和大量的内存。为了支持这些场景，有必要使用诸如Arm®Ethos™-U55等神经网络协处理器能耗效率和低成本是嵌入式ML应用的关键标准。除增强处理能力之外，还需要降低系统功耗和提供高效的软件开发环境。开发环境涵盖了用于模型开发、训练和部署的2 1 3 4 5 5 6 7 7 8 9 参考文献 3性能、人机界面(HMI)、机器学习(ML)、增强传感、实时控制和低功耗应用而设这个产品系列中的双CPU微控制器都具备神经网络协处理器、DSP功能，并支持高性能内存扩展能力(OSPl)、可进行高性能模数转换的低功耗模拟子系统和低功耗比较器等。这些产品还提供了物联网连接、通信接口、可编程模拟和数字模块，以及音频和图形模块等。 供这些功能仅需极低功耗。4持以前不可能实现的新一代TinyML应用。使用它，仅需很小芯片面积和很低功耗即可实现神经网络加速推理计算。相比于单独使用Cortex®-M处理器，CortML模型，而通过与Ethos™-U55microNPU集成，它还可以提供比前几代5-通过开放的Q-Channel从端口支持高级时钟和功率门控-节省Cortex®-M55CPU时钟周期用于其他任务，以便实现更复杂的ML关键字识别(KWS)应用测试。67Cortex®-M55CPU负荷率8创建，以便在嵌入式设备的局限范围内执行。在主机上离线创建的TensorFlowLite平面文件（平面缓冲区格式）将被部署到目标设备上。这个平面文件载明了哪些神经网络层在Ethos™-U55上执行，哪些神经网络层仍在Cortex®-M处理器上执行。Ethos™-U55支持的神经网络层在它上面实现加速运算，而其余的神经网络层则保留库加速在Cortex®-M处理器上执行的神经网络层，否则，就使用TensorFlowModusToolbox™软件提供了一个现代的可扩展开发环境，可支持各类型英飞凌微控制器，包括PSoC™Arm®Cortex®微控制ModusToolbox™软件提供了一系列开发工具、库和运行环境软件包括中间件、设备驱动程序和代码示例，通过大量GitHub存储库提供。9具。这些桌面应用可用于创建新的嵌入式应用、管理软件组件、配置设备外设和中间件，还包括用于编译、编程和调试的嵌入式开发工具。ModusToolbox™开发工具直接与可用的运行时软件库对接，便于轻松获得最新开发资从英飞凌开发者社区，可以轻松访问社区论坛、知识型文章和技术类博客文章。可增-适用于微控制器的TensorFlowLite，包括-激活函数：relu、softmax、sigmoid、线性、tanh运行时软件堆栈由以特定方式相互作用的组TFLM框架被编译成C++库，其中包含优化模型副本以及各种参考内核和CMSIS-NN内核版本。然后，用户应用使用这个库来执行推理。在推理过程中，按一次一个运算符对模型进行解析并执行相应的内核。Vela编译的子图表示为特殊自定义运算符的实例，其关联“内核”直接将关联的U55指令序列和关联的Tensor数据传送给包含了一组适用于TFLM框架中的所有运算符的内型进行调整，以使之适应英飞凌目标平台。这个工具接受预训练ML模型并生成嵌入目标设备。这个工具是将ML工具生态系统中的其他资源汇聚到一起的中心资源，包换后的ML模型相对于原始参考模型的性能，并确定转换过程是否符合准确度标准。这些后端实用程序表示为特定于平台的可执行来加载模型，对模型进行解析和优化，创建参考验证数据，并针对不同精度表示将模型量化。得到的输出是一组文件，其中包含参考模型的以多种不同精度表示的转换模-读取.tflite文件并生成修改后的.用适当的内核运行。Vela尝试不同的编译策然后，它为所支持的每个运算符或每组运算符选择最佳执行调度。Vela使用层叠来解决运行时内存使用问题。层叠可将一组连续支持的运算符的特征映将运算符编译成Ethos™-U55NPU可以执行的指令流。最后，将优化模型写成TFLite模型，并生成性能评估报告，提供诸如内存使用情况和推理时间等统计数据。编译器包括许多配置选项，允许用户就嵌入式系统配置的各个方面进行指定，包括ModusToolbox™软件开发环境和适用于机器学习应用开发的工具等组成。它是一个极具吸引力的可选方案，可以在嵌入式/物联网环境中以低功耗实现复杂的计算密集型ML用例和应用。其多核架构具有独立的常开域和高性能按需唤醒功能，是适用于复英飞凌科技股份公司印制扫描二维码，探索我们提供的产品和解决方案重要提示本文档所提供的任何信息绝不应当被视为针对任何条件中所提及的任何事例、提示或者任何特定数值及/或任何关于产品应用方面的信息均在此明确声明其不承担任何保证或者责任，包括但不限于其不侵犯任何第三方知识产权的保证均在此排除。此外，本文档所提供的任何信息均取决于客户履行本文档所载明的义务和客户遵守适用于客户产品以及与客户对于英飞凌产品的应用所相关的任何法律要求、规范和本文档所含的数据仅供经过专业技术培训的人员使用。客户自身的技术部门有义务对于产品是否适宜于其预期的应用和针对该等应用而言本文档中所提供的信息是否