ML 成像 - 第 1 部分：入门

第第页为什么以及如何使用EfinixFPGA进行AI/ML成像—第1部分：入门编者按：（FPGA）架构的新方法带来了更细粒度的控制和更大的灵活性，以满足（机器学习）（ML）和（人工智能）（（AI））的需求。这个由两部分组成的系列的第1部分介绍了Efinix的一个这样的架构，以及如何使用开发板开始使用它。第2部分讨论开发板与外部设备和外设（如相机）的接口。

FPGA在许多应用中发挥着关键作用，从（工业控制）和安全到（机器人）、航空航天和汽车。由于可（编程）逻辑内核的灵活性和广泛的接口能力，FPGA的一个不断增长的用例是在部署ML推理时的图像处理。FPGA非常适合实现具有多个高速摄像头接口的解决方案。此外，FPGA还支持在逻辑中实现专用处理流水线，从而消除与基于（CPU）或（GPU）的解决方案相关的瓶颈。

然而，对于许多开发人员来说，他们的应用需要更多的ML/AI功能以及更细粒度的控制或路由和逻辑，超出了具有组合逻辑块（CLB）的经典FPGA架构所能提供的。FPGA架构的新方法解决了这些问题。例如，Efinix的Quantum架构使用可互换逻辑和路由（XLR）模块。

本文讨论了EfinixFPGA架构的主要特性和属性，重点介绍了其AI/ML功能并介绍了实际实现。然后，本文讨论了开发人员可用于快速开始下一个AI/ML成像设计的开发板和相关工具。

EfinixFPGA器件

Efinix目前提供两个设备系列。它最初推出了Trion系列，该系列提供从4000（4K）到120K逻辑元件（LE）的逻辑密度，并使用中芯国际40LL工艺制造。（最新）的器件系列钛系列提供从35K到1万（1M）逻辑元件的逻辑密度，并在非常流行的台积电16纳米（nm）节点上制造。

这两种产品都基于昆腾架构，这在FPGA世界中是独一无二的。标准FPGA架构基于CLB，在最简单的层面上，CLB包含一个查找表（LUT）和触发器。CLB实现逻辑方程，然后通过路由互连。Efinix的量子架构通过XLR块摆脱了不同的逻辑和路由块。

XLR模块的独特之处在于，它可以配置为具有LUT、（寄存器）和加法器或路由矩阵的逻辑单元。此方法提供了一个更细粒度的体系结构，可提供路由灵活性，使逻辑繁重或路由繁重的实现能够实现所需的性能。

作为最新的产品系列，钛金属器件为开发人员提供了最先进的功能（图2）。与XLR内核一起，它们提供多千兆位串行链路，其运行速度为16Gbps或25.8Gbps，具体取决于所选设备。这些千兆位链路对于实现片上和片外的高速数据传输至关重要。

钛器件还提供广泛的输入/输出（I/O）接口功能，可分为通用I/O（GPIO），并且可以支持单端I/O标准，例如3.3伏、2.5伏和1.8伏的低压CMOS（LVCMOS）。

对于高速和差分接口，钛金器件提供高速I/O（HSIO），支持单端I/O标准，如1.2伏、1.5伏的LVCMOS，以及SSTL和HSTL。HSIO支持的差分I/O标准包括低压差分（信号）（LVDS）、差分SSTL和HSTL。

现代FPGA还需要紧密（耦合）的高带宽存储器，用于存储图像处理应用的图像帧，信号处理的样本数据，当然还有运行FPGA中实现的处理器的（操作系统）和软件。钛合金系列器件能够与动态数据速率四（DDR4）和低功耗DDR4（x）（LPDDR4（x））接口。根据所选的确切钛金设备，总线宽度支持为x32（J）或x16（M），而某些设备不支持LPDDR4（L）。

钛FPGA基于S（RAM），需要配置存储器，器件配置由主/从串行外设互连（S（PI））或JTAG执行。为了确保这种配置方法的安全，钛FPGA使用比特流的AESGCM加密，以及AESGCM和（RS）A-4096来提供比特流身份验证。由于FPGA部署在恶意行为者可以访问和操纵其行为的边缘，因此需要这样的强大安全性。

开发板介绍

开发板是FPGA评估过程的关键要素，因为它们可用于探索器件和原型应用的功能，从而有助于降低整体风险。第一个可用于评估钛FPGA并开始原型设计应用的开发板是（Ti）180M484（图3）。该板具有一个FPGA夹层卡（FMC）连接器和四个Sam（te）cQSE连接器。

该开发板安装的Ti180FPGA提供172KXLR单元、32个全局（时钟）、640个数字信号处理（（DSP））元件和13兆位（Mbit）（嵌入式）RAM。DSP元件能够实现定点18x19乘法和48位乘法。此DSP还可以针对在双通道或四通道配置中运行的单指令多数据（SIMD）操作进行优化。DSP元素也可以配置为执行浮点运算。

与大多数开发板一样，Ti180开发板提供简单的LED和按钮。然而，它的真正力量在于它的接口能力。Ti180开发板提供低引脚数FMC连接器，可连接各种外设。由于FMC卡是一种广泛使用的标准，因此有许多FMC卡可以连接高速（模数转换器）（（ADC））、（数模转换器）（（DAC））、（网络）和存储器/存储解决方案。

除了FMC连接外，该板还提供四个SamtecQSE连接器，使开发人员能够添加扩展卡。这些QSE连接器用于提供MIPI输入和输出，每个QSE连接器提供MIPI输入或输出。

Ti180板还提供256Mbits的LPDDR4，以支持图像或信号处理应用所需的高性能存储器。此外，该开发板还提供一系列25、33.33、50和74.25MHz时钟选项，可与器件锁相环（PLL）配合使用，以产生不同的内部频率。

在开发过程中，在电路板上实时重新编程和调试的能力至关重要，需要JTAG连接，JTAG通过（USB）-C接口在板上提供。还提供两个256MbitNOR闪存器件形式的非易失性存储器，可用于演示配置解决方案。

该板由包装盒随附的12伏通用（电源）适配器供电。还包括FMC到QSE的分线，以及用于（HDMI），（以太网），MIPI和LVDS的基于QSE的扩展卡。为了演示Ti180图像处理能力，还提供了一张双RPI子卡和两张IMX477相机卡。

软件环境

针对Ti180开发板实现设计使用Efinix软件Efinity。该软件能够通过合成、放置和路由生成比特流。它还为开发人员提供知识产权（IP）模块、时序分析和片上调试。

请注意，需要开发板才能访问Efinity软件。但是，与其他供应商不同，该工具没有需要额外许可的不同版本。

在Efinity中，将针对所选设备创建新项目。然后可以将RTL文件添加到项目中，并为时序和I/O设计创建约束。在Efinity中，开发人员还可以利用HSIO，GPIO和专用I/O实现I/O设计。

FPGA设计的一个关键要素是利用IP，尤其是对于复杂的IP，如AXI互连、内存控制器和软核处理器。Efinity为开发人员提供了一系列可用于加速设计过程的IP模块。

虽然FPGA在实现并行处理结构方面非常出色，但许多FPGA设计都包含软核处理器。这些提供了实现顺序处理（如（网络通信））的能力。为了在Efinix设备中部署软核处理器，Efinity提供了Sapphire片上系统（SoC）配置工具。Sapphire允许开发人员定义一个多处理器系统，该系统具有跨多个处理器的缓存和缓存一致性，以及运行嵌入式（Linux）操作系统的能力。在Sapphire中，开发人员可以在一到四个软核处理器之间进行选择。

正在实现的软核处理器是Vex（Risc）V软CPU，它基于（RISC-V）指令集架构。VexRiscV处理器是一种32位实现，具有流水线扩展并提供可配置的功能集，使其成为在Efinix设备中实现的理想选择。可选配置包括乘法器、原子指令、浮点扩展和压缩指令。根据SoC系统的配置，性能范围在0.86到1.05DMIPS/MHz之间。

一旦在Efinix设备中设计和实现了（硬件）环境，就可以使用AshlingRiscFreeIDE开发应用软件。AshlingRiscFree是一个基于Eclipse的IDE，它支持创建和编译应用程序软件，以及在部署之前对目标进行调试以微调应用程序。

如果正在开发嵌入式Linux解决方案，则提供所有必要的引导工件，包括第一阶段引导加载程序，OpenSBI，U-Boot和使用Buildroot的Linux。或者，如果需要实时解决方案，开发人员可以使用（FreeRTOS）。

人工智能实施

基于RISC-V软核操作的是Efinix的AI实现。这利用了RISC-V处理器的自定义指令功能来实现（TensorFlow）Lite解决方案的加速。RISC-V处理器的使用还使用户能够创建自定义指令，这些指令可用作AI推理之后的预处理或后处理的一部分，从而创建响应速度更快、确定性更强的解决方案。

要开始实施AI，第一步是探索Efinix模型动物园，这是一个针对其终端技术优化的AI/ML模型库。对于使用Efinix设备的开发人员，可以访问模型动物园，并使用JupyterNotebooks或GoogleColab训练网络。一旦网络经过训练，就可以使用TensorFlowLite转换器将其从浮点模型转换为量化模型。

一旦采用TensorFlowLite格式，Efinix的tinyML加速器可用于在RISC-V解决方案上创建可部署的解决方案。tinyML生成器使开发人员能够自定义加速器实现并生成项目文件。以这种方式部署时，加速范围可能在4倍到200倍之间，具体取决于所选的