地瓜机器人RDK系列部署生成式AI模型

地瓜机器人RDK系列部署生成式AI模型RDK系列产品介绍RDK上的模型部署RDK上LLM的技术选型RDK上LLM的实际效果演示01RDK系列产品介绍嵌入式嵌入式系统是一种专门设计用于特定任务的计算机系统。它通常被嵌入在另一个设备中，以控制、监测或执行某些特定功能。嵌入式系统通常包含一个或多个微处理器或微控制器，以及与其配套的硬件和软件。嵌入式系统可以用于各种不同的应用领域，例如汽车、家电、医疗设备、电子玩具、军事设备等等。嵌入式系统通常需要满足以下特定要求：实时性：嵌入式系统通常需要能够在严格的时间限制下运行。可靠性：由于嵌入式系统通常被嵌入到其他设备中，因此其稳定性和可靠性非常重要。低功耗：嵌入式系统通常需要在低功耗模式下运行，以便延长其电池寿命或降低功耗成本。低成本：嵌入式系统通常需要在成本可控的情况下设计和制造。智能音箱边缘计算盒机器人智能会议智慧教育智能家居AIoT与通用机器人算法芯片工具链服务嵌入式产品介绍2022.6Compute：5TopsCPU：4×Cortex

A53

1.2GDDR：2/4

GBWi-Fi：2.4GRDK

X3Compute：5TopsCPU：4×Cortex

A53

1.5GDDR：2/4GBeMMC：16/32/64

GBWi-Fi：2.4G/5GRDKX3

ModuleCompute：10TopsCPU：8×Cortex

A55

1.5GGPU：32GflopsDDR：4/8

GBWi-Fi：2.4G/5G2023.5RDK

X5Compute：5TopsCPU：4×Cortex

A53

1.8GDDR：2/4

GBWi-Fi：2.4G/5GCertification：CE/FCC/MIC/KCRDKX3

v2.020252026Compute：>20

TopsRDK

？2023.7 2024.9RDK：RoboticsDeveloper

KitRDKX5

ModuleCompute：？CPU：？GPU+Audio

？DDR：？eMMC:

？Wi-Fi：？RDK系列RDK全称为

Robotics

Developer

Kits，即地瓜机器人开发套件（RDK）是基于地瓜智能芯片打造的机器人开发者套件，包括RDK

X3、RDK

X3

Module、RDK

X5、RDK

X5

Module等。

搭配TogetheROS.Bot机器人中间件，RDK套件可以帮助开发者快速搭建机器人原型，开展评测和验证工作。40PIN最大化复用拓展4G/8G

RAM灵活选择CAN

FD灵活连接机器人底盘和电机双频wifi

6

+

蓝牙

5.4极速通信多标准兼容耳机

多模应用天线模块媲美棒状天线TypeC供电

5V/5ARDK

X5RTC精准时间同步TypeC闪连极速开发双MIPI4-Lane双目千兆网口支持POE供电Debug串口便捷调试HDMI更好兼容常见数据线

USB3*

4全高速通信公版模型尺寸类别数参数量BPU延迟BPU吞吐量后处理时间Yolov8n640x640803.2

M5.6

ms263.6

FPS5

msYolov8s640x6408011.2

M12.4

ms194.9

FPS5

msYolov8m640x6408025.9

M29.9

ms35.7

FPS5

msYolov8x640x6408068.2

M90

ms11.2

FPS5

msYolov10n640x640806.7

G9.3

ms132.7

FPS4.5

msYolov10s640x6408021.6

G15.8

ms71.0

FPS4.5

msYolov10m640x6408059.1

G30.8

ms34.5

FPS4.5

msRDK

X502RDK上的模型部署人工智能演变史自然语言处理自然语言处理是一种人工智能领域，旨在使计算机能够像人类一样理解和生成自然语言文本。自然语言处理的研究主要关注如何使计算机理解和处理人类语言，并从中提取有用的信息或生成符合语境的语言输出。自然语言处理涉及到很多不同的任务，包括文本分类、情感分析、机器翻译、自动摘要、问答系统、命名实体识别、语言生成等。大语言模型（LLM）传统语言模型的劣势在于：局限于某一领域的知识

、泛化能力差难以迁移、上下问理解有限基于transformer的大语言模型：基于海量（基本全互联网）数据进行预训练。对于特定场景的任务，只需微调适应常见：ChatGPT、文心一言、Llama、Baichuan2、同义千问等地瓜工具链问题定义数据准备模型选择/开发模型训练与调优模型量化部署分析现实问题影响算法的选择、模型的评估、投入的成本选用合适的模型寻找或编写对应的模型代码减少训练好的模型计算和储存需要的技术定义数据范围：适配任务需求数据获取：下载，清洗数据预处理：预处理、增强数据集定义和切分：训练、评估、测试使用数据集在模型中训练围绕业务需求对模型目标调优模型存储、导出、推理服务的部署系统对接、指标监控地瓜工具链地瓜工具链Model

Zoo以图搜图目标检测/D-Robotics/rdk_model_zoo/tree/main实例分割图像分类03RDK上LLM技术选型LLM类别大语言模型（Large

Language

Model,

LLM）主要分为两类：基于transformer的模型和基于循环神经网络RNN的模型。Transformer是近年来非常流行的一种神经网络架构，它在自然语言处理（NLP）任务中取得了巨大的成功。Transformer依赖于“注意力机制”（Attention

Mechanism）来处理输入数据，从而更好地理解句子中各个词之间的关系。RNN（循环神经网络）是一类适用于处理序列数据的神经网络架构。RNN通过“循环”的方式在时间步之间共享信息，因此非常适合处理像文本和语音这类序列数据。早期的语言模型大多基于RNN及其改进版本（如LSTM和GRU）。RWKV语言模型RWKV模型在架构上继承了Transformer的思想，但在具体的实现上做了一些重要的改进，这些改进主要体现在Time

Mixing和Channel

Mixing两个方面Time

Mixing:

与Transformer中的自注意力机制不同，rwkv模型引入了时间混合（TimeMixing）机制。这种机制关注序列数据中时间步之间的依赖关系，通过时间混合层来捕捉时间序列中的长期依赖性。Time

Mixing通过加权平均和非线性变换的方式，将不同时间步的信息进行整合，确保模型能够有效捕捉序列的全局和局部信息。Channel

Mixing:

Channel

Mixing则是对序列中不同特征通道的处理。在Transformer中，特征通道的混合主要通过多头自注意力和前馈神经网络来完成，而在rwkv模型中，Channel

Mixing采用了一种更加高效的方式。通过一系列的线性变换和激活函数来对通道信息进行融合。这种方法不仅减少了计算复杂度，还保持了模型的表达能力，使其能够在处理大规模数据时更加高效。RWKV语言模型可解释性强类似RNN，每次推理内部有固定大小的state，即上下文信息向量高效训练高效并行训练，训练速度与上下文长度无关O(T)推理速度线性时间复杂度O(T)，即与RNN