AI芯片应用开发实践：深度学习算法与芯片设计 课件 第八章 同构智能芯片平台应用开发实践

第八章

同构智能芯片平台应用开发实践

本章将详细介绍如何利用JetsonNano开发者套件进行同构智能芯片平台应用开发的实践过程。首先，对JetsonNano开发者套件进行简要介绍，然后，详细阐述使用JetsonNano开发者套件之前的准备工作。包括安装必要的硬件组件，如风扇、无线网卡、摄像头的安装，以及操作系统和相关软件环境的正确设置。接下来，通过一个实际的行人识别项目实践，展示在JetsonNano上进行模型训练和应用开发的全过程。通过学习本章内容，读者不仅可以掌握如何利用JetsonNano开发者套件进行智能应用开发，还能够熟悉相关的操作步骤和技术要点，为未来的项目实践奠定坚实的基础。JetsonｅNano开发者套件简介使用前的准备开发实践：行人识别目录CONTENTS本章小结本章习题JetsonｅNano开发者套件简介01JetsonNano开发者套件概述JetsonNano开发者套件是一款功能强大的小型计算机，能够在图像分类、目标检测、分割和语音处理等应用中并行运行多个神经网络。它具有体积小、性能高、功耗低和稳定性强的特点，尤其适用于机器视觉、深度学习和边缘计算等领域。关键规格JetsonNano配备四核64位ARMCPU和128核集成NVIDIAGPU，提供472GFLOPS的计算性能。它拥有4GBLPDDR4内存，支持5W和10W的电源模式，使用5VDC输入，具备高效的能源管理。Jetpack4.2SDKJetsonNano开发者套件支持Jetpack4.2SDK，提供基于Ubuntu18.04的完整桌面Linux环境。SDK包含支持NVIDIACUDAToolkit10.0、cuDNN7.3、TensorRT5等加速图形库，此外，还预装了TensorFlow、PyTorch、Caffe、Keras和MXNet等开源机器学习框架，并支持OpenCV和ROS等计算机视觉与机器人开发工具。JestonNano开发者套件简介

JestonNano开发者套件的配置使用前准备02在开始使用JetsonNano开发者套件之前，需要准备以下设备，因为官方套件只包含核心模块和载板，不包括其他配件：一个读卡器（建议选择3.0及以上版本）一张SD卡（推荐32GB以上，若条件允许，选择64GB更佳）一个M.2接口无线网卡（默认不带无线网卡）一根HDMI传输线一个5V/4A电源适配器一个显示屏一套键盘和鼠标一根增益天线（若可能，准备两根）一个5V4pin散热风扇JetsonNano开发前准备设备清单

安装风扇将散热风扇装在JetsonNano的核心板散热片上(轻一点拧螺丝)，如图8-2所示。然后将散热风扇的线接入载板，如图8-3所示。注意:有槽，请勿乱插。安装无线网卡首先，拆下载板上的螺丝，如图8-4所示。然后，将组装好的无线网卡装上，如图8-5所示。安装摄像头JetsonNano上预留了CSI摄像头接口，其中a02版本有1个CSI接口.b01版本有2个CSI接口。通过一系列指令即可完成对摄像头的信息获取。摄像头接口如图8-6所示。

JetsonNano本身没有操作系统，需要借助SD卡进行系统烧录。JetsonNano要求最低配置16GB的SD卡，但是SD卡除了存储操作系统以外，还需要保存其他必备文件，本实践选配64GB的SD卡作为系统的存储设备。除SD卡以外还需要自行配置一根5V/2A的MicroUSB电源线。配置系统1)镜像固件和烧录软件下载。镜像固件在NVIDIA官方网站进行下载，下载地址为https:///embedded/downloads。JetsonNano使用的是Linux系统，目前最新的系统版本为4.6，系统压缩包大小为6.1GB。烧录软件为Etcher，它是一款跨平台的U盘镜像制作工具，因其操作方便简洁，可以自动识别设备，并且开源免费、安全性较高，所以使用较为普遍。2)格式化SD卡。为避免SD卡原有的文件对系统烧录过程产生影响，首先需要对SD卡进行格式化。下载、安装并启动格式化工具SDCardFommatter，选择SD卡驱动器，格式选择为快速格式，开始SD卡格式化。3)系统烧录。Etcher是一款U盘镜像制作工具，可以将镜像刻录到U盘，可以连接USB的存储设备都可以使用，包括SD卡，它支持isp、img、disk、raw等多种镜像格式，操作较为方便简单。打开烧录软件Etcher，选择1)步骤下载的系统镜像固件开始进行系统烧录，烧录的固件会分配十几个分区，烧录过程如图8-7所示。4)系统基础配置。在JetsonNano上插入已经烧录完成的SD卡，并按照JetsonNanoDevel-operKit引|导完成初始设置。JetsonNano系统安装的具体步骤

系统烧入过程图开发实践：行人识别03

本节行人检测模型训练使用的数据集为VOC2007和VOC2012数据集，行人重识别模型训练使用Market-1501数据集。模型训练平台:处理器为Inteli5-8330H，显卡为NVIDIAGeForceRTX1060，显存为6GB，内存为2x8GB、512GB的固态硬盘，1TB的机械硬盘。开发环境为Windows10、Python3.7、Pycharm、PyTorch1.7.0、CUDA10.1。模型训练模型训练前需要设置模型训练参数，整个训练需要迭代100个Epoch，前50个为冰冻训练，后50个为解冻训练。冰冻训练阶段，将batch_size设置为16，模型主干被冻结，特征提取网络不会发生改变，此时仅对网络进行微调操作，GPU显存占用较少;解冻训练阶段，将batch_size设置为4，模型主干不被冻结，特征提取网络会发生改变，此时网络所有参数都会改变，GPU显存占用较多。输入图像尺寸为默认的416x416像素，学习率为0.001。改进后的Gh-YOLOv4的模型训练损失图如图8-8所示。模型训练实验环境

本实践的模型训练在PC端完成，但最终的功能实现不能只停留在PC端上，因此本实践将算法移植到嵌入式设备上完成各项功能测试。具体的嵌入式终端设备硬件参数如表8-1所示。测试场景

本实践采用多个测试场景进行全面测试，对算法的性能和功能分别进行详细的测试。选取校园和商场作为测试场景，具体场景如图8-9所示。

校园和商场这两个场景的测试用途不同，校园场景用于算法测试以及调试，拍摄校园测试视频的摄像头高度约4m，距离场景约10m。商场场景用于实际应用场景测试，在真实应用场景下对多个行人进行检测、跟踪和重识别。相比于校园场景，商场行人较多，环境较为复杂更考验算法的性能。

根据功能需求，行人检测模块的功能测试分为单目标行人检测和多目标行人检测。该模块需要将视频中出现的行人检测出来并返回其位置信息，视频中所有行人都将提取出来作为单独的行人图像进行缓存以备后续处理。行人检测模块的单目标测试场景为大学校园，检测效果如图8-10所示。从图中可以看到，行人检测模块在校园监控视角下能成功检测出行人。由于在Cam2监控视角下行人距离摄像头较远，在画面中占比较小，检测画面中的行人更具挑战性。即便如此，行人检测模块在校园场景下，对于单目标行人检测功能也能很好地完成。行人检测模块对单目标的检测效果良好，达到了终端设备对于行人检测的初步要求。

终端设备在实际应用中是对监控画面中的多个行人进行检测，单个目标的功能检测还不足以体现本算法的实用性，接下来将对行人检测模块的多目标检测功能进行测试，校园场景的行人检测效果如图8-11所示。图8-11a中黑衣行人被白衣行人遮挡一半但仍被检测到，说明行人检测模块对于被部分遮挡的行人依然有检测能力;图8-11c和图8-11d为低角度拍摄的校园场景，在人群复杂的情况下，行人检测模块能从画面中检测出被严重遮挡以外的其他行人。经行人检测功能测试证明，行人检测模块的基本功能在实际应用中表现良好，排除行人严重遮挡的情况，可以准确地检测到行人的位置并标注出来。行人检测功能测试行人检测功能测试图本章小结04

本章首先对JetsonNano开发者套件进行了简要介绍，然后详细说明了在使用之前的准备工作，包括安装风扇、无线网卡、摄像头以及系统配置等步骤。接下来，通过一个行人识别的开发实践，展示了如何在JetsonNano上进行模型训练和应用开发。在行人识别的开发实践中，首先介绍了模型训练的流程，包括数据准备、模型选择和训练等步骤。然后描述了实验环境的搭建，包括安装必要的软件和工具。最后进行了行人检测功能的测试，验证了开发的应用在JetsonNano上的运行效果。本章小结本章习题04本章习题1.介绍JetsonNano开发者套件的主要功能和特点。2.为什么在使用JetsonNano开发者套件之前需要进行准备工作?列举准备工作的主要内容。3.简要描述如何安装风扇在JetsonNano开发者套件上，并说明安装风扇的目的。4.介绍如何安装无线网卡在JetsonNano开发者套件上，并说明安装无线网卡的优势。5.如何安装摄像头在JetsonNano开发者套件上?简要说明摄像头的应用场景。6.解释配置系统在使用JetsonNano开发者套件中的重要性，并列举配置系统的一些关键步骤。7.什么是行人识别?简要介绍行人识别技术的原理和应用场景。8.行人识别的开发实践中，模型训练的流程包括哪些步骤?简要描述每个步骤的作用。9.在行人识别的开发实践中，如何搭建实验环境?列举必要的软件和工具。10.解释行人检测功能测试的目的，并说明如何进行行人检测功能测试。11.为什么选择JetsonNano开发者套件作为同构智能芯片平台进行应用开发?列举其优势。12.通过行人识别的开发实践，学到了哪些关于深度学习模型训练和应用开发的经验?13.为什么在智能芯片应用开发中需要考虑硬件配置和环境搭建?它们对开发过程的影响是什么?14.解释同构智能芯片平台在边缘计算和嵌入式系统中的应用优势，并举例说明。15.总结JetsonNano开发者套件在同构智能芯片平台应用开发实践中的重要作用，并展望其在未来的发展趋势。

JetsonNano开发者套件是NVIDIA推出的高性能嵌入式计算平台，专为AI和深度学习应用设计。该套件提供强大的计算能力，配备四核ARMCortex-A57CPU和128核NVIDIAMaxwellGPU，提供472GFLOPS的计算性能，适合进行机器视觉、图像分类、目标检测等任务。

JetsonNano具有低功耗特点，支持5W和10W电源模式，且具有强大的扩展性，能够连接多个传感器、摄像头等外设。它支持NVIDIA的JetpackSDK，兼容深度学习框架如TensorFlow、PyTorch等，并提供支持CUDA、TensorRT等加速库，广泛应用于嵌入式AI和边缘计算场景。习题答案习题1

在使用JetsonNano开发者套件之前，必须进行必要的准备工作，确保系统正常运行。首先，需要准备一张至少32GB的MicroSD卡来安装操作系统。其次，需要外设设备，如显示器、键盘、鼠标等，以便操作和调试。电源适配器是必需供电。

此外，JetsonNano默认不带无线网卡，因此如果需要网络连接，用户需要购买一个支持M.2接口的无线网卡。其他配件，如风扇、天线等，有助于提高系统稳定性和散热性能。这些准备工作能确保系统的顺利启动和运行，从而为后续的开发和测试打下坚实的基础。习题答案习题2

安装风扇的步骤非常简单：首先，将风扇插入JetsonNano上的5V/4pin接口，然后将风扇固定在合适的位置。风扇的安装目的是帮助JetsonNano在运行高负载任务时保持适当的温度，防止过热。JetsonNano在运行深度学习模型和其他高性能计算任务时，容易产生大量热量。

安装风扇可以有效降低温度，保证系统的稳定性和可靠性。习题答案习题3

要安装无线网卡，首先需要选择支持M.2接口的无线网卡。将无线网卡插入JetsonNano的M.2插槽，确保连接稳固。接着，安装所需的驱动程序，并进行网络配置。

安装无线网卡的优势是使JetsonNano可以连接到Wi-Fi或蓝牙网络，支持远程控制、数据传输和IoT设备连接等功能。无线网卡的安装特别适用于需要在没有有线连接的环境中进行开发和部署的场景，提高了系统的灵活性和可扩展性。习题答案习题4

摄像头安装到JetsonNano上，通常通过MIPICSI接口进行连接。首先，选择一个兼容的摄像头模块，并将其插入JetsonNano上的MIPICSI插槽。然后，安装必要的驱动程序，确保摄像头能够正常工作。摄像头广泛应用于机器视觉、自动驾驶、智能监控等领域。

通过JetsonNano实现的摄像头连接，可以用于目标检测、行人识别、面部识别、实时视频处理等任务。它在安全监控、交通管理和机器人领域有着重要的应用。习题答案习题5

配置系统对于JetsonNano的开发至关重要，它确保系统能够正常启动和运行，并支持所有必要的软件和硬件接口。

首先，烧录操作系统是配置的第一步，用户需要将Ubuntu镜像烧录到MicroSD卡上。其次，配置网络连接，确保JetsonNano可以通过有线或无线方式与外界通信。然后，安装所需的深度学习框架（如TensorFlow、PyTorch）和计算机视觉库（如OpenCV）。此外，安装GPU加速库（如CUDA、cuDNN）也是关键步骤，确保JetsonNano能够利用其GPU进行加速计算。习题答案习题6行人识别是计算机视觉中的一项技术，旨在检测并识别图像或视频中是否存在行人。其原理通常基于深度学习，特别是卷积神经网络（CNN），通过训练模型识别行人特征并进行分类。行人识别广泛应用于智能监控、自动驾驶、智能安防等领域。在安防系统中，行人识别可以帮助识别和追踪人员，提高安全性。在自动驾驶中，识别行人有助于避免交通事故并提高驾驶安全性。习题答案习题7行人识别的模型训练流程通常包括以下几个步骤：1.数据准备：收集包含行人的数据集，并进行标注。确保数据集多样化，包括不同的光照、角度和遮挡情况。2.数据预处理：对数据进行标准化和增强，增强模型的泛化能力和鲁棒性。3.模型选择与训练：选择合适的深度学习模型（如CNN），并使用数据集进行训练，通过前向传播和反向传播调整模型参数。4.模型评估：使用验证集对模型进行评估，计算准确率、精确度、召回率等指标，以判断模型的性能。5.模型优化：根据评估结果调整超参数、使用正则化技术或其他优化策略，提高模型的准确性和效率。习题答案习题8在行人识别的开发实践中，搭建实验环境时需要一些基础的软件和工具：1.操作系统：JetsonNano默认运行Ubuntu系统。2.深度学习框架：如TensorFlow、PyTorch等，支持训练和推理模型。3.计算机视觉库：如OpenCV，用于图像处理、数据增强和图像流处理。4.加速库：安装CUDA和cuDNN等库，利用JetsonNano的GPU进行计算加速。5.数据集：如CaltechPedestrianDataset，供训练和验证行人识别模型使用。这些工具能够帮助开发者快速搭建实验环境并进行模型训练和部署。习题答案习题9行人检测功能测试的目的是验证行人识别模型在实际环境中的表现。测试过程通常包括以下步骤：1.设置测试环境：使用实际视频流或摄像头采集的图像进行测试。2.输入数据：将测试图像或视频流输入到已训练好的模型中。3.结果评估：通过检测框的位置、大小和准确性来评估模型的效果，使用精度、召回率等指标。4.调整与优化：根据测试结果优化模型，提升检测准确性。习题答案习题10选择JetsonNano作为同构智能芯片平台进行开发具有多个优势：高效能低功耗：能够提供高计算能力的同时，保持低功耗，非常适合边缘计算。集成度高：集成了CPU和GPU，减少硬件复杂性，简化系统设计。强大的生态系统支持：JetPackSDK提供了丰富的AI加速库，支持深度学习和计算机视觉应用开发。小巧便携：体积小巧，易于集成到各种嵌入式设备中，适合不同应用场景。习题答案习题11

通过行人识别的开发实践，学到了以下几点经验：数据质量对模型至关重要：数据集的多样性和标注质量会直接影响模型的训练效果。模型调参和优化不可忽视：调整超参数、使用正则化等方法能显著提高模型的性能。硬件性能的重要性：JetsonNano的GPU加速使得深度学习任务更加高效，能够在边缘设备上实时处理数据。合理利用硬件加速可以显著提升深度学习应用的性能。习题答案习题12在智能芯片应用开发中，硬件配置和环境搭建是确保项目顺利进行的关键因素。

首先，硬件配置决定了系统的计算能力、存储能力和能源消耗，选择合适的硬件可以显著提高开发效率和应用性能。对于像JetsonNano这样的平台，硬件配置会直接影响深度学习模