边缘智能计算应用课件：NLE-AI800开发板介绍及案例体验

：边缘计算开发板基础应用边缘智能计算应用项目引导案例边缘计算是在靠近物或数据源头的网络边缘侧，通过融合网络、计算、存储、应用核心能力的分布式开放平台，就近提供边缘智能服务。为什么需要边缘计算?为了解决传统数据处理方式下时延高、数据实时分析能力匮乏等弊端，边缘计算技术应运而生。应用：边缘计算非常适合被应用于物联网领域，通过具有边缘计算能力的物联网关就近（网络边缘节点）提供设备管理控制等服务，解决物联网通信“最后一公里”的问题，最终实现物联网设备的智慧连接和高效管理。项目引导案例本项目将带着大家掌握了解边缘计算开发板的具体应用。边缘计算开发板是什么？边缘计算开发板旨在通过快速原型开发为各种类型的应用提供强大的深度学习功能。例如右图所示边缘计算开发板：NLE-AI800开发板介绍及应用案例体验职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08

NLE-AI800开发板介绍及应用案例体验掌握NLE-AI800开发板基本组成；掌握开发板的核心组件；了解开发板的操作系统；掌握开发板的RKNN组件。能够掌握MobaXterm命令行工具的基本使用；能够掌握人脸识别项目包的上传部署和运行。职业能力目标01知识目标技能目标职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08

NLE-AI800开发板介绍及应用案例体验

此任务的主要内容是学习MobaXterm命令行工具的基本使用方法，学习如何连接开发板并使用开发板上的JupyterLab环境，使用命令控制开发板上的LED指示灯，了解掌握使用MobaXterm工具上传部署人脸识别项目，运行体验边缘智能计算的应用案例。任务描述任务要求学习MobaXterm命令行工具的基本使用。连接开发板并使用开发板上的JupyterLab环境。使用命令控制开发板上的LED指示灯。使用MobaXterm工具上传部署人脸识别项目。任务描述与要求02职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08

NLE-AI800开发板介绍及应用案例体验任务分析使用NLE-AI800开发板会涉及到哪些步骤？MobaXterm命令行工具使用中应注意什么？任务分析与计划03任务计划表项目名称边缘计算开发板基础应用任务名称NLE-AI800开发板介绍及案例体验计划方式自主设计计划要求请用4个计划步骤来完整描述出如何完成本次任务序号任务计划1

2

3

4

通过上面的思考，你是否对本任务要完成的工作有所了解？让我们一起来制订完成本次任务的实施计划吧！任务分析与计划03职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08

NLE-AI800开发板介绍及应用案例体验21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNN

JupyterLab是一个基于Web交互式的开发环境，是JupyterNotebook的下一代产品，可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。04JupyterLab环境简介思考一下，什么是交互式的开发环境呢？21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNN本课程采用的边缘计算硬件为：NLE-AI800人工智能开发板，内置双核ARMCortexA72@1.8GHz+四核ARMCortexA53@1.4GHz，GPU采用ARMMaliT860MP4@800MHz，提供3TNPU算力

USB摄像头04边缘智能计算的基本硬件组成1ARM架构2NPU、算力基本介绍0404ARM架构ARM架构，曾称进阶精简指令集机器（Advanced

RISC

Machine）更早称作AcornRISCMachine，是一个32位精简指令集（RISC）处理器架构。还有基于ARM设计的派生产品，重要产品包括Marvell的XScale架构和德州仪器的OMAP系列。ARM家族占比所有32位嵌入式处理器的75%，成为占全世界最多数的32位架构。ARM处理器广泛使用在嵌入式系统设计，低耗电节能，非常适用移动通讯领域。消费性电子产品，例如可携式装置（PDA、移动电话、多媒体播放器、掌上型电子游戏，和计算机），电脑外设（硬盘、桌上型路由器），甚至导弹的弹载计算机等军用设施。1ARM架构NPU、算力基本介绍20404NPU、算力基本介绍思考一下，为什么NPU处理器应运而生？NPU是网络处理器，可把其认为是一个组件（或者子系统），有的时也可称呼为NPU协处理器。嵌入式神经网络处理器（NPU）采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNN人脸识别应用案例是边缘智能计算的简单的效果展示，其目的就是为了给大家体验一下效果。而人脸识别应用案例，主要由以下几部分组成：PyQt5的UI界面后台逻辑，包括人脸注册，人脸识别sqlite3数据库首先需要把人脸特征数据注册到数据库中，然后再将视频流采集的最新的图片与数据库中特征进行对比，进行人脸识别。04人脸识别应用案例的功能介绍1PyQt5介绍2Sqlite3简介0404PyQt5介绍PyQt是Qt框架的Python语言实现，由RiverbankComputing开发，是最强大的GUI库之一。PyQt提供了一个设计良好的窗口控件集合，每一个PyQt控件都对应一个Qt控件，因此PyQt的API接口与Qt的API接口很接近，但PyQt不再使用QMake系统和Q_OBJECT宏。PyQt5有如下特性：（1）基于高性能的Qt的GUI控件集。（2）能够跨平台运行在Linux、Window和MacOS系统上。（3）使用信号槽机制进行通信。（4）对Qt库进行完全封装。（5）可以使用成熟的IDE进行界面设计，并自动生成可执行的Python代码。（6）提供一整套种类齐全的窗口控件。1PyQt5介绍Sqlite3简介20404Sqlite3简介SQLite，是一款轻型的数据库，是遵守ACID的关系型数据库管理系统，它包含在一个相对小的C库中。它的设计目标是嵌入式的，而且已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。它能够支持Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如Tcl、C#、PHP、Java等，还有ODBC接口，同样比起Mysql、PostgreSQL这两款开源的世界著名数据库管理系统来讲，它的处理速度比他们都快。21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNN1SSH协议、SFTP协议3SSH远程步骤2MobaXterm终端工具介绍04数字类型04SSH协议、SFTP协议安全外壳协议（SSH）是一种在不安全网络上提供安全远程登录及其它安全网络服务的协议。SSH是较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。SSH在正确使用时可弥补网络中的漏洞。SSH客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、Linux、AIX、Solaris、Irix，以及其他平台，都可运行SSH。

04SSH协议、SFTP协议SFTP（SecureFileTransferProtocol）：安全文件传送协议。可以为传输文件提供一种安全的加密方法。SFTP为SSH的一部份，是一种传输文件到服务器的安全方式。SFTP同样是使用加密传输认证信息和传输的数据，使用SFTP是非常安全的。1SSH协议、SFTP协议3SSH远程步骤2MobaXterm终端工具介绍04数字类型04MobaXterm终端工具介绍MobaXterm又名MobaXVT，是一款增强型终端、X服务器和Unix命令集(GNU/Cygwin)工具箱。MobaXterm可以开启多个终端视窗，以最新的X服务器为基础的X.Org，可以轻松地来试用Unix/Linux上的GNUUnix命令。MobaXterm还有很强的扩展能力，可以集成插件来运行Gcc,Perl、Curl、Tcl/Tk/Expect等程序。04MobaXterm终端工具介绍MobaXterm主要功能：支持各种连接SSH，X11，RDP，VNC，FTP，MOSH支持Unix命令(bash，ls，cat，sed，grep，awk，rsync，…)连接SSH终端后支持SFTP传输文件各种丰富的插件(git/dig/aria2…)可运行Windows或软件1SSH协议、SFTP协议3SSH远程步骤2MobaXterm终端工具介绍04数字类型SSH远程步骤04SSH两种级别的远程登录：（我们可以通过Ctrl+D或者exit命令退出远程登录。）一、口令登录：口令登录非常简单，只需要一条命令，命令格式为：ssh客户端用户名@服务器ip地址。例:如果需要调用图形界面程序可以使用-X选项。例:如果客户机的用户名和服务器的用户名相同，登录时可以省略用户名。例：还要说明的是，SSH服务的默认端口是22，也就是说，若不设置端口的话登录请求会自动送到远程主机的22端口。我们可以使用-p选项来修改端口号，比如连接到服务器的1234端口：例：SSH远程步骤04二、公钥登录每次登录远程主机都需要输入密码是很不方便的，如果想要省去这一步骤，可以利用密钥对进行连接，还可以提高安全性。1、在本机生成密钥对

使用ssh-keygen命令生成密钥对：然后根据提示一步步按enter键即可（其中有一个提示要求设置私钥口令passphrase，不设置则为空），执行结束以后会在/home/当前用户目录下生成一个.ssh文件夹,其中包含私钥文件id_rsa和公钥文件id_rsa.pub。2、将公钥复制到远程主机中使用ssh-copy-id命令将公钥复制到远程主机。ssh-copy-id会将公钥写到远程主机的~/.ssh/authorized_key文件中。21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNN外设接口罗列及介绍04NLE-AI800开发板其丰富的外设接口（包括网口，HDMI，USB3.0，USB2.0，音频口，type-C，I2C，WiFi、蓝牙，指示灯，UART串口，RS485串口，步进电机接口，以及两路继电器DI/DO接口）1.视频接口HDMI视频输出口，1路HDMI2.0视频输出（最大支持4K）。音频接口：音频输出，3.5耳机孔；音频输入，3.5耳机孔。1路千兆以太网口，POE（选配件），可选POE受电。

2.用户接口用户常用的接口，包括UART，RS485，I2C，电机驱动口，Debug口，DI/DO口。UART：UART串口（4pin白色端子TTL电平）RS485：RS485串口（2pin绿色接线端子）I2C：1路I2C接口（4pin白色端子）电机驱动：一路2相电机驱动输出接口（4pin白色端子）Debug口：3pin间距1.25mm调试串口DI/DO：连接继电器的两路DI，两路DO座，两路继电器已集成在板子上按键：两个按键接口21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNNecho命令简介与基本用法04echo是一种最常用的与广泛使用的内置于Linux的bash和Cshell的命令，通常用在脚本语言和批处理文件中来在标准输出或者文件中显示一行文本或者字符串。echo命令的语法是：Linuxecho命令的使用示例:示例1：在标准输出上显示一行文本。输出：echo命令简介与基本用法04示例2：显示包含双引号的文本行要输出双引号，需要将其括在单引号内，或使用反斜杠字符对其进行转义。示例3：显示包含单引号的文本行要打印单引号，需要将其括在双引号内，或使用ANSI-C引号。示例5：返回当前目录中所有.php文件的名称说明：echo命令可以与模式匹配字符一起使用，例如通配符。示例6：重定向到文件我们可以使用>、>>运算符将输出重定向到文件，而不是在屏幕上显示输出。说明：如果file.txt不存在，将创建它。使用>时，文件将被覆盖；使用>>时，会将输出附加到文件中。21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNNLinux与Debian操作系统简介04Linux，全称GNU/Linux，是一种免费使用和自由传播的类UNIX操作系统，是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。Linux有上百种不同的发行版，如基于社区开发的debian、archlinux，和基于商业开发的RedHatEnterpriseLinux、SUSE、OracleLinux等。Debian是一个自由的操作系统，由Debian计划开发和维护。Debian是一个自由的Linux发行版，添加了数以千计的应用程序以满足用户的需要。21346578知识储备04JupyterLab环境简介边缘智能计算的基本硬件组成人脸识别应用案例的功能介绍SSH介绍外设接口罗列及介绍echo命令简介与基本用法Linux与Debian操作系统简介瑞芯微RockchipRKNN04瑞芯微RockchipRKNN福州瑞芯微电子Rockchip宣布旗下AI平台重大升级，正式面向全球AI开发者发布三大开发套件：AI开发工具包RKNN-Toolkit、AISDK软件开发工具包Rock-XSDK，以及AI人工智能计算棒RK1808

AIComputeStick。一、RKNN-ToolkitAI开发工具包通过该工具，开发者可以完成TensorFlow、Caffe、PyTorch、MXNet等模型的转换、量化、性能Profile、内存耗费统计等任务，快速将AI模型部署到嵌入式硬件平台上。其新增了混合量化模式，并对模型加载速度、执行速度进行优化，兼容支持计算棒，支持同时连接多个设备。采用新版RKNNToolkit工具能够让AI模型部署的精度更高，速度更快，开发更便捷。职业能力目标01任务描述与要求02任务分析与计划03知识储备04任务实施05任务检查与评价06任务小结07任务拓展08

NLE-AI800开发板介绍及应用案例体验05任务实施NLE-AI800开发板基本组成2将notebook文件上传至NLE-AI800开发板1NLE-AI800核心板介绍3NLE-AI800开发板的底板板接口介绍综合管理平台系统验证4人脸识别应用案例的体验5422.SSH协议连接开发板11.命令行工具MobaXterm的基本使用33.将文件或文件夹上传至开发板4.进入开发板上的JupyterLab环境将notebook文件上传至NLE-AI800开发板05将notebook文件上传至NLE-AI800开发板将notebook文件上传至NLE-AI800开发板051.命令行工具MobaXterm的基本使用052.SSH协议连接开发板052.SSH协议连接开发板052.SSH协议连接开发板052.SSH协议连接开发板将notebook文件上传至NLE-AI800开发板053将文件或文件夹上传至开发板在浏览器中输入开发板的IP地址，如2，进入JupyterLab环境：4进入开发板上的JupyterLab环境05任务实施NLE-AI800开发板基本组成2将notebook文件上传至NLE-AI800开发板1NLE-AI800核心板介绍3NLE-AI800开发板的底板板接口介绍综合管理平台系统验证4人脸识别应用案例的体验5NLE-AI800开发板基本组成05NLE-AI800开发板由新大陆生产的人工智能边缘端开发板，主要是为了提供给广大人工智能学习者的一个学习平台，该开发板采用的是RK3399Pro的强大的人工智能芯片，其算力达到了3.0Tflops，轻松应对各种人工智能开发，加上其丰富的外设接口（包括网口，HDMI，USB3.0，USB2.0，音频口，type-C，I2C，WiFi、蓝牙，指示灯，UART串口，RS485串口，步进电机接口，以及两路继电器DI/DO接口），更是为人工智能结合物联网，进行场景化应用开发提供了很好的保障。右图是开发板的正面图：NLE-AI800开发板基本组成0505任务实施NLE-AI800开发板基本组成2将notebook文件上传至NLE-AI800开发板1NLE-AI800核心板介绍3NLE-AI800开发板的底板板接口介绍综合管理平台系统验证4人脸识别应用案例的体验5NLE-AI800核心板介绍05GPU:是MaliT860,支持OpenGL2.x和OpenC主控CPU：RK3399PRO，双核A72+四核A53core0-core3是小核，core4-core5是大核，编程深度优化时候可以把cpu的某些运算手动绑定在大核上，可提高通用运算的速度。GPU:是MaliT860,支持OpenGL2.x和OpenCL1.2NLE-AI800核心板介绍NLE-AI800核心板介绍05VPU:RKVdec,VPU2（视频编解码单元）Rockchip最厉害的地方之一莫过于他的视频编解码模块RGA：二维图像辅助计算单元，该单元可以在极短时间内拷贝、旋转、格式转换、缩放、混合图片，能在短短几个毫秒内内存拷贝一张4K图片，还能同时缩放、旋转、把YUV转成RGB之类的格式转换。NPU内存：神经网络计算单元，大小为2G的DDR4内存。这是RK3399Pro独有的运算单元，他可以通过传递一张计算图初始化后，不断的喂给他输入数据，而吐出输出数据。CPU内存：大小为4G的LPDDR4内存存储：大小为32G的eMMC5.1闪存实时时钟：支持RTC功能NLE-AI800核心板介绍05任务实施NLE-AI800开发板基本组成2将notebook文件上传至NLE-AI800开发板1NLE-AI800核心板介绍3NLE-AI800开发板的底板板接口介绍综合管理平台系统验证4人脸识别应用案例的体验542无线通信1

视频接口3用户接口板载预留口5LED指示灯说明NLE-AI800开发板的底板板接口介绍综合管理平台系统验证05NLE-AI800开发板的底板板接口介绍综合管理平台系统验证05视频接口视频接口HDMI视频输出口，1路HDMI2.0视频输出（最大支持4K）音频接口：音频输出，3.5耳机孔；音频输入，3.5耳机孔1路千兆以太网口，POE（选配件），可选POE受电05无线通信无线通信Wifi：双频2T2Rwifi模组；支持IEEE802.11a/b/g/n/ac蓝牙：板载蓝牙模组；支持Bluetooth5.0WiFi天线：WIFI天线：一个标准SMA座，一个模块端IPEX座蓝牙天线：IPEX座5G（选配件）LTE-FDD，LTE-TDD，WCDMA，CDMA，GSM900/1800MHz05用户接口板载预留口用户常用的接口，包括UART，RS485，I2C，电机驱动口，Debug口，DI/DO口05用户接口板载预留口板载预留口风扇口：核心板预留5V风扇接口M.2(BKEY)外扩M.2接口的4G/5G模块SSD固态硬盘：预留M2(MKEY)接口，可接标准NVMe的固态硬盘扩展接口：双排排母，含USB2.0一路，I2C一路，I2S一路，模拟输入两路，3.3V和5V电源05LED指示灯说明1.

系统灯是用户可以自己控制的，控制命令(需要在root用户下)：linux控制命令echo1>/sys/class/leds/system_work_led1/brightness#亮echo0>/sys/class/leds/system_work_led1/brightness#灭Python控制命令importosos.system("echo1>/sys/class/leds/system_work_led1/brightness")05LED指示灯说明2.两个自定义灯是用户可以自己控制的，控制命令(需要在root用户下)：linux控制命令echo1>/sys/class/leds/system_work_led2/brightness#亮#从上到下，第一个自定义灯echo0>/sys/class/leds/system_work_led2/brightness#灭echo1>/sys/class/leds/system_work_led3/brightness#亮#从上到下，第二个自定义灯echo0>/sys/class/leds/system_work_led3/brightness#灭Python控制命令，打开从上到下，第一个自定义灯和第二个自定义灯importosos.system("echo1>/sys/class/leds/system_work_led2/brightness")#从上到下，第一个自定义灯Os.system("echo1>/sys/class/leds/system_work_led3/brightness")#从上到下，第二个自定义灯05任务实施NLE-AI800开发板基本组成2将notebook文件上传至NLE-AI800开发板1NLE-AI800核心板介绍3NLE-AI800开发板的底板板接口介绍综合管理平台系统验证4人脸识别应用案例的体验52使用JupyterLab自带终端运行演示案例1使用MobaXterm运行演示案例3输出结果展示人脸识别应用案例的体验05PC端智慧校园综合管理平台系统验证人脸识别应用案例的体验051.使用MobaXterm运行演示案例（1）使用cd命令进入FaceDetectDemo所在目录；cdnotebook/board-basic-app/FaceDetectDemo（2）使用ls命令查看该路径下的文件和目录（可选）；ls（3）然后执行主入口文件FaceDetectDemo.py，运行项目，并输入密码nlesudopython3FaceDetectDemo.py人脸识别应用案例的体验052.使用JupyterLab自带终端运行演示案例（