基于Jetson嵌入式的智能化洗鞋机研究获奖科研报告

基于Jetson嵌入式的智能化洗鞋机研究获奖科研报告

摘

要：随着城市生活节奏的加快，人们对于自动化设备和智能家居的需求越来越多。如智能扫地机器人[1]，智能家居化空调[2]，洗鞋机[3-4]。传统的洗鞋机仅从清洗和消毒的角度考虑了洗鞋机的实用性，并没有考虑鞋的材质，有些鞋子需精细护理，若对所有鞋子进行相同方式的清洗，可能会对做工精细的鞋子形成磨损。本文以Jetson嵌入式系统为核心，基于OpenCV、TensorFlow的组合式框架，并结合多轴机器臂，设计了一种可以识别鞋子材质类型，并根据这些类型使用指定的方式清洗保养的洗鞋机。

关键词：洗鞋机;OpenCV;图像处理;神经网络;算法

1.Jetson简介

Jetson是一款由Nvidia设计的新型SoC，它的GPU计算能力强大，功耗较低，拥有Wi-Fi、摄像头接口和GPIO输出接口，最新版的还有两个摄像头接口。现有的洗鞋机中大多使用80C51和STM32系列的芯片进行控制[5]，若需实现分类和识别部分，使用JetsonNano嵌入式系统不仅可以控制机械臂，还可以在本地端识别鞋子的类型，并能根据新添加进来的鞋子训练神经网络，生成更多材质的鞋子类型，进而使用合适的方案清洗，实现所设计的功能。

2.设计部分

机器设计部分参考了文献[6]的部分设计，整个洗鞋机包括：Jetson嵌入式及配备的摄像头模块、Jetson与外设的通信模块、电机模块和外设模块、伸缩支架、多种类洗涤剂、烘干风扇、多种类毛刷、清洗仓。

洗鞋机可进行上传云端功能、清洗烘干并存放在存储箱中等待客户取走等流程。若洗鞋机检测到物品不属于认识的任一类鞋子，洗鞋机会判断是否为鞋子，若不是则会把鞋子退返，否则洗鞋机会把鞋子的材质上报云端，待云端发送指令或根据洗鞋方式执行一个最佳的清洗流程。完成流程后，洗鞋机询问云端或机主是否需要待机。若不需待机，洗鞋机继续工作。在需要节省功耗时，洗鞋机会进入待机模式，只有洗鞋机收到需要工作、启动的指令才会被唤醒。

3.识别算法

在本文的识别部分里使用开源的OpenCV库来识别鞋子的基本类型，OpenCV库可以调用Jetson的摄像头模块拍摄鞋子图像，并用相关算法判断鞋子类型，不同材质的灰度分布特性不同，可使用不同模板检测鞋子材质、类型相关度。

3.1余弦灰度相似度算法

余弦灰度相似度算法利用灰度间相似性判断图像相似性[7]，借助直方图灰度分布相似性确定鞋子类别，将测试集和模板集的余弦灰度相似算法记作下式：

（1）

式中是模板灰度级向量，是测试鞋子灰度级向量，当和的图像材质较为相似的时候，将趋近于1，θ将趋近于0°。否则，将趋近于0，而θ将趋近于90°。基于以上分析，定义以下的准则以判断鞋子材质分类。

（2）

（3）

当测试材质对应模板材质的余弦相似度大于阈值t时，材质被归为材质类，后续部分加入了神经网络部分来辅助判别鞋子的信息。对于材质不相似，灰度相似的图片，该算法可以进行较精确的分类，只要合理地设置阈值，洗鞋机就能正确地进行分类。

3.2TensorFlow分类算法

当OpenCV识别结果与所有类别鞋子不相似时，使用基于TensorFlow的ShoeClassifier[8]神经网络识别，此方式依赖Jetson的GPU模块，功耗较高，若使用余弦灰度相似度算法，设定洗鞋机尽可能不使用TensorFlow。在实际訓练中[8]，训练次数达到25000次后，精确度已达到90%左右。因此，洗鞋机只需要在云端训练好权重，将这个权重文件输入给Jetson核心板即可识别。

4.结论

相比于传统洗鞋机使用的单片机和