基于深度学习算法的垃圾分类图像识别

中文摘要□□在科技发达、智能时代中，深度学习、机器学习以及人工智能成为了高频词。它们看似深不可测，但是又离不开我们的生活。深度学习和机器学习是一种技术、而人工智能一种是一种体现。使用深度学习和机器技术，使机器拥有人的某种大脑结构从而来实现人的某种行为，它不仅解决了很多即无聊又繁琐的工作，从而解放了很多工人每天反复并且厌倦的动作节，节省了大量的时间；而且它在每件工作当中，能够做到比人更加精确，并且不会像人类一样受感情甚至环境的影响导致工作的效率以及成品的达标率降低。正因为人工智能给人们带来了出乎意料的惊喜以及数不胜数的方便，并且人工智能能够满足人类的懒惰性，所以人类对深度学习、机器学习以及人工智能的需求也越来越多。在这种人工智能急剧膨胀的形势下，深度学习与机器学习成了垃圾分类的主要推力。众所周知，垃圾是人类既厌恶又无法摆脱的物体，而垃圾则是铺天盖地层出叠见地出现在我们地视野中，解决垃圾问题给全球带了巨大的挑战。想要有效处理垃圾，垃圾分类是必然的结果，然而垃圾分类过程又是一件既繁琐又耗时的事，而且使用人工进行垃圾分类它不仅需要耗费大量的人工而且它还会大大降低准确率。这时人工智能、深度学习就起了重要的作用。本文正是研究深度学习算法的垃圾分类图像识别。论述多种深度学习算法及网络结构的图像识别处理原理，分析深度学习在图像识别中的突出优势，并且提出垃圾分类在现实社会中面临的问题与挑战。在综合了解研究后，深入探讨使用深度学习算法的卷积神经网络，在大量的有效图像数据集的训练过程中是如何增加一种全新的隐藏层，并且使用这种增加卷积层的方法来得出更高层次的特征提取从而让机器自动提取特征来实现图像的识别。 关键词：深度学习图像识别垃圾分类机器学习人工智能第四章系统设计与分析4.1垃圾分类图像识别系统构成及原理4.1.1图像处理基础知识使机器能够模仿人的大脑对外界图像进行识别分类，图像学习的好坏直接影响机器识别的准确率结果。通过图像进行学习，我们需要大量的图像数据，不管我们的数据图像来自网上下载、网上爬取还是自行拍照，其图像的格式、尺寸大小、光暗程度都是参差不齐，各有不同。如果把形态各异的图片传给机器会增加机器学习得复杂性，导致最终机器训练出来得模型可靠性降低，甚至难以达到目标需求。那么图像预处理有多种方法：直方图均衡、中间滤波、归一化和图像增强等等技术。直方图均衡技术主要使用直方图对比方法更改图片的灰度值，在图像中逐个点进行更改灰度值，使得所有像素点得灰度级别在同一层级上。这种通过直方图均衡技术后可以得出一个比较平缓得直方图，这多数用于医护人员X射线的操作，让黑暗无法识别的区域使用灰度图展现在适合眼睛亮度的地方。中间滤波主要技术是去除噪音，中间滤波把图像周围灰度值反差较大的像素点用周围相似的像素点替代，这样可以去除另类孤立的噪声点。中间滤波处理图像更加清晰而且在处理彩色图像中不会破环彩色像素。归一化对图像预处理中有几何归一化和灰度归一化两种普遍技术，其最终结果是让环境不相同的的图片尽可能地使其具有一致性，让图片有某些固定的不变特性。图像增强技术不考虑降质缺陷，展现图像最具有代表性，也就是最感兴趣的特征区域，遮掩无关紧要的特征区域。总的来说，图像处理的目的都是尽可能地除去让机器无法识别的干扰。简化图像数据，使图像地主要特征更为突出，更便于学习训练。4.1.2垃圾分类图像识别系统构成本设计的垃圾分类图像识别搭建在TensorFlow的环境下实现的。整个项目大体分为图像的收集、图像的处理、卷积神经网络的搭建、模型训练、模型测试、最后用一个GUI界面对项目进行封装。设计完成了一个可识别垃圾图像类别以及可调用摄像头识别垃圾物体的系统。如下图4.1垃圾分类图像识别的系统构成步骤所示：图4.1垃圾分类图像识别的系统构成步骤4.1.3图像识别系统功能分类模块设计分类是图像识别系统的中心环节，系统的最终目标是根据已训练好的模型反馈对应图像的分类类型，然后以一个直观的的图标展现给用户。系统从分类模块中可分为有六个分类模块，分别为Cardboard、Glass、Metal、Paper、Plastic和Trash，而从功能模块中可划分为两大模块，图像识别功能模块与摄像头识别功能模块。其中六大类分类模块是根据机器传入的图片进入功能模块调用训练模型才可得出结果，所以六类分类模块也可看作是功能模块的子模块。如下图4.2系统的模块示意图所示：图4.2垃圾图像识别功能分类模块图由上图在项目系统中从功能模块中可分为两模块，图像识别模块与摄像头识别模块。从分类模块中可分为cardboard、glass、metal、paper、plastic、trash六种类型。图像识别：在项目系统中用户可以使用手机拍照的垃圾图片或网上下载的垃圾图片，但凡是.jpeg、.jpg、.png格式的图片都可以传如系统对该图片进行预测得到垃圾的分类结果。摄像头识别：若用户觉得拍照再传进系统比较麻烦，那么还可以采用直接摄像头的方法。用户可以打开摄像头，把要分类的垃圾放进摄像头拍摄区域，同样也可以得出垃圾的分类结果。注意使用摄像头进行分类预测时，最好不要让多种垃圾同时出现在摄像头中，因为系统目前还只可以在同一时间只识别一种垃圾。Cardboard：主要以相对比较厚硬的纸皮箱为主的类型垃圾，系统根据传入的图片或影像识别Cardboard类型垃圾，此类型垃圾可进行回收，处理后可再次使用。Glass：主要是玻璃类型的垃圾，系统根据传入的图片或影像识别Glass类型垃圾，此类型垃圾特点反光、坚硬、并以透明为主。玻璃类型的垃圾经过加工厂加工处理，还可以循环利用。Metal：主要是金属垃圾类型，系统根据传入的图片或影像识别Metal类型垃圾，此类型垃圾可进行回收，加工处理后可再次使用。Paper：主要以比较薄的纸张类型垃圾，系统根据传入的图片或影像识别Paper类型垃圾，此类型垃圾可进行回收，处理后可作为原材料作用于很多地方。Plastic：主要塑料类型垃圾，系统根据传入的图片或影像识别Plastic类型垃圾，此类型垃圾绝不可以燃烧或者随便扔，因为燃烧会放出大量的有害物质危害人类健康。若随便乱扔塑料垃圾是无法分解，对环境会有很大的危害，此类垃圾也可以拿去收费站，专业人员会根据具体情况进行加工处理循环利用。Trash：是不可回收垃圾，系统根据传入的图片或影像识别Trash类型垃圾，此类型垃圾投入不可回收垃圾桶里，专业人员会根据具体的垃圾又分为是否可用垃圾，有用垃圾进行加工处理再次使用，无用垃圾最后才放到经过处理的填埋场进行填埋。4.2垃圾分类图像识别系统设计4.2.1垃圾图像数据来源本设计的主题是基于深度学习算法的垃圾分类图像识别，所以需要准备的原始数据是各个类型的垃圾图片，根据网上随机下载的垃圾图片，还有小部分垃圾图片数据是收集于自行拍照。把所有收集的数据集合在一起进行分类，主要分为六大类型，其中包括有：cardboard、glass、metal、paper、plastic、trash，并且在本地建立以这六种类型为名的文件夹，如下图4.3垃圾图片数据文件夹分类类型所示。把所有的图片数据上标签，然后归类存放到对应类型的文件夹里，如图4.4cardboard类型的数据图片，图4.5glass类型的数据图片，图4.6metal类型的数据图片，图4.7paper类型的数据图片，图4.8plastic类型的数据图片，图4.9trash类型的数据图片，如下所示：图4.3垃圾图片数据文件夹分类类型图4.4cardboard类型的图片数据图4.5glass类型的图片数据图4.6metal类型的图片数据图4.7paper类型的图片数据图4.8plastic类型的图片数据图4.9trash类型的图片数据4.2.2图像预处理在模型训练之前我们需要对数据进行裁剪，使得数据输入到神经网络的时候所有图像的尺寸大小都是一致的。本设计使用了Python语言和TensorFlow的环境，我们可以把数据图像转化为一种二进制的tfrecords文件。这种文件正是使用tensorflow来运行，python来制作代码的。而且tfrecords在tensorflow中，无论是在拷贝、转移、读取还是存储都是有着非常大的优势。TFRecords文件训练对计算机资源的需求大大的减少了，训练时只需要将已保存好的TFRecords文件的特定格式简单的取出训练即可；如果图像预处理单单使用tensorflow来操作，那么当遇到图像预处理操作复杂时则对训练模型会带来干扰，但是TFRecords他可以不被限制于tensorflow，灵活处理图片数据，逻辑复杂的数据处理也能够完胜；TFRecords在训练占用内存少，训练结束却要比原始数据大，这也就是TFRecords可以快速训练大量数据的原因。在本项目图片数据预处理，首先使用tf.python_io.TFRecordWriter创建一个TFRecords文件夹，遍历自己已经分类好并且已经打上标签的图片，把所有图片的大小使用resize裁剪图片使得图片尺寸大小为227×227，使得尺寸匹配上后面在卷积神经网络输入数据的尺寸。然后把图片类型转为原生的Bytes，进入真正的将图片转化为二进制，使用tf.train.Example和tf.python_io.TFRecordWriter分别对图片格式进行输入和写入，当所有的数据已经输入转化后，然后example对图像和对应的标签进行封装，把序列化为字符串那么图片转为二进制的TFRecords文件就完美结束了。把图片制定为二进制文件，当我们需要读取的时候我们可以使用队列的方法或者直接使用循环然后用ParseFromString进行解析就可。下图4.10是图片预处理与转为TFRecords文件的核心代码：图4.10垃圾图片数据转为TFRecords核心代码图4.2.3AlexNet卷积神经网络搭建得到数据后就到了本设计最为重要的步骤，搭建卷积神经网络了。实验中我选用了AlexNet作为这次的神经网络结构，因为AlexNet在图像识别的领域里有着很大的优势，并且实现起来相对比较简便。在整个AlexNet的神经网络结构里，它可以搭建多层的结构并且参数个数庞大却不会出现过拟合情况而且可以通过GPU双通道的方法来降低机器训练的性能损耗，大大的减少了训练时间的耗费。如下表4-1是本次实验搭建的网络模型结构：表4-1AlexNet卷积神经网络结构搭建表种类输入核步长填充值输出卷积层1227×227×311×114055×55×48×2池化层155×55×48×23×32027×27×48×2卷积层227×27×48×25×51027×27×128×2池化层227×27×128×23×32013×13×128×2卷积层313×13×128×23×31013×13×192×2卷积层413×13×192×23×31113×13×192×2卷积层513×13×192×23×32013×13×128×2池化层313×13×128×23×3206×6×128×2全连接66×6×2564096×1全连接74096×14096×1全连接84096×11000×1如上表AlexNet卷积神经网络结构搭建表看出本次模型的AlexNet共搭建了八层，其中前两层和第五层由卷积层和池化层组合构成，并且还执行数据标准化处理。而第三和四层只有一个卷积层。在第六层往后是三个全连接层，在第一个全连接层中的输入数据是取最后一层的卷积层的输出结果，在第六层的全连接层中经过平滑处理随机删除得到4096个神经元输出结果。全连接层嵌入dropout函数，防止数据过拟合。而处在第八层后面的softmax函数，用来输出最终的分类标签。如下图4.11AlexNet的主要代码所示：图4.11AlexNet卷积搭建主要代码由上图代码可见类和函数的不同分类问题可使用self.NUM_CLASSES在最后全连接层里解决。其实在搭建卷积层前我们许需要定义一些辅助函数，辅助函数可以用于在搭建卷积时创建网络层。还有全连接函数中我们可以使用Tensorboard来监督整个网络结构的激活值、Dropout层以及最大池化层，用tf.summary（）来进行添加并且在tensorboard中显示。在Tensorboard中我们可以查看训练过程的细微变化情况，此网页可记录训练过程的准确率、损失值等数据情况。搭建完卷积网络，还要写一个函数用来加载准备训练的数据。本设计在网上下载bvlc_alexnet.npy文件，调用此文件能够省去自己训练参数的时间，同时电脑硬件标准需求也降低了。该文件主要是别人已经训练好的imageNet参数数据,我们只要根据自己所需调用接口即可，而且使用此文件的参数往往比你自己训练的参数要准确的多。其bvlc_alexnet.npy下载地址和加载预训练参数的函数主要代码如下图4.12所示：图4.12bvlc_alexnet.npy下载连接与加载预训练参数主要代码4.2.4模型训练万事俱备，接下来我们就开始训练模型了。首先我们需要读取已准备好的tfrecords文件，因为tfrecords是二进制文件，所以里面的数据我们需要使用队列的方式进行读取。而tf.train.string_input_producer生成的解析队列数据我们可以使用tf.parse_single_example解析器进行读取，读取出来的数据返回的是一个文件和文件名称，然后把返回的值存放在对象serialized_example中。最后还需要进行协议缓冲，使用tf.parse_single_example把Example解析为张量的形式就可以真正的用于训练操作了。如下4.13是使tfrecords文件解析成队列形式的主要代码图：图4.13tfrecords文件解析成队列的主要代码数据准备好后就要把图片和标签传进已搭建的AlexNet卷积网络中，然后我们还需定义一些dropout和全连接层的变量列表，然后就可以执行整个AlexNet卷积网络结构图了。在卷积神经网络训练过程里，我们还需要设定损失值和优化器，同事使用tensorboard把模型显示出来，这样训练的损失值的收敛情况和与准确率就一目了然。下图4.14数据训练的主要代码：图4.14数据训练的主要代码图网络训练的损失函数与准确率的变化情况我们可以在训练结束后tensorboard网页中查看到，如图4.15所示。图4.16是训练后所保存模型。图4.15AlexNet训练模型的损失值与准确率的变化图图4.16训练模型由上图可得在10000次的迭代训练中，准确率在训练次数达到四千五后开始趋于平稳，达到98%以上。损失函数在训练次数达到七千五后开始趋向平缓，损失值降低到0.05以下。4.2.4模型测试训练结束得到高准确的模型我们就可以开始进行模型测试了，模型测试主要代码把抽样测试的图片传进训练好的模型看测试结果是否正确即可，如下图4.17模型测试的主要代码：图4.17模型测试主要代码在先前的模型训练我们使用了saver.save（）的方法来保存训练的模型，模型在训练时候已经存放好参数，我们可以使用tf.train.Saver（）来载入模型进行模型测试，就不需要每测试一遍又要进行训练，从而达到了节省时间的效果。4.3GUI界面设计项目完成了垃圾图像数据集的准备、图像数据预处理、AlexNet卷积神经网络的搭建、模型训练与模型测试。然后就可以使用PYQT5对整个项目进行封装，设计可视化界面。4.3.1PYQT5简介PYQT5是使用Python模块拼接来实现各种功能，这时一款非常强大的GUI支持库里面有六百多个类，方法与函数，它支持python2.x和python3.x两个版本。Pyqt5不仅可以使用在Window系统中，Mac与Unix等主流的操作系统也可以运行。4.3.2PYQT5界面设计本设计使用PYQT5对基于深度学习算法的垃圾分类图像识别项目进行界面化设计，其界面设计主要包含有主界面、三个按钮以及六个分类图标与准确率柱状图。主界面用来展示打开的图片与摄像头的摄入；按钮分别为OpenImage用来打开本地图片、OpenCamera用来打开摄像头、Recognize对打开的图片或摄像头前的物品进行识别；主界面下方是六种垃圾类型的图片，用来反馈识别结果；在图标的右方是识别物体在各种类型的准确率柱状图的展示。其界面展示图如下图4.18所示：图4.18GUI界面展示图pyqt5-tools中包含有工具QtDesigner、pyuic和pyrcc等。在界面实现首先我们可以使用QtDesigner工具根据自己的需求以拖动的形式画出一个大概的界面,如上图4.18GUI界面展示图，使用pyuic命令把界面.ui文件转换为python文件,此时文件拥有界面设计的主要代码框架，我们在其可以根据自己的需求进行优化改进。使用pyuic的命令把.ui文件转换为python文件中主要有Ui_MainWindow类和retranslateUI（self，MainWindow）函数，其中Ui_MainWindow它继承空类object,相当于一个空容器，要来装MainWindow的对象，还有一个子对象centralwidget，主要用在后面在主窗口中运行；而各个控件的属性就要使用retranslateUI（self，MainWindow）函数来设置。然后使用button.clicked.connect（clicked_function）来设置触发按钮OpenImage和OpenCamera和label.setPixmap用来显示分类的图标。4.4项目结果研究与分析项目的实现最终是作用于垃圾分类，本系统只可识别垃圾的六种类型，分别为Cardboard、Glass、Metal、Paper、Plastic和Trash。因为数据的有限性与局限性所以没能与社会上的垃圾分类达到统一的分类类型标准。但项目的实现最终的思想概念是能用于提高人们进行垃圾投放分类的准确率，以及可提供一个方便的平台给人们进行认识并且学习垃圾分类的所属类型。当系统用户需要对垃圾进行投放但对垃圾投放分类类型有疑惑时，此系统就起到了很重要的作用，用户可以对将要投放的垃圾进行拍照，把所拍的图片传进系统中，那么就可以得到此垃圾的所属类型，并把他准确的放入正确类型的垃圾桶里。除了传送图片以外，用户还可以直接打开摄像头，把将要投放的垃圾放进摄像头区域，同样可以得出结果。这样投放垃圾者每天就再也不用被垃圾弄得焦头烂额，并且再也不会因为垃圾投放错误导致被罚款了。而对于系统还未完善达到与社会垃圾分类类型的标准，这在于数据难于收集，所以该系统在数据的收集方面往后得有待改善，让系统早一步与社会的垃圾分类标准达成统一。整个系统设计从数据收集、数据预处理、卷积神经网络的搭建、模型的训练、模型的测试、到界面的设计就完成了一个简单的垃圾分类图像识别的系统。其系统中的垃圾分类识别结果如下列图所示：Carboard垃圾类型主要是相对比较厚硬的纸皮箱类型垃圾，此类垃圾可以回收加工再循环使用。图4.19Carboard类型识别界面图Glass垃圾类型主要以玻璃为主的类型垃圾，此类垃圾特点反光、坚硬，并以透明为主。玻璃类型的垃圾经过加工厂加工处理还可以循环利用。图4.20Glass类型识别界面图Metal垃圾类型主要以金属为主的类型垃圾，此类垃圾可以回收加工再循环使用。图4.21Metal类型识别界面图Paper垃圾类型主要以相对比较薄的纸张为主的类型垃圾，此类垃圾可以回收经过加工处理可作为原材料使用在各方面。图4.22Paper类型识别界面图Plastic主要以塑料为主的类型垃圾，此类型垃圾很难分解，并且燃烧会放出大量的有害物质危害人类健康。对环境会有很大的危害，所以此类垃圾也可以拿去收费站，专业人员会根据具体情况进行加工处理循环利用。图4.23Plastic类型识别界面图Trash是不可回收的类型垃圾，专业人员根据不可回收垃圾又分为是否可用垃圾，有用的进行加工处理再次使用，无用的最后才放到经过处理的填埋场进行填埋。图4.24Trash类型识别界面图下图是摄像头识别垃圾的效果图图4.25摄像头摄入物体识别界面图以上系统中识别垃圾图片与摄像头识别垃圾的效果图可看出在数据不足够庞大的情况下，识别的准确率不是特别的稳定，例如塑料瓶和玻璃瓶具有相似的透明与反光性，在机器没有充足的学习量下，机器就会对此识别具有一定的困难，会导致准确率不高，在这方面中，系统还需有待提高。第五章项目结论与展望5.1项目结论铺天盖地的垃圾让我们不敢想象未来的生活环境，恶臭的垃圾严重危害人类生活饮食，处理垃圾问题是人类现阶段刻不容缓的任务。垃圾分类是目前最为有效的处理垃圾行为。随着现阶段大数据的火爆发展，人工智能完成人类的任务行之有效。有了人工智能垃圾分类处理就事半功倍了。本文就垃圾分类和人工智能思想展开对垃圾分类和人工智能的研究，探讨其中的紧密联系，以及如何在垃圾分类问题上恰当的使用人工智能技术，并且设计了一款垃圾分类图像识别的小应用。本论文课题以基于深度学习算法的垃圾分类图像识别为题。详细的讲述垃圾在国外与国内的现状问题。展开分析多种深度学习算法在图像识别领域的技术，并以其中的卷积神经网络深度学习算法技术设计了一个垃圾图像识别的分类模型应用。论文在项目设计部分详细的阐述整个项目数据的来源、数据的预处理、卷积神经网络的搭建、模型的训练、模型的测试以及最终项目的封装。最后在一个简单的GUI界面成功的识别垃圾图片与摄像头摄入的垃圾物体。在课题研究与项目设计中，还有很多不足的地方。深度学习本是大数据的一个相对较难的知识点，所以在课题的研究中我查阅了很多的书籍与学习了很多的视频，然后再根据自己的看法与认知对深度学习算法的中的自动编码、受限波尔兹曼机、卷积神经网络等三种算法进行分析研究，记录其中的知识理论与技术要点，所以讲述的知识在于个人的理解会导致有所偏差。在项目的设计里，图片数据是项目的重要因素，但是在项目中数据难求，经过多种途径收集的图片数据量还是不足以充分，而在卷积神经网络训练中，机器仿照人的大脑进行学习，学习量越大，知识的掌握程度就越熟练。相对应在机器中，图片就是他的学习量，图片不够充足，从而导致训练出来的模型识别率相对于比较低。同样在人类学习中，如果一份试卷重复的练习，那么他对这份试卷的熟练程度会达到非常高，但是当遇到不同题目的试卷他就很难做出全队的答案。所以在机器学习图片数据不够充分的时候，当机器识别本身库存已有的图片准确率就相对较高，而识别外界的图片或者摄像头新摄入的物体识别程度就会大大降低。在摄像头模块部分，因为项目没有识别多个物体的功能，所以在项目进行垃圾识别中，如果摄像头摄影区域有多个物体这样会影响系统的识别效果。这就是本项目的最没有完善的部分，还需要往后加入大量的垃圾数据集进一步的研究并完善系统。本课题虽然有不足之处，但是这次项目从项目选题、开题报告的撰写、项目设计的过程、论文内容编写都是自己独立完成的，这不仅使我加深了对深度学习算法的理解，而且还提高了我的动手能力。虽然这是毕业前学校的最后一个作品，但是学习的机会并不仅剩此次，学无止境，不管以后去到哪，都要抱着一颗好学之心。5.2未来展望系统通过深度学习算法设计的一款小型的图片识别应用，其启蒙是人们对政府下达的垃圾分类政策感到有压力。大家都希望社会环境变得更好，但是了解垃圾分类知识的却寥寥无几。在这种形式下，这款垃圾分类的图像识别就相当有用。人们可以通过垃圾图片或者垃圾实物在系统中进行识别得出分类结果，这不仅可以认识垃圾的正确分类类型，而且对于投放垃圾的准确率更高，从而减轻社会的环保工作，达到减少环境污染的目的。深度学习算法不仅仅可实现图像识别，当今的语音识别，自动驾驶等人工智能技术都是深度学习的一部分知识。希望深度学习技术不断地被发掘完善，对垃圾分类更加的精确，减少人工分类。更希望深度学习在社会各个领域上都有伟大的贡献，从而促进国家社会与经济的发展，让社会人们的生活过的越来越美好。参考文献王改华，李涛，吕朦，采用无监督学习算法与卷积的图像分类模型[J]，华侨大学学报（自然科学版），2018（01）陈检，肖思隽，孙秋梅，基于迁移学习算法的糖网病自动筛选系统研究[J]，信息技术与信息化，2018（07）丁昱，李灵巧，杨辉华，针对复杂背景的城管案件图像分类方法[J]，计算机仿真，2019（05）温超，屈健，李展