项目2 口罩识别系统

《口罩识别系统》教学设计课题：口罩识别系统授课对象：中职一年级课型：新授课课时：2~3课时教材分析：结构内容：本节课选自《人工智能通识》的项目四。本节课的主要内容是实现一个口罩识别的应用，一共有4个任务：任务1图像标注工具的使用，学生需要根据实训任务书安装并熟练使用标注工具labelimg；任务2使用任务1中下载好的标注工具对口罩图片进行标注。任务3是对口罩识别模型的训练和读取预训练模型，学生需要理解口罩识别的流程。任务4调用训练好的模型进行口罩识别，学生需要掌握模型测试的过程。地位作用：大数据和人工智能带给社会的变化是无比巨大的，在新冠疫情的冲击下，人工智能算法可以帮助社会进行口罩识别，为我们节省了大量的人力和物力，本节课的学习将带领学生实现一个人工智能项目——口罩识别，该项目讲解了从数据标注、数据处理、模型训练到模型测试整个流程，使同学们能够应对在解决真实企业项目过程中遇到的各种问题。学情分析学习心理特征：本节课的授课对象为中职一年级学生该阶段的学生学习自制力较差，上课注意力易被分散，因此在上课过程中，应该采用讲练结合的方式，让学生能够在实践中学习和巩固课程内容。同时本节课动手操作的任务比较多，因此需要循序渐进，需要以相应的任务为依托，需要小组的合作，需要教师的引导，以便学生在此过程中可以得到实时的反馈；另外由于中职一年级的学生水平各不相同，因此教师在学生操作过程中应该实时观察，引导并鼓励基础较差的学生完成练习。知识基础：中职一年级学生已经可以独立安装实训需要的环境和熟悉人工智能项目的一般流程，数据标注是一个新的知识点，可以让同学动手实操数据的标注，使学生理解数据的重要，理解标签与特征的含义。教学目标知识与技能目标：了解神经网络模型了解神经网络模型熟悉人工智能应用的实现流程具备图像标注的能力具备基于Torch框架实现目标检测模型的训练与预测的能力过程与方法：根据教师发布的实训任务书，自主进行标注工具labelimg的安装并认识该工具。根据教师发布的实训任务书，对口罩图片进行标注根据教师发布的实训任务书和老师的引领下，完成口罩识别预训练模型的加载，并尝试自己训练该模型根据教师发布的实训任务书和老师的带领下，读取测试图片，调用口罩识别模块，保存并显示检测结果。情感态度与价值观：能够体会到人工智能技术的奇妙和给生活带来的乐趣。通过小组合作的方式，培养学生的主动参与的意识，强化自身的责任感，以及增强自己的合作能力。教学重难点教学重点：1、能够使用数据标注工具2、能够加载预训练模型和训练模型3、能够调用口罩识别模块测试新的图片教学难点：1、能够加载预训练模型和训练模型教学方法教法：任务驱动法、练习法学法：自主学习法、小组合作学习法教学准备教学环境：多媒体网络计算机房教学资源：多媒体网络计算机，派Lab平台，PPT课件，微课教学过程教学内容及过程时间分配设计意图一、创设情景【教师活动】小派是某小区物业的一名工作人员，在工作过程中，他发现很多居民进出小区时不按照防疫规范戴口罩。对此，他非常苦恼，于是他想，如果有一个自动检测大家戴没戴口罩的系统就好了，让机器来识别和提醒，节约人力又能解决问题。本任务将基于Torch1.9.0实现对人脸是否佩戴口罩的自动检测。先到右侧实训演示体验一下吧！2分钟该环节通过创设一个生活中真实存在的情景，让学生了解口罩识别的应用场景。二、任务分析【教师活动】小派需要咱们帮助他实现对人脸是否佩戴口罩的自动检测。咱们应该怎么做呢？首先我们需要对如何开展该任务进行分析（该过程可以让学生进行小组讨论回答）预设：首先讨论一下口罩识别的应用场景，接着了解建立口罩识别模型的步骤。【学生活动】小组展开讨论各小组发表自己的任务分析结果【教师活动】对各小组的讨论结果进行评价，最后进行小结，得出最后的任务分析结果：子任务一：图像标注工具的使用子任务二：对口罩图片进行标注子任务三：进行口罩识别模型的训练子任务四：使用训练好的口罩识别模型进行新的图片的测试3分钟该环节主要是对本节课的任务的一个讨论分析，在该过程中，让每个学生对接下来要完成的任务进行分析和讨论，让学生成为课堂的主体，提高学生的参与感，提升学生的自主思考能力。三、新知学习任务一：图像标注工具的使用【教师活动】通过前面几个项目的学习，同学们应该了解了人工智能数据集的特征与标签的含义。那如何对一张图片进行标签信息的处理呢，我们人眼看图片，可以立马知道这张图片中是否有佩戴口罩，但是计算机是没办法像人眼一下识别出来，所以我们需要告诉计算机哪里是口罩，这个就是图像标注。人工智能项目一般都会有数据标注的工作，前面虽然我们经历，这是因为提前就把数据标注的工具做好了。针对不同任务，如图像分类、图像分割、图像识别等，图像标注工具有很多，下面我们以labelImg为例，熟悉工具的常规使用。首先我们下载该标注工具，点击左侧文件夹图标，进入“data-sets”文件夹，选中“labelImg.exe”，并右键选择“下载”，保存到本地。大家下载后，双击exe文件，就可以看面界面了。请同学们进行下载并安装。【学生活动】学生动手操作【教师活动】现在我们就来使用它，点击左侧工具栏中的“Open”，可以选择本机中任一张图片，也可点击“OpenDir”打开本机中存放图片的文件夹。如选择磁盘中某路径下的“samples”文件夹。打开后，可以看到左上角红框表示当前加载的图片，中间显示的就是“1.jpg”对应的图像，右下角红框是“samples”文件夹中的所有图片的“Filelist”。假设我们的任务是训练一个目标检测模型，现在我们要将图片中出现的各种人和物打上标签。点击左侧工具栏的“CreateRectBox”,用来在图片中画标注框，下面我们把口罩框出，并打上“mask”标签。我们再把图片中的书框出，打上标签，可以看到右侧红框是该图片中已经被框出内容的标签名。如果想要删除步骤4中画出的某个标注框，可以先选中图片中的这个标注框，然后能看到左侧工具栏中“DeleteRectBox”由灰色不可点状态变成了黑色可点击状态，这时点击它，被选中的标注框就被删除了。如果图片中有相同的物体，那么标注时就可以使用复制功能，复制图片中已画好的标注框，然后将其拖动到未标注的物体上。点击左侧工具栏中的“Save”，可以选择保存的路径，在该路径下将生成一个xml文件，且xml文件的名字是和被标注图片的名称一样。可以通过以下方式查看xml的标注结果。“path”：表示当前xml标注结果对应的图片路径；“object”：表示图片中被标注的对象，有几个标注框就会有几个object，每一个object中包含了该标注对象的类别标签“name”以及在图片中的位置信息。【预设】教师演示数据标注过程【学生活动】学生实操，对一张图片进行数据标注20分钟在该环节中，教师演示数据标注的过程，让学生提前对数据有个认知。任务二：口罩数据的标注刚刚我们已经学会了如何使用labelimg工具，现在为了训练一个基于神经网络的口罩识别模型，我们需要制作一批带标注的人脸图像数据。对任意一张出现人脸的图片，将人脸框出，并打上标签。如果人脸没带口罩，标签为“nomask”，如果带了口罩，人脸标签为“mask”。为了便于批量标注，我们将保存图像的文件夹打开，然后逐张图像进行标注即可。如下图所示的文件夹，你也可以点击左侧文件夹图标，进入“data-sets”下载该文件夹对应的压缩包。使用“CreateRectBox”，在口罩上画一个矩形框，并填写label为“mask”；使用“save”功能生成一个标注结果xml文件，并保存到磁盘目录中，默认是存放在被标注图片的同级目录中后缀为xml的同名文件。点击“NextImage”，就可以打开该文件夹下的下一张图片。按照同样的标注方法，对两张人脸进行标注并保存：没带口罩，标记为“nomask”；带了口罩，标记为“mask”;请同学们选择两张图片，一张带口罩的和一张不带口罩，进行标注。【学生活动】学生通过实训任务书或者派Lab平台上的实训指南，进行数据的标注【教师活动】对学生的操作做一些指导，及时解决学生在采集过程中遇到的问题。15分钟在该环节中，通过演示法向同学们展示了口罩数据标注的全过程，然后让学生自己实践，模仿训练，加强学生的动手操作能力。任务三：进行口罩识别模型的训练【教师活动】刚刚同学们已经成功的完成了数据的标注了，那现在我们来进行口罩识别模型的训练。实现口罩识别模型使用的是目标检测中的YOLO模型。目标检测是计算机视觉中比较常见的任务，它用来找到图片中的某些物体，，除了识别这些物体的种类，同时标出这些物体的位置。YOLO就是一种可以实现目标检测的模型，它的全称是youonlylookonce。YOLO使用卷积神经网络学习的特征来检测图像中的物体。本任务将基于YOLO实现口罩识别。同学们只需要掌握YOLO模型的作用就可以了。因为关于YOLO模型的结构已经封装在了train.py文件中，我们直接调用就可以的。下面请同学们打开派lab，打开项目4中的任务3，我们通过6个步骤完成本任务。第一步和第二步：是约定俗成的解压资源文件和导包的操作。点击左侧文件夹图标，进入“data-sets”，可以看到压缩包“MaskDetect.zip”，包含了该项目的数据集以及封装好的代码库，使用下面的命令将其解压到当前目录中。该项目实现的源码都封装在“train.py”中，可以使用下面的命令将其导入环境中，在后续的步骤中可以调用它内部的方法。第三步：处理xml标注数据，在任务2中，我们标注了一批人脸戴与不戴口罩的数据，标注结果均是xml文件，下面我们要对其做进一步的处理，提取有用信息。调用“process_xml”方法，配置好图像路径、标注文件的路径、以及结果保存路径即可。这里先处理训练集再处理验证集。第四步，读取数据集，从train包中调用process_traindata()函数，根据以上步骤的文件路径，将数据集划分为训练与测试。请同学们按照实训任务书，完成数据的读取。【学生活动】参考实训任务书或派Lab平台上的实训指南，完成数据的读取。【教师活动】第五步：由于从头训练一个好模型需要时间较久，我们提前预训练了一个口罩识别模型"./model_data/yolov4_maskdetect_weights1.pth"，我们可以使用标注的数据在此模型上继续迭代，得到一个效果更好的模型。调用“load_premodel”函数，配置好模型路径、类别标签文件路径即可。运行结果中显示“Finished!”加载完成。请同学们思考一下，预训练模型对于整个模型构建有什么意义？【预设】预训练模型是提前训练好的模型，是性能比较稳定的模型。使用预训练模型来测试新的数据，不仅可以节约时间，还能获得稳定的准确率。有时一些任务也是通过对预训练模型的微调完成模型的构建。【学生活动】学生动手实操，并思考回答问题【教师活动】第六步：如果需要从头训练一个口罩识别模型，请同学们思考需要哪些参数，这些参数各自代表什。要构建一个人工智能应用，一般需要标注好的数据、模型结构，关于模型结构，读取数据都封装在train.py文件中，我们调用train_model方法，，配置好训练集、验证集、迭代次数、学习率、模型结构等参数即可。注：使用cpu环境训练时，把Batch_size设小一点，否则容易报出超出内存的错误。同学们在私底下可以将迭代设置的大一些，知道损失函数收敛了或者到达一定的迭代次数，就训练好了。训练完得到的是最好的模型的权重，我们再调用“save_model”方法，配置好得到的模型权重，模型保存的地址和名称即可。【学生活动】学生动手实操，并思考回答问题30分钟在该环节中，教师通过演示、任务驱动方法，演示法带领学生熟悉模型训练的流程，任务驱动法引导学生进行举一反三，巩固旧知识，并在练习中发展问题，解决问题。任务四：使用训练好的口罩识别模型进行新的图片的测试【教师活动】在上一个任务中，我们进行了模型的训练，得到的是一个训练好的最优的模型，在本任务中，就使用这个模型对一张新的图片进行测试。在开始实训之前，确认一下当前环境中是否已经安装了torch1.7.1，如果在任务3中已经安装，且实训环境没有关闭，可以直接开始任务4的实训；否则，重新安装torch包：!pipinstalltorch==1.7.1。第一步：解压资源文件和导入一些包和封装好的函数。第二步：我们准备模型，顺利完成了任务3的同学，可以将自己的模型通过下面的方式上传到本任务的数据路径下；任务3中训练的模型我们上传到了网盘，如果完成了任务3的同学可以不用下载，如果没有完成任务3的同学，可以去下载使用。模型地址如下：链接：/s/11djm79ak78I_Udz4AcoS_g提取码：xkv8注意：无论是自己的模型还是下载的模型，都需要将模型上传到该项目环境中。方法如下：点击左侧文件夹图标，进入“model_data”,点击上传按钮，找到本地的模型，等待上传完成即可。请同学动手实操，将模型上传至本任务中。【学生活动】学生动手实操。【教师活动】现在我们对预训练模型进行测试，先读取测试图片，定义图片路径，然后用Image.open模块打开文件，模型测试方法封装在yolo.py文件中，先实例化一个YOLO类，然后对yolo调用detect_image函数，进行口罩识别，返回的是一个带标签的图片，带了口罩的图片会框出人脸部分，并标注“mask”和置信度，没带口罩的图片同样会框出人脸，但是标注“nomask”和置信度。接下来就可以对这张图片进行保存和显示。请同学们自己上传一张图片进行测试吧。【学生活动】学生动手实操。【教师活动】刚刚同学们完成的非常好。我们可以批量展示测试效果，大家打开派lab，执行步骤7的代码。在界面的右边将出现一个交互面板，这里可设置一个图片目录，以“face_mask_datasetes/val_mask/images/”为例，你可以任意选择该目录中的图像进行测试。

另外，如果你想要用自己的图片测试，可以将图片上传到这个目录下（重新设置一个目录也可以，但要将下面代码中的参数path_image修改