课堂环境下多人脸检测的改进算法研究

课堂环境下多人脸检测的改进算法研究

0课堂环境设置面部识别包括面部识别和面部识别。人脸检测是围绕面部图像分析研究的基础，其主要包括人脸位置框定现代人脸检测算法还引入了健壮的特征提取方法，例如尺度不变特征变换（ScaleInvariantFeatureTransform,SIFT)课堂环境通过对公开数据集以及自建课堂环境多人脸数据集的构建，将数据划分为10人以下、11～20人、21～30人、31～40人以及41人以上不同的数据进行分析。本文详细研究了传统的人脸检测算法以及基于深度学习的算法，总结各类算法的主要思想，并基于全卷积头部检测器（FullyConvolutionalHeadDetector,FCHD）算法进行锚点设计的改进。实验对比分析了各类算法的性能，验证了所提算法的有效性。1基于课堂环境的数据集设计1.1照片照片的预处理数据集1）图片采集。首先，要明确图片数据的组成，其中包括数据的存储形式、图片中包含的人脸数量、角度以及时间等，还有数据的标注信息等。另外，选择的数据来源，可以通过自生成样本、互联网爬虫获取等。采集到的数据需要对图片内的信息进行人工标注，每个人有唯一的标志。根据研究的算法实际需求，共采集两类数据，mydata、newdata用于人脸检测；data用于人脸识别。两个数据集来源于本校的两个不同的班级，总共130人，其中人脸检测数据由80个不同的学生照片组成，有将近2000张照片，每张照片的分辨率为1980×1080，并且每一张照片上都不低于5人，平均每张照片25人。另一个数据来源于2017级另外一个本科生班级，有51个学生，拍了1800张照片，每张照片分辨率为1280×720，每张照片不低于8人，平均每张照片上20人。第三个数据集有来自本实验室的19人，总共500张照片，分辨率为1280×720，平均每张照片12人。三个数据集都是从不同的角度、不同时间点对目标人脸进行采集，以保证数据的多样性。2）图片处理。两类数据集都是通过标记工具对图片数据进行人工标注，标记工具labelImg是一种图形图像注释工具，核心代码是基于Python编写，labelImg是Python内置库，可以直接利用命令行pipinstalllabelImg安装并打开，是一个图形化界面，操作非常简单、便捷，其注释信息以PASCALVOC格式另存为xml文件，另外还提供YOLO格式。通过labelImg操作后带有许多标记信息，同时标准过程会自动生成矩形框，人工只要控制框的大小，并给相应的人脸命名，与基本的软件使用是一致的，操作非常灵活简单。3）图片整理。接下来就是解析xml文件，获取文件信息，将标签中目标绘制在图像中，并返回。通过一系列对原始图像进行标记操作，得到大量的xml文件，需要将这些标记文件与原始图像进行对应关联，将原始图片与xml文件命名一致，这样才能将人脸框标记到相对应人脸上。1.2反复训练模型如今深度学习技术与人脸识别方法已经进行了进一步结合，在实际实验中通过对数据进行针对性学习可以改变数据集测试的结果，反复训练模型以达到较好的效果。即使在LFW(LabledFacesintheWild）这种数据量较大的数据集上提升识别率近100%，但这也并不能证明该人脸识别技术在实际应用场景中的真实结果，因为实际应用场景与标准数据评估之间还有很大的区别。在文献2多公证检测课堂环境2.1传统面部检测方法2.1.1基于开放cv的哈ar级联合算法人脸检测是计算机视觉中最流行的研究领域，是一种用于数字图像中的计算机技术。OpenCV2.1.2基于mlib的面部检测算法Dlib2.2基于深度研究的面部检测方法随着近几年深度学习全卷积头部检测器（FCHD)2.3实验数据集简介为了对多人脸检测进行研究并评价相关性能，本实验所使用的硬件平台为：操作系统为Windows10；处理器为AMDRyzen52600X六核；内存为金士顿DDR42400MHz，采用GPU加速，利用PyTorch深度学习框架进行训练和测试。先介绍交并比（IntersectionoverUnion,IoU）的概念，其介于0到1之间，交并比表示真实框与预测框之间的重叠比，即交集与并集之比。IoU值越高说明预测框的结果越准确。二分类中AP(AveragePrecision）属于重要指标，由Precision-Recall曲线计算而来。通常模型的平均精度越高，即AP值越大则表示该模型的准确度越高。第二个指标平均精度均值（meanAveragePrecision,mAP）基于AP的基础上，对每个类别的平均精度取平均值即可得到，mAP的大小一定在[0,1],mAP是目前精确度评估标准中最重要的一个，实验中就是用这个指标。数据集包含自建数据集mydata、newdata和网上爬虫教室数据partB，其中训练数据来源于partB内的2405张，mydata内的131张，newdata内的635张，总共3171张图片；测试数据来源于mydata内的1135张图片。为了方便模型训练，将图片统一缩放成640×480像素大小，缩放照片的同时也必须要把之前的标签文件内的坐标信息进行缩放，这样才能匹配起来，从而把实验需要的重要坐标信息提取出来。2.3.1照片准确性检验传统的检测模型都是利用已经完全训练好的库函数，直接调用封装好的函数无需自己手动训练，因为这些库函数是通过许多实验不断调整参数而设定的，其效果已经到达最优水平。传统检测算法评估标准来源于预测框与真实框之间面积的交并比，如果交并比大于0.5则表示人脸框标记准确为正值，其余为负值，按照不同的人数标准再分别求和取平均数得到每一类照片的准确率。首先进行传统的人脸检测方法对比实验，表2结果表明，传统检测算法整体来说对于多人脸检测的效果不佳，整体准确率不超过20%，原因在于照片中的人脸大部分角度不是正脸，传统的人脸检测主要原理是依据脸部的关键点进行定位，以此来判定是否有人脸。这类方法需要被检测的人脸露出关键点来进行定位检测，因此非正脸图片造成检测的重大阻力，一般正常自然环境下，大部分多人脸都不是以完整的正脸形式出现，因此对于遮挡、角度偏移的多人脸检测面临一些问题。通过实验结果也表明Dlib不能检测小脸，主要原因是因为它训练数据的最小人脸尺寸过大，后续可考虑自己训练小目标人脸；预测框通常排除前额的一部分甚至下巴的一部分，检测结果不完整；在严重遮挡下也不能很好地工作，不适用于侧面和极端非正面。两种传统的人脸检测方法都存在的问题是光线条件较好并且都是正脸时较容易被检测到，侧脸遮挡都不能被检测，因此两种方法不适合实际场合应用。2.3.2多人脸实验研究基于深度学习的检测方法与传统的检测方法完全不同，在实验中首先需要考虑预置的边界框（锚点），这些边界框（锚点）是通过设置一组不同比例的候选框生成的。而在选择候选框时，主要是通过有效接受域来选择边界框。一般方法都会生成三种不同比例（0.5、1、2）、三种不同大小边界框号（8、16、32）共九组不同尺度的候选框。这样需要训练的参数量也非常庞大，考虑到自建数据图片中人脸像素较小，并且人脸框基本上都属于方框，因此采用较小的尺寸的边界框号，也只利用比例为1∶1的方框，这样极大减少了工作量。在VGG16的理论接受域大小是228像素，利用的边界框尺寸大小为32×32和64×64。边界框尺寸计算公式为跨距×长宽比×边界框号，其中，前面结构总层跨距为16，边界框号为2和4，长宽比为1。前面的13个卷积层、13个激活结构ReLU以及13个池化层均采用VGG16默认的参数，后几层使用μ=0、σ=0.01的标准正态分布采样的随机权重进行初始化。针对多人脸数据的特殊性，将锚点数量有效减少，训练时间也得到有效减少，整个模型是选用32×32和64×64像素大小的两组锚点，训练30次得到模型。图2(a）为网上爬虫测试数据，图片上有10个人，但模型只检测出8个人，还有一个无效检测框；图2(b）为自建数据测试结果，整张照片上有32个人，只检测出27个人。通过测试结果表明，该模型还是具备一定的检测能力，对于有遮挡、角度有偏移的人脸也能检测出来，并且图2(a）中坐后面的同学人脸较为模糊，像素不高，该模型具备一定的学习能力，但是也会产生非人脸检测框，说明整个模型还是存在些许问题，还要不断调整优化。图2(b）中前排有位遮挡面部50%的同学未能检测出来，而用双手遮挡脸部的同学可以检测出来，说明该模型对于遮挡程度一般的人脸有检测能力，但是偏移量过多或者有障碍物时该模型无法检测出脸部。以上检测结果说明该模型基本上具备多人脸检测功能。在实验中，采用不同的锚点大小分别进行训练，实验结果表明锚点大小为32×32、64×64的对于人脸检测整体效果最好。其次，是16×16、32×32、64×64锚点组合，说明人脸尺寸整体偏小。通过表3实验说明，长宽比设置成1∶1，能够有效地减少锚点的数量、整个参数量和简化模型结构。同时，整个模型对于10人以下的人脸检测能达到90%的平均准确率，对于40人以上人脸的检测该模型还是存在较多问题，需要针对不同角度、不同人脸偏移程度以及特殊情况下导致人脸尺寸过小这类问题进行重点研究。该实验权重衰减设置为0.0005，训练的学习率设置为0.001，整个模型进行30次迭代。真实值与预测框之间的交并比设置为0.5，每完成1次循环后，以0.1的衰减率进行学习率的调整。综合上述五类所有数据：总训练数据3171张照片，训练数据准确率为71.5%；总测试数据1135张照片，测试数据准确率为64.8%。3实验结果分析本文是基于解决多人脸识别领域中存在的人脸偏移、遮挡、角度等问题而开展的研究。首先，针对人脸数据集构建了两类面向课堂环境的人脸数据集，先从传统的人脸检测算法入手进行说明，对基于OpenCV的Haar级联分类器算法和基于Dlib的人脸检测算法进行对比分析；然后重点介绍了基于FCHD的人脸检测算法的模型结构以及所用的损失函数。在实验中重点讨论了10人以下、11～20人、21～30人、31～40人以及41人以上五类不同的数据分别进行对