深度学习技术与应用 课件 第15章 面部情绪识别算法

深度学习技术与应用DeepLearningTechnologyandApplicationcontents目录第十五章面部情绪识别算法01.人脸表情数处理Facialexpressiondataprocessing02.情绪分类器训练EmotionclassifiertrainingPART1人脸表情数处理01.人脸表情数处理FacialexpressionprocessingFer2013人脸表情数据集处理表情数据集由35886张人脸表情图片组成，其中，训练集28708张，测试集和私有验证集各3589张图片，每张图片是由大小固定为48×48的灰度图像组成，共有7种表情，分别对应于数字标签0～6。01.人脸表情数处理FacialexpressionprocessingFer2013人脸表情数据集处理在根目录下创建build目录，将fer2013.csv文件放入build中、test_set文件夹放入项目根目录下，并在根目录创建datasets文件夹。01.人脸表情数处理FacialexpressionprocessingFer2013人脸表情数据集处理

首先读取并构建各个数据集存放的目录，并将数据集文件划分成训练集、测试集和验证集三个集合。01.人脸表情数处理FacialexpressionprocessingFer2013人脸表情数据集处理将数据转换为图⽚和标签形式01.人脸表情数处理FacialexpressionprocessingFer2013人脸表情数据集处理编写可视化函数，将转换后的数据绘制出来，⽅便查看PART2情绪分类器训练02.情绪分类器训练Emotionclassifiertraining情绪分类器训练搭建模型:设置训练参数，并采⽤VGG16⽹络进⾏改进，组成⼀个更加深度的卷积神经⽹络。02.情绪分类器训练Emotionclassifiertraining情绪分类器训练搭建模型:设置训练所用到的参数：每次输入训练数据量为128，分类数量为7种表情，训练批次70,图像尺寸48，并设置好数据集根目录与模型存储目录。在classModel模型类中分别创建三个模型02.情绪分类器训练Emotionclassifiertraining情绪分类器训练构建网络模型，它是一个线性堆叠模型，各神经网络层会被顺序添加，CNN采用VGG16网络进行改进，组成一个更加深度的卷积神经网络。defbuild_model(self):self.model=Sequential()#以下代码将顺序添加CNN网络需要的各层，一个add就是一个网络层#卷积层

self.model.add(Conv2D(32,(1,1),strides=1,padding='same',input_shape=(img_size,img_size,1)))#激活函数层

self.model.add(Activation('relu'))#卷积层

self.model.add(Conv2D(32,(5,5),padding='same'))self.model.add(Activation('relu'))#池化层

self.model.add(MaxPooling2D(pool_size=(2,2)))self.model.add(Conv2D(32,(3,3),padding='same'))self.model.add(Activation('relu'))self.model.add(MaxPooling2D(pool_size=(2,2)))self.model.add(Conv2D(64,(5,5),padding='same'))self.model.add(Activation('relu'))self.model.add(MaxPooling2D(pool_size=(2,2)))#Flatten层self.model.add(Flatten())#Dense全连接层self.model.add(Dense(2048))self.model.add(Activation('relu'))#Dropout层

防止过拟合提高效果self.model.add(Dropout(0.5))#Dense全连接层self.model.add(Dense(1024))self.model.add(Activation('relu'))self.model.add(Dropout(0.5))#Dense全连接层self.model.add(Dense(num_classes))#分类层，输出最终结果self.model.add(Activation('softmax'))self.model.summary()02.情绪分类器训练Emotionclassifiertraining情绪分类器训练构建train_model训练模型函数，采用SGD优化器进行训练。02.情绪分类器训练Emotionclassifiertraining情绪分类器训练构建模型存储函数，保存模型网络结构和训练权重。02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块构建MTCNN的各个组建路径构建mtcnn人脸检测器对象02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块构建facesdetectionmtcnn和单图显示函数imshow02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

随机测试⼀个图像02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

将训练结果进⾏预测，查看效果02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

获取emoji表情图⽚⽂件并构建EmotionDetector表情检测器02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

获取emoji表情图⽚⽂件并构建EmotionDetector表情检测器02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

获取emoji表情图⽚⽂件并构建EmotionDetector表情检测器02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

获取emoji表情图⽚⽂件并构建EmotionDetector表情检测器建立绘制函数：02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

获取emoji表情图⽚⽂件并构建EmotionDetector表情检测器绘制出检测结果，在检测到的人脸上绘制矩形框，并将检查后的表情检测结果用中文显示02.情绪分类器训练Emotionclassifiertraining使用MTCNN人脸检测模块

获取emoji表情图⽚⽂件并构建EmotionDetector表情检测器绘制出检测结果，在检测到的人脸上绘制矩形框，并将检查后的