基于视频数据集的情感分析方法研究

基于视频数据集的情感分析方法研究目录1引言 [31]其优秀的设计和强大的功能使得wxPython成为PythonGUI开发领域的佼佼者。Jython是Python的一个实现版本，它可以与Java无缝集成。除了标准的Python模块，Jython还利用Java的模块来增强其功能。实际上，Jython几乎包含了标准Python中所有不依赖于C语言的模块。在用户界面方面，Jython可以使用Swing、AWT或SWT等Java的GUI框架。此外，Jython可以动态或静态地编译成Java字节码，这使得它在与Java集成和交互方面更具优势。本节主要运用了Tkinter库，它是Python的标准图形用户界面（GUI）库。借助Tkinter，Python能够迅速构建GUI应用程序，由于Tkinter内置于Python安装包中，用户只需安装好Python，即可直接导入Tkinter库。那么本文是如何来创建一个基于视频模态的情感分析GUI程序的呢？首先导入tkinter模块创建窗口，接下来创建控件并显示控件和窗口，将其命名为基于VGG的情感识别系统。该系统采用的网络为VGG网络，其中拼接了七个情感标签：“愤怒”、“恐惧”、“高兴”、“厌恶”、“悲伤”、“惊讶”、“正常”，并显示出了各自的百分比。该系统的人脸识别使用的是OpenCV自带的人脸识别，并非是人工智能的网络识别。关于OpenCV的原理与使用，在本文的3.1节有详细说明，将“基于VGG的情感识别系统”在VScode中运行可以发现本地机摄像头呈现开启状态，可以做到实时识别摄像头前人物表情的情感状态，呈现结果如图13。图13基于VGG的情感识别系统4实验结果分析4.1结果分析为综合评估模型的分类性能，本文采用准确率(Acc)作为评估指标，即：Acc=TP+TNTP+FP+FN+TN（5）在（5）式中：TP，TN为被准确分类的样本数据；FP，FN为被错误分类的样本数据。4.1.1基于VGG的情感识别系统图13为从动态视频中截取的一帧效果图，从中我们可以看到其右侧显示的情感检测结果为happy（快乐），与左侧肉眼所能直观看到的表情一致，该情感检测结果由七大情感标签中占比最大的情感产生，存在略微不足的地方。例如,该系统识别到愤怒情感占比9.82%，悲伤情感占比19.94%，这两个与快乐相比的极端情感占比略高，可见该系统对人像面部表情的情感识别并非完全准确。另外经过不停的使用该系统测试面部表情，测试结果准确率如表1所示。表1测试结果表情准确率happy(高兴)90%fear(恐惧)40%angry(愤怒)80%sad(悲伤)70%surprise(惊讶)90%disgust(厌恶)normal(正常)30%80%从表1可以看出，该系统对“高兴”、“正常”的面部情感识别较为准确，对其余情感的识别略微不准确，尤其是“恐惧”最难准确识别，该系统对人脸面部表情的情感识别有所欠缺，还有待改进。4.1.2CNN模型在该模型中导入一段录好的视频，将调用本机摄像头的命令行用“Ctrl+/”注释掉，在VScode的终端里面对该模型进行测试，得到的结果如图14所示。aneutralbangry图14部分效果图经过多次导入视频以及调用本机摄像头进行测试，发现该模型对“happy（高兴）”、“neutral（中立正常）”、“angry（愤怒）”的情感识别较为准确，具体的准确率如表2所示。表2测试结果表情准确率happy(高兴)90%fear(恐惧)30%angry(愤怒)75%sad(悲伤)70%surprise(惊讶)90%disgust(厌恶)normal(正常)20%80%从上表可以看出，一些脸部动作比较大的表情容易被准确识别到，悲伤、恐惧这种细腻的情感较难识别。4.1.3Resnet模型将同样的视频导入该模型进行测试，接着调动本机摄像头对电脑前的人脸进行面部情感分析，与前面的模型使用相同的面部表情，其中某几帧效果图如图15所示。图15效果图由表3可以看出Resnet模型对“happy(高兴)”的识别效果最好，对“disgust(厌恶)”的面部情感识别效果稍有欠缺。但总体来说比前面两种模型的情感识别效果更好一些。表3测试结果表情准确率happy(高兴)100%fear(恐惧)50%angry(愤怒)80%sad(悲伤)75%surprise(惊讶)90%disgust(厌恶)normal(正常)30%85%4.1.4三种模型对比从表4可以直观的看出三种模型均对“happy(高兴)”有良好的识别效果，对“fear(恐惧)”和“disgust(厌恶)”的识别效果稍有欠缺，还有很大的进步空间，可能是由于测试集相关表情不足导致，后期将继续优化。表4三种模型的准确率对比HappyFearangrysadsurprisedisgustneutralVGG90%40%80%70%90%30%80%CNN90%30%75%70%90%20%80%Resnet100%50%80%75%90%30%85%从表4可以看出Resnet模型对面部情感的总体识别效果优于其他两种模型，相比于VGG与CNN模型，Resnet模型具有更高的人脸表情识别率及准确率。4.2总结与展望人脸表情识别的应用范围很广,在多个领域均展示了它的作用,使人机交互变得更加智能化、人性化,为人们带来更多的方便。但人脸表情识别技术中仍然有需要攻克的难题,即特征提取,在现有的卷积神经网络中,残差网络的性能较为优越,本文因此构建出其他两种模型来与Resnet进行对比实验，验证了Resnet的优越性与准确性，实现并完成了本文的相关研究工作，例如为了满足人脸表情识别技术的发展趋势和课题要求,研究和学习人脸表情识别的理论知识。首先深入了解深度学习的相关知识,系统学习卷积神经网络的构成以及当前常用的残差网络结构。此外,还了解了当前部分表情数据集,打下了关于深度学习的理论基础。本文在面部表情的情感分析研究方面取得了一定进展，然而仍存在一些不足之处，有待进一步改进，如下所述：1、由于每类表情的样本数量不相同,部分表情样本数量较少,导致准确率相对较低,后续将考虑自己搜集表情图像,生成数据集,以提升网络测试效果。2、人类社会环境的是复杂多变的,本文所使用的数据集大部分是在宿舍条件下的,光照环境较单一,后续将设计针对非受控环境下的面部表情的情感识别网络,以提升其识别准确率。参考文献陈郑淏,冯翱,何嘉.基于一维卷积混合神经网络的文本情感分类[J].计算机应用,2019,39(07):1936-1941.瞿涛.基于深度学习的方面级情感分类方法研究[D].南京信息工程大学,2021.

刘泰廷.基于深度学习的人脸面部信息识别算法研究[D].长春工业大学,2020.

李栋.基于多模态融合的情绪识别系统设计与实现[D].沈阳工业大学,2023.

陈志韬.基于深度学习的图像目标识别研究[D].哈尔滨工程大学,2018.周俊宇,赵艳明.卷积神经网络在图像分类和目标检测应用综述[J].计算机工程与应用,2017,53(13):34-41.肖允鸿.基于视觉和文本的标注短视频情感分析研究[D].南京邮电大学,2022.SimonyanK,ZissermanA.VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition[C]//The3rdInternationalConferenceonLearningRepresentations.ICLR,2015.HeK,ZhangX,RenS,etal.DeepResidualLearningforImageRecognition[C]//2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2016.RumelhartDE,HintonGE,WilliamsRJ.Learningrepresentationsbyback-propagatingerrors[J].Nature,1986,323.CaiY,LandisM,LaidleyDT,etal.Multi-modalvertebraerecognitionusingTransformedDeepConvolutionNetwork[J].ComputerizedMedicalImaging&Graphics,2016,51:11-19.高震宇.基于深度卷积神经网络的图像分类方法研究及应用[D].中国科学技术大学,2018.肖允鸿.基于视觉和文本的标注短视频情感分析研究[D].南京邮电大学,2022.余福.基于深度学习的变电站指针仪表读数识别方法研究[D].东北电力大学,2022.申旺发.基于深度学习网络的海马体多图谱融合算法研究[D].宁夏大学,2019.田程.基于深度学习模型的谣言检测技术研究[D].东南大学,2021.卜玉婷.基于双微阵列的语音命令词识别研究[D].桂林电子科技大学,2020.

王学嘉.基于三维可变形卷积的视频质量增强技术研究[D].哈尔滨工业大学,2021.杨偲乐.基于混合域注意力机制的卷积网络和残差收缩网络的轴承故障诊断[D].北京邮电大学,2020.

叶宇光.基于深度残差网络的图像识别技术研究[J].韶关学院学报,2020,41(06):18-22.徐国豪.毫米波辐射图像去模糊重建与目标检测算法的研究[D].华东交通大学,2022.杨齐训.配网带电作业目标实时检测方法研究[D].山东大学,2022.耿立新.基于图像去模糊网络的目标跟踪系统研究[D].西安电子科技大学,2021.邓辉.基于卷积神经网络的人体姿态估计研究[D].贵州大学,2023.赖玉芳.一种基于残差网络技术的多因子进化算法[D].广东工业大学,2022.罗柱,龙婧.基于OpenCV图像识别技术的金属环热胀冷缩实验研究[J].物理通报,2024,(03