机器学习在情绪识别中的应用研究

1、    机器学习在情绪识别中的应用研究    李思琦摘要：人类的感情理解一直都属于人工智能的重要课题，计算机在人机交互中如果能够智能地理解人的感情变化就能够提供更好的服务。因为情绪通常是经由一些外在因素刺激而产生的主观体验（如喜、怒、哀、惧等情感），并伴有外部表现的变化（如面部表情、身体行为和声音语调等）和生理反应的变化（如皮下的特定活动、心率的节奏等）。假设数据的观测值有效可靠，那么就可以根据这些数据把潜在的情绪状态推测出来。情绪在人类的感知、推理、决策的过程中扮演着极其重要的角色，长期以来，对情绪的研究只存在于心理学和认知科学领域。近年来，随着人工智

2、能的发展，情绪研究与机器学习方法相结合产生了基于机器学习的情绪识别这一研究方向。本文分为以下几部分进行介绍：首先是机器学习的发展历程以及原理，然后是机器学习在情绪识别中的应用，最后是对未来机器学习在情绪识别方向发展的展望。关键词：情绪识别;机器学习;微表情;宏表情一、前言人类在对外界事物进行探索和认知的过程中，会产生诸如喜悦、悲伤、愤怒、恐惧等主观情感。人们把对客观事物的态度体验以及相对应的行为反应，称为情绪。情绪作为一种不同于认识和意识的心理形式，不同程度上影响着人的学习、工作效率以及行为模式。如今随着人工智能发展走上正轨，各项人工智能技术都已经适用于学习生活中的各个方面。其中最重要的一个方

3、面就是人和计算机的信息交互。要给计算机加入人的一些基本功能如视觉和听觉，这样人与计算机就消除了基本的隔阂1。分别从面部表情、语音语调、生理信号和身体动作与姿势等多种角度对情绪进行识别。对面部表情和语音语调的识别是基于非生理信号的情绪识别方法。面部表情识别方法是根据表情与情绪间的对应关系来识别不同的情绪，在特定情绪状态下人们会产生特定的面部肌肉运动和表情模式，如心情愉悦时嘴角会上翘，眼部会出现环形褶皱; 愤怒时会皱眉，睁大眼睛等。语音语调识别方法是根据不同情绪状态下人们的语言表达方式的不同来实现的，如心情愉悦时说话的语调会比较欢快，烦躁时语调会比较沉闷。但是基于非生理信号识别方法缺点是不能保证情

4、绪识别的可靠性，因为人们可以通过伪装面部表情和语音语调来掩饰自己的真实情绪，而这种伪装往往不易被发现。其次，对于患有某些特殊疾病的残疾人来说，基于非生理信号识别的方法往往难以实现。通过心率、呼吸、眼动、血氧或皮肤电等生理信号是基于生理信号的情绪识别来推测或者解释心理活动，具有自然、高效、真实可靠的特点。在此基础上，为了让人和计算机的交互更加常态化，需要给计算机加入情感理解和情感识别，让计算机能够很自然地和人交流，拥有情感理解和情感识别的计算机是人工智能未来的发展趋势 2。二、机器学习的源起与发展（一）机器学习的发展历程机器学习是基于经验数据的函数估计问题，它通过从已知的观测样本中学习并归纳出数

5、据的模型或规律，然后通过这个规律或模型推测出未知的输入数据所对应的未知输出数据。对于机器学习而言，已经发展出以下一些流派，他们都在历史上繁荣一时，占据过一定的地位。五十年代中后期，神经网络的“连接主义”这一阶段为热烈时期20世纪60年代中期到70年代末，基于逻辑表达的“”符号主义“。这个时期的研究方向是模拟人类大脑的学习过程，并采用逻辑推理或图结构作为机器学习机制的描述，但当时缺乏大内存和高处理速度的计算机以及庞大的数据库支持，也没人知道如何能让一个程序学习这么大量的知识。20世纪80年代至21世纪初，基于数学统计的“统计学习”时期，这一时期在全世界范围内又掀起了机器学习研究的热潮，用隐单元来

6、计算与学习非线性函数的方法，从而克服了早期神经元模型的局限性。加之计算机硬件的突飞猛进的发展 ，使神经网络的实现成为现实。1995 年提出了支持向量机的概念，2001年提出了随机森林算法，这些都是机器学习领域的重大突破。2006年，首次提出了深度学习的概念，并指明可以通过逐层初始化来解决深度神经网 络在训练上的难题。大大提高了人工神经网络的能力，对支持向量机形成了挑战，开启了深度学习的浪潮。（二）机器学习在情绪识别中的应用越来越多的学者对情绪识别展开研究，用于情绪识别的对象一般有面部表情、语音、语义、姿态和生理信号。如赵国朕（2016年）等人的基于生理大数据的情绪识别将脑电、皮肤电、心电、呼吸

7、、皮肤温度、面部肌电、眼电等数据进行机器学习发现支持向量机在基于生理大数据的情绪实时识别应用中优势明显3。蒋小梅等人为准确有效地对情绪状态进行识别，对4种情绪状态高兴、生气、悲伤、紧张下的多生理信号（心电、肌电、呼吸、皮电）进行预处理和特征提取，利用relieff算法进行特征选择，利用j48决策树分类器最终实现对4种情绪状态的识别。j48决策树分类器对4种情绪状态的平均识别率为96.74%4。慕永利等人結合卷积神经网络，提出了一种基于集成卷积神经网络的情绪原因识别方法5，实验结果表明，该文的方法在情绪原因识别方面取得了较好的效果，对于情绪归因的方法研究具有一定的指导作用。甚至还有对于残疾人士采

8、用机器学习对其情绪进行准确识别，（鲁心灵，2018）利用支持向量机对残疾人情绪孤独心理进行识别，明该模型的精确度为93.33%6。人类表达情绪的表情还包括微表情，其是人们情绪和心理健康的真实表现。在临床诊断、情感计算、国家安全询问、谎言检测等领域有普遍的应用。与普通的面部表情相比，微表情具有显著的特征持续时间短（1/3至1/25秒）和低强度。它们在持续时间短的情况下与宏观表达明显不同，并且显示出抑制的影响。肉眼难以察觉微观表达。即使是受过训练的人也能够正确区分微观表达，准确率低于50%。李等人借鉴动态纹理识别的方法提取微表情特征，用支持向量机做分类器7。在高速微表情数据库上测试得到48.78%

9、的识别率。颜等人得到了63.41%的识别率8。吴奇等人提出采用过滤器（特征提取）和支持向量机（分类器）来识别微表情9。基于运动的特征提取的方法，（杨文杰，2018年）发现深度卷积算法使用人脸表情为数据进行情绪识别方法，准确率高达85.4%，识别率以及系统鲁棒性都有较好的效果10。从之前的研究发现，基于机器学习基于微表情的情绪识别的研究得到的识别率并不高，近几年研究者将深度学习应用于微表情识别中，识别率有很大的提升，目前研究并不多，仍有很大的潜力可以挖掘。人脸表情分析在人机交互中起着至关重要的作用。表情识别与人脸面部的运动变化有关，它提供了丰富的关于人的情感、内涵及其它内在状态的信息。尽管目前仍

10、旧没有关于“情感”一词的精确定义，但人类情感的存在是毫无疑问的，而且它是我们的日常生活的重要组成部分。人类能够理解“情感”，并能针对它人的“情感”做出相应的反应，正因为如此，人类的之间的交互活动才显得如此丰富多彩。三、展望情绪识别是一个高度综合和复杂的研究领域。通过机器学习理论与认知科学、心理科学的结合，研究人与人交互的情绪表达的特征，找寻到其内在真实的或统计意义上的规律，将有可能实现人与计算机和谐的情绪交互。这首要的问题就是要使计算机能够识别情感状态，而生理信号情感识别以其特有的，潜在的优势备受重视。但这方面的研究还很不成熟，未来希望能有更多的采用生理信号结合机器学习算法来进行情绪识别。随着

11、计算机等硬件条件的发展、大数据时代的到来，深度学习在计算机视觉领域备受关注。目前已成为计算机视觉等众多科研领域的研究热点。在情绪识别领域，深度学习很好地解决了传统机器学习对人脸姿态、光照、遮挡物 等敏感问题，提高了表情情绪识别的鲁棒性。深度学习虽在人脸表情等分类领域具有优良的性能，但目前其理论知识尚不完备，大多数学者都是通过调参的方法去提高识别率，把深度学习当作一个黑匣子使用，如何用理论知识指导实践，用实践促进理论知识的理解是研究者需要解决的。综上所述，如何处理与理解深度学习与传统机器学习的关系，取长补短，是未来情绪识别研究的重点与方向。参考文献：1潘峥嵘贺秀伟.人脸表情识别在智能机器人中的应

12、用研究j.计算机技术与发展，2018，28（2）：173-177.2崔凤焦表情识别算法研究进展与性能比较j.计算机技术与发展，2018，28（2）：145-149.3赵国朕， 宋金晶， 葛燕， 姚林， & 文涛. （2016）. 基于生理大数据的情绪识别研究进展.计算机研究与发展， 53（1）， 80-92.4 蒋小梅，张俊然，陈富琴， 等.基于j48决策树分类器的情绪识别与结果分析j.计算机工程与设计，2017，38（3）：761-767.5 慕永利，李旸，&王素格. （2018）.基于e-cnn的情绪原因识别方法. 中文信息学报，32（2）.6鲁心灵，李欣，田红梅，李安巧，杜若飞，&陈林.（0）.残疾人情绪孤独研究基于机器学习的实证研究.第十一届全国运动心理学学术会议.7李等人.自发的微表达数据库