情感计算的研究进展课件

1、情感计算的研究进展 杨勇（副教授、博士研究生） /yangyong9/19/20221重庆邮电大学计算机学院 杨勇概述情感识别情感建模情感推理9/19/20222重庆邮电大学计算机学院 杨勇1.1 情感计算研究的意义目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。9/19/20223重庆邮电大学计算机学院 杨勇1.2

2、情感计算的概念MIT媒体实验室Picard教授于1995年提出了情感计算的概念。情感计算是与情感相关，来源于情感或能够对情感施加影响的计算。情感计算包括情感识别、情感表示、情感建模、情感交互等四个方面。 9/19/20224重庆邮电大学计算机学院 杨勇中国人工智能学会人工心理与人工情感专业委员会主任、北京科技大学王志良教授提出了人工心理理论。人工心理是利用信息科学的手段，对人的心理活动（着重是人的情感、意志、性格、创造）更全面地再一次人工机器（计算机、模型算法等）模拟，其目的在于从心理学广义层次上研究人工情感、情绪与认知、动机与情绪的人工机器实现的问题。 9/19/20225重庆邮电大学计算机

3、学院 杨勇人工心理学是一门交叉科学，其理论根源来自脑科学、心理学、生理学、伦理学、神经科学、人类工学、感性工学、语言学、美学、法律、信息科学、计算机科学、自动化科学、人工智能等。应用范围主要是情感机器人的技术支持、拟人机械、人性化商品设计、感性市场开发、人工心理编程语言、人工创造技术、人类情感评价计算机系统(虚拟技术)、人类心理数据库及数学模型、人际和谐环境技术和人机和谐多通道接口等。9/19/20227重庆邮电大学计算机学院 杨勇1.3 国内外研究现状MIT：/projects.phpCMU东京大学早稻田大学日内瓦大学 情绪研究实验室伯明翰大学9/19/20228重庆邮电大学计算机学院 杨勇

4、重庆大学：智能服务、增强现实、环境感知、智能手表等，注重软件方面的研究。海南大学：军用无线局域网结构中的可穿戴计算机。哈工大：“具有六种面部表情及视觉的类人头像型机器人及行为研究” ，于2004年研制出具有八种面部表情的仿人头像机器人系统，并进行了表情实验，实现了喜、怒、哀、乐、悲伤、严肃、吃惊、自然(中性)等8种表情。9/19/202210重庆邮电大学计算机学院 杨勇1.4 典型应用索尼公司的AIBO狗 ：第一个实现规模商品化的宠物机器人（2006年生产6万只，收益10亿美元）， QRIO、SDR-4X等宠物机器人。为有情感交互能力的机器人及相关的研究打开了想象的空间。它们的共同特点是：对外

5、界刺激有反应能力；能与人进行生动的交流，这种交流除了语言，还有面部表情、语凋和身体姿态等。9/19/202211重庆邮电大学计算机学院 杨勇卡内基梅隆大学的机器人接待员Valerie：Valerie的面孔形象出现在一个能够转动方向的移动屏幕上，向访问者提供一些天气和方位方面的信息，还可以接电话、解答一些问题；并且Valerie有自己的性格和爱好，情感表达较为丰富。9/19/202212重庆邮电大学计算机学院 杨勇2.1 多模情感识别概述语音图像姿态其他传感器数据预处理特征抽取特征选择情感模型心理学基础情感建模各种情感识别方法识别结果9/19/202214重庆邮电大学计算机学院 杨勇2.2 情感

6、特征情感行为识别：面部表情识别语音情感识别姿态识别生理模式识别：皮肤电反应呼吸心率体温脑电波等9/19/202215重庆邮电大学计算机学院 杨勇特征抽取：人脸检测人脸边缘检测特征点定位基于样例学习的面部特征点自动标定算法 特征点跟踪光流跟踪9/19/202217重庆邮电大学计算机学院 杨勇预处理光照不理想遮挡侧面人脸9/19/202218重庆邮电大学计算机学院 杨勇2.3.2 语音识别特征（ERS: 37）：短时能量及短时平均幅度 基音周期 短时过零率 语速 线性预测系数 共振峰 Mel倒谱 和LPC倒谱 9/19/202219重庆邮电大学计算机学院 杨勇噪音的预处理：语音增强发现抗噪性能比较

7、好的语音特征模型补偿9/19/202220重庆邮电大学计算机学院 杨勇2.4 识别方法常用的识别方法：ANNSVM模糊规则基于模板的方法HMM贝叶斯理论决策树9/19/202221重庆邮电大学计算机学院 杨勇新的尝试（？）集成学习理论粒计算理论覆盖机器学习理论流形学习（manifold learning ）理论9/19/202222重庆邮电大学计算机学院 杨勇3.2 Ekman 情感分类Ekman：根据达尔文的理论，提出存在6种基本情感：“愤怒”、“厌恶”、“恐惧”、“高兴”、“悲伤”和“惊讶” ，基本情感直接影响情感分类，与生命体的基本特征息息相关，其他情感都可以由这6种基本情感构成，而且这

8、6种情感在文化传统间的差异很小，因此，对这6种情感的研究优于其它情感模型。9/19/202224重庆邮电大学计算机学院 杨勇3.3 OCC模型1988年，Ortony和Collins提出了著名的认识评价情感模型OCC模型，这个模型根据不同的情感刺激提出了22类情感 ，并对产生情感的刺激特征做了详细描述。该模型一经发表就被视为本领域的经典情感模型，但因为模型过于复杂OCC模型被应用于实际的应用并不多。2003年，Ortony改进了该模型，刺激的分类趋向于积极和消极两类，同时提出还应具有自己的目标、评价标准和喜好这三种固有意识。9/19/202225重庆邮电大学计算机学院 杨勇情感模型训练过程中要

9、解决的问题是确定一个角色的心理模型参数，再由该参数模型产生情感表现的观察序列。可以采用BaumWelch算法用于情感模型的参数估计。该方法基于统计模型规律，而不是基于行为模式的方法，建模简单，易于构造不同性格人物的特点。9/19/202227重庆邮电大学计算机学院 杨勇3.5基于心理能量思想的人工情感模型心理学基础：动力心理学。把人的心理系统看成一个动力学系统。心理动力学系统也需要能量（即心理能量）。心理能量就是推动个体进行各种心理活动、行为的能力，有两种基本表现形式：自由的心理能量和受约束的心理能量。心理能量对外的表现形式有两个方面：一方面体现为驱动个体进行感兴趣或与当前需要相联系的各种活动

10、；另一方面（情感能量）伴随着各种活动的进行以及根据活动目标是否达到、需要是否得到满足，而以各种情感状态和情绪表达的方式体现出来。9/19/202228重庆邮电大学计算机学院 杨勇绝对的情感能量分配方程相对的情感能量分配方程情感能量分布描述空间9/19/202229重庆邮电大学计算机学院 杨勇3.6 新的尝试？基于粒计算理论的情感模型9/19/202230重庆邮电大学计算机学院 杨勇4.1 情感推理的研究拟人情感推理的研究还是难题。情感状态的确定受到心情、情绪、个性、周围环境等诸多因素的影响。9/19/202231重庆邮电大学计算机学院 杨勇4.2觉察上下文计算 与情感推理4.2.1觉察上下文计

11、算（Context Aware Computing） 概念：指系统感知，获取，解释，管理和使用上下文信息，动态地调整自身的行为，为用户提供更满意，更智能的信息和服务。9/19/202232重庆邮电大学计算机学院 杨勇上下文信息：身份上下文。空间中的人的身份，各物体的ID空间上下文。人或物体的绝对位置，相对位置，人的朝向，是否在运动，站着还是坐着等时间上下文。是上午还是下午，工作日还是休息日，哪个季节环境上下文。环境的声音分贝值，亮度，湿度，温度等社会关系上下文。比如对一个家庭来说，空间中的人是否是家的主人，朋友还是陌生人是相关的上下文。事务上下文。比如房间的功能，是会议室还是咖啡间，房间中是否在开会，用户是否忙等。9/19/202233重庆邮电大学计算机学院 杨勇定义情感的上下文结合上下文信息和情感识别的状态进行拟人