情感计算综述.doc

情感计算情感计算综述控制工程1102班 李晓宇 2111103172摘要：情感计算是人工智能的一个分支。情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能。本文分别从情感计算的研究历史、应用前景、研究内容和理论框架来阐述情感计算，以便使更多的人了解情感计算。关键字: 情感计算；情感识别；情感理论框架Summary of Affective ComputingAbstract：Affective computing is a branch of artificial intelligence. The aim of affective computing is to give computers to recognize, understand, adapt to peoples emotional expression and the ability to establish harmonious human environment, and to have higher computer, full of intelligence. This paper explain affective computing through the study of history of affective computing ,applications in the future, research content and theoretical framework, so that more people understand the affective computing.Key word: Affective computing; emotion recognition; the theoretical framework of emotional1、引言情感计算的概念是在1997年由MIT媒体实验室Picard教授提出，她指出情感计算是与情感相关，来源于情感或能够对情感施加影响的计算。中国科学院自动化研究所的胡包刚等人也通过自己的研究，提出了对情感计算的定义：“情感计算的目的是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，并使计算机具有更高的、全面的智能”。在较长一段时期内，情感一直位于认知科学研究者的视线以外。直到20世纪末期，情感作为认知过程重要组成部分的身份才得到了学术界的普遍认同。当代的认知科学家们把情感与知觉、学习、记忆、言语等经典认知过程相提并论，关于情感本身及情感与其他认知过程间相互作用的研究成为当代认知科学的研究热点，情感计算（ affective computing ）也成为一个新兴研究领域。 众所周知，人随时随地都会有喜怒哀乐等情感的起伏变化。那么在人与计算机交互过程中，计算机是否能够体会人的喜怒哀乐，并见机行事呢？情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统，即赋予计算机像人一样的观察、理解和生成各种情感特征的能力。2、研究现状让计算机具有情感能力首先是由美国MIT大学Minsky教授 （人工智能创始人之一） 提出的。他在1985年的专著The Society of Mind中指出，问题不在于智能机器能否有任何情感，而在于机器实现智能时怎么能够没有情感。从此，赋予计算机情感能力并让计算机能够理解和表达情感的研究、探讨引起了计算机界许多人士的兴趣。这方面的工作首推美国MIT媒体实验室Picard教授领导研究小组的工作。情感计算一词也首先由Picard教授于1997年出版的专著Affective Computing中提出并给出了定义，即情感计算是关于情感、情感产生以及影响情感方面的计算。目前情感计算的研究普遍受到学术界和企业界的关注，国际知名公司，如IBM和British Telecom等均成立了专门的情感计算研究小组。国际知名大学也纷纷建立情感计算研究小组。总的来说，情感计算的研究均处于起步阶段。MIT目前的工作侧重于有关情感信号的获取（如各类传感器的研制）、情感计算的应用和可穿戴计算机。日本学者的研究侧重于感性信息处理方面。在情感计算的研究过程中，与之密切相关的可穿戴计算机的研究近几年来也得到了迅猛的发展（于1997年10月在美国波士顿召开第一次国际研讨会后已连续举行多次国际会议）。这种计算机的特点是可以巧妙地构成日常穿戴的一部分（如眼镜、手表、项链、手镯、腰带、鞋、帽、服装等），使计算机和其穿戴者始终保持形影不离。可穿戴计算机可为情感计算的研究提供一个很好的研究平台，另外情感计算的最终表现形式可能是可穿戴计算机或植入人体的芯片，从而将情感计算、移动计算和计算机融合而真正成为个性化的人机融合。虽说情感计算是一门新兴学科，但以往的研究也为其提供了一定的知识积累。从情感方面来讲，人类心理学和生理学的研究为情感计算提供了坚实的基础；从相关研究内容来讲，如人脸及面部表情识别、人脸及面部表情合成、手语识别与合成、气味识别等也是学术界一直研究的重点；同样各种医学器械、测谎仪等的研制成功也为情感计算提供了一定的依据。目前人工智能的研究发展已经达到了较高的水平，同时它的研究内容也在逐步扩展和延伸。对人的情感和认知的研究是人工智能的高级阶段，它的研究将会大大促进拟人控制理论、情感机器人、人性化的商品设计和市场开发等方面的进展，为最终营造一个人与人、人与机器和谐的社会环境做出贡献。心理学家认为，人工智能下一个重大突破性的发展可能来自与其说赋予机器更多的逻辑智能，倒不如说赋予计算机更多的情感智能。对人的情感和认知的研究是在人工智能理论框架下的一个质的进步。因为从广度上讲它扩展并包容了感情智能，从深度上讲感情智能在人类智能思维与反应中体现了一种更高层次的智能。对人的情感和认知的研究必将为计算机的未来应用展现一种全新的方向。在这个领域的研究中主要包括情感计算（Affective Computing）、人工心理（Artificail Psychology）和感性工学（Kansei Engineering）等。2.1 国际研究现状MIT对情感计算进行全方位研究，正在开发研究情感机器人，最终有可能人机融合。其媒体实验室与HP公司合作进行情感计算的研究。IBM公司的“蓝眼计划”，可使计算机知道人想干什么，如当人的眼瞄向电视时，它竟知道人想打开电视机，它便发出指令打开电视机。此外该公司还研究了情感鼠标，可根据手部的血压及温度等传感器感知用户的情感。CMU主要研究可穿戴计算机。日本在对感性信息处理的研究中，有众多研究单位参与，主要集中在研究所和高校。特别值得一提的是，日本欧姆龙公司研制生产的机器玩具曾风行一时，最高价达4000美元。随后其它公司也进行机器狗等玩具的生产。显然情感计算的研究不仅具有重要的科学和学术价值，也存在着巨大的商机，有很好的经济效益。2.1 国内研究现状国内研究主要侧重于单元理论与技术的研究与实现。哈尔滨工业大学以高文教授为主， 研究多功能情感机，主要包括表情识别，人脸识别，人脸检测与跟踪、手语识别、手语合成、表情合成、唇读等内容，并与海尔公司合作研究服务机器人。中国科学院计算技术研究所王兆其的研究组正在研究带有表情和动作的虚拟人。北京工业大学正进行多功能感知机同情感计算的融合研究。中国科学院自动化研究所主要研究基于生物特征的身份验证。南京航空航天大学、南京机械高等专科学校研究语音情感计算。重庆大学主要研究智能服务、增强现实、 环境感知、台智能手表等，注重软件方面的研究。海南大学主要研究军用无线局域网结构中的可穿戴计算机。中科院心理学所、生物所主要注重人生理学、心理学方面的研究。特别是中科院计算所高文教授提出的多功能感知技术，为情感计算的研究提供了很好的知识积累。更为重要的是国家自然科学基金项目将和谐人机环境中的情感计算理论研究列为1998年信息技术高技术探索第六主题。这说明，情感计算的研究在我国也逐步得到认识，其工作也在渐渐展开。3、情感计算的应用前景很显然，开展认知科学研究不仅仅是为了满足人类智慧上的好奇心，更重要的是服务于人类，提高人类的生活质量。情感计算有广泛的应用前景。计算机通过对人类的情感进行获取、分类、识别和响应，进而可以帮助使用者获得高效而又亲切的感觉，并有效减轻人们使用电脑的挫败感，甚至帮助人们理解自己和他人的情感世界。计算机的情感化设计能帮助我们增加使用设备的安全性，使经验人性化，使计算机作为媒介进行学习的功能达到最佳化。在信息检索中，通过情感分析的概念解析功能，可以提高智能信息检索的精确度和效率。在电子商务领域，在设计购物网站和股票交易网站等时充分利用人的情感因素的作用，以改变客流量。针对人的肢体运动，可以设计一系列运动和身体信息捕获设备，例如，将智能座椅应用于汽车的驾座上，用于动态监测驾驶人员的情感状态，并提出适时警告。多模式的情感交互技术能构筑更贴近人们生活的智能空间或虚拟场景，而机器人、智能玩具、游戏等产业则能构筑出更加拟人化的风格和更加逼真的场景。 情感计算是一个高度综合化的研究和技术领域。通过计算科学与心理科学、认知科学的结合，研究人与人交互、人与计算机交互过程中的情感特点，设计具有情感反馈的人与计算机的交互环境，将有可能实现人与计算机的情感交互。情感计算研究将不断加深对人的情感状态和机制的理解，并提高人与计算机界面的和谐性，即提高计算机感知情境，理解人的情感和意图，作出适当反应的能力。4、情感计算的基本内容人们期盼着能拥有并使用更为人性化和智能化的计算机。在人机交互中，从人操作计算机，变为计算机辅助人；从人围着计算机转，变为计算机围着人转；计算机从认知型，变为直觉型。显然，为实现这些转变，人机交互中的计算机应具有情感能力。情感计算研究就是试图创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统。 情感被用来表示各种不同的内心体验（如情绪、心境和偏好），情绪被用来表示非常短暂但强烈的内心体验，而心境或状态则被用来描述强度低但持久的内心体验。情感是人与环境之间某种关系的维持或改变，当客观事物或情境与人的需要和愿望符合时会引起人积极肯定的情感，而不符合时则会引起人消极否定的情感。情感具有三种成分：主观体验，即个体对不同情感状态的自我感受；外部表现，即表情，在情感状态发生时身体各部分的动作量化形式。表情包括面部表情（面部肌肉变化所组成的模式）、姿态表情（身体其他部分的表情动作）和语调表情（言语的声调、节奏、速度等方面的变化）；生理唤醒，即情感产生的生理反应，是一种生理的激活水平，具有不同的反应模式。概括而言，情感的重要作用主要表现在四个方面：情感是人适应生存的心理工具，能激发心理活动和行为的动机，是心理活动的组织者，也是人际通信交流的重要手段。从生物进化的角度我们可以把人的情绪分为基本情绪和复杂情绪。基本情绪是先天的，具有独立的神经生理机制、内部体验和外部表现，以及不同的适应功能。人有五种基本情绪，它们分别是当前目标取得进展时的快乐，自我保护的目标受到威胁时的焦虑，当前目标不能实现时的悲伤，当前目标受挫或遭遇阻碍时的愤怒，以及与味觉（味道）目标相违背的厌恶。而复杂情绪则是由基本情绪的不同组合派生出来的。情感测量包括对情感维度、表情和生理指标三种成分的测量。例如，我们要确定一个人的焦虑水平，可以使用问卷测量其主观感受，通过记录和分析面部肌肉活动测量其面部表情，并用血压计测量血压，对血液样本进行化验，检测血液中肾上腺素水平等。确定情感维度对情感测量有重要意义，因为只有确定了情感维度，才能对情感体验做出较为准确的评估。情感维度具有两极性，例如，情感的激动性可分为激动和平静两极，激动指的是一种强烈的、外显的情感状态，而平静指的是一种平稳安静的情感状态。心理学的情感维度理论认为，几个维度组成的空间包括了人类所有的情感。但是，情感究竟是二维，三维，还是四维，研究者们并未达成共识。情感的二维理论认为，情感有两个重要维度：愉悦度（也有人提出用趋近-逃避来代替愉悦度）；激活度，即与情感状态相联系的机体能量的程度。研究发现，惊反射可用做测量愉悦度的生理指标，而皮肤电反应可用做测量唤醒度的生理指标。情感是一种内部的主观体验，但总是伴随着某种外部表现，即表情。面部表情、姿态表情、语调表情三种表情被称之为体语，构成了人类的非言语交往方式。面部表情是指通过眼部、颜面和口部肌肉的变化来表现各种情感状态。面部表情不仅是人们常用的较自然的表现情感的方式，也是人们鉴别情感的主要标志。研究表明，人脸的不同部位具有不同的表情作用，例如，眼睛对表达忧伤最重要，口部对表达快乐与厌恶最重要，前额能提供惊奇的信号，而眼睛、嘴和前额等对表达愤怒很重要。使用特定的仪器可以对面部的微小表情变化进行研究，甚至可以区分真笑和假笑：人在真笑时面颊上升，眼周围的肌肉堆起，大脑左半球的电活动增加；而人在假笑时仅有嘴唇的肌肉活动，下颚下垂，大脑左半球的电活动不明显。脸部运动编码系统FACS通过不同编码和运动单元的组合，可以在脸部形成复杂的表情变化，其成果已经被应用于人脸表情的自动识别与合成。还有MPEG-4 V2视觉标准，定义了3个重要的参数集，即人脸定义参数、人脸内插变换参数和人脸动画参数，其表情参数具体数值的大小代表人激动的程度，可以组合多种表情以模拟混合表情。目前面部表情的研究侧重于对三维图像的更细致的描述和建模，也注重使用复杂的纹理和较细致的图形变换算法，以达到生动的情感表达效果。人的姿态即身体表情，一般伴随着交互过程而发生变化，并表达着一些信息。而语调表情是通过语音的高低、强弱、抑扬顿挫来表达说话人的情感。在人际交往中，语音是人们最直接的交流通道。通过语音人很容易就能感受到对方的情感变化，就像“你真行!”这句话，既可以表示赞赏，也同样可以表示讽刺或妒忌。情感语音研究目前主要侧重于情感的声学特征的分析。语音中的情感特征往往通过语音韵律的变化表现出来（如当一个人发怒时，讲话的速率可能变快，音量变大，音调变高等），但也可同时通过一些音素特征（如共振峰、声道截面函数等）表现出来。中国科学院心理研究所、中国科学院自动化研究所、清华大学计算机系等机构都在从事相关研究。在人机交互研究中已使用过很多种生理指标，例如，皮质醇水平、心率、血压、呼吸、皮肤电活动、掌汗、瞳孔直径、事件相关电位、脑电EEG等。生理指标的记录需要特定的设备和技术，在进行测量时，研究者有时很难分离各种混淆因素对所记录的生理指标的影响。情感计算研究的内容包括三维空间中动态情感信息的实时获取与建模，基于多模态和动态时序特征的情感识别与理解，及其信息融合的理论与方法，情感的自动生成理论及面向多模态的情感表达，以及基于生理和行为特征的大规模动态情感数据资源库的建立等。5、情感计算的理论框架情感的产生与运行是一个非常复杂的过程，情感计算必须建立在科学的情感理论的基础之上，才是现实的，没有一个全新的科学的情感理论作指导，要研发真正意义上的情感机器人是不可能的。这种全新的情感理论必须突破心理学的局限，也必须突破社会科学的局限，成为一门独立的、横跨自然科学与社会科学的交叉性科学理论，其根本目的在于：情感数字化。这种全新的情感理论就是“数理情感学”，它以“统一价值论”为理论前提，采用数理逻辑方法分析情感现象与情感规律的科学。 归纳起来，“统一价值论”与“数理情感学”主要通过如下步骤共同完成情感机器人的理论框架。 (1) 实现所有不同价值的统一度量改造物理学的“耗散结构论”，从物理学角度定义“价值”概念（即广义有序化能量），使价值理论建立在自然科学的基础之上；实现生活资料使用价值的统一度量；然后，实现劳动价值的统一度量；实现生产资料使用价值的统一度量。这样一来，所有价值都有着统一、明确而稳定的度量标准或度量尺度：能量尺度（焦耳）。 (2) 推导出“广义价值规律”由“最大有序化法则”推导出“最大价值率法则”（价值率就是单位时间内产出价值与投入价值的比值，在经济领域，价值率就是利润率）； 由“最大价值率法则” 推导出“选择倾向性法则”或“中值价值率法则”； 由“中值价值率法则” 推导出“广义价值规律”。广义价值规律的基本内涵就是：事物的价值率不断趋近于主体的中值价值率。或者说，事物的价值率高差（即事物的价值率与主体的中值价值率之差）不断趋于零。 (3) 揭示认知、情感与意志的哲学本质及相互关系知（认知）、情（情感）、意（意志）是人类心理活动的三种基本形式，分别是对事实关系、价值关系和自身行为关系的一种主观反映；价值关系是一种特殊的事实关系，自身行为关系是一种特殊的价值关系，因此，情感是一种特殊的认知，意志又是一种特殊的情感； 认知主要是关于“是如何”的认识，情感主要是关于“应如何”的认识，意志主要是关于“怎么办”的认识；情感以认知为基础，认知以情感为导向，意志以情感为基础，情感以意志为导向。 (4) 建立情感的数学模型情感与价值观的哲学本质都是“人脑对于事物价值特性的一种主观反映”，其中，情感是对事物价值特性的间接性和相对性反映，而价值观是对事物价值特性的直接性和绝对性反映；价值观的客观目的在于识别“事物的价值率”，可以采用所有不同事物的价值率所组成的数学矩阵来描述一个人的价值观系统（即ijmn）；情感的客观目的在于识别“事物的价值率高差”，可以采用所有不同事物的价值率高差所组成的数学矩阵来描述一个人的情感系统（即ijmn）；情感矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；情感系统中的每个情感元素又可以由若干个情感子元素所组成的情感矩阵来构成，从而构成二维和多维的情感矩阵。 (5) 建立意志的数学模型意志的哲学本质都是“人脑对于自身行为价值特性的一种主观反映”；意志的客观目的在于识别和处理“自身行为的价值率”，可以采用所有不同行为方式的价值率高差所组成的数学矩阵来描述一个人的意志系统（即xijmn）；意志矩阵与相应的作用系数矩阵一起，可以进行交集运算与并集运算；意志系统中的每个意志元素又可以由若干个意志子元素所组成的意志矩阵来构成，从而构成二维和多维的意志矩阵，即超复杂行为的意志由若干复杂行为的意志矩阵所组成，复杂行为的意志又由若干简单行为的意志矩阵所组成，简单行为的意志由若干本能行为的意志矩阵所组成。 (6) 阐述情感运行的内在逻辑程序情感表达的逻辑程序大致是：接收事物的刺激信号，提取该事物的价值观，比较人自身的中值价值率，确定情感的强度与方向，选择情感表达模式，接收和处理情感表达所产生的反馈信号；情感识别的逻辑程序大致是：接收事物的刺激信号，检测和提取特征参数，比较情感模式，产生情感反映，存储情感信息到情感矩阵之中；情感计算的逻辑程序大致是：将事物的价值率高差“对数转换”为情感强度，对情感强度进行交集、并集运算，产生新的情感强度，将情感强度“指数还原”为新事物的价值率高差；情感修正的逻辑程序大致是：人通过感觉与思维，了解到某事物的实际价值率高差，与大脑中情感矩阵所记忆该事物的主观价值率高差，存在一定的差异，人就会修正对于该事物的情感强度。 (7) 阐述意志运行的内在逻辑程序意志表达（即行为实施）的逻辑程序大致是：接收某种价值目标事物的刺激信号，提取能够最有效实现该价值目标的多种相关行为的主观价值率（即行为价值观），比较自身的中值价值率，确定多种相关行为的意志强度与意志方向，选取具有最大意志强度的相关行为，并组织实施该相关行为。意志计算（即行为设计）的逻辑程序大致是：确立价值目标（根据自身生存与发展的需要），设计整体方案（按照最大价值率法则，把超复杂行为分解为若干个复杂行为，并通过意志的并集运算与交集运算，计算出该超复杂行为的意志强度），制定实施细则（按照最大价值率法则，把复杂行为分解为若干个简单行为，并通过意志的并集运算与交集运算，计算出该复杂行为的意志强度），落实具体行为（按照最大价值率法则，把简单行为分解为若干个本能行为，并通过意志的并集运算与交集运算，计算出该简单行为的意志强度），将上述各个层次的意志强度“指数还原”为相应的行为价值率高差。意志修正的逻辑程序大致是：人通过感觉与思维，了解到某行为的实际