(高清版)GBT 40691-2021 人工智能 情感计算用户界面 模型

人工智能情感计算用户界面模型国家标准化管理委员会GB/T40691—2021前言 I 2规范性引用文件 3术语和定义 4模型 24.1情感特性 24.2通用模型 24.3基于情感计算用户界面的交互模型 34.4情感表示 4.4.1概述 4.4.2离散情感类别 44.4.3情感空间维度 44.5情感数据采集 54.5.1概述 54.5.2情感数据 54.6情感识别 4.6.1概述 74.6.2情感识别功能 74.6.3情感特性识别 74.6.4识别结果 4.7情感决策 84.7.1概述 84.7.2使用语境 84.7.3推理 8 94.8情感表达 4.8.1概述 4.8.2表达的模态 9附录A(资料性)情感计算用户界面应用实例 附录B(资料性)情感计算用户界面标准化的内容 参考文献 I本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本文件起草单位：中国科学院软件研究所、中国电子技术标准化研究院、上海智臻智能网络科技股份有限公司、中国科学院自动化研究所、中国科学院心理研究所、深圳市优必选科技股份有限公司、科大讯飞股份有限公司、北京科技大学、中国电信集团有限公司、北京师范大学、哈尔滨工业大学、上海天臣微纳米股份有限公司、中科讯飞互联(北京)信息科技有限公司、北京电信规划设计院有限公司、北京中科院软件中心有限公司、上海木木机器人技术有限公司、南京云问网络技术有限公司、天津师范大学、泾丰科技(深圳)有限公司、浪潮软件科技有限公司、北京九天微星科技发展有限公司、中国医学科学院生物医学工程研究所、东南大学、南京工程学院、安徽淘云科技有限公司、南京师范大学心理学院、江西中医药大学、中国科学院深圳先进技术研究院、维知科技张家口有限责任公司、阿利昂斯汽车研发(上海)有限公司。1人工智能情感计算用户界面模型本文件给出了基于情感计算用户界面的通用模型和交互模型，描述了情感表示、情感数据采集、情感识别、情感决策和情感表达等模块。本文件适用于情感计算用户界面的设计、开发和应用。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。用户对感知信息产生的主观感觉所产生的反应。注1:情感是多种感觉、思想和行为综合产生的心理和生理状态。注2:情感产生于内部动机和外部环境刺激。注3:情感有三个成分：主观体验、外部表现和生理唤醒。注4:情感有四个特性：通用特性、文化特性、个体特性与情境特性。注5:情感可以描述用户的情绪、倾向、喜好、个性等。人在某种事件或情境的影响下，在一定时间内所产生的主观体验或表达。注：情绪是多种复杂的感觉、思维和行为表现综合产生的生理与心理状态。利用用户情感或满足用户情感需求的人机交互过程。情感计算affectivecomputing在人机情感交互过程中，信息系统对用户情感的采集、识别、决策和表达。用户与信息系统进行情感交互的界面。情感表示affectiverepresentation对情感进行形式化描述的方法。2情感类别affectivecategory某种可被信息系统识别或表达的情感种类。多个可表示为一组情感特性的组合。情感维度affectivedimension用于描述情感的主观体验的基本特性。情感数据affectivedata从用户处采集的、参与情感计算的数据。情感识别affectiverecognition通过分析和处理情感数据，得到用户情感状态的过程和方法。将情感数据分成情感类别的过程。情感表达affectiveexpression信息系统进行情感生成并呈现的过程。使用语境contextofuse注2:“用户”包括用户基本信息资料等，通过用户配置体现。注3:“资源”包括采集设备(如摄像头和麦克风)、存储设备(如硬盘等),以及计算设备等。4模型4.1情感特性在与信息通信技术系统交互的过程中，一系列情感特性(包括文化和情绪)决定着用户的行为和需求。本文件提供的模型适用于所有类型的情感特性，并没有具体限定某种特定的情感特性。4.2通用模型情感计算用户界面是一种与用户情感需求和情感特性进行交互的用户界面。情感计算用户界面处理过程包括情感特性数据的收集、识别、决策和表达。用户根据基于情感的系统提供的反馈调整情感，并与系统展开进一步的交互(见图1)。情感表示提供了情感计算用户界面中对于情感的统一描述。图1由三部分组成：认知空间、情感计算用户界面组件和信息空间。认知空间包括至少一位用户。情感计算用户界面组成部分包括四个组件，分别为情感特性数据的收集、识别、决策和表达。通过情感计算用户界面各个组成部分，认知空间和信息空间进行交互。其中，3一种交互由用户指向计算系统，表示由用户向系统进行输入。另一种交互由计算系统指向用户，表达系统为用户提供反馈。情感表示为情感计算用户界面模型的四大组件提供了基础。基于情感表示的情感计算用户界面组件基于情感表示的情感计算用户界面组件数据采集情感识别情感表达情感决策用户计算系统图1情感计算用户界面的通用模型4.3基于情感计算用户界面的交互模型情感计算用户界面可以支持基于情感计算的交互过程。图2展示的人机交互模型运用了情感计算用户界面，涉及两个环路。其中，图2a)给出了计算系统视角下的用户流程，图2b)为用户视角下的计算系统流程。情感特性数据情感特性数据情感识别被识别的情感情感行动认知空间(用户)计算系统a)环路1:计算系统视角下的用户流程图2基于情感计算用户界面的交互模型4理解被认知的理解情感(情感识别)(情感识别)被埋解的情感决定的情感决定决定(情感表达)(情感决策)信息空间(计算系统)用户b)环路2:用户视角下的计算系统流程注1:环路1:如图2a)所示，“计算系统视角下的用户流程”展示了在信息空间中看待和处理人类情感的方式。用户的信息输入有多种类型，例如语音、表情和手势。计算系统首先在采集环节收集来自用户的情感特性数据，然后在识别环节识别各种人类情感，在决策环节产生情感行动，最后在表达环节执行上述行动。注2:环路2:如图2b)所示，“用户视角下的计算系统流程”展示了用户如何看待来自计算系统的输出。在认知空间，用户处理系统输出，用以感知和理解情感，然后决定采取某种情感来采取行动，作为对于系统的反馈，以开启新一轮情感计算用户界面交互。这一循环中的认知、理解、决定和行为分别对应环路1中的采集、识别、决策和表达。注3:附录A提供了一个情感计算交互模型应用实例。注4:附录B给出了实现该模型的可能的标准化主题。图2基于情感计算用户界面的交互模型(续)4.4情感表示情感表示对人机交互过程中可以被信息系统处理的用户情感进行规范化统一描述。情感可以由离散情感类别和情感空间维度来描述。4.4.2离散情感类别离散情感类别可以按照多种分类方法进行分类。示例1:如果按照情绪进行分类，情感可以分为开心、悲伤、惊讶等；如果按照态度进行分类，情感可以分为支持和反对；如果按照注意力进行分类，情感可以分为关注和走神等。离散情感类别可以由任何一个离散情感类别或多个离散情感类别的组合来描述。示例2:喜极而泣是开心和哭泣两种情感类别的组合。不同的离散情感类别或不同离散情感类别的组合都会导致不同的用户行为和需求。4.4.3情感空间维度不同的情感维度的组合对应不同的情感空间。每个情感空间维度应具有取值范围，情感空间维度数值可位于该取值范围内的任意位置。任何情感可以通过一组数值进行表示。这组数值代表了这个情感在情感空间中的位置。不同情感之间是连续过渡的，利用空间中的距离可以度量不同情感之间的差异度与相似度，而且可以度量相同情5感的不同程度的强弱。示例：在VA(Valence-Arousal)情感空间中，Valence是效价，代表情感的正负特性即情感的积极或消极程度，喜欢或不喜欢程度，这个维度体现了情感的极性，一般的取值范围在[-1,1],值“—1”代表非常消极，相反，“非常兴奋。VA空间中的数值点(0.82,0.43)是基于VA情感空间中连续表示的效价(Valence)与唤醒度(Arousal)的数值来表示的。4.5情感数据采集情感数据采集是情感计算用户界面通过多模态的传感器或者其他设备获取用户的行为数据以及神经生理和心理数据的过程。情感数据包括反映用户外部表现的行为数据，以及反映用户生理状态数据与心理的数据。情感数据包括反映用户外部表现的行为数据，以及反映用户生理状态数据与心理的数据。情感数据类型包括静态情感数据和动态情感数据。静态情感数据可以记录某一时刻用户的情感，例如静态图像。动态情感数据可以记录用户在一段时期内的连续行为，例如视频或音频。动态情感数据流反映了情感的动态变化过程。情感数据模态主要包括行为数据模态、神经生理和心理数据，其中行为数据模态主要包括视觉、听觉和触觉。每种模态可以采用多种媒体类型，情感数据可基于一种或多种模态。表1和表2中分别给出了采用特定模态的信息和媒体类型描述。表1信息输入的模态和媒体类型采用特定模态的信息模态包括以下《全部}或一种或多种：《视觉，听觉，触觉，神经生理和心理数据}6表1信息输入的模态和媒体类型(续)采用特定模态的信息媒体类型包括以下{全部}或一种或多种：{图像，视频，姿态，书面文字，口头文字，触觉文字，面部表情，音乐，语音，其他声音，基于电信号的神经生理与心理信号，基于非电信号的神经生理与心理信号}表2媒体类型和描述媒体类型描述图像由系统展示或由用户载入系统的静态图像(包括用户面部表情图像、姿势和文字)视频由系统展示或由用户载入系统的动态图像序列姿态用户表达观点或意思的动作书面文字以静态或动态的书面符号呈现的基于语言的文字媒体，通常由系统通过屏幕输出或由用户通过键盘输入口头文字一种由用户或系统口述的基于文字的媒体触觉文字一种以静态或动态方式呈现的基于语言的触觉符号媒体，通常由系统通过屏幕输出或由用户通过键盘输入面部表情经观察得到的反映一种或多种面部皮肤下肌肉运动或位置的面部活动音乐由系统或用户发出的、具有一定旋律、和声或节奏并按照时间顺序排列的声音语音某一给定自然语言的话音模式，或模拟这类模式的声学信号其他声音除音乐和语音外，任何能被系统或用户听见的媒体，不一定有对应意义基于电信号的神经生理与心理信号对生物细胞、组织或器官的电压变化、电流变化或操纵的测量基于非电信号的神经生理与心理信号除基于电信号的神经生理与心理信号之外的神经生理与心理信号，通常包括机械、光学、声学、化学和热力学生物信号等74.6情感识别情感识别是通过分析情感数据的模式和规律对用户情感进行识别的过程。图3展示了情感识别的流程。情感类别基于听觉数据多模态融合基于触觉数据的情感识别情感数值基于神经生理与心理数据的情感识别情感数据视赏/视频数据听觉/音频数据触觉/力触觉数据神经生理和心理数据度量分类情感数据识别注：图3包括三个部分：情感数据、情感识别和已识别的情感状态。情感数据涉及四种数据模态：视觉、听觉、触觉与神经生理和心理数据。在情感识别过程中，各种识别方法基于数据模态处理情感数据。已识别的情感状态可通过情感分类进行归类，或通过度量得到维度情感空间中的数值。图3情感识别流程图4.6.2情感识别功能情感识别模块识别用户情感特性。这些模块通过不同模态处理情感数据。注1:针对不同的模态，情感识别过程可能随特定的媒体类型而变化。情感识别通过分析处理情感数据，识别用户的情感状态。情感识别模块的功能包括：a)情感分类：在离散空间中将用户情感归于某个或多个情感类别。注2:输入信息是情感数据(见4.5.2),输出信息是一种或多种情感类别。b)情感度量：在维度情感空间中对用户情感进行赋值。注3:输入信息是情感数据(见4.5.2),输出信息是维度情感空间中的情感数值。情感分类和情感度量相互独立，可以单独选择情感分类或情感度量进行情感识别，也可以同时通过情感分类和情感度量进行情感识别。4.6.3情感特性识别情感特性识别可能涉及：a)情感特性分类：识别所有信息输入并将其归入情感特性类别。注1:信息输入是情感数据(见4.5.2)。信息输出是指定情感特性类别的一种或多种类别。b)情感特性度量：在维度情感空间中对所有信息输入赋值。注2:信息输入是情感数据(见4.5.2)。信息输出是维度情感空间中的值。情感特性的分类和度量应该相互独立，并且通常只选择其中一种。情感识别有两种可能的结果：8a)情感特性类别；b)维度情感空间中的值。4.7情感决策情感决策旨在信息系统通过决策模块选择表达的情感，从而进行情感表达。决策模块将已识别情感和使用语境作为输入。决策模块由推理和决定两个部分组成，见图4。——用户资料——口标——采集设备——环境推理推理出的意图次定选择的表达情感注：进入决策模块的输入包括已识别的情感状态和使用语境。情感计算用户界面中最常用的使用语境要素有：用户资料、目标、采集设备和环境。决策模块通过“推理”子模块产生推理出的意图，然后在“决定”子模块中，根据推理出的意图和使用语境产生要进行的活动。决策模块的输出是通过信息系统执行的情感生成，为情感表达提供输入。图4决策模块在情感计算用户界面中，使用语境主要关注用户资料、目标、采集设备和环境。a)用户资料：与特定个体用户相关的个人数据。c)采集设备：采集情感数据的输入设备。推理的核心是根据识别的用户情感和使用语境得到用户意图。推理得到的意图是一组用户需求。9推理得到的意图可能是交互意图或情感意图或两者兼有。a)交互意图：用户的一种明确的行为需求(例如用户问一个特定的问题或要求一种特定的服务)。b)情感意图：用户对情感回应或情感调节的需求(例如，如果用户紧张地咨询一个问题，他/她期望的情感回应可能是抚慰)。决定是一种根据推理出的意图、使用语境识别和选择执行活动以实现特定目标的过程。注1:不同的活动组合可以为实现同一目标提供不同方式。决定旨在选择可供信息系统执行的一系列表达情感，以进行情感表达。注2:选择的表达情感需得到广泛认可和理解。4.8情感表达情感表达的目标是为了根据选择表达的情感通过输出设备以不同的情感呈现方式向用户传达与表达情感。情感表达包含情感的生成与呈现两个步骤。情感生成的输入情感决策的结果：待生成的情感，结果为情感的表达方式。情感呈现的输入情感的表达方式，通过情感生成接口控制参数，并使用呈现设备向用户输出相应的情感。4.8.2表达的模态表达的模态包括视觉、听觉和触觉。每一个模态的数据或者媒体类型可以通过输出设备呈现，例如，视频和图片可以在显示器等设备上展示，而声音可以通过扬声器表现(如表3所示)。表3表达的输出方式模态设备媒体类型视觉显示器图片，视频，姿态，面部表情，书面文字，仿生机器人等听觉扬声器音乐，声响，语音，口头文字触觉电刺激器或振动装置基于电信号的神经生理与心理信号，基于非电信号的神经生理与心理信号注1:表达模态和媒体类型的选择是场景相关的。注2:其他的模态和媒体类型在某些情况下也可以用于呈现，例如，触觉模态和触觉文字媒体类型。注3:设备包含但不限于表3内容。(资料性)情感计算用户界面应用实例A.1概览本附录展示了一款基于情感计算用户界面交互模型的应用程序，阐述了所有情感计算用户界面模块如何统一协作的方式，并且说明了情感计算用户界面标准在某个特定的情境下的定义方式和应用方法。本附录详细说明了一款以用户情绪体验为基础的情感计算用户界面模型在某聊天工具虚拟客服(一种实施在智能手机上的即时通信平台)的应用。情感计算用户界面应用实例见图A.1。A.2用户用户是在该聊天工具上使用某金融机构或公司虚拟客户服务来接受微笑服务的客户。用户可以通过视觉、听觉、触觉或者神经生理或心理学信号等模态来与该系统交互，其媒体类型可以为书面文字、口注：用来交互的模态根据当前应用场景的不同而变化。在此例中，交互模态和媒体类型仅为该平台支持的类型。在该聊天工具上的虚拟客服的情感表示可以为离散情感类别。在此应用场景中，其情感类别可以A.4数据集该应用数据集在实际使用前对整个系统进行测试、验证、训练，以确保用户和计算机之间情感的一对于该应用上支持的每一种模态，都有相应的已经在数据采集、标注和数据结构等方面有统一规定的数据集。以面部表情数据集为例，图像的标准为使用相机在专业光照条件下拍摄的，分辨率不低于250×250像素的图像。每张图像中仅仅允许有一张人脸，数据集的被试者要求性别平衡，并且能覆盖其用户的主要年龄群。采集到的图像以JPEG的格式保存，并根据识别模块中的输出结果进行特定类型的标不同模态下的数据集将由数据集标准定义和规范。A.5情感数据的采集情感计算用户界面系统能够通过该平台支持的模态来进行情感数据的获取和采集，例如，通过键情感数据在不同设备上的采集方式与数据结构将由情感数据采集标准定义和规范。A.6情绪识别情感数据将在识别模块进行处理与分析，来识别用户的情绪状态。假设情感计算用户界面系统捕捉到一个紧张客户的语音片段，经过数据处理和分析，识别模块将用户的情绪识别为“愤怒”,这是金融注：目标情绪类别是情景相关的。识别标准将规范在不同模态下识别用户情绪类别的分类流程，和已识别情绪的数据结构。A.7决策根据已识别的情绪“愤怒”和应用场景，“推理”子模块可以推理出用户的交互意图(例如，该客户丢失了信用卡，并且想上报损失，或者客户忘记了银行卡密码并且想重置密码等)。同时，“推理”模块由此推断出用户的情感意图，例如“这个生气的用户可能需要安慰”。推断的意图允许选择适当的模态，媒体类型和输出设备来决定对用户的回复方式，并产生情感动块来调用相关的功能来达到客户的预期目标。A.8情绪表达呈现模块接受并执行情感操作，在该聊天工具的具体场景中，通过视觉和听觉的模态，以如面部表情、文字、声音和音乐的媒体类型向客户进行呈现。呈现的具体事项将由呈现标准来进行定义与规范。金融客户服务来白客户的语音片段别扭心，我们会帮您通过语音进行“安抚”“安抚”+行“安抚”发送客户注：在某金融虚拟客服场景中，呈现方式包括视觉和听觉，媒体类型包括该平台支持的文字，语音，表情，符号或者其组合。图A.1在某金融虚拟客服场景中，情感计算用户界面呈现的示例(资料性)情感计算用户界面标准化的内容为了实现情感计算用户界面(AUI)的模型，以下的内容对于未来的标准化非常重要。a)可以用于情感计算的情感特性：1)普遍特性，2)文化特性，3)个体特性，4)情境特性。b)为您的应用程序选择一组最佳的情感特性：1)寻找情感特性，2)限定情感特性的集合，3)优化情感特性的集合。c)情感计算用户界面情感表示方法：1)情感特性的类别，2