人机交互前沿技术

1、人机交互前沿技术第1页，共13页，2022年，5月20日，11点25分，星期日多通道融合交互(多通道人机交互)第2页，共13页，2022年，5月20日，11点25分，星期日多通道融合交互概念(多通道人机交互)多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。在多通道人机界面中，用户可以使用自然的交互方式，如语音、手势、表情等与计算机系统进行协同工作。人机交互方式向人与人的交互方式靠拢，交互的自然性和高效性得到极大的提高。第3页，共13页，2022年，5月20日，11点25分，星期日多通道人机交互目标关注

2、用户向计算机的输入以及计算机对用户意图的理解（1）交互的自然性: 使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。（2）交互的高效性: 使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。第4页，共13页，2022年，5月20日，11点25分，星期日多通道人机交互的基本特点1.使用多个通道一种通道(如语音)不能充分表达用户的意图时，需辅以其它通道(如手势指点)的信息；有时使用辅助通道以增强表达力。交替而独立地使用不同的通道不是真正意义上的多通道技术，必须允许充分地并行、协作的通道配合关系。 第5页，共13页，2022年，5月20日，11点25分，星期日2.允许非

3、精确的交互人类语言本身就具有高度模糊性,人类在日常生活中习惯于并大量使用非精确的信息交流。允许使用模糊的表达手段可以避免不必要的认识负荷，有利于提高交互活动的自然性和高效性。多通道人机交互技术主张以充分性代替精确性。第6页，共13页，2022年，5月20日，11点25分，星期日多通道人机交互关键技术-融合语音和手势信息的融合是目前整合的主要问题。融合中的一个重要问题是歧义消除。处理好设备之间在时间响应上的差异。举例语音+指点语音+唇读语音+手势语音+书写第7页，共13页，2022年，5月20日，11点25分，星期日融合分类第8页，共13页，2022年，5月20日，11点25分，星期日一般来说，

4、基于决策级的融合还可以分为三种类型：符号: 每个模态的输出仅仅为一个类别编号。如：投票法。排序: 根据输入对象属于各个类别的可能性大小，每个通道的输出为所有类别编号的一个排序。度量: 输出结果为测试对象属于各个类别的置信度大小。如：加权平均、贝叶斯方法、模糊积分、D-S方法以及基于神经网络的方法等。第9页，共13页，2022年，5月20日，11点25分，星期日基于模糊理论的融合算子(Fuzzy Set Based)平均法。加权平均。其它乘积规则。最大与最小规则。第10页，共13页，2022年，5月20日，11点25分，星期日基于统计理论的贝叶斯方法取最大后验概率对应的类别作为融合后的结果，即第

5、11页，共13页，2022年，5月20日，11点25分，星期日基于证据理论的D-S融合方法基本概率赋值函数：信任函数与似然函数：Bel(A), Pls(A)反映了不确定度的范围。在考虑分类器输出不确定性测度的多分类器融合中，通过拒识置信度较低的样本，能以较小的拒识率为代价来换取较高的识别率。1、D-S证据方法D-S正交和第12页，共13页，2022年，5月20日，11点25分，星期日基于模糊积分多分类器融合在用模糊积分对多分类器融合时，积分域为分类器的集合，被积函数为从分类器得到的对象属于各类别的置信度，积分结果为融合后系统对该类别的信任度。模糊积分已成为多分类器融合的有效手段。模糊积分中，要解决模糊测度的赋值