版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、人机交互前沿技术第1页,共13页,2022年,5月20日,11点25分,星期日多通道融合交互(多通道人机交互)第2页,共13页,2022年,5月20日,11点25分,星期日多通道融合交互概念(多通道人机交互)多个通道以自然、并行、协作的方式进行人机对话,通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图,提高人机交互的自然性和高效性。在多通道人机界面中,用户可以使用自然的交互方式,如语音、手势、表情等与计算机系统进行协同工作。人机交互方式向人与人的交互方式靠拢,交互的自然性和高效性得到极大的提高。第3页,共13页,2022年,5月20日,11点25分,星期日多通道人机交互目标关注
2、用户向计算机的输入以及计算机对用户意图的理解(1)交互的自然性: 使用户尽可能多地利用已有的日常技能与计算机交互,降低认识负荷。(2)交互的高效性: 使人机通讯信息交换吞吐量更大、形式更丰富,发挥人机彼此不同的认知潜力。第4页,共13页,2022年,5月20日,11点25分,星期日多通道人机交互的基本特点1.使用多个通道一种通道(如语音)不能充分表达用户的意图时,需辅以其它通道(如手势指点)的信息;有时使用辅助通道以增强表达力。交替而独立地使用不同的通道不是真正意义上的多通道技术,必须允许充分地并行、协作的通道配合关系。 第5页,共13页,2022年,5月20日,11点25分,星期日2.允许非
3、精确的交互人类语言本身就具有高度模糊性,人类在日常生活中习惯于并大量使用非精确的信息交流。允许使用模糊的表达手段可以避免不必要的认识负荷,有利于提高交互活动的自然性和高效性。多通道人机交互技术主张以充分性代替精确性。第6页,共13页,2022年,5月20日,11点25分,星期日多通道人机交互关键技术-融合语音和手势信息的融合是目前整合的主要问题。融合中的一个重要问题是歧义消除。处理好设备之间在时间响应上的差异。举例语音+指点语音+唇读语音+手势语音+书写第7页,共13页,2022年,5月20日,11点25分,星期日融合分类第8页,共13页,2022年,5月20日,11点25分,星期日一般来说,
4、基于决策级的融合还可以分为三种类型:符号: 每个模态的输出仅仅为一个类别编号。如:投票法。排序: 根据输入对象属于各个类别的可能性大小,每个通道的输出为所有类别编号的一个排序。度量: 输出结果为测试对象属于各个类别的置信度大小。如:加权平均、贝叶斯方法、模糊积分、D-S方法以及基于神经网络的方法等。第9页,共13页,2022年,5月20日,11点25分,星期日基于模糊理论的融合算子(Fuzzy Set Based)平均法。加权平均。其它乘积规则。最大与最小规则。第10页,共13页,2022年,5月20日,11点25分,星期日基于统计理论的贝叶斯方法取最大后验概率对应的类别作为融合后的结果,即第
5、11页,共13页,2022年,5月20日,11点25分,星期日基于证据理论的D-S融合方法基本概率赋值函数:信任函数与似然函数:Bel(A), Pls(A)反映了不确定度的范围。在考虑分类器输出不确定性测度的多分类器融合中,通过拒识置信度较低的样本,能以较小的拒识率为代价来换取较高的识别率。1、D-S证据方法D-S正交和第12页,共13页,2022年,5月20日,11点25分,星期日基于模糊积分多分类器融合在用模糊积分对多分类器融合时,积分域为分类器的集合,被积函数为从分类器得到的对象属于各类别的置信度,积分结果为融合后系统对该类别的信任度。模糊积分已成为多分类器融合的有效手段。模糊积分中,要解决模糊测度的赋值
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 屋顶瓦维修合同模板范本(2篇)
- 中压燃气管道安装标准方案
- 疫情期间老年人物资配送方案
- 学校支持协议书(2篇)
- 航空领域特种设备安全检查制度
- 儿童文学阅读交流活动方案
- 《员工降职协议》
- 医疗管理软件实施计划方案
- 小学体育活动开展总结
- 运动员肺栓塞预防与应急预案
- 珍爱生命主题班会
- 陈皮仓储合同模板例子
- 2024年安全生产月全国安全生产知识竞赛题库及答案(共六套)
- 2024-2025学年沪教版小学四年级上学期期中英语试卷及解答参考
- DB23T 3844-2024煤矿地区地震(矿震)监测台网技术要求
- 《阿凡达》电影赏析
- DB42-T 2286-2024 地铁冷却塔卫生管理规范
- 合作伙伴合同协议书范文5份
- 小学生主题班会《追梦奥运+做大家少年》(课件)
- 公安机关人民警察高级执法资格考题及解析
- 浙教版信息科技四年级上册全册教学设计
评论
0/150
提交评论