多媒体技术的形成和发展_第1页
多媒体技术的形成和发展_第2页
多媒体技术的形成和发展_第3页
多媒体技术的形成和发展_第4页
多媒体技术的形成和发展_第5页
已阅读5页，还剩18页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

多媒体技术基础

第九章多模态人机交互技术从最早的手工操作到命令语言，再到广泛使用的图形用户界面，操作的直观性有了明显的改善通过本章学习，可以了解（或掌握）多模态人机交互技术的概念科学计算可视化信息可视化虚拟现实技术9.1人机交互技术概述9.1基本概念人机交互式研究人、计算机以及它们相互影响的技术。人机界面是计算机与人之间通信和对话的接口，是计算机系统的重要组成部分。9.1.人机界面的发展历史1.手工操作2.命令行界面3.图形用户界面WIMP界面，即以窗口、图表、菜单和指点装置为基础的人机界面技术9.1.3人机交互的发展趋势目前，人机交互技术正朝着以人为中心，减少人机隔阂，建立和谐的人机环境这一目标发展。9.2多模态人机交互9.2.1多模态人机交互概述模态是心理学领域中的一个标准术语，指感知信息的感觉，也就是感觉模态。所谓多模态人机交互，就是基于智能接口技术，充分利用人的多种感知通道，以并行的、非精确的方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。多模态人机交互技术所涉及的研究范围包括感知模型，语音识别，手写识别，姿势识别，表情识别，眼动跟踪，自然语言理解，触觉感知与表示，多模态通道信息融合，高性能视觉和听觉处理平台等。

1.采用多模态交互可以充分利用各种模态的特性，完成其在功能上的划分和互补。2.使用多模态可以提高交互方式的灵活性。3.多模态并非多个模态的集合，而是它们之间的整合。也就是说，将手势、语音与其他模态结合起来，采用具体的整合模型或算法，得到高一级的语义特性并且实现特定的应用。多模态人机交互的研究主要包括以下五个部分：1）语音识别、理解及合成2）手势识别技术3）人脸的研究4）唇读的研究5）人体动作的研究9.2.2多模态人机交互的特点1）使用多个感觉和动作模态2）三维的和直接操纵的要求3）允许模糊交互4）交互双向性5）交互的隐含性它所要达到的目标自然性、高效性和兼容性9.2.3多模态整合1.多模态整合实例1）手的运动轨迹跟踪与语音识别的整合（1）手势（2）直接操纵（3）用声音辅助的手势表达形状2）语音识别与唇读的整合3）其他2.多模态整合考虑因素1）操作部位2）带宽3）误差4）桌面空间5）成本9.3可视化可视化是指充分利用人们对可是模式快速识别的自然能力，将数据信息和知识转化为一种视觉形成的过程。有效的可是画界面使得人们能够观察、操纵、浏览、探索、过滤、发现、理解大规模数据能够方便的与之进行交互，从而可以有效地发现隐藏在内部的特征和规律。9.3.1科学计算可视化科学计算可视化是指运用计算机图形学和图像处理技术，将科学计算过程中及计算结果的数据转换为图像及图像在屏

人人文库> 全部分类> 专业文献 > 医学资料

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论