多媒体计算机技术

1、多媒体计算机技术鲁宏伟第七讲 多媒体系统的人机交互技术 人机界面概述 多通道用户界面 三维人机交互技术 虚拟现实 人机界面概述计算机包括了三个主要部分：人机信息交互、信息处置和存储以及信息显示，其中“信息处置和存储和“信息展现技术更新和开展的速度相当快。但人机交互技术多年来并未有艰苦技术突破。 从计算机问世以来，早期用户是以计算机专业人员为主，但随着计算机广泛进入人们的任务生活领域，计算机用户发生了改动，非计算机专业的普通用户成了用户的主体。这一艰苦转变使计算机的可用性问题变得日益突出起来。 人机界面概述人机界面指人类用户与计算机系统之间的通讯媒体或手段，它是人机双向信

2、息交换的支持软件和硬件。这里“界面定义为通讯的媒体或手段，它的物化表达是有关的支持软件和硬件，如带有鼠标的图形显示终端。人机界面和人机对话(Human Computer Dialogue)是两个不同的概念：人机对话是指用户与计算机系统之间的通讯，它是人与计算机之间各种符号和动作的双向信息交换。 人机界面的开展历史 就用户界面的详细方式而言，阅历了批处置联机终端(命令接口)(文本)菜单等多通道多媒体用户界面和虚拟现实系统。 就用户界面中信息载体类型而言，阅历了以文本为主的字符用户界面(CUI)、以二维图形为主的图形用户界面(GUI)和多媒体用户界面，使得计算机与用户之间的通讯带宽不断添加。 人机

3、界面的开展历史就计算机输出信息的方式而言，阅历了以符号为主的字符命令言语；以视觉感知为主的图形用户界面；兼顾听觉感知的多媒体用户界面和综合运用多种感官(包括触觉等)的虚拟现实系统。 就人机界面中的信息维度而言，阅历了一维信息(主要指文本流如早期电传式终端)、二维信息(主要是二维图形技术，利用了颜色外形纹理等维度信息)、三维信息(主要是三维图形技术，但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)。 人机界面的开展历史 不论从何种角度看，人机交互开展的趋势表达了对人的要素的不断注重，使人机交互更接近于自然的方式，运用户能利用日常的自然技艺不须经过特别的努力和学习提高任务效率。这种“以

4、人为中心的思想特别是自20世纪80年代以来在人机交互技术的研讨中得到明显的表达。 人机界面设计技术 三维用户界面多媒体和超媒体界面多通道交互界面虚拟现实技术 组件及可视计算 用户界面的设计原那么从用户的本身需求、生理心思条件和现有硬软件条件出发，可以总结为以下几点：以用户的行为为根本出发点 思索用户操作时间长短以用户操作中的出错率为根据，改良界面设计减少用户短期记忆负担、长期记忆和学习负担采用日常生活的常识和比喻，较少计算机逻辑思想和专业术语注重用户的个人特性和区别，例如老年人、残疾人的特殊需求 为提高通用性，用户界面最好采用一致性原那么 用户界面的设计原那么对于软件界面的设计的特殊性，我们可

5、将其设计目的概括成以下3个: 用户界面软件规范化 用户界面的一致性 用户界面的有效性、可靠性、平安性、可移植性(各种软件的数据可以交换)和数据的一体性 第七讲 多媒体系统的人机交互技术 人机界面概述 多通道用户界面 三维人机交互技术 虚拟现实 多通道用户界面多通道人机界面技术基于视野跟踪、语音识别、手势输入、觉得反响等新的交互技术，允许用户利用本身的内在觉得和认知技艺，运用多个交互通道，以并行、非准确方式与计算机系统进展交互，旨在提高人机交互的自然性和高效性 它代表了人机交互的一种新范式，与传统的图形用户界面相比，能将互补的通道进展整合来获取加强的混合，通道之间可以相互补充，抑制彼此的缺陷，或

6、者是针对不同的运用采取不同的交互方式，具有更强大的表达才干、自然性、灵敏性和便携性 多通道概念 通道：指传送或获得信息的通讯通道的类型，它包含了信息表达、感知以及动作执行的方式，定义了交换数据的类型方式：指一种形状或上下文信息，它决议了如何对信息解释以获取意义 通道整合：指用户在与计算机系统交互时，多个交互通道之间相互作用构成交互意图的过程 多通道、多媒体与虚拟现实多通道系统力求对语义的了解它对用户的原始输入在较高的层次上(如义务领域)进展解释、分析和综合，提取语义内容，到达对用户的某种了解，然后，从较高的表现层次上传达给用户最恰当的反响，它偏重于信息的了解和解释多媒体偏重于信息的表现 虚拟现

7、实依托三维立体视觉、头盔式显示器、身体跟踪和立体音响等技术来模拟现实世界，旨在运用户获得一种沉浸式的多种感知通道的灵境体验 多通道用户界面的特点 多通道用户界面主要关注人机界面中用户向计算机输入信息以及汁算机对用户意图了解的问题，它所要到达的目的可归纳为如下方面： 交互自然性 交互高效性 汲取已有人机交互技术的成果，与传统的用户界面特别是广泛流行的图形用户界面兼容，使老用户、专家用户的知识和技艺得以利用 多通道用户界面的主要研讨内容 认知心思学界面模型及描画方法软件构造多通道整合多通道的错误纠正机制 第七讲 多媒体系统的人机交互技术 人机界面概述 多通道用户界面 三维人机交互技术 虚拟现实 三

8、维人机交互技术三维人机交互技术与传统的WIMPWindow，Icon，Menu，Pointer，窗口、图标、菜单和指点安装图形交互技术不同。它采用六自在度输入设备。 由于自在度的添加，使三维交互的复杂性大大提高。另外，窗口、菜单、图标和传统的二维光标在三维交互环境会破坏空间感，同时也使得交互过程非常不自然 三维设备 浮动鼠标Flying Mouse：浮动鼠标类似于规范的计算机鼠标，但当分开桌面后就成为一个六自在度探测器，大多数浮动鼠标器内部装有电磁探测器。数据手套Data Glove：早期的数据手套是美国加州VPL公司开发的指示手势的输入安装。数据手套是一种虚拟工具，它将人手的各种手势、动作经

9、过手套上所带的光导纤维传感器，输入计算机中进展分析，这种手势可以是一符号表示或命令，也可以是动作。 三维设备 手持式操作器Wand：手持式支配器包含一个位置跟踪探测器和几个按钮，专门用于手中运用。手持式操作器类似于浮动鼠标，但没有鼠标球，因此不能在桌面上滚动。力矩球空间球Space Ball：手持式操作器和浮动鼠标的问题之一是用户必需将设备拿在手中，而力矩球是一种可以提供六自在度的桌面设备，它安装在一个小型的固定平台上，可以改动、压下的拉出、来回摇摆等。力矩球通常运用发光二极管和光接纳器进展丈量。 三维交互方式在三维人机交互中，用户主要经过以下两种交互方式在三维空间中进展操作： 直接操作三维w

10、idgets 人机交互中的视野跟踪技术视野跟踪技术早期主要运用于心思学研讨(如阅读研讨)、助残等领域，后来才被运用于图像紧缩及人机交互技术。从实际上说，由于几乎一切的人机交互方式都离不开视觉介入，因此，当用户凝视其感兴趣的目的时，假设系统能“自动将光标置于其上或触发必要的动作，那么比利用鼠标器等间接指点设备甚至触屏这样的直接指点设备更为直接。 人机交互中的视野跟踪技术伺服机构半反射镜瞳孔摄像机光源红外滤光镜一种远间隔视野跟踪系统原理图视野跟踪技术在多通道用户界面研讨中，将视野输入作为一个辅助通道加以利用，可充分发扬视觉与语音的互补作用。研讨者以为，视野跟踪技术固有的不准确性与视野运动的随意性使其不宜作准确输入，而作为附加约束信息有重要价值。 ABCD感兴趣区域语音与手势整合例如基于手势的人机交互技术手势是人手或者手和臂结合所产生的各种姿态和动作，它包括静态手势(指姿态，单个手形)和动态手势(指动作，由一系列姿态组成)。静态手势对应空间里的一个点，而动态手势对应着模型参数空间里的一条轨迹，需求运用随时间变化的空间特征来表述。手势和姿态(Posture)的主要区别在于，姿态更为强调手和身体的形状和形状，而手势更为强调手的运动。 基于手势的人机交互技术手势逐渐成为人机界面中一种新颖的交互手段，研讨手势识别的主要目的就是把手势这种既自然又直观的交流方式引入人机接口中，实现更符合人类行