计算机手势输入及其在人机交互技术中的应用

1、计算机手势输入及其在人机交互技术中的应用*方志刚摘要本文简介计算机手势识别技术的基本手段、方法和技术, 讨论手势作为人机交互通道所具有的特点，并介绍作者在多通道用户界面的研究中实现的对手势的整合技术.关 键 词人机交互多通道用户界面多通道整合手势姿势分 类 号TP311COMPUTER GESTURE INPUT AND ITS APPLICATION INHUMAN COMPUTER INTERACTION FANGZhigang(State Key Laboratory of CAD&CG， Zhejiang UniversityHangzhou )(Department of Elect

2、ronic Engineering,Zhejiang UniversityHangzhou )AbstractThis paper rewiews the means and methods of computer gesture recognition technology, discusses the features of gesture as a modality in human computer integration, and discribes the technology of multimodal integration of gesture into multimodal

3、 user interface. Key wordsHuman computer interactionMultimodal user interfaceMultimodal integrationGesturePosture1引言当前在人机交互技术领域，多媒体技术的相对成熟极大地改善了计算机信息表现能力，同时也更显出交互输入手段的严重不足，呈现出人与计算机输入输出通信带宽的严重脱节11.多通道人机交互技术研究打破常规，突破传统交互设备(键盘和鼠标器)的限制，力图使人在人机交互过程中综合运用手势、语音、姿势甚至视线等多种通道，使用相应的交互设备全方位地与计算机进行通信，彻底解决计算机处理高维信

4、息所要求的双向高通信带宽.近年来虚拟现实技术的迅猛发展，大大促进了人们在人脸识别、表情解释、口形(唇读)识别、头部方位检测、视线跟踪、三维定位、手势解释和人体姿势解释等方面研究工作的积极性和动力.不论在日常交际活动中，还是在人机交互活动中，手势都理应具有十分重要的作用.遗憾的是，传统用户界面只利用了手势中极少的信息.例如用户使用二维鼠标器时, 计算机仅能获得二个维度的移动信息和少数手指的点击, 除此之外， 计算机不能识别任何别的动作，不但缺少按键的力度,甚至连第三维空间信息都不能提供，将人的手和眼局限在狭小的桌面上.从手势以及更多的输入通道获得用户更丰富的交互意图是当前人机交互技术发展的新动向

5、、新课题.2手势的定义和分类人体语言包括对肢体的状态和动作的运用，其中我们有必要区分手势(gesture)和姿势(posture)的区别.手势当然只能由手产生，而姿势则既可由手产生，也可由整个身体产生.两者的区别似乎在于手势更为强调手的运动，而姿势则更为强调手或身体的形状和状态.不过，只有当我们说明问题需要时才作这种区分，在多数情况下我们笼统地定义为：手势是人的上肢(包括手臂、手和手指)的运动状态.表1手的运动分类(Hand Motion Taxonomy)5Hand Position& OrientedFinger Flex Angles dont caremotionless finger

6、s moving fingersdont careXfinger posture e.g. fist finger gesture motionless handhand postureoriented posture e.g. thumbst downoriented gesturee.g. bye-bye e heremoving handhand gesturemoving posture e.g. banging fistor a salutemoving gestureeg. strong come here人们对手势做了不同的分类1： 交互性手势与操作性手势，前者手的运

7、动表示特定的信息(如乐队指挥)，靠视觉来感知; 后者不表达任何信息(如弹琴). 自主性手势和非自主性手势, 后者与语音配合用来加强或补充某些信息(如演讲者用手势描述动作、空间结构等信息). 离心手势和向心手势, 前者直接针对说话人，有明确的交流意图，后者只是反应说话人的情绪和内心的愿望.另一种分类方法5是将手的运动分解为两个可测量分量：手掌位置和方向；手势弯曲度，并根据这两个分量的不同组合对手势做了表1所示的完备的分类.可见手势的各种组合相当复杂，因此，在实际的手势识别系统中通常需要对手势做适当的分割、假设和约束1.例如，可以给出如下的约束6. 如果整个手处于运动状态，那么手指的运动和状态就不

8、重要； 如果手势主要由各手指之间的相对运动构成，那么手就应该处于静止状态. 3计算机手势输入技术利用计算机识别和解释手势输入是将手势应用于人机交互的关键前提.目前人们采用了不同手段来识别手势2, 3, 4： 基于鼠标器和笔, 缺点是只能识别手的整体运动而不能识别手指的动作；优点是仅利用软件算法来实现，从而适合于一般桌面系统.需要说明，仅当用鼠标光标或笔尖的运动或方向变化来传达信息时, 才可将鼠标器或笔看作手势表达工具.这类技术可用于文字校对等应用. 基于数据手套(Data Glove), 主要优点是可以测定手指的姿势和手势, 但是相对而言较为昂贵，并且有时会给用户带来不便(如出汗). 基于计算

9、机视觉1,9，即利用摄象机输入手势, 其优点是不干扰用户, 这是一种很有前途的技术，目前有许多研究者致力于此项工作.但在技术上存在很多困难，目前的计算机视觉技术还难以胜任手势识别和理解的任务.所采用的手势识别技术目前主要有2： 模板匹配技术，这是一种最简单的识别技术，它将传感器输入的原始数据与预先存储的模板进行匹配，通过测量两者之间的相似度来完成识别任务. 神经网络技术，这是一种较新的模式识别技术，具有自组织和自学习能力，具有分布性特点，能有效抗噪声和处理不完整的模式以及具有模式推广能力. 统计分析技术，通过统计样本特征向量来确定分类器的一种基于概率的分类方法.在模式识别中一般采用贝叶斯极大似

10、然理论确定分类函数.该技术的缺点是要求人们从原始数据中提取特定的特征向量, 而不能直接对原始数据进行识别.目前较为实用的手势识别是基于数据手套的，因为数据手套不仅可以输入包括三维空间运动在内的较为全面的手势信息，而且比基于计算机视觉的手势在技术上要容易得多.手势输入不能象鼠标器这样的精确指点设备精确控制到屏幕象素一级, 而只能反映具有一定范围的所谓“兴趣区域(Area of Interest-AOI)”, 如图1(a)，而且这个范围的界限是模糊的.另一方面“兴趣”所指具有一定的概率分布(比如为正态分布)，如图1(b), 反映了可能存在一个兴趣中心.图1手势输入的“兴趣”分布特点4手势输入在人机

11、交互技术中的应用传统的用户界面已经走过了基于字符的以形式语言为主的命令行用户界面和基于二维图形的以直接操纵技术为主的图形用户界面(2D GUI)，目前新的发展趋势是扩充三维图形，集多媒体和多通道交互为一体的综合技术，并将进一步引入语音交互、手势交互甚至视线交互等形式，利用和发挥人类日常交际技能，体现了人机交互由抽象向形象，由低维信息向高维信息发展的趋势.尽管人机交互从一开始就离不开手的参与，但正如前所述, 只有利用手的运动轨迹的输入设备才称得上具有手势输入功能.Weimer分析了在人机交互中使用手的几种方式：3 直接操纵(Direct Manipulation)，2D GUI提供了较为完善的二

12、维空间的直接操纵技术；虚拟现实技术也较好地发展了三维空间的直接操纵技术，如利用六自由度空间控制器实现的三维物体操纵.直接操纵技术利用的是所谓“操纵性手势”, 即手势本身不传达语义信息. 语言性手势(手语), 它利用的是所谓“交互性手势”, 即计算机必须对手势做出语义解释, 如利用指关节的模式匹配技术实现手势词汇识别. 补充性手势, 它利用的是所谓“非自主性手势”, 它介于直接操纵和语言性手势之间.对这种手势的解释更多地依赖于语音识别，换言之, 它为语音提供补充信息.例如，Put-That-There8系统依靠“指点”手势来解释“Put That There”中“That”的确切所指(Refer

13、ant).就语言和手势输入这两个典型通道比较而言, 它们各有自身的优势和不足.语言对于表达抽象概念及离散属性(或命令)是具有绝对优势的，而且可以涉及视觉不及的对象，但表达空间或形状信息的能力却是较弱的.例如7, 驾驶汽车时, 我们不会习惯于发出“左转30”的命令，然后再发出一个“观察车窗外景”的命令，而是自然而然地向左转动方向盘，至于车窗外景的反应是及时的，我们可以根据这个反馈调整角度.手势非常适合于指点、表达形状、几何变换和装配等任务.一般说来，将手势用于人机交互可能有以下的优点： 手势在不同文化习俗间是相似的, 与语言无关; 手势填补了图形交互与自然语言交互之间的空白，起到中介作用，从而使

14、两者相互结合； 用户能较快学会和掌握手势交互； 可同时用双手完成许多任务，可大大提高人机交互的效率，等等.应该指出， 无论是自然语言、 语音还是手势输入都存在固有的不精确性， 难以达到100%的识别率， 这一点恰与形式语言形成鲜明的对比. 在精确性方面， 手势输入也不能与传统的基于精确输入的鼠标器相提并论. 但这种不精确输入手段带来的较低的认知负荷正是构成自然人机交互风格的本质10. 因此， 手势在人机交互中的应用的精髓不在于用来独立地用作空间指点， 而是为语言通道提供空间的或其它的约束信息， 以消除在单通道输入时存在的歧义.5多通道用户界面如前所述, 真正意义上的手势是利用手的运动轨迹的信息

15、, 因而直接操纵界面对手势的使用方式不是真正的手势交互.而语言性手势需建立一整套手势词汇(手语)，除了识别与理解困难而外，特别当词汇集较大时, 作为一般计算机用户并不能以很低代价(不经严格训练)自然地与计算机交互，而只有在少数场合(如专业校对)和少数用户群(特殊领域的专业人员或聋哑人)才有实用价值.总之，更具有广泛意义的自然风格的人机交互对手势的利用应当是补充性手势, 即手势和语言(或其它通道)相互配合，形成互补.我们先讨论语言性手势交互的应用.前面谈到过，除非对于经过训练的用户, 一般用户较难掌握大量的手势词汇.例如手语词汇集虽不过3000个词, 但普通用户只能使用其中少量手势.不过，对于特

16、定应用领域或只需建立有限词汇用于完成特定任务的场合仍是实用的.如三维空间交互中基本交互任务包括浏览场景、选择目标和操纵目标(移动、旋转、缩放)，可与不同的手势对应.考虑到手势输入信息不精确的特点，我们在将手势应用于多通道用户界面的研究中，倾向于将手势输入作为一个辅助通道加以利用，以便为其它通道(特别是语音通道)提供附加的互补的约束信息.为此，我们提出一种基于概率整合思想的多通道整合算法 12，用来对包括语音输入、手势(包括操纵性手势)输入、视线输入等来自多个通道的串行或并行的输入信息进行整合，试图从多个精确的或不精确的输入流中“精确地”识别出用户的交互意图.为了使整合算法具有交互设备无关和通道

17、无关特性，我们将各种具体交互设备抽象为几种类型的抽象交互设备，包括按键设备、字符串设备以及2D/3D空间定位设备.根据这种抽象，鼠标器、 指点手势输入及视线输入等均被视为空间定位设备，键盘(用于输入字符串时)和语音输入被视为字符串设备， 而键盘与语言性手势(基于数据手套的手势词汇)则可被视为按键设备.整合算法基于抽象交互设备意味着, 用户是使用鼠标器直接指点目标还是用手势指点来选择目标是无关紧要的，“概率整合”融合了不同设备在精确性方面的差别.也就是说，当系统能够独立地根据一种设备输入(如鼠标器)唯一地确定用户的交互意图时, 则认为信息已经足以确定交互意图；而当系统不能独立地根据一种设备获得确

18、切的交互意图时, 便继续检查并等待后继的更充足的输入信息，这些信息可能来自别的通道的输入.这种做法试图以充分性来代替精确性11，并兼顾了与传统的精确交互设备的兼容，并且不要求绝对可靠无误的整合结果，使用户与计算机的交互活动走向自然和高效，使人机交互的认知负荷得以大幅度降低.基于上述分析，将手势输入作为一种自然的、辅助的交互通道加以利用，从手势输入给出AOI约束，再利用语音进一步加以约束或确认，从而达到“精确输入”的目的.如图2所示，用户用手指向屏幕上虚线区域(AOI)，同时说“那个立方体”，来自这两个通道的并行输入信息虽然都是模糊的, 但对两者所指范围求交可唯一确定立方体D.具体而言, 手势所

19、指范围包括D, E，而语音所指包括A, C, D，求交后得到D.当然，若求交结果不唯一，则宣告整合失败，此时可要求用户给出进一步的约束信息，直至成功地解决所指.图2多通道整合示例6结束语我们在从事国家自然科学基金重点项目“多通道用户界面研究”的相关研究工作中，详细分析了手势交互及其与其它通道交互配合的特点，并在我们的4MUI (MultiModal-MultiMedia User Interface)核心系统和原型系统中集成了包括语音、键盘、鼠标器、三维鼠标器、视线输入和手势输入在内的多通道交互输入，并重点进行语音和手势整合的实验和观察，基本证实了多通道协同交互的优势.* 本文得到国家自然科学

20、基金和浙江省自然科学基金项目的支持.方志刚，博士，副教授.主要研究方向为人机交互和软件工程等.作者单位：浙江大学CAD&CG国家重点实验室杭州 浙江大学电子工程系杭州 参考文献1祝运新等. 计算机手势解释方法研究.智能计算机接口与应用进展.北京：电子工业出版社.19972杨吉广等.基于数据手套的手语识别方法. 智能计算机接口与应用进展. 北京：电子工业出版社.19973D. Weimer and S. K. Ganapathy. 使用手的运动轨迹跟踪和语音识别的交互技术. 多媒体接口设计. 上海：上海科学普及出版社，19944K. H. Hane and H. J. Bullinger. 多模

21、态通讯：文本和手势的集成. 多媒体接口设 计. 上海：上海科学普及出版社，19945D. J. Sturman, et al. Hands-on interaction with virtual environments. ACM SIGGRAPH Symposium on User Interface Software and Technology, 19896M. L. A. Sternberg. American sign language. a comprehensive dictionary. Harper and Row, New York, 19817B. Shneideman.

22、 Direct manipulation: a step beyond programming languages. IEEE Computer, 16(8), 1983.57698R. A. Bolt. The Human interface -where people and computers meet. Blemont: Life Time Learning Publications. 19849M. Krueger, T. Gionfriddo and K. Hinrichsen. Video place: an artificial reality. Proc. of CHI85,

23、 Special Issue of The SIGCHI Bulletin. ACM SIGHCI, New York ACM Press, 1985.354010Wang Jian .Integration of Eye-gaze, Voice and manual response in multimodal user interface. In Proc. of the IEEE International Conference on System, Man and Cybernetics. Vol.5, 1995.3938394211王坚等. 基于自然交互风格的多通道用户界面模型. 计

24、算机学报，1996.增刊.130134计算机研究与发展JOURNAL OF COMPUTER RESEARCH AND DEVELOPMENT1999年 第36卷 第9期 Vol.36 No.9 1999CAD中三维交互技术的研究与实现齐建昌戴国忠摘要本文研究了VR技术在CAD几何造型中作为交互手段的应用，特别研究了三维交互技术在CAD中的实现.通过提出一种用于三维交互的精确视觉线索方法，实现了对三维空间中不同三维实体相互位置关系的精确感知.探讨了CAD中在三维交互技术支持下的新的几何造型技术.关键词虚拟现实，几何造型，三维交互，形状线索中图法分类号TP391.4RESEARCH AND IM

25、PLEMENTATION OF INTERACTIVE3D TECHNIQUES FOR CADQI Jian-Chang and DAI Guo-Zhong(Institute of Software, Chinese Academy of Sciences, Beijing )AbstractDiscussed in the paper here is the use of virtual reality technology as the interaction mechanism for geometric modeling in CAD application, especially

26、 the interactive 3D technique in CAD. Precise visual cues for 3D interaction are presented to perceive the spatial relationships of 3D objects. New geometric modeling techniques in a CAD system are also proposed, that use 3D interaction mechanisms.Key wordsvirtual reality, geometric modeling, 3D int

27、eraction, shape cues1引言当前的三维几何造型系统中，交互技术主要使用二维鼠标和键盘来实现.二维鼠标是造型过程中几何数据输入和拾取的主要设备.在概念设计阶段，所设计的外形结果需要经常地修改，更主要的是达到一种视觉上的美观，各个部件之间的比例协调，大致上的功能设计，并不要求确定详细的尺寸.因此，在概念设计阶段，过多的利用键盘输入精确的坐标数据意义不大.在概念设计阶段，由于不要求输入精确的几何数据，很适合用二维鼠标作为输入设备，实现在二维坐标平面勾画轮廓，然后向三维坐标空间扫描，从而进行三维实体造型.但是在三维造型过程中，由于二维鼠标只能同时提供二个自由度，为了能输入三维坐标数据

28、，必须确定一系列辅助的用户工作坐标系，二维鼠标输入的是针对当前用户工作坐标系中的一个工作平面的数据.这些辅助坐标系的选择，造成三维几何造型中交互任务过多，降低交互任务的直观性与效率.利用笔在纸上进行草图的勾画，或利用光笔与手写板在一定的软件支持下进行草图勾画，由于最终结果是一个二维的平面图，不仅会限制概念的表达，而且三维模型的生成需要重新构造或者开发复杂的识别算法进行从二维视图到三维的重构.VR技术的发展提供了一种新的人机交互方式.三维交互、触觉感知、语音识别、手势识别等技术均可以应用在造型技术中，提供一个多通道的CAD系统的界面.尤其是三维交互技术，是VR在CAD中的关键应用技术，它能在概念

29、设计阶段中，提供一种快速直观交互方式.三维交互技术使用三维输入输出设备来完成交互任务.三维输入设备如三维鼠标可以提供3个平移及3个旋转共6个自由度，三维输出设备如头盔、眼镜可以通过双眼视差提供更为真实的显示图像.将三维交互技术与CAD三维几何造型相结合，就是要充分利用三维输入设备的多自由度输入能力和三维输出设备的立体显示能力，为三维几何造型开创新的交互方式，解决以二维鼠标为基础的交互方式中存在的问题.将三维交互技术与CAD几何造型相结合的研究由来已久，早在1975年Clark利用Ivan Sutherland设计的头盔显示设备和Utah大学开发的机械Wand建立了一个曲面设计的交互环境1，其后

30、陆续出现了一些类似的系统，这方面需要继续研究的内容很多，距离实际应用还有一定的距离.视觉线索是三维交互中的一个重要研究内容.在几何造型任务中，要求提供精确的视觉线索以保证造型操作的效率与准确性.除了常用的透视投影、光照显示、消隐等方法，大多数系统利用双眼视差来提供更为立体的显示图像2，3，由于需要长时间地带上头盔或眼镜，这不符合人机工学的要求，对于键盘输入会带来不便.动态显示方法4只要求在操作者的头部带上一个追踪器，通过一系列的坐标变换，使得通过头部的移动得到不同视点下的图像来增强显示的立体效果.上述方法包括投影方法5在内，缺点是不能提供精确的视觉线索，所以不适合用于几何造型任务.本文提出的形

31、状线索是精确的视觉线索，支持几何造型任务.传统的三维拾取方法中，如拾取圆柱3、拾取圆锥4、体光标6等方法利用遮挡线索作为完成拾取任务时的视觉反馈，其共同的问题是在光标与被拾取目标间不存在遮挡关系时，无法确定它们之间的空间位置关系，难以用光标瞄准物体，会出现拾取错误.文献6提出了透明体光标的方法来支持对空间物体的三维拾取，并且正式评估了透明的体光标和应用双眼视差的立体显示设备在拾取中的作用.实验结果表明，透明体光标比立体显示设备更有助于完成拾取任务，将二者结合起来效果会更好，但是3种方式均不能避免拾取时发生错误.体光标只能区分光标在拾取目标前，光标包含拾取目标，光标在拾取目标之后3种情况，在光标

32、与拾取目标之间没有遮挡关系时，不能确定它们间的空间位置关系，因而会发生拾取错误.本文在形状线索上提出的三维点，三维Box拾取方法不会出现拾取错误.本文提出的用于三维交互的精确视觉线索方法，支持三维空间中对不同三维实体相互位置关系的精确感知，由于其同时能提供三维实体的形状信息，称为形状线索.在三维交互与CAD三维几何造型的结合中，形状线索提供的视觉反馈起着重要作用，保证造型操作的准确性和有效性.本文实现了以下利用三维交互的几何造型技术：三维点的定位，单个实体的三维点拾取，多个实体的三维Box拾取，体素造型，三维勾画.在三维交互的支持下，传统的体素造型可以以一种全新的交互方式实现.本文尝试了利用形

33、状线索在三维空间中直接勾画造型，这是一种新的交互方式，还未见到文献上有类似的方法.三维勾画是概念设计中极为有效的一种交互方式.2基于VR技术的CAD交互环境基于VR技术，我们建立了一个新型的CAD交互环境，称之为VR-CAD，整个系统是一个多通道的交互环境，涉及语音、手写及三维交互.本文重点涉及的是VR-CAD中的三维交互技术.2.1三维交互环境在三维交互环境的选择上，可以有多种可能，具体哪一种更适合CAD造型的应用，需要仔细地进行分析.利用数据手套作为输入设备，由于可以使用双手交互与手势识别等技术，其表现能力要强于三维鼠标，因为在三维鼠标上仅有几个热键可以利用.但是，使用数据手套的同时要使用

34、追踪器，价格比较贵.而且绝对坐标输入与相对坐标输入设备比较起来，相对坐标输入设备更适合几何造型的任务需要.利用立体视觉输出图像，如立体眼镜、头盔等，无疑会使图像输出更具有真实感，尤其是z方向上的深度感知.但是从人机工学上考虑，会给用户带来一定的生理负担，尤其是对CAD几何造型任务，在长时间的使用中，会使用户的眼睛产生疲劳.如果只利用普通的CRT显示器，在光照模型下输出的图像，不足以提供三维空间的信息，支持利用三维输入设备的使用.本文所使用的三维形状线索可以有效地解决这一问题.所以，综合起来，所选用的三维交互环境是利用三维鼠标作为数据输入设备，同时利用立体视觉和普通CRT图像输出两种方式，但开发

35、了三维形状线索来支持三维鼠标的空间定位.三维视觉线索在两种图形输出方式中都是有效的.2.2多通道交互VR-CAD需要一个多通道的交互环境，三维交互只是其中的一个关键部分，常规的键盘与二维鼠标输入、语音的输入输出与语音识别、甚至触觉感知都将成为VR-CAD中的有效交互方式.而且多种交互方式的整合也需要重点的研究.在我们的系统中，三维坐标输入使用Logitech Magellan 3D controller，造型命令用语音输入的方式实现，精确的坐标数值用键盘输入.Logitech Magellan是一个提供相对坐标的控制设备，比绝对坐标控制设备更适合造型任务7.由于不便于经常从三维鼠标切换到二维鼠

36、标来激活菜单输入造型命令，所以造型命令采用语音输入的方式进行.三维鼠标适合概念设计时不精确坐标的输入，在要求精确坐标的场合下，更适合用键盘输入.在图形输出上，利用常规的图形显示器以及形状线索，常用的透视投影、光照显示、遮挡线索能提供足够的视觉反馈支持三维几何造型任务.由于在概念设计阶段不要求输入精确的坐标数据，系统提供三维的坐标网格，将用户随意输入的坐标点捕捉到最近的坐标网格上.立体视觉输出是另一种图像输出方式.3三维交互技术3.1多自由度输入设备一个三维控制设备可以同时提供6个自由度，包括3个平移自由度，3个旋转自由度.但是用户很难对它们进行同时控制，因为用户的手在控制过程中实际上是在不断地

37、抖动，这会引起相应的自由度的改变，使6个自由度之间互相影响.即使用户只想控制改变其中的1个自由度，也会引起其它5个自由度的变化，因此同时控制多个自由度实现起来很困难.一种可行处理方法是根据输入的数据进行分析，并判断出起主要作用的1个自由度作为当前用户的输入意图.3.2形状线索形状线索是指当三维光标与场景中的对象处于不同的相对位置时，对象的不同部分呈现出不同的光照效果.应用形状线索感知对象与光标的相对位置就是通过对象形状上光照的分布来反推三维光标与场景中对象的位置关系.根据光标与对象的位置关系向x，y，z三个方向上的投影，形状线索可分为x, y, z 三种，这3种形状线索分别支持x, y, z方

38、向上三维光标与空间实体之间的位置关系的判断.虽然可以同时显示3种形状线索，为了简便，系统根据当前三维光标的x, y, z平移方向决定只显示该方向上一个形状线索.形状线索的显示过程分为3步， 在图1(b), 图1(d)和图1(e)条件下，对三维实体在正常材料下进行光照显示；在图1(a)和图1(c)条件下，对三维实体在高光材料下进行光照显示. 显示图1中以加粗黑线表示的平面，只改变Z-Buffer中的数据而不在显示屏上显示这些平面. 再次显示三维实体，在图1(b), 图1(d)和图1(e)条件下，对三维实体在高光材料下进行光照显示；在图1(a)和图1(c)条件下，对三维实体在正常材料下进行光照显示

39、.图2显示的是形状线索的效果.图1使用形状线索的结果是，在当前三维光标处对三维空间进行了x,y,z方向上的切割，在光标前面、上面和右面的部分会以高光方式显示，高光显示的依据是假定光源处于前、上、右方，而三维光标的想象中的坐标面是不透明的，这样三维光标周围的对象就处于不同的光照效果中.这样提供了对三维光标与空间三维实体相互空间位置关系的精确感知.如图2(a)，在没有形状线索的情况下，很容易认为三维光标位于立方体的右侧，形状线索显示了三维光标在立方体左右侧面之间以及左右比例.图2(b)和图2(c)显示了三维光标与立方体上下及前后的位置关系.图24造型技术4.1坐标空间在系统中存在3种坐标系，世界坐

40、标系、漫游坐标系及工作坐标系.漫游是VR-CAD系统中的一个特点，用户不断地通过控制三维输入设备，改变观察的视点位置与角度，以达到一个满意的空间位置，这时用户面对的就是漫游坐标系，可以在该坐标系下进行几何造型.有时漫游仅仅是为了改变一下观察视角，几何造型需要选择一个工作坐标系，在该坐标系下实现几何造型任务.4.2三维拾取三维拾取是三维交互的基本操作，其目的在于标定一个或一组场景中的对象.本文提出的三维拾取方式包括三维点拾取、三维Box拾取，它们是二维CAD系统中点拾取、Box拾取方式向三维的自然扩展.点拾取方式中，要求用户控制三维鼠标使三维光标靠近所要拾取的实体，然后按下三维鼠标上的控制键进行

41、拾取.在光标向实体靠近的过程中，必须形状线索能够提供的为用户感知二者之间空间位置关系的视觉反馈，在视觉反馈的指引下，用户可以从x, y, z任意一个方向开始移动三维光标，直到在该方向上光标接近了实体后开始下一个方向上的光标移动.Box拾取方式是针对一次拾取多个实体的要求设计的，用户要在空间确定Box的二个对角顶点，拾取其间包含的实体.在确定顶点的过程中，视觉反馈同样能够提供精确的空间关系.图3的曲面是通过修改控制顶点的方式得到的，在三维空间中通过三维点拾取方式拾取控制顶点，可以明显地看到，三维光标周围的控制点有不同的光照效果，这就暗示了光标与控制点之间的相对位置关系，在这些视觉线索的辅助下，可

42、以直接控制三维鼠标将顶点拉到所需的空间位置，进行简单的曲面设计.图34.3体素造型体素造型是实体造型中的一种常用方法.在体素造型中，充分地体现了三维交互在几何造型中的优势.这时系统有两种状态：造型状态和漫游状态.用户通过激活三维鼠标上的热键将系统置于造型状态，用户利用热键发出体素造型命令，或说出一个语音命令，或利用数据手套作出一个手势，系统自动在三维光标的当前位置生成一个简单的体素.利用三维鼠标可以随意地控制其在空间的6个自由度位置，同时可以通过语音命令或手势将当前造型状态切换到漫游状态，观察当前的体素与原有体素间的空间相对位置关系，大小相对位置关系.观察完毕后，重新切换到造型状态，根据观察结

43、果修改当前体素的大小及其所处的空间位置关系，这样达到满意为止.在这个过程中，用户可以通过键盘键入体素的精确形状参数和空间位置参数，也可以用语音输入来实现这一点.但需要指出的是，在概念设计阶段频繁的输入精确的形状与位置数据是不符合该阶段的任务特点的，理想的方式是所有的任务均应该通过三维交互的手段来实现.一个问题是仅仅通过视觉的感知来实现体素造型必然会带来一定的误差，如体素之间存在的平面与平面的贴合关系，体素之间的垂直关系等.解决这个问题可以通过一定的算法来实现.在经过了漫游观察和对当前体素的修改之后，可以用热键、语音或手势激活一个粘贴命令，在该命令实现过程中，利用算法实现精确的体素之间的位置关系

44、计算，这样可以加快造型的过程.4.4自由勾画三维勾画指直接利用三维鼠标提供的x,y,z坐标进行空间的勾画造型，是一种在概念设计阶段构造简单几何形体的快速造型方式.Pro-Engineer在开始造型时要首先在二维平面上勾画一个轮廓，然后向空间拉伸成实体.由于二维勾画时是概念设计，不要求输入精确的尺寸值，所以利用二维网格来辅助鼠标输入数据，每一个鼠标点被捕捉到最近的网格点上.同样，在三维勾画方式中，本文设计了三维网格来辅助三维鼠标的数据输入.图4说明的是一个看似SGI商标的空间管道的勾画过程，虽然其几何形状简单但空间结构复杂，如果用当前的商用软件造型，由于要构造辅助的用户工作坐标系及工作平面，会使造型任务复杂化而且需要用户有较强的空间想象能力.在三维勾画中，用户发出造型命令后，直接拖动三维鼠标在三维空间中造型，无须选择用户坐标系与坐标平面.在形状线索的辅助下，可以很方便地实现管道的长度及方向的控制，而且在造型过程中可以明显地感知到当前三维光标与当前造型状态之间的空间关系.图45结语本文探讨了VR-CAD系统中