人机交互技术在游戏中的应用

1、人机交互技术在游戏中的应用FEATURE本期特稿计算机游戏是.种基于计弊机技术ifii迅砬发展起来的艺术与娱乐形式涉度艺术与技术两个范畴从技术范畴柬看,计算机游戏足将几乎所有不同计算机科学皿域结台在一起的少数应用之一(堪称最折计算机技术的试验田)技术所完成的是固化游戏内容,提供输入/输出的交互手段.井向游戏者有效地展示游戏内窖现令.游戏匮面和声响效果愈米愈绚丽逼真.各种新型游戏平台和操控设备亦不断涌现.这其中.最能棱玩家直接盛受到变化的,当属不断发展中的人机交互【Huma砷一COIIlPUterIriteracti0n.简称为HCI)技术.因为,人机交互拄术决定着游礁的输入和输出方式,乃至楚个

2、游戏内部的运行机制本文首先简要回顾人机交互拄_术的发展过程,进而对其在蒜戏中的应用进行介绍随之与大家分享笔者所在的团队(中科院自动化研究所交互娱乐研究组)往此领域所龇的工作和取得的成果,最后对未来的人机交互技术和游戏进行展望.一,人机交互技术的发展人机交互是研究人,计算机以及它们相互影响的技术.是指用与计算机系统之的通信,是人与计算机之唧各种符号和动作的双向信息交换,即可由人向计葬机输入信息,也可由计算机向使用者反馈信息.在计算机出现的半个世纪中,人觇交互技术经历了巨大的变化,井梭认为是21世纪信息领域需解决的重大课题美国2l世纪信息技术计划中的基础研究内容有4项:软件,人机交互,网络,高性能

3、计算我国973.S一863,十五及十一五计划均将人扎交互列为重要内容.人机交互技术的重要性不言而喻,因为它影响着最终用户的使用方式,计算机的推广.7,至人们的工作和生活,同时人机交互界面也是仆算机系统的重要组成部分和研制最同准的一个部分.人机l尘互系统包括交互设备,交互软件以及人的因素三项要素.对于人机交互技术的发展过程和趋势,我们町从迷三个方面来总结和展望(1】交互设备是人与计算机进行交换信息的媒介和手段:就其具体形式而言,过去经历了字符输人输出设备,图形图像输八输出设备,声音,姿势触觉设备以及多通道交互设备等.(2)交互软件是交互系统的核心.目前的计算机操作系统,办公及娱乐戟作功能不断强大

4、,种类也不断丰富,其中以游戏软件最为显着.(3)人的因素指的是用户操作模型与用户的各种特征有关.任务将用户和计算机系统的行为有凯地结台起来.人机交互发展的趋势体现了对人的因素的不断重视,使人机交互更接近干自然的形式,使用户最大I鞋度利用自身的日常技能.从而降低认知负荷,提高工作效率.这种以人为中心(User.Centered)的思想,特别是自上个世纪80年代以来,在人机交互技术的研究中得到明显的体现.下面按时间先后顺序舟绍人机交互技术的发展过程井对其趋势进行分析I.期的人机交互世界L第一台数字计算札ENIAC(ElectronicsNumberIntegratorAndComputer)在I9

5、43一l946年由美国寅州大学摩尔学院开发,【946年用于计算弹道方程的积分当时计算札的程序采用联线的方法在小接线板上相互连接,后来用穿孔卡片和穿孔纸带,由专门的阅读器输入程序和数据对计算机的操作和调试是通过计算机控制面板上的开关.按键和指示灯来进行.当时人机界面的主要特点是由设计者本人(或本部门同事)来使用计算机,他们采用手工操作和依中Il札器f二进离髓捌叠2006年5月号制机器代码)的方法去适应现存看来是十分笨拙的计算.达个时代人机交兀的代表就是穿孔卡.2.命令i.川_卜个世纪50年代中期,通用程序设计语言的出现为计算机的广泛应用提供了极为重要的工具,也改善r人与计算机的交互.在人机界面上

6、则出现了用于多任务批处理的作业控制语言(JCL,JobControlLanguage).1963年由美国麻省理工学院成功地开发r第一个分时系统CTSS,炸采用多个终端和正文编辑程序,它比以往的片或纸带输入更加方便和易于修改.尤其是在出现交互显示终端后,广泛采用了命令行作业语言,极大地方便了程序员.这一阶段的人机界面特点是计算机的主要使用者程序员可采用正文和命令的方式和计算机打交道,虽然要记忆许多命令和熟练地敲键盘,但已经可用较多的手段来调试程序并了解计算机执行的情况.这阶段人机交互的代表是以键盘守制的DOS系统.3.冬1彤川1963年美国麻省理_=学院伊几?苏泽兰(ISutherland)的S

7、ketchpad系统开创了交互计算机图形学的新阶段.70年代Xerox公司在Alto计算机j先开发rSmalltalk一80(开始为一76)的多窗口程序设汁环境,它采用高分辨率的图形显示器和新型的鼠标输入设备,应用了重替型窗口,弹出型菜单,图符和剪贴等功能.80年代乃至90年代,苹果公司的Macintosh计算机,微软公的MSWindows系统和麻省理工学院XWindow系统,正是这类人机界面广泛应用的代表.从此,人机界面进入了图形用户界面的新阶段,即所谓的WIMP(Window,Icon,Menu,PointingDevices),这个时代交7设备的代表就是鼠标.图形用户界面的主要特点是人们

8、不需要去记忆和敲打繁琐的命令,只需通过鼠标直接操纵界面,就可以在窗口中所见即所得.由丁图形用户界面在使用上的简便性,使不懂计算机程序的普通用户也可以熟练地使用计算机,因而极大地拓展了计算机的使用人群.它的出现使信息产业得到空前的发展,人们深刻地认识到人机界面的重要性:仟何工具(包括计算机)都必须不断适应人们的需求.1.多迎逝人机交以虚拟现实(Virtua1reality)为代表的计算机系统的拟人化和以掌:电脑为代表的计算机的微型化和随身化,是当前计算机两个重要的应用趋势.目前以鼠标和键盘为代表的人机界面技术是影响它们发展的瓶颈,因而多通道人机交互(MultimodalHCI)技术被提上了日程.

9、它利用人的多种感觉通道和动作通道(如语音,手写,表情,姿势,视线等输入),以并行,非精确的方式与计算机系统进行交互,可以提高人机交互的自然性和高效性.以三维,沉浸感的逼真输出为标志的虚拟现实技术是多媒体,多通道界面的重要应用目标.它依赖于多种技术的进展,如模式识别,全息图像,自然语言理解和新的传感技术等.目前,语音和手写输入实用化的目标已经有很大进展.二人机交互技术在游戏中的应用由于游戏软件的普及性,普通大众直观地感受到了渗透在游戏及各种外设中的最新人机交互技术.更自然的控制方式,更逼真的视听乃至触觉反馈和游戏体验,足人机交互技术在游戏中应用的目标,也是玩家不断提出的需求和期望.比如,玩家期望

10、在拳击游戏中用真正的拳击动作代替按键,或是直接用语音对所守制的游戏角色下命令,或是真实地感受到游戏中场景和敌人所给予的力度冲击,或是将自身形体逼真的展示在游戏世界中以及看到真实的三维显示而非二:维显示等.目前已经有很多人机交互技术在游戏中得到_成功应用,例如晤音识别技术,图像识别技术,力反馈技术,立体显示技术等.但仍有一些最新的技术得不到有效应用,这主要是由于技术本身有限制因素而难以在游戏产品中推广,这些限制因素包括:(1)价格过于昂贵.通常,新的交互技术往往代表了最新科技的发展,因而产品的价格都很高,只有专业的大公司才有能力购买.(2)体积过大.如立体显示系统,体积往往比常见的游戏主机大很多

11、,甚至有的三维显示墙根本就不可能在一般家庭内安装.(3)使用和安装繁琐.有些交互技术需要在用户身上安装大量的传感器,与设备之间还需要大量的连线,这些都会让用户感觉不适.(4)准确性和稳定性不足.由于技术本身还不够准确和稳定且易受外界环境干扰,冈而限制了其应用.但随着交互技术的发展,普通玩家将会在游戏中获得越来越多的新体验.下面我们将从控制(输入)和显示(输出)两个方面分别介绍交互技术在游戏中的一些最新的典型应用.I.托制技术除了以键盘,鼠标为代表的传统输入控制设备外,市面已有多种通用型和专用型游戏控制设备出现,如射击光线枪,赛车方向盘,飞行手柄,跳舞毯,运动滑板等等.图02.陀螺仪和感应手套图

12、03.LifeLine的Pc演示版界面这着重介绍几类新型的游戏控制技术.1.1动作感应技术和力反馈技术动作感应技术主要用在动感游戏控制器中,是一种能感受重力,摆动,振动和运动的传感器.传感器把重力和压力转换为信号,再由游戏手柄进一步将其翻译并输入游戏能识别的常规指令.比如你只要在游戏时不断倾斜移动摇杆,就能完成飞机的上下起伏或左右摇摆,从而使用户可以用更加自然和直觉的方式来控制游戏的进行.而力反馈则是提供更加真实的体验,让玩家感受到跑道上鹅卵石的颠簸,飞翔中猛烈的撞击以及导弹发射的强大后坐力等.2005年初法国Bigben公司推出一种用1:PS2的新型控制器BodyPAD,该控制器可装备在玩家

13、身上,感知玩家身体的位置和动作等信息,并根据这些数据以无线的方式控制常见的格斗类游戏(FTG)(如图01).任天堂在2004年底发布了GBA游戏回转瓦里奥制造(Wari0Ware:TWiSted!),该游戏卡带内藏陀螺传感器(GyroSensor),能够感应倾斜,旋转和晃动操作.游戏中基本不需按键,只要旋转或晃动游戏机即可,这使掌机的游戏方法又多了一种.此外,任天堂曾发布一种可以套在手上,用手代替手柄控制游戏的感应手套PowerGlove(如图02).1,2语音识别技术语音识别是实现自然人机交互的一个重要发展方向,目前的语音识别技术已经比较成熟并被广泛的用于各种应用中,目前PS2,N64等主流

14、视频游戏主机上也已推出数款使用语音识别技术的游戏.2004年Konami公司推出了第一个全程语音互动的游戏LifeLine(PS2平台),该游戏的语音识别系统可以识别超过5000个英语单词和l0万个短语.例如可以识别的命令有Shoot,Dodge,Reload,Hurryup!,Canyouhearme?等(如图03).1.3视频交互技术视频交互技术一直以来都是人机交互的研究热点,但由于图像数据的信息量太大导致处理较困难.随着近年硬件的发展,视频捕捉设备越来越普及,摄像头等已经称为个人电脑的标准配置,因而也出现了一些以视频进行交互的新型游戏,比较典型的就是索尼公司基于PS2的EyeToy游戏.

15、2003年索尼公司发布了PS2专用摄像头EyeToy.通过EyeToy,玩家的影像被投影到游戏画面中,玩家直接成为游戏的主角,可与游戏中虚拟元素进行真实互动.EyeToy游戏在欧美和日韩已经成为一种很受欢迎的新型游戏形式.目前游戏中应用最多的互动技术主要是各种初级的视频运动检测和分析技术(如图04).图04:EyeToy及其游戏画面产品,例如广州英狮数码科技有限公司,上海超澜数码科技有限公司,北京盛开交互娱乐科技有限公司以及香港智能互动多媒体有限公司和德国游戏开发公司bhkSoftwareGmbH&Co.KG等,都在开发基于PC的视频交互游戏.拥有摄像头的普通玩家可方便的体验视频游戏带

16、来的娱乐和健身乐趣.例如,由北京盛开交互娱乐科技有限公司自主开发的视频交互游戏海之星就充分融合了视频交互和传统消除类游戏(如泡泡龙,祖玛系列等)的特点,强调玩家左右手,双眼以及脑力的协调,玩家需要用双手触发两侧下落的海洋球,以便将中间区域不断向外生长的海洋球消除(如图05).1.4触摸屏交互触摸屏技术已经出现了多年,技术已经很成熟,价格也相对比较低廉.当今很多产品如笔记本电脑,手机,PDA,数码摄像机中都有触摸屏的应用.在2004年的E3大会上,任天堂发布了新一代掌机NDS,它采用了触摸屏设计,使游戏的操作方式更灵活.虽然从商业运作上NDs不如索尼的PSP成功,但NDS的游戏性却远远超出PSP

17、.由此可以预见,在未来开发基于PDA,手机的游戏时,使用触摸屏的操作方式将是很有潜力的发展方向(如图06).1,5视线跟踪技术视线跟踪系统也称为眼标,因为这种系统通常是用来实现类似鼠标的定位,移动,选择等功能.目前视线系统还没有具体应用到游戏系统中,但它能达到自然交互的效果,因而将是未来游戏交互技术的主要发展方向之一.LCTechnologies公司的Eyegaze是一种较为成功的视线跟踪系统,目前已有较为成功的商业产品,比如用于残疾人控制电脑等游戏翻蕾2006年5月号图05盛开娱乐的视频游戏海之星图06NDS及其专用触摸屏控制游戏方面.视线分析系统可以测量,i己录和播放视线数据许分析用户的视

18、觉行为(如图07).2.,J技术所谓的计算机三维显示技术是利用透视投影原理将立体图形经过光栅化绘制到CRT或液晶示器的表面上,在一定程度上模拟出纵深信启.,但实际上在效果上与人的真实视觉感受还是有很大差别的.一些新型的立体显示技术,如基于视觉原理的立体显示技术,三维全景显示器,空间三维显示技术等正逐步被应用到游戏娱乐中.21基于视觉原理的立体显示技术这类显示技术的基本原理来自于人的视差原理.即对于空间三维物体,人的两眼看到的影像是有差别的.根据这个原理,如果让人的双眼看到不同的影像,就能够产生立体的效果.这类产品有立体眼镜和立体显示器等.显示不同的影像.任天常于l995年推出双屏立体眼镜Vir

19、tualBoy,将三维立体眼镜与游戏机相结合,具有相当大的刨新性.但由于售价太高,软件开发较少和处理饥能限制等原因,并没有取得商业上的成功.但立体眼镜本身还是在军事,帆天等方面得到了大量的应用(如图08).2)立体显示器与双屏立体显示技术不同,在立体显示器上,只要用肉眼就能观察到突出的立体显示效果,不需佩戴任何立体眼镜设备.同时,它也可以实现视频图像(如立体电影)的立体显示和立体观察.Opticalty公司(原X3D公司,总部位于纽约)在这一领域处于领先地位.立体显示器的原理是在液晶中精确配置用来遮挡光线行进的视差屏障.视差屏障通过准确控制每一个像素遮住透过液晶的光线,只让右眼或左眼图07:E

20、YEGAZE的原理图08:VirtualBoy及其游戏画面哪EC硼堋MAY2006图09:立体显示器图10:TransPoft的显示效果面中,由于观看液晶的角度大体确定,因此比较容易实现3D画面.在个人电脑及电视等大型显示器中应用该技术还需要解决很多问题,比如显示亮度太暗,分辨率较低以及存在一定的三维盲区等(如图09).3.2三维全景显示技术El立公司于2004年开发出了全景3D显示器原型TransPort.这种三维显示系统外观呈圆柱体,在其底部和顶部分别有一台投影仪和一面镜子,两者呈对立放置.圆柱体显示器的中间则分布有24块镜面,它们环绕圆柱体的内面排列开来.24块镜面的中央还有一块显示3D

21、图像的旋转屏幕.在这个三维显示器开始工作时,内置照相机会首先从24个方向对需要成像的物体(静态或动态)进行拍照,然后显示器底部的投影仪会将这些照好的图像投射到顶部的镜子上去.图像再按照一定的角度反射到24块镜面,最后到达中央显示屏以形成3D图像,其图像的旋转速率为1秒30次(如图l0).这种屏幕能够依次显示一个图像的24个反射画面.由于其显示屏为双面设计,因此,观众在特定的角度(为了不会产生图像重叠,该显示屏具有较大的视角限制)上就能够看到l160秒的图像,这样,在观众的眼里就形成了三维画面.目前,El立正在对这种三维显示器的商业前景做可行性研究.它可能被用于广告或者街机游戏的显示,能够同时显

22、示全彩的静止和运动图像,日立表示,这种技术将很有希望取代现在的全景显示技术.全景显示技术曾被认为是显示三维图像的最佳渠道,但它在显示运动图像时还需要解决很多技术难题.3.3三维全景显示技术在2004年8月举行的SIGGRAPH2004(2004年全球计算机图形学年会)上,美国ActualitySYstems公司展示了其研发代号为PerSPeCta的空间三维显示系统.Perspecta是全球第一台可以直接和电脑连接的商用空间三维显示器,该空间三维显示器可以用于彩色和动态场景的展示,用户还可以对所展现的空间三维图像进行控制.由于在成像速度和准确性上的优势,空间三维显示技术已经开始在医疗成像,石油和

23、天然气以及边防安全上得到应用图11:Perspecta系统的显示效果三,自然交互式游戏各种新形式的人机交互技术方兴未艾,它们更加接近人类的习性,更加自然,随着技术的进步,这种自然的人机交互方式在游戏中将占据重要的位置.以用户为中心的多通道交互方式是未来人机技术的发展方向,国内外在这方面的学术研究很多,但研究与开发多通道游戏交互技术在国内外目前都处于起步阶段.如前所述,微软,索尼,任天堂等一些领先游戏企业已陆续推出了应用新型互动技术的游戏产品.笔者所在的中科院自动化所交互娱乐研究组(以下简称交互组)进行互动娱乐应用技术研究已有4年历史,很多技术如人睑识别和建模以及视频跟踪和分析等是以往长期研究成

24、果的积累和转化.与国内外同行相比,自动化所在视频分析和语音识别方面的技术位居同等或领先水平.2005年4月,中科院自动化所将由交互组开发的自然交互娱乐技术授权给盛大网络,盛大网络对其实现娱乐化运用,推出适合家庭客厅文化的健康自然互动游戏,配合盛大家庭战略的实施.在现在和将来,交互组将不断推出可实用化的技术成果,并希望通过所提出新理念引领数字娱乐技术和产品开发的一支新方向,具体成果介绍如下.1.rI然幼姒乐在深入研究国内外数字娱乐内容和技术现状与趋势,尤其是我国在网络游戏现存问题基础上,交互组提出了自然互动,健康娱乐(naturalinteraCtiOnandfitentertainment)的娱乐新理念.在这种新型的娱乐方式中,通过技术手段,参与者自身的行为被作为了输入设备,而非局限于传统上用于操作键盘鼠标的双手,配合健康或益智的娱乐内容,参与者将获得全新的,健游髓翻童2006年5