身体运动的功能扩张以及周边环境反应模式探究

ADissertationSubmittedtoZhejiangUniversityfortheDegreeofMasterofTITLE:BodyMovements’FunctionAugmentationandInctionwithDigitalContents Lining Fangtian Designand ComputerSience&TechnologySubmittedDate: ：BasedonthecommontheoryofHumanComputerInction,adesignmodelforbodymovements’functionaugmentationwasproposed.Withinthemodel,thedesignphasesanddesignmethodswerediscussed,andwaysof ctionbetweenbodymovementsandambientenvironmentwerealsoconcluded.Thebehaviorsofbodymovementscouldbeaugmentedtoeverycornerofthedigitalspaces,areasrelatedincludeeducation,medical,entertainment,mediaandsociety;moreover,differentin ctivemodelcontents,realityaugmentation,in ctionwithphysicalobjectsembeddedwithcomputingsystemsanddigitalcontentscreation.Threedesigncaseswereintroducedinthepaper,thatareKungFuyingGetDancing,whichfocusingonencouragingeveryday’sphysicalactivity; ctiveAds,whichisfocusingonmakecommercialadvertisementsinthepubliccein ctive.Duringthedemonstrationofeachcases,designphases,implementationsandevaluationswerediscussed.：BodyMovement,FunctionAugmentation,HumanComputer ction,DigitalContents 第1章项目研究背 下一代人机交互的发展趋 从屏幕到物理空 从手持到身体运 游戏中的全身交互趋 第2章支持理论与相关工 相关理 可触摸式交互界面 多模交互（multimodal 扩张现实（augmented 穿戴智能（wearable 相关系统与技 QuiQui’sGiant EmbodiedConversational KickAssKung- HandheldAugmentedRealityProject(HARP)&Alien Pong g- Captainelectricandbattery Eye- TableTennisfor Shadow 第3章身体运动扩张的设计模 设计模 交互模 交互领 设计模 本章小 第4章应用与交互技 身体运动创造动画影片——“功夫熊猫 项目功能描 项目意 身体运动创造音乐——“舞起来 项目功能描 项目意 身体运动增强互动——“属于自己的 项目功能描 本章小 第5章总结与展 本文工作总 参考文 攻读期间主要的研究成 致 图图1.1混合现 图2.1图形用户界面与可触摸式交互界面的对 图2.2真的桌子 ，虚拟的台灯和椅子共同存在于一个空间 图2.3Mann佩戴可隐藏的扩张显示装 图2.4儿童的动作模仿和动作隐 图2.5JustineCassell与EmbodiedConversationalAgents系统平 图2.6Sam,the 图2.7Authorablevirtual 图2.8协作游 图2.9KickAssKung-Fu被功夫艺术家表 图2.9扩张显示游戏场 图2.10在涟漪模式下的Pong 图2.10PongPlus的系统结 图2.11g-stalt交互界 图2.13Footprint,MarcBeaulieu设 图2.14thestickydress风扇式救生 图2.15索尼Eye-Toy系统下的Groove游 图2.16三个人可以同时进行游戏的乒乓 图2.17方格被共享，每一次击打都会同时被三个人看 图2.18拳 图3.1设计模 图4.1演示效 图4.2系统组 图4.3开机画 图4.4动作 图4.5运行界 图4.6产品工作系统结 图4.7Arduino硬件模 图4.8arduino软件平 图4.9蓝牙适配器与蓝牙信息传输模 图4.10蓝牙适配器可以连接的设 图4.11加速度传感器模 图4.12接口转换的运行平 图4.13操作技术精湛的师傅在幕后通过小棍控制皮影人 事和情 图4.15产品使用场 图4.16音乐、节奏与舞 图4.17系统实现结 表表2.1简单的多描述分配 表4.1动作定 表4.2基本原器件列 表4.3所需其它工 表4.4场景说 表4.5访谈重点内 表4.6产品场景描 第1目研究背人机交互是一个在现代计算机技术的发展和下兴起的一个交叉的学科领域。于计算机学科，但目前的发展趋势是逐渐向心理学、音乐、设计学从屏幕到物理空间网络服务的兴起和繁荣，开发者越来越关注和各种软件的可用性、交互性和裁家里的智能化系统——可以靠响指开灯。这里，灯光系统被嵌入了数字控制，对于响指的反馈代表它抛弃了传统的墙上作的交互方式。数字系式混合、，这一切，都是为了服务于人类，是人们更容易得与技术交互，更1.1从手持到身体运动前比较流行的可触摸式交互界面，指的是通过可以用手来操作的物理世界的界的是数字计算可以嵌入生活的每一个环节，无处不在，自然得与人们的接触，例如手的交互。越来越多的领域专家开始探讨如何让身体的部位参游戏中的全身交互趋在人机交互领域，关于用身体动作控制游戏角色、场景、动画等的此类交互系统，有多种称呼。可以叫做vision-basedactiongames(JOHANNAHÖYSNIEMI,)也可以被称为pervasivegames。目前的基于视觉的计算机交互游戏的开发中，仍然是关注上肢（手部和头部运动，这是由于技术的限制。然而，为了儿童在物理世界的身体发展，未来的第2章支持理论与相关相关理用手指操作物理空间的实际物体从而控制数字内容的可触摸式交互界面(TangibleUserInterface)的概念，如将三维虚拟空间与现实空间、合二reality交互、身体运动来与数字内容交互的基于身体运动的交互界面的概念（fullbodyinction）,甚或更早期的将智能系统嵌入到生活环境中，自然的感知人的需可触摸式交互界面(HiroshiIshii和BryggUllmer（1997）的文章“TangibleBits:TowardsSeamlessInterfacebetweenPeople,BitsandAtoms”中第一次被HiroshiIshii提到，传统的图形用户界面（GUI）是通过输入装置， HiroshiIshii将可触摸式交互界面的应用方向做了分类的定义。其中包括有运动的可触摸界面”——指应用运动和运动来提升学习质量的概念；多模交互（multimodalinSharonOviatt将多模交互（multimodalinction）3]多模系统通过结合自然输入模式的方式来处理信息和工作，这些自然输入方式可能包括语言、触摸、手势、眼神、头部和身体运动。多模输入与多输出以种协调工作的状态出现。这些系统代表新的计算机输入输出模式的探索取得进展。扩张现实（augmented扩张现实在、、教育等许多领域都有着广泛应用的潜力根据Azuma在1997[4]（VirtualEnvironment）或者成为虚拟现实（VirtualReality）基础上的一种人们将看到虚拟与现实物体在同一个空间中共存。Azuma进一步举了一个室内空 1997在2001年，HRL的Azuma同他的同事以及哥伦比亚、乔治亚技术大学的一起，有对近期扩张现实技术的应用做了总结。扩张现实技术不局限与头部投射系统，而是包含听觉、触觉、视觉等多种感官的交互。的应用领域包ζ(1−ζζR（重复(1−ζ穿戴智能（wearable可穿戴计算机（wearablecomputers）是一种全功能、自我能量供应和自我Mann,1997a;BarfieldandBaird,1998。普遍意义上，可穿戴计算机包括突Mann(1997c)的阐述，可穿戴计算机的功能应该包括一个可以深入用户衣的一部分变成了目前一个具有性的设计项目。T-shirtstevemann包括、谦虚和隐私、地位、自我以及自我表达。（LyleandBrinkley,Fundamentalsofwearablecomputersandaugmented受度日益增加。随着微型等电子设备的出现，这类可穿戴装置甚至被视为一值得一提的是，人们所说的穿戴不单单指衣服，它包含更加综合和广泛相关系统与技术QuiQui’sGiant这是研究儿童行为在交互游戏中的应用的经典项目。儿童对虚拟世界环境做出的行为反馈，实现配置好的头能够精确的捕捉儿童的动作模式，并触发屏幕上的动物做出相应的反馈。比如，儿童见到水池的环境，会QiuQiuEmbodiedConversational图2.5JustineCassell与EmbodiedConversationalAgents系统平由西学教授JustineCassell开发的一个持续性的项目。“谈话代生自然语言、手势和面部表情和身体运动。ECAs系统在JustineCassell教授执教MIT和西学期间，得到了广泛的功能探索。2.6Sam,theSam,theCastlemate2.7Authorablevirtual类似的项目被应用于协助孤僻症儿童治疗的应用上“authorablevirtual2.8面以及可的乐高积木。此类项目已经在世界范围内得到广泛的应用，RengaKickAssKung-2.9KickAssKung-FuHandheldAugmentedRealityProject(HARP)&AlienDellAximx51掌上电脑平台上运行，应用了全球GPS来将儿童在物理世就会出现一张与现实世界的物理地图，而地图上则有虚拟物理和任务以扩张现实的方式存在。这种信息、沟通、表达功能的实现基于新型交互技术的应用（如网络技术、GPS技术、技术和头技术等）并且有一系列的任务要执行，其中包括：和平的沟通、、攻打和回到自己的星球。孩子们分成四人小组，在平台上扩张现实的世界里搜寻，采访虚拟角Pong图2.10在涟漪模式下的Pong图2.10PongPlus的系统结出现涟漪，伴着水花激起。不同的游戏模式被实现设定。g-g-stalt是一个用于交互的手势界面。g-stalt基于OblongIndustries的空间交互平台（spatialoperatingenvironment,SOE）构建而成。有60多个MITMediaLab从事研究的博士Zigelbaum提出了“交互”(gesturalinction)的概念，目的是发明出了传统交互方式以外的更加完全的，手势更g-speak平台在这里做一个简要的介绍，因笔者曾经受MITMediaLab的交互HiroshiIshii推荐，g-speak是目前做手势识别、手势语言方面的平台。（Reality-BasedInction）相关的理论；其三是控制性，即项目执行CaptainelectricandbatteryCaptainelectricandbatteryboy只的是正在Concordia大学进行workshop2.13Footprint,MarcBeaulieu2.14thestickydressTheStickydress设计的初衷是一个救生衣。当人不断的用手拉扯衣服，就会Eye-索尼的Eye-Toy [13]首先是推出的迷你游戏BeetFreak和BoogieDown.接下来是更加具有性音乐跳舞并且“击打”屏幕上的数字标识，以完成游戏任务。Eye-Toy性和性的交互界面可以鼓励高级别的物理性，并且为多人参与的交互游戏提大学的技术中心的TinaBlaine谈到，Eye-toy的灵感可能源自于MandalaGX系统，在这个系统中，玩家的身体影响捉并且输入到屏Eye-ToyTableTennisfor图由澳大利亚墨尔本大学的交互设计组研发。1每一个玩家都有一个乒乓个装置很像乒乓球玩家平时的对墙壁练习。有八个方块的会投射到竖直板克风可实时。竖直的背板装有传感器，可以检测到何时何地投射的方块影像被击打，每一个方块在被三次之后会破裂，破裂的同时完成第三次击打的玩家将获得一分。因此，玩家可以通过击打自己的方块，或抓准时间，抢着极大已经被其exertiongame,生社交功能。三人乒乓球就是一款基于网络架构环境的多人参与的社交运动游戏。Shadow

图 这个项目同样也是由澳大利亚墨尔本大学的交互设计组研发。[15]这是一个一个很大的软性靠垫被树立在墙边，当玩家站面，一个大小的投影对方的。玩家要在尽力极大对方的同时，移动自己的躲避极大，一任；而另一方面，传统的对抗运动，如、功夫等等却以建立社交关系和增强第3章身体运动扩张的设计模设计模有很多相关的研究，都是有关于身体运动的功能扩张的。比如physicalengagedgamesmixrealitybodybasedinctions。在这里，身体交互模其二，是身体运动扩张并在虚拟世界上。通常情况下，通过头，身体的图像或者轮廓等等可以实时的到虚拟世界里。这可以被称为扩张现实领交互领首要的就是领域。如跳舞毯、Eye-toy等一系列交互装置中，均涉及到制虚拟的摩托车的方向和速度，使用者的全身心融入使得游戏的真实感更加强烈，感受游戏氛围的同时领悟交互的精髓所在。对儿童学习和基于背景的学习（situatedenvironment）有很大的帮助。比涉及身体运动的培训领域。普遍的例子，比如wii里面的网球游戏，实验表明，只有手持wii手柄但做出同现实手持球拍一样标准的动作，击出的球效果才是最好的，因此，这款游戏可以被视为网球运动的初级训练场地；前面的前人项目中，也有提到一个训夫的交互装置，头检测使用者动作并在虚拟画面里显示商业领域。笔者在后文中将提到一个自行研发的叫做“创造自己的”的交互项目，即将身体运动扩张应用到户外大幅液晶的平台上，预计能增强广互动制作。笔者在后文中将提到一个自行研发的叫做“功夫熊猫”的交互项目，即利用身体的动作来实时的创造屏幕动画。乔治亚技术大学的synlab设计模本章小第4章应用与交互技身体运动创造动画影片——“功夫熊猫作为中国古老的一种艺术形式，皮影可以被称为现代的鼻祖之一。传统如今，数字形式的皮影动画开始出现并被视为保护传统皮影艺术遗产的式。但这种方式的问题是，如何才能保持住原始的创造与观众的互动？影艺术与现代联系起来，而物理空间的可触摸式交互界面则提供了一个文化项目功能描述加速度传感器和运算的帽子的运动，可以控制屏幕上熊猫做出相应的武打动帽子作帽子作为虚拟与现 面数字系统(X+;同时向下向(X+Z-(X-下(Z+;Z-(Z+;Z-同时向上向Y+,Y-周(Z-;改为单独向上(X+;X+Z-内没有其他(Z-比较快的左(Y+;Y-或非常快向右(Y+)or(Y-麦克吼叫大Z+,Z-麦克吼叫小X+,X-物理系统嵌入帽子的物理系统，基于arduino板，由单片机、加速度传感器、蓝牙发射arduino板处理，并通过无线蓝牙适配器上传到电脑，电脑上相应的flash接口接GPIOADC。[16]Arduinojava,C以快速使用Arduino语言与Flash或Processing等软体,作出互Arduino是在20051DavidCuartiellesMassimoBanziArduino习电子和传感器的基本知识，并且创造出虚拟和现实互动的内容。Arduinovc,vb,scratchArduino做出各种动作，反过来，可以由Arduino取得外部传感器侦测到的数值，再取到程序()；使用的语法和C/C++相仿，实际上底层使用的是avr‐gccC/C++的血液，稍具C/C++程式设计经验，左右。蓝牙技术非常适合耗电量低的数码设备相互数据，如、掌上电脑等。而且，蓝牙设备之间还能传送声音，如蓝牙耳机。[18]蓝牙非常适合于传送小文件（10MB以下的、铃声、、文稿等等，方便与速度兼得。 材料：ArduinoDuemilanove2009-ATMega168-20PUandexpansionDeveloBoard:ArduinoDuemilanove200955BluetoothMicroprocessor8Crystal2Accelerometers51（平均Pressure51Infrared51Hall51Vibration51233SerialLine（连接线5Solderinggun（焊枪5Solderwire（焊锡丝2arduino程序逻辑123456789括强度大小。X/Y/Z13001300#include //LibraryforintpotPin_X=0; //accelerationinXaxisintpotPin_Y=1;intpotPin_Z=intledPin= //selectthepinfortheintdiff=100; movingandstaticintConst_x=0; //Whenthereisnoacceleration,thevalueofXintConst_y=0; //Whenthereisnoacceleration,thevalueofYintConst_z=0; //Whenthereisnoacceleration,thevalueofZbooleandir_x= //Directionofbooleandir_y= //Directionofbooleandir_z= //Directionofbooleanlable_x=0; //LableofaccelerationinXbooleanlable_y=0; //LableofaccelerationinYbooleanlable_z=0; //LableofaccelerationinZlongtotal_x=0;longtotal_y=0;longtotal_z=intval_X=0; //Variabletostorevaluecomingofintval_Y=0;intval_Z=intAcc_x=0; //ValueofaccelerationintAcc_y=0;intAcc_z=doublea=0.5; doubleb=1.8; //************OtherVariableunsignedintmark= //TimesofunsignedintAction=0; //ActioncombinedbytwounsignedintAction_1=0;unsignedintAction_2=intCommand= mandsentto*名称/void{if(mark==1 //Thereisonly1acceleration

mark=0;Action_1=0;elseif(mark== //Thereare2within Command=0;mark=0;elseif(mark==3) //Thereare3accelerationswithin1300ms Command=0;mark=0; //Stopthe*名称pin,baudrateX,Y,Z/void pinMode(ledPin,OUTPUT); ledPinasanOUTPUTConst_x=ogRead(potPin_X); accelerationwhenstatic.Const_y=ogRead(potPin_Y);Const_z=ogRead(potPin_Z);}void inti={if(abs(ogRead(potPin_X)-Const_x)>diff||-Const_z)>diffbreak;for(i=0;i<100;{val_X=ogRead(potPin_X); //readthevaluefromthesensorval_Y=ogRead(potPin_Y);val_Z=total_x=val_X+total_x;total_y=val_Y+total_y;total_z=val_Z+total_z;Acc_x=total_x/100-Const_x;Acc_y=total_y/100-Const_y;Acc_z=total_z/100-if(Acc_x>0){dir_x=0;}{dir_x=if(Acc_y>0{dir_y=1;}{dir_y=if(Acc_z>0{dir_z=1;}{dir_z=if(abs(Acc_x)>diff) lable_x=1;if(abs(Acc_y)>diff lable_y=1;if(abs(Acc_z)>diff lable_z=1;if(lable_x==1||lable_y==1||lable_z==1) if(lable_x==1&&lable_y==0&&lable_z==0) if(dir_x==1 Action_1=palm;//X+ Action_1=legbounce;//X- elseif(lable_y==1&&lable_x==0&&lable_z==0)//Y if(dir_y==1 Action_1=dash_1;//Y+ Action_1=dash_2; elseif(lable_z==1&&lable_x==0&&lable_y==0) if(dir_z==1 Action_1=respect;//Z+ Action_1=upsidedown; }if((sqrt(sq(Acc_x)+sq(Acc_z))>140)&&((/abs(Acc_x))>a)&&((float(abs(Acc_z))/abs(Acc_x))<b) if(dir_x==1&&dir_z==1 Action_1=jumpforward;//X+Z+ elseif(dir_x==1&&dir_z==0) Action_1=handsdown; }lable_x=lable_y=lable_z=dir_x=dir_y=dir_z=}if(mark==1){Action_2= //1300msperiod //Startthetimer2}//************elseif(mark=={Action=(Action_2<<8)|Action_1;Action_1=0;{case0x0101:Command=quickfist;case0x0506:Command=case0x0605:Command=case0x0106:Command=case0x0304:Command=case0x0403:Command= :Command=0;}Action=}elseif(mark==3) if(Action_1==0x05||Action_1== Command=fastrun; if(Action_1==0x03||Action_1==0x04) Command=rotation; if(Action_1==0x01||Action_1==0x02) Command= }Acc_x=Acc_y=Acc_z=total_x=total_y=total_z= //Delaytoavoidcomputingtwiceofthesameacceleration}Flash程序逻辑flash5332serialarduinoSocketnewSocket("localhost",5332);这被称为listentoarduinomessages.x=messages.y=messages.width=messages.height=88;messages.border=true;recordBtn.x=492;recordBtn.y=20;reyBtn.x=492;reyBtn.y=60;recordBtn.label="Record";reyBtn.label="Rey"; yBtn.enabled=false;recordBtn.addEventListener(MouseEvent.CLICK,onRecord);reyBtn.addEventListener(MouseEvent.CLICK,onRe}等onBackToGame(e:Event){gameChannel.stop();this.removeChild(screen);while(clipList.numChildren>0){}this.gotoAndy(1,}functioninitMotion():void{„}functionshowMotion(e:Event):void{varnames:String;if(arduinoData.length>0){usedData=arduinoData.shift();names=getMotionName(usedData);usedData="";showMotionByName(names,0,20);names=getMotionName("#");showMotionByName(names,0,20);}if(messages.length>30)messages.text="";}//部分动作需要延长时间，这是为了保证整个动作表现的完整性。因movingForwardUp(e:Event):void{>={if(l1.x>=1200){l1.x=l2.x=m1.x-}elseif(m1.x>={m1.x=m2.x=r1.x-}elseif(r1.x>={r1.x=r2.x=l1.x-}moveX-}elseif(moveY>{moveY-=}elseif(moveY<=midY&&moveY>{moveY-=gapY;}}}项目意映在白色幕布上，由演员人影，伴以唱、白、表演声色。[喜.皮影——现代的先驱.发明与创造，2001,11:28]表演现场需要幕布、布景灯，影表演。[.中国民间皮影，2003,3~4]皮影戏被广大的农民观众称为土，某种意义上，皮影可以被称为现代艺术的先驱。[喜.皮影戏—现代的先驱.发明与创造，2001,11:28]传统上，有专业的皮影戏班，挨着村子、乡镇在晚上露天演出。但随着数字（、电视、方式增多，快捷、方便、足不出户的方式增多。皮影就渐渐淡出的生后者可以灵活的控制皮影人物产生各种丰富的动作。[.中国民间皮影，2003,3~4]图近期，随着越来越多的学者注意到了皮影这种艺术形式的保护问题，皮影又比如屏幕动画。[19]这种皮影艺术形式的精髓，比如对于动作的自由控制，艺术家与观众之间的即兴互动以及情感的即兴表达在现代数字皮影中已经不复存在了。身体运动创造音乐——“舞起来”项目功能描述使用场景使用场景1：通过耳机，使用者可以听到音乐可以让人冲动兴奋、心情愉悦。使用场景3：此为拓展功能。两个使用者穿系统实现同上一个项目。微处理器可以帮助结合数据库里实现的音乐片段，并且控项目之中的考虑是：作为一个以触发大众运动的设备，鞋子本身是一个乐的三要中，节奏是最重要的。因此，重点监测的参数应该是脚步移动的频项目意将作曲的过程转化为人们之间的与共同创造的过程；运动，从而维持一种健康的生活状态。其中最大的在于，如何让人们产生运其一是音乐的重要性：音乐在人们日常生活和休闲中扮演着非常重要的角逻辑倒置。人们不经意间有节奏的步伐，可以因乐的创作，而音乐又可以进用户访谈与测专业舞者时间的访谈与关键脚步动作业余舞蹈时间学习者的访谈与观察用耳机听Mp3练习舞蹈，而且随时随地练习舞步的习惯非常多见。如果鞋子可以检从专业舞者那里了解到，舞蹈有各种各样的模式，对应着不同的节奏和情感表达的动作。但是共通的特点就是节奏感的把握。另外，脚步的强弱也可以表达不同的感情，本项目的第二发中，也可以考虑检测除节奏以外的其当然，本项目的研发目的并不是帮助各种不同程度的舞蹈学习者，而是促进大多数人的日常运动。针对大众人群的测试待产品开发完善后也会本产品还有另外一方面的市场潜力，即儿童市场。可以作为儿童玩具产品推出。一方面，现代的数字鼓励了儿童长久坐着的行为方式，而这是身体运动增强互动——“属于自己的项目功能描述项目的是调研发现，近日户外的大幅液晶逐渐增多。尤其是在人群拥挤的公共场所，如车站、集散中心、广场等地，大屏幕液晶比比皆是。这些屏幕不仅仅是一种商业现象，也成为当前区域的地标或亮眼装饰，充满现代和城市气息，很容易成为行人关注的焦点。而其上的内容也多以时尚以及因此，笔者想到了可以与行人互动的装置。行人可以通过身体运动与广通过无线平台创造属于他们自己的。如此一来，空间变成了互动媒体，除了增强对于行人的印象和以外，还可以讲广场变成互动空间，告的经济效益，也可以增加市民和交互的社会效益。交互场景 屏幕效果：屏幕内的鞋子可以跟随行人的前进做 动作：原地上跳交互效果：完整动作：迅速跑过交互效果：屏幕的图案由完整的鞋子形状渐变成票系统实现两种方式都可以通 头捕捉画面，arduino板处理画面，发送控制信息之整个系统实现的关键环节是arduino板里的算法设计。即提取颜色控制输出以及提取图像识别动作变化的逻辑。具体思路可见下一小节的程序逻辑程序逻辑importprocessing..*;importcc.arduino.*;Arduinoarduino;Capture;PImageprev;Serialport;intwindowWidth;intwindowHeight;floatthreshold=150;floataverageRed;floataverageBlue;intbluePin=9;intredPin=11;intcount=0;//mysrcvoid{=newprintln("Arduinolist:");//mysrcarduino=newArduino(this,Arduino.list()[1],57600);//mysrcarduino.pinMode(ledPin,Arduino.OUTPUT);println("Availableserialports:");}void{if{}{}if(count>=100)//检测和计算环境灯光的颜色intbright=(int)averageBrightness;arduino.ogWrite(bluePin,(int)averageBlue);arduino.ogWrite(greenPin,(int)averageGreen);arduino.ogWrite(redPin,(int)averageRed);}voidcolorDetect(Capture,intwindowWidth,intwindowHeight,intdetectWidth,intdetectHeight){if({//}image(,0,0);floattotalRed;floattotalGreen;floattotalBlue;floatdiff=0;intstartX=(windowWidth-detectWidth)/2;i=0;i<detectWidth;i++){for(intcolorc=.pixels[loc];colorfloatr1=red(c);floatg1=green(c);floatb1=blue(c);floatr2=red(p);floatg2=green(p);floatb2=blue(p);}}}本章小这一章主要介绍了围绕身体运动功能拓展产生的三个实际项目。每个项目的个项目在2010年1月份以“IntegratingOldShadowy-PiyingintoTangibleInction”为题目，在MITMediaLab举行的Tangible,EmbeddedandEmbodiedInction2010会议上以studio的形式得到了展示。而“舞起来”这个项目则侧重于实现重点的分析，并且有较为详细的用户测试环节，目前中，有对于实现算法的详细描述和交互场景的展示。这三个项目都将在浙大2010第5结与本文工作总invision-basedactiongames.Commun.ACM48(1),44–50(2005)H.Ishii,''TangibleBits:BeyondPixels,''Proc.2ndInt'lConf.TangibleandEmbeddedIn ction,ACMPress,2008;SharonOviatt.Tenmythsofmultimodal ction.Commun.ACM,Vol.42,11.(November1999),pp.74-Azuma,RonaldT.ASurveyofAugmentedReality.Presence:eoperatorsandVirtualEnvironments6,4(August1997),355-385.SteveMann.WearableComputing:afirsstep alimage.February1997.Vol.30,No.Höysniemi,J.,Hämäläinen,P.,Turkki,L.,Rouvi,T.:Children'sintuitivegesturesinvision-basedactiongames.Commun.ACM48(1),44–50(2005)o,A.&Cassell,J.(2008).yingwithVirtualPeers:BootstrapContingentDiscourseinChildrenwithAutism.ProceedingsofInternationalConferenceoftheLearningSciences(ICLS),June24-28,Utrecht,Netherlands:ACMPress.ArtsinArtificialReality.ProceedingsofConferenceofHumanFactorsinComputingSystemsCHI’05(Portland,USA,April2005),781790. ChrisDede.VignettesAbouttheFutureofLearning.VISIONS2020:TransformingEducationandTrainingThroughAdvanced.HiroshiIshii,CraigWisneski