普适计算与人机交互

普适计算-实现和谐人机交互白勺内容什么是普运计算-信，崑空间集成和融入到物理空间-“物理-信息”对供空间•什么是和谐人机交至-普适计算建立和谐人机交互的环境-对偶空间是普适计算的人机交互的基础普适计算是21世纪的计算模式1980’sCurrentMainframeComputingDesktopComputingUbiComputing普适计算一计算模式的第三个浪潮单机计葬分布式计其移动计葬九技通信J<送明的人机交五，不可见的计算3G通信（廉合北务）普适计算是什么•是把计算，通信，数字媒体相集成和融合成为信息空间-手机：摄像机，电话，通信•是把信息空间集成木1融合到物理空间中去-把计箅与通信结点嵌入到日常用品中去-是增强现实，使日常用品和工具能提供信息服务-人们生活和工作的三维物理空间就是接口•物体表面就是接口•用自然的，直观的方式交互•主动的计箅服务•人机交五：-单台计箅机交五—►

与信息空间(cyberspace)的交互•所有的计箅节点都联网•用户不明确与哪台计箅机交互•用户没有息识到在交互(implicitinteraction)带摄像机的手机一可用于识别视觉编码计算，通信，传感集成的信息设备UPWARDLYMOBILE:WithPhilips*interactivetechnology,mobilephoneswillofferpverythinjfromtranslationservicesfortravelerstoproximitysensorsforkidslookingforplaymatesWELLWORN：Telia*sopenairactivitiescom*municatorletsyoumonitornotonlyyourvitalsignsbutalsoe-mailmessagesoreventheweatherforecastattheflickofawrist手机上可显示各种信息:•语言翻译•小孩找玩伴手腕显示器・电子邮件•天气预报家具是计算机，桌面是接口*tnomRamoftMitsubishiElectricResearchLabsCambridgeResearchLiveCam_®于增强现实的汽车的导航系统•汽乍的裆风玻璃就是导航计算机的显示和接口參驾驶员ufld吋看到-现实世界中的道路-计算机产牛.的导航信i从旧M的”到处显示”到Sony的自校正投影仪Figure2.Iheiver>whereDisplaxTheremotestudentsimageishighlightedastheteacheraimsthelaserpointeratit三维空间中的人机交互•人机交互：-单台计算机交五->与信息空间(cyberspace)的交互•HumanCyberSpaceInteraction一所有的计算节点者P联网-用户不明确与哪台计算机交互-用户没有意识到在交互(implicitinteraction)内容什么是普运计算-信，崑空间集成和融入到物理空间-“物理-信息”对供空间•什么是和谐人机交至-普适计算建立和谐人机交互的环境-对偶空间是普适计算的人机交互的基础普适计算与和谐的人机交互•普运计算的人机交互-信息空间融入物理空间•在三维空间中的交互-就在用户生活的空间中•随时、随地、应用日常用品的交-物体就是接口-信息直接在物理空间中至现•隐含的人机交互-Invisiblecomputing•和谐的人机交互-以人为中的交互•:冗浸的鲁普适化•可视化，直观的如何建立和谐的人机交互环境參建立和谐的人机交互环境-不仅是把接口嵌入到日常用品-不仅是把计箅节点联网，成为一个分布式系统-不仅是自然的人机接口-还需要找到合用的信息•要建立“物理一信息“对1禺空间“物理一信息”对偶空间拳信息空间融入物理空间的影响是什么？-“物理-信息”对偶空间•物理空间->信息空间的对偶是建立对应关系-从现实物理空间中获取各种数据和信息-“对应”的层次：特征，表面，物体（包括物体之间的关系），动作，事件，场景，描述，上下文等各个层次o*信息空间->物理空间对调关系的建立-向现实物理空间中的任何地方提供数据什么是对偶关系・基本的出发点-信息空间中的所有数据和信息都来自物理空间•通过传感器•通过人机交互-信息空间中的对象与物理空间中的对象存在对应关系(corresponding)・基本的对偶关系是对应关系*对应关系的建立-首先是物理空间一》信息空间•对应关系是对偶关系的基础，信息空间一>物理空间对偶关系的建立•信息直接反馈到物理空间的对应物体上-确定信息反馈点就是建立对偶关系•对偶关系：自动建立，或人工建立-反馈是多通道，多层次的-在桌面检索情况下，反馈都足在计算机的屏幕上•以物体或物体表面作为信息交互的接口-静止的：例如，觉察位置的导游显示-动态跟踪的：AR系统•把信息空间中的关系映射到物理空间的对应物上-物理空间中物体之问的超链(Hyperlink)•直接控制操作机制-嵆能教室中根裾教师的动作确定转播的镜头-白板获取系统屮的关键帧的建立在物体是建立的对偶•物体的表面就是接口Fig.1桌面是计算机的接口Fig.2移动设备组成服务M络纸面是交互的窗口Fig.3在纸面上用手势输入数字桌面的特征•把电子阁像投影到桌面和纸质的文档上*能对笔和手直接作出相应___•能阅读放在桌面上的纸质文档电子文档与纸质文档的比较•虚拟桌面上的电子文档-快速编辑、复制、转换、共享、检索-可用关键字搜索、拼写检查、快速计数-现实桌面上的纸质文档□可重叠放置、便宜、易携带、广泛接受、易读、高分辨率□可触摸、用手和手指来操作、可用笔来涂写数字桌面计算机器鹊嚣體I?严'™__入'（所指的PaperPaint(纸上的编辑功能)•用笔(stylus)在纸面是完成文档和图像的编辑-系统用投影的框來指示编辑的区域-完成“复制”和“粘贴”DoubleDigitalDesk（共享编辑）•本地用户用红笔在纸上画，同时可看到远端的纸和所_的图形(0)增强现实(Augmentreality)跟踪物体表面的细节Diredlyenhonceaperson'ssenseswithsyntheticinFormaliofi30grophicalobjediandmrstdwilhlh«wo4dOufinthePhyiicdWoHdUmw«arobl«compuln,MHhrMglidiiplayiDiipioymediainawlexiofpiryvcaliponHowdoesARwork?Se«rhr(x*9hdisployHowdoesARwork?利用物体上的视觉标记e利用视觉标记发现相应的URLii[ZJ7~*TZ5JT—•，Cameraonentation^asanadditionalinputparameterIitemselectionwithrelative[focuspositiondetermination•I-：：：jI-•-*■I*••黪-II平infonTMOontheivrelessIrMi•喊

枷

them自动对视觉标记上的电话拨号OptionsBackOptionsBackEndcall更多的应用OptionsBackTramMapOptionsBack摄像机控制3-D线框图的旋转摄像机控制地铁的地图摄像机跟踪移动的笔尖物理空间中的超链•桌面上的AR显示\•基准标记-与计算关，在此计算机上显#关信息物理空间中的超链Threedisplaydevices-Interactivewhiteboard-Laptopdisplay-DesktopARdisplayThreefiducialmarker-TodeterminewhichdevicesThreetypeofinteractions-Pointing-Command-Annotation•Index•Voiceto服务层次上的对偶•用户在物理空间中的各种活动和事件-具有吋间一空间特性的动态过程•信息空间中的多模态吋一空流的档案-对偶关系可建立在吋一空流各个抽象层次的对应点上-可在物理空间中进行检索・基于内容和事件的视频索引和检索-体育视频的分析-白板获取系统白板获取系统(WhiteboardCaptureSystem)3fOvOSiAOj&n/ecTimc5^p/4na(^sr$&ri/€e•Physicalspace-Meeting•Spatial-temporalsequenceinphysicalspace-Speakerwritesontheboard-Actionsorevents(erasethetitle)•Cyberspace-Meetingarchive•Astructuredmultimediastreams-Recordingthemessageonthewhiteboard-Generatethekeyframeastheinterface系统级的对偶•智能空间-接口层次上的对偶关系•电子內板•与远端学生交互的桌面会议和虚拟助理交互的墙面•登录系统交互的身份识别接口-功能层次上的对偶*记录为有结构的多媒体流-白板上的注释、-教师讲解和动作的视频录像-学生的提问等都-系统层次上的对偶关系•蕴含人机交互即以觉察上下文计算kJNaturalUIJTouchBoard系统层的对偶CamerasforfacerecognitionVirtualAssistantSpeakerrecognitionSpeechcommandCameratrackingtheteacherSmartCa——Camera—capturingteacher'svideo,deliveringtoremotestStudent-Board：AsawindowbetweenremotestudentsandlocalclassroomMediaBo