人机交互技术与应用的融合

人机交互技术与应用的融合第1页，共22页，2023年，2月20日，星期日技术与应用的融合：科技改变生活从iPhone看人机交互技术MicrosoftSurface的交互创意MicrosoftTechFest2010人机交互应用的展望：《阿凡达》&《钢铁侠2》中的人机交互技术第2页，共22页，2023年，2月20日，星期日一、从iPhone看人机交互技术——“信息就在指尖”HCI人机交互应用

1、多触点式触摸屏技术（Multi-Touch）

检测出屏幕上同时被触摸到的多个点的位置优势：支持更复杂的姿势识别(GestureRecognition)比较：将图片放大缩小第3页，共22页，2023年，2月20日，星期日HCI人机交互应用

一、从iPhone看人机交互技术——“信息就在指尖”2、基于传感器的隐式输入技术方位传感器：能够检测出用户是纵向

还是横向拿着手机接近性传感器:可以检测出用户何时把iPhone拿到了耳朵附近，这样它就可以关闭屏幕，达到省电和防止屏幕被误触碰的目的。环境光线传感器:可以感知到周围光线的强度，从而可以自动对显示屏的亮度进行调整第4页，共22页，2023年，2月20日，星期日HCI人机交互应用

一、从iPhone看人机交互技术——“信息就在指尖”3、丰富和人性化的视觉反馈第5页，共22页，2023年，2月20日，星期日HCI人机交互应用

二、MicrosoftSurface——新一代交互式电脑

07年上市，第一款平面电脑，结合硬件与软件的新技术，用家可以直接用手或声音对屏幕作出指令，触摸和其他外在物理物来和电脑进行交互，毋须再依赖会令手部劳损的鼠标与键盘。特点：电脑能辨识放在Surface上的不同物体，可以启动不同类型的响应，如传送数字内容。交互方式：多点输入触摸屏，iBar和DeLighTable

第6页，共22页，2023年，2月20日，星期日HCI人机交互应用

二、MicrosoftSurface——新一代交互式电脑

iBar:交互式的吧台，台子里面的视频投影仪可以在乳白色的台面上投射出各种图案，而里面的智能跟踪系统能够察觉出碰到台面的物体，这个输入信号就可以让投影仪和接触物体进行动态交互，物体被照亮，台面上不同点之间出现的光线路径等等。DeLighTable:也是运用光来让物体（或者人）之间产生有意思的交互。表面也是一个透明塑料膜，中间为一层不透明的液体，下面为发光层，所以当有外力挤开中间的液体的时候，光就渗透出来了。

第7页，共22页，2023年，2月20日，星期日HCI人机交互应用

二、MicrosoftSurface——新一代交互式电脑

MicrosoftSurface将改变人们购物，就餐，娱乐和生活等和同伴分享你的照片，用你手指拖拽即可第8页，共22页，2023年，2月20日，星期日HCI人机交互应用

二、MicrosoftSurface——新一代交互式电脑

你在餐馆就餐时，当你将你的饮料放在MicrosoftSurface上时，它的所有信息就会在上面呈现出来第9页，共22页，2023年，2月20日，星期日HCI人机交互应用

二、MicrosoftSurface——新一代交互式电脑

购买东西时的对比，视觉化第10页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

约有36个项目被选定在这次技术节上展示，所涉领域涵盖自然用户界面、语音识别、自然语言处理与机器翻译、交互设计等领域。两大转变：1、电脑收集输入资料(input)的方式，将从以往主要用键盘和鼠标输入，转变成除了传统方式之外，另以手势、触控、感应等输入机制辅助。2、电脑代理人(computeragents)：电脑从现在被动地听从我们的指令行事，转变成电脑会依据预设标准(presetcriteria)代替我们行动。

第11页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

微软研发策略主管CraigMundie正在展示人机交互的新方式他表示：“过渡到自然的使用者界面(naturaluserinterface)，将改变一切现有的作法，不论是学生撰写学期研究报告或打电动游戏的方式，还是科学家研究全球人口增长及其对天然资源的影响。”

第12页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

1、移动3维交互场(MobileSurface)通过使用摄像投影传感系统能够将任意的，比如办公桌面、餐台、茶几等表面或一张普通的纸变成可触控的平台比如用户将手机的内容投影到任意桌面，可以触控或3D的手势实现交互操作。在技术节现场搭建的表面触控平台，从画面上可以看到有两只鼓投影在了桌面上。用户可以拿着鼓棒直接在空中或者表面敲打，后面的小屏幕会马上重现你的整个演奏的乐点。如果觉得拿着鼓棒敲击麻烦，也可以直接用手去敲打。第13页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

2、置身云端——全新云计算交互体验(Insidecloud:newinteractionforcloudcomputing)云计算交互体验，包括新型交互设备——云鼠标，信息组织形式——云界面。每个人都会有一片属于自己的云，有一个自己的云鼠标，它是通向个人云端的钥匙，同时它又是一个拥有6个自由度、触控反馈体验的自然交互设备。云界面在现有的二维界面的基础上增加时间、空间维度，将用户纷繁复杂的信息有机的整理在一起，并以更自然的方式呈现。第14页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

3、同声传译电话(T3:TheTranslating!Telephone)该系统充分使用了说话人自适应技术，以达到合理的实时语音到文字转录的准确性。然后，又通过机器翻译来提供语音到文本的翻译，并进一步利用文语转换系统来最终实现语音到语音的翻译。图为德语和英语的现场会话演示第15页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

4、肌肉运动指挥计算机(InputwithMuscle-ComputerInterfaces)微软亚洲研究院的人机交互组负责人DesneyTan博士展示了一项最新技术——将手臂的运动直接作为鼠标来使用——依赖于肌肉的运动和变化来指挥计算机进行各式各样的交互体验。只要在手臂上戴上传感器，可以握着电脑中的吉他自如地弹奏起来。在空中轻轻挥动手指，计算机便可以跟踪运动手指的轨迹……等等。第16页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

5、基于人脸识别、事件匹配的社会化相册聚合服务OneAlbum可自动根据人脸、事件等条件智能聚合来自社会化相册服务Flickr、Facebook的照片。照片的人脸识别[1]，而且可从你好友的社会化相册服务中自动去识别和你相册中出现的人脸有关的照片;事件(活动、聚会)匹配，综合拍摄日期、照片内的人脸、照片颜色识别出同一事件的照片。再加上些社会化和自我算法改进的功能就可开始将与你有关的照片整合于OneAlbum中，这些照片可以是来自Flickr、Facebook的。更关键的是，OneAlbum无需人工干预，甚至你都不需要输入描述标签，它自动可以从照片本身的属性中挖掘与你的有关的照片。第17页，共22页，2023年，2月20日，星期日HCI人机交互应用

三、MicrosoftTechFest2010

6、ProjectGustav是一款现实数字绘画板原型项目，给予使用者最接近真实绘画体验，其包含目前世界最先进的自然绘图、混色、笔触算法。也是一款Surface衍生项目。第18页，共22页，2023年，2月20日，星期日HCI人机交互应用

四、人机交互的发展前景

《阿凡达》中的人机交互第19页，共22页，2023年，2月20日，星期日HCI人机交互应用

四、人机交互的发展前景

1.三维虚拟成像技术.

在阿凡达中有多处用到这种成像技术.比如要进攻大树时所出现的那个三维立体地图.三维的全息影像大概和阿凡达中的描述比较一致.2.虚拟控制技术.

人在机器里边只要做什么动作机器就会有相应的动作.但是人要在关键身体部位戴上动作感应器.以后我们操作什么大型的那些机械手的工人们就不用去掌握复杂的各种按钮和机械手之间的关系了.只要坐到驾驶舱里边做同样的动作机器就动了.3.虚拟动作感应你看在讲地图时人手直接可以伸到三维虚拟地图中然后对于地图进行操作.人手上也没有戴任何传感装置.4.意识控制

就是Jack控制avatar的技术.他躺在那里什么也不懂.就可以