Kinect体感交互技术1.ppt

Kinect体感交互技术 Kinect体感交互技术 什么是体感交互技术 Kinect设备的基本介绍Kinect的工作原理Kinect的研究现状和应用发展前景 体感交互技术 体感交互技术是一项无需借助任何控制设备 可以直接使用肢体动作与数字设备和环境互动 随心所欲地操控的智能技术 该技术的核心在于它让计算机有了更精准有效的 眼睛 去观察这个世界 并根据人的动作来完成各种指令 体感交互技术 体感交互技术 体感交互软件 能自动将体感设备模拟windows操作系统的鼠标和键盘操作事件 兼容所有软件 能将投影机 拼接屏 广告机 智能电视机等数字设备升级为体感操作设备 日常的浏览图片 开会PPT演示 Flash游戏 动画 多媒体 桌面应用都可以轻松变成体感控制 该软件最大的价值在于它提供强大的自定义功能 所有开发者以及软件开发公司 整体解决方案提供商或者中间商 可以根据自己的项目需求自行开发应用 而不需要专门成立体感技术团对进行研发 实现低成本高效率的体感应用开发 Kinect体感交互技术 什么是体感交互技术 Kinect设备的基本介绍Kinect的工作原理Kinect的研究现状和应用发展前景 Kinect设备的基本介绍 Kinect是由微软公司开发的一款姿态传感输入设备 作为Xbox360外接的3D体感摄影机 利用即时动态捕捉 影像辨识 麦克风输入 语音辨识 社群互动等功能让用户摆脱传统输入设备的束缚 通过自己的肢体控制终端 Kinect设备的基本介绍 Kinect设备的整体结构 摄像头3D深度传感器麦克风阵列 摄像头 RGB摄像头 用于拍摄视角范围内的彩色视频图像 红外摄像头 用于分析红外光谱 创建可视范围内的人体 物体的深度图像 红外投影仪 主动投射红外光谱 照射到粗糙物体或者穿透毛玻璃后 光谱发生扭曲 会形成随机的反射斑点 进而被红外摄像头读取 3D深度传感器 3D深度传感器 Kinect的 心脏 由14中关键芯片组成 其中最主要的是PrimeSense的PS1080系统芯片 它拥有超强的并行计算逻辑 可控制红外光源 同时 通过一个标准的CMOS图像传感器接收投影的LightCoding红外光谱并且将编码后的反射斑点图像传给PS1080 然后在对此进行处理 并生成深度图像 麦克风阵列 声音从4个麦克风采集 同时滤过背景噪声 可定位声源 为了质量分布的均衡 麦克风阵列是左右不对称的 Kinect体感交互技术 什么是体感交互技术 Kinect设备的基本介绍Kinect的工作原理Kinect的研究现状和应用发展前景 Kinect体感交互的工作原理 传感寻找移动部位判断关节点模型匹配 生成骨架系统 Kinect传感 Kinect传感的核心是一个无论周围环境的光照条件如何 都可以让Kinect感知世界的CMOS红外传感器 该传感器通过黑白光谱的方式来感知环境 纯黑代表无穷远 纯白代表无穷近 黑白间的灰色地带对应物体到传感器的物理距离 它收集视野范围内的每一点 并形成一幅代表周围环境的景深图像 传感器以每秒30帧的速度生成景深图像流 实时3D地再现周围环境 Kinect传感 寻找移动部位 Kinect需要做的下一件事是寻找图像中较可能是人体的移动物体 就像人眼下意识地聚焦在移动物体上那样 接下来 Kinect会对景深图像进行像素级评估 来辨别人体的不同部位 Kinect采用分割策略来将人体从背景环境中区分出来 在这一阶段 我们为每个被追踪的人在景深图像中创建了的分割遮罩 这是一种将背景物体 比如椅子和宠物等 剔除后的景深图像 在后面的处理流程中仅仅传送分割遮罩的部分 以减轻体感计算量 判断关节点 分割化人的图像的每一个像素都被传送进一个辨别人体部位的机器学习系统中 随后该系统将给出了某个特定像素属于哪个身体部位的可能性 比如 一个像素有80 的几率属于脚 60 的几率属于腿 40 的几率属于胸部 这时候并不是就把几率最大的可能性当作结果 而是将所有的这些可能性输入到Exemplar 模型 系统进行处理中并且等到最后阶段再做判断 数以TB计的数据被输入到集群系统中来教会Kinect以像素级技术来辨认手 脚以及它看到的其他身体部位 判断关节点 判断关节点 模型匹配 生成骨架系统 处理流程的最后一步是使用之前阶段输出的结果 根据追踪到的20个关节点来生成一幅骨架系统 Kinect会评估Exemplar输出的每一个可能的像素来确定关节点 通过这种方式Kinect能够基于充分的信息最准确地评估人体实际所处位置 Kinect体感交互技术 什么是体感交互技术 Kinect设备的基本介绍Kinect的工作原理Kinect的研究现状和应用发展前景 Kinect体感技术的国内外研究现状 Kinect在医学领域的应用研究Kinect在商业领域的应用研究Kinect在科技助残领域的应用研究Kinect在机器人领域的应用研究Kinect在智能家居的应用研究 Kinect在医学领域的应用研究 临床医学远程手术医学教育医学数据调查明 Kinect在商业领域的应用研究 Kinect凭借其出色的互动能力已经在商业方面得到了实际应用 如俄罗斯一家名为ARDoor的科技公司于2011年5月运用Kinect体感外设技术发明的一款 试衣魔镜 当购物者站在这虚拟试衣镜前时 装置将自动显示试穿新衣以后的三维图像 如黄康泉开发的CoolView视频会议系统中整合了Kinect设备的部分功能 实现了手势控制PPT 自动识别与会人员的举手发言请求及实时3D捕获与显示等功能 提高了视频会议的交互性和真实感 Kinect在科技助残领域的应用研究 如德国康斯坦茨大学的Michael Zollner等开发的视觉障碍导航辅助 NavigationalAidsfortheVisuallyImpaired NAVI 系统就实现了帮助盲人导航的功能 他们将Kinect设备固定在一个头盔上 将连接到Arduino主板上的震动马达装在腰带上 再通过USB接口连接到背部的笔记本上 耳中戴有蓝牙耳机 当Kinect扫描到前方有障碍物时 通过软件的解读 腰带中的马达会震动 并且会发出转向提醒 Kinect在机器人领域的应用研究 麻省理工学院的一个名为Warwick移动机器人的团队 将Kinect设备和救援机器人结合到一起 设计出一款新的机器人 Kinectbot 这个机器人利用Kinect传感器可以探测出人的存在 并且人们可以通过肢体动作和声音来控制这个机器人 Kinectbot还能利用Kinect设备的画面捕捉技术 将自己 看到 的画面绘制成3D地图 这款机器人的目的是应用于灾难现场的救援工作 不必需要过多的人力 或许只是一个两人小队就能完成这台机器人的操作 虽然现在这个发明还没能应用到现实中 但按照这样的思路 未来的机器人随着灵敏度的提高 已经完全能够代替人类去勘探危险的区域 制作精细的3D地图了 Kinect在智能家居的应用研究 现在已经有很多人开始着手将Kinect应用于智能家居方面 目前已经有人设计了一种基于Kinect的智能家具系统 它采用B S架构 运用ZIGBEE Wi Fi和RS485等多种组网方式 来实现对各类家居设备的信息采集和指令控制 并通过家庭网关与数据库管理系统的数据库服务器进行实时数据交互 在Web站点服务器中搭建应用ASP NET技术的Web站点 采用ADO NET技术与数据库服务器进行数据交互 Web服务器通过访问数据库服务器可以获得实时的家居环境 状态等数据 用户可以通过Web站点访问并进行操控 Web服务器将在Web页面上接收到的用户指令交递给数据库服务器 进行智能控制 Kinect在智能家居的应用研究 Kinect体感交互技术 什么是体感交互技术 Kinect设备的基本介绍Kinect的工作原理Kinect的研究现状和应用发展前景 发展前景 继鼠标和多点触摸技术之后 Kinect体感技术或将成为第三次人机交互革命的原点 不仅因为其全新的操作方式 更因为其背后所蕴含的创新精神 得益于这种新的人机交互技术 人对机器的使用门槛在进一步降低 因为计算机已经越来越能读懂人在自然状态所传递的命令 然而这项技术还很不成熟 有许多需要改进和完善的地方 如Kinect设备的识别只到人体头部 躯干和四肢 对于手指的识别还不灵敏 存在延迟和精度的问题 只能捕捉一些简单的动作 点击动作需引入其他设备等 因此 Kin