Kinect体感交互技术1

1、Kinect体感交互技术Kinect设备的基本介绍设备的基本介绍Kinect的工作原理的工作原理Kinect的研究现状和应用的研究现状和应用发展前景发展前景体感交互技术体感交互技术是一项无需借助任何控制设备，体感交互技术是一项无需借助任何控制设备，可以直接使用肢体动作与数字设备和环境互可以直接使用肢体动作与数字设备和环境互动，随心所欲地操控的智能技术。该技术的动，随心所欲地操控的智能技术。该技术的核心在于它让计算机有了更精准有效的核心在于它让计算机有了更精准有效的“眼眼睛睛”去观察这个世界，并根据人的动作来完去观察这个世界，并根据人的动作来完成各种指令。成各种指令。体感交互技术体感交互技术“体

2、感交互软件体感交互软件”能自动将体感设备模拟能自动将体感设备模拟windows操操作系统的鼠标和键盘操作事件，兼容所有软件，能将作系统的鼠标和键盘操作事件，兼容所有软件，能将投影机、拼接屏、广告机、智能电视机等数字设备升投影机、拼接屏、广告机、智能电视机等数字设备升级为体感操作设备，日常的浏览图片，开会级为体感操作设备，日常的浏览图片，开会PPT演示，演示，Flash游戏，动画、多媒体，桌面应用都可以轻松变游戏，动画、多媒体，桌面应用都可以轻松变成体感控制。该软件最大的价值在于它提供强大的自成体感控制。该软件最大的价值在于它提供强大的自定义功能，所有开发者以及软件开发公司，整体解决定义功能，所

3、有开发者以及软件开发公司，整体解决方案提供商或者中间商，可以根据自己的项目需求自方案提供商或者中间商，可以根据自己的项目需求自行开发应用，而不需要专门成立体感技术团对进行研行开发应用，而不需要专门成立体感技术团对进行研发，实现低成本高效率的体感应用开发。发，实现低成本高效率的体感应用开发。Kinect体感交互技术什么是体感交互技术？什么是体感交互技术？Kinect的工作原理的工作原理Kinect的研究现状和应用的研究现状和应用发展前景发展前景Kinect设备的基本介绍设备的基本介绍Kinect是由微软公司开发的一款姿态传感输入设备，是由微软公司开发的一款姿态传感输入设备，作为作为 Xbox36

4、0 外接的外接的 3D 体感摄影机，利用即时动态体感摄影机，利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能让用户摆脱传统输入设备的束缚，通过自己的等功能让用户摆脱传统输入设备的束缚，通过自己的肢体控制终端。肢体控制终端。 Kinect设备的基本介绍设备的基本介绍Kinect 设备的整体结构：设备的整体结构： 摄像头摄像头3D 深度传感器深度传感器麦克风阵列麦克风阵列摄像头RGB摄像头：用于拍摄视角范围内的彩色摄像头：用于拍摄视角范围内的彩色视频图像。视频图像。红外摄像头：用于分析红外光谱，创建可视红外摄像头：用于分析红外光谱，创建

5、可视范围内的人体、物体的深度图像。范围内的人体、物体的深度图像。红外投影仪：主动投射红外光谱，照射到粗红外投影仪：主动投射红外光谱，照射到粗糙物体或者穿透毛玻璃后，光谱发生扭曲，糙物体或者穿透毛玻璃后，光谱发生扭曲，会形成随机的反射斑点，进而被红外摄像头会形成随机的反射斑点，进而被红外摄像头读取。读取。3D深度传感器深度传感器3D深度传感器深度传感器Kinect的的“心脏心脏”由由14中关键芯片组成，其中关键芯片组成，其中最主要的是中最主要的是PrimeSense的的PS1080系统芯系统芯片。它拥有超强的并行计算逻辑，可控制红片。它拥有超强的并行计算逻辑，可控制红外光源。同时，通过一个标准的

6、外光源。同时，通过一个标准的CMOS图像图像传感器接收投影的传感器接收投影的Light Coding红外光谱并红外光谱并且将编码后的反射斑点图像传给且将编码后的反射斑点图像传给PS1080，然后在对此进行处理，并生成深度图像。然后在对此进行处理，并生成深度图像。麦克风阵列声音从声音从4个麦克风采集，同时滤过背景噪声，个麦克风采集，同时滤过背景噪声，可定位声源。可定位声源。为了质量分布的均衡，麦克风阵列是左右不为了质量分布的均衡，麦克风阵列是左右不对称的对称的Kinect体感交互技术什么是体感交互技术？什么是体感交互技术？Kinect设备的基本介绍设备的基本介绍Kinect的研究现状和应用的研究

7、现状和应用发展前景发展前景Kinect体感交互的工作原理传感传感寻找移动部位寻找移动部位判断关节点判断关节点模型匹配：生成骨架系统模型匹配：生成骨架系统Kinect传感Kinect传感的核心是一个无论周围环境的光照条件如传感的核心是一个无论周围环境的光照条件如何，都可以让何，都可以让Kinect感知世界的感知世界的CMOS红外传感器。红外传感器。该传感器通过黑白光谱的方式来感知环境：纯黑代表该传感器通过黑白光谱的方式来感知环境：纯黑代表无穷远，纯白代表无穷近。黑白间的灰色地带对应物无穷远，纯白代表无穷近。黑白间的灰色地带对应物体到传感器的物理距离。它收集视野范围内的每一点，体到传感器的物理距离

8、。它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。传感器以每秒并形成一幅代表周围环境的景深图像。传感器以每秒30帧的速度生成景深图像流，实时帧的速度生成景深图像流，实时3D地再现周围环境。地再现周围环境。Kinect传感寻找移动部位Kinect需要做的下一件事是寻找图像需要做的下一件事是寻找图像中较可能是人体的移动物体，就像人中较可能是人体的移动物体，就像人眼下意识地聚焦在移动物体上那样。眼下意识地聚焦在移动物体上那样。接下来，接下来，Kinect会对景深图像进行像会对景深图像进行像素级评估，来辨别人体的不同部位。素级评估，来辨别人体的不同部位。Kinect采用分割策略来将人体从背

9、景采用分割策略来将人体从背景环境中区分出来。在这一阶段，我们环境中区分出来。在这一阶段，我们为每个被追踪的人在景深图像中创建为每个被追踪的人在景深图像中创建了的分割遮罩，这是一种将背景物体了的分割遮罩，这是一种将背景物体（比如椅子和宠物等）剔除后的景深（比如椅子和宠物等）剔除后的景深图像。在后面的处理流程中仅仅传送图像。在后面的处理流程中仅仅传送分割遮罩的部分，以减轻体感计算量。分割遮罩的部分，以减轻体感计算量。判断关节点分割化人的图像的每一个像素都被传送进一个辨别人分割化人的图像的每一个像素都被传送进一个辨别人体部位的机器学习系统中。随后该系统将给出了某个体部位的机器学习系统中。随后该系统将

10、给出了某个特定像素属于哪个身体部位的可能性。比如，一个像特定像素属于哪个身体部位的可能性。比如，一个像素有素有80%的几率属于脚，的几率属于脚，60%的几率属于腿，的几率属于腿，40%的的几率属于胸部。这时候并不是就把几率最大的可能性几率属于胸部。这时候并不是就把几率最大的可能性当作结果，而是将所有的这些可能性输入到当作结果，而是将所有的这些可能性输入到Exemplar（模型）系统进行处理中并且等到最后阶（模型）系统进行处理中并且等到最后阶段再做判断。数以段再做判断。数以TB计的数据被输入到集群系统中来计的数据被输入到集群系统中来教会教会Kinect以像素级技术来辨认手、脚以及它看到的以像素级

11、技术来辨认手、脚以及它看到的其他身体部位。其他身体部位。判断关节点判断关节点模型匹配：生成骨架系统处理流程的最后一步是使用之前阶处理流程的最后一步是使用之前阶段输出的结果，根据追踪到的段输出的结果，根据追踪到的20个个关节点来生成一幅骨架系统。关节点来生成一幅骨架系统。Kinect会评估会评估Exemplar输出的每输出的每一个可能的像素来确定关节点。通一个可能的像素来确定关节点。通过这种方式过这种方式Kinect能够基于充分的能够基于充分的信息最准确地评估人体实际所处位信息最准确地评估人体实际所处位置置。Kinect体感交互技术什么是体感交互技术？什么是体感交互技术？Kinect设备的基本介

12、绍设备的基本介绍Kinect的工作原理的工作原理发展前景发展前景 Kinect体感技术的国内外研究现状 Kinect 在医学领域的应用研究在医学领域的应用研究Kinect 在商业领域的应用研究在商业领域的应用研究 Kinect 在科技助残领域的应用研究在科技助残领域的应用研究 Kinect 在机器人领域的应用研究在机器人领域的应用研究 Kinect 在智能家居的应用研究在智能家居的应用研究Kinect 在医学领域的应用研究在医学领域的应用研究临床医学临床医学远程手术远程手术医学教育医学教育医学数据调查明医学数据调查明Kinect 在商业领域的应用研究Kinect 凭借其出色的互动能力已经在商业

13、方面得到了凭借其出色的互动能力已经在商业方面得到了实际应用，如俄罗斯一家名为实际应用，如俄罗斯一家名为 AR Door 的科技公司的科技公司于于 2011 年年 5 月运用月运用 Kinect 体感外设技术发明的一款体感外设技术发明的一款“试衣魔镜试衣魔镜”，当购物者站在这虚拟试衣镜前时，装，当购物者站在这虚拟试衣镜前时，装置将自动显示试穿新衣以后的三维图像。置将自动显示试穿新衣以后的三维图像。如黄康泉开发的如黄康泉开发的 CoolView 视频会议系统中整合了视频会议系统中整合了 Kinect 设备的部分功能，实现了手势控制设备的部分功能，实现了手势控制 PPT、自、自动识别与会人员的举手发

14、言请求及实时动识别与会人员的举手发言请求及实时 3D 捕获与显捕获与显示等功能，提高了视频会议的交互性和真实感。示等功能，提高了视频会议的交互性和真实感。Kinect 在科技助残领域的应用研究如德国康斯坦茨大学的如德国康斯坦茨大学的 Michael.Zollner等开发的视等开发的视觉障碍导航辅助（觉障碍导航辅助（Navigational Aids for the Visually Impaired，NAVI）系统就实现了帮助盲人）系统就实现了帮助盲人导航的功能，他们将导航的功能，他们将 Kinect 设备固定在一个头盔上，设备固定在一个头盔上，将连接到将连接到 Arduino主板上的震动马达

15、装在腰带上，再主板上的震动马达装在腰带上，再通过通过 USB 接口连接到背部的笔记本上，耳中戴有蓝接口连接到背部的笔记本上，耳中戴有蓝牙耳机。当牙耳机。当 Kinect 扫描到前方有障碍物时，通过软扫描到前方有障碍物时，通过软件的解读，腰带中的马达会震动，并且会发出转向提件的解读，腰带中的马达会震动，并且会发出转向提醒。醒。Kinect 在机器人领域的应用研究麻省理工学院的一个名为麻省理工学院的一个名为 Warwick 移动机器人的团移动机器人的团队，将队，将Kinect设备和救援机器人结合到一起，设计出设备和救援机器人结合到一起，设计出一款新的机器人一款新的机器人Kinectbot。这个机器

16、人利用。这个机器人利用 Kinect 传感器可以探测出人的存在，并且人们可以通传感器可以探测出人的存在，并且人们可以通过肢体动作和声音来控制这个机器人。过肢体动作和声音来控制这个机器人。Kinectbot 还还能利用能利用 Kinect 设备的画面捕捉技术，将自己设备的画面捕捉技术，将自己“看到看到”的画面绘制成的画面绘制成 3D 地图。这款机器人的目的是应用于地图。这款机器人的目的是应用于灾难现场的救援工作，不必需要过多的人力，或许只灾难现场的救援工作，不必需要过多的人力，或许只是一个两人小队就能完成这台机器人的操作。虽然现是一个两人小队就能完成这台机器人的操作。虽然现在这个发明还没能应用到

17、现实中，但按照这样的思路，在这个发明还没能应用到现实中，但按照这样的思路，未来的机器人随着灵敏度的提高，已经完全能够代替未来的机器人随着灵敏度的提高，已经完全能够代替人类去勘探危险的区域，制作精细的人类去勘探危险的区域，制作精细的 3D 地图了。地图了。Kinect 在智能家居的应用研究现在已经有很多人开始着手将现在已经有很多人开始着手将Kinect应用于智能家居应用于智能家居方面，目前已经有人设计了一种基于方面，目前已经有人设计了一种基于Kinect的智能家的智能家具系统。它采用具系统。它采用 B/S 架构，运用架构，运用 ZIGBEE，Wi-Fi 和和 RS485 等多种组网方式，来实现对

18、各类家居设备的信等多种组网方式，来实现对各类家居设备的信息采集和指令控制，并通过家庭网关与数据库管理系息采集和指令控制，并通过家庭网关与数据库管理系统的数据库服务器进行实时数据交互。在统的数据库服务器进行实时数据交互。在 Web 站点站点服务器中搭建应用服务器中搭建应用 ASP.NET 技术的技术的 Web 站点，采用站点，采用 ADO.NET 技术与数据库服务器进行数据交互。技术与数据库服务器进行数据交互。Web 服务器通过访问数据库服务器可以获得实时的家居环服务器通过访问数据库服务器可以获得实时的家居环境、状态等数据，用户可以通过境、状态等数据，用户可以通过 Web 站点访问并进站点访问并

19、进行操控。行操控。Web 服务器将在服务器将在 Web 页面上接收到的用户页面上接收到的用户指令交递给数据库服务器，进行智能控制指令交递给数据库服务器，进行智能控制。Kinect 在智能家居的应用研究Kinect体感交互技术什么是体感交互技术？什么是体感交互技术？Kinect设备的基本介绍设备的基本介绍Kinect的工作原理的工作原理Kinect的研究现状和应用的研究现状和应用发展前景发展前景继鼠标和多点触摸技术之后，继鼠标和多点触摸技术之后，Kinect 体感技术或将成为第三次体感技术或将成为第三次人机交互革命的原点，不仅因为其全新的操作方式，更因为其人机交互革命的原点，不仅因为其全新的操作方式，更因为其背后所蕴含的创新精神。得益于这种新的人机交互技术，人对背后所蕴含的创新精神。得益于这种新的人机交