【基于Kinect的人机协作危险作业控制系统设计与功能实现5100字（论文）】

基于Kinect的人机协作危险作业控制系统设计与功能实现TOC\o"1-2"\h\u203461引言 0148902Kinect体感技术 0107402.1Kinect的硬件结构 1103642.2Kinect的工作原理 1273613系统开发环境与设计方案 2129683.1硬件环境 250203.2软件开发环境 2226143.3系统设计方案 2251154系统功能实现 3207054.1虚拟体感鼠标 3257334.2人体动作识别 6摘要：随着信息技术的蓬勃发展，计算机作为人们日常工作、生活、学习、教育和娱乐等方面重要的工具，扮演着不可或缺的角色。同时人与计算机的交互方式也在逐渐变化，由传统的鼠标、键盘和手柄等外设设备到基于触控面板的触控操作，但是人机协作方式依然属于接触式，不能脱离双手操控具有约束性、复杂性和局限性等。伴随着各种超大显示屏、AR和虚拟现实等新技术的出现，基于计算机视觉的人机协作方式得到广泛的重视和研究，通过摄像头捕获人体活动中的肢体信息和手势信息等，然后通过计算机进行分析处理，识别各种姿势和手势的含义，实现人与计算机更加自然、直观和简洁的交互。通过微软的Kinect体感设备，能高效且低成本的实时获取人体的彩色图像、深度图像和骨骼数据等运动信息，使得人机协作方式实现更加简单和多样化。本文本文主要研究了基于Kinect的人机协作技术及其在危险作业控制系统中的应用。通过Kinect传感器实时获取人体各种运动信息，进行手势识别和人体动作识别的研究，并根据研究结果实现一套人机协作系统。关键词：Kinect；人机协作；动作识别；手势识别1引言煤与天然气，石油是我国最主要的大三能源。其中，作为最传统的能源之一的煤炭资源，是目前我国最重要的能源之一，它的发展前景将直接影响到国家能源安全及社会主义现代化的实现。随着我国燃煤，用电的需求越来越大，对煤矿资源的开采量也越来越大，与此同时，矿井事故的发生也越来越频繁，危害最大的便是火灾灾害。经研究，造成煤矿火灾中工作人员的丧生的原因，除了矿山安全设备缺乏，还有一个重要的原因就是对工作人员的培训不够。由于矿井环境比较特殊，没有办法在矿上进行真实的逃生演练，而传统的逃生培训只是通过一些图片及文字，根本无法达到培训的效果。当真实的矿井火灾来临时，由于工作人员从未有过这种经验，内心的恐惧以及无所适从会加大他催难的几率。因此，模拟基于Kinect的人机协作危险作业控制系统便具有重大的意义。2Kinect体感技术2010年6月微软的新一代体感设备Kinect上市，配合Xbox360主机颠覆了传统的游戏操作的单一性和拘束性，给游戏玩家带来全新的游戏体验。Kinect体感设备创造了两个月内销售800万多台的吉尼斯世界纪录。Kinect的发布不仅给游戏开发者带来新的活力，也使研究人员能低成本获取视频中人体各关节点三维坐标信息和场景深度信息等。随后2013年微软又发布了新的Kinect，称为Kinectv2}Kinectv2在骨骼点精度、性能和抗干扰性较上一代Kinect明显提升1301。2015年1月微软将缩小化的Kinect应用于自家Holol:xns全息影像头盔，提供精准且丰富的手势操作等。2018年5月在微软全球开发者大会上，微软发布了全新的Kinect，称为ProjectKinectforAzure，该设备主要应用于AI和VR等领域。2.1Kinect的硬件结构Kinectv2较上一代在性能和抗干扰性具有明显优势，本课题的研究和实现是基于新一代的Kinectv2传感器进行信息部分的采集。Kinectv2设备的其中6个主要组件结构和参数如下所示。（1）RGB摄像头组件:该摄像头可以实时传输可视范围内的彩色视频图像，其提供最大分辨率为1920*1080,30印s的彩色视频流。（2）麦克风阵列组件:由4个成L形布局的麦克风组成，具有声音过滤、噪声消除和声音采集等功能，提供I6kHz,16bit单声道音频，用于语言识别和声源定位等。（3）红外投影机组件:负责发射一束红外光激光，然后光线在遇到障碍物时会发生反射，反射时产生光斑会被红外摄像头捕获。（4）红外摄像头组件:负责接收反射产生的光斑，然后提供给后续的Soc芯片处理产生深度图像。（5）USB3.0集线器组件:可以通过提供最高传输速率为S.OGbps保证各种视频和音频信息的传输，电源部分可以提供5}12W的输出功率。（6）PS1080Soc芯片组件:该芯片组件堪称Kinect设备的“心脏”，具有强大并行逻辑计算能力，将接收的红外光谱进行分析产生视野范围内的人或物体的深度图像，可以提供分辨率为512*424、30fps的深度视频流。2.2Kinect的工作原理Kinect最重要的功能是提供场景中三维深度信息，通过红外发射器和红外接收器进行场景中信息采集，然后传输给内部芯片进行处理后，输出深度图像数据。目前业内主流探测场景中物体的深度信息主要有:荃于RGB摄像头的双目立体视觉，基于超声波的雷达探测和基于3D结构光技术的深度探测等131微软的Kinect的深度图像形成就是采用类似于结构光的LightCoding技术方案，红外发射器向背景空间投射一束红外光，当红外光遇到物体时因其表面的粗糙程度不同，会反射形成不同的光斑，相当于对空间中物体进行“光编码13?1。如下图2.2所示，Kinect在手部位形成的光斑，同时空间中的红外线图像会被红外接收器采集到，传输给Kinect内部的Soc芯片分析处理，从而得到Kinect视野范I}}内的二维深度信息。深度图像是普通的RGB彩色图像的基础上加上深度信息形成的灰度图像，Kinect将RGB摄像头采集信息和获取的场景深度信息进行合并转换。像素的灰度值大小反映了物体与Kinect摄像头正面的水平距离关系，与Kinect越近灰度值越小，越远则越大。深度图像在提供更多场景空间的深度信息，同时减小光照变化等因素的干扰，使得在光线较暗时，仍然获取场景中足够的空间信息。Kinect基于深度图像处理后提供骨骼跟踪技术，对视野范围中人体进行关节点的定位和追踪，最新的Kinectv2可以同时显示6个人物，且主动追踪2个人物的全身25个骨骼点。Kinect深度图像的产生涉及了计算机图形视觉方面的众多技术，包括多目标检测、边缘检测、噪声处理、轮廓提取和人体目标特征分类等，将人体从背景环境中剥离。由于人体各个部位在视频中会出现相互重叠和遮挡等情况，分别从正面、反面、俯视等多角度去分析处理，结合大数据和机器学习训练后的模型，最终确定图像中局部像素为具体的骨骼点。Kinect的骨骼追踪技术可以实现针对不同身高和体型的对象，从小孩到成人都可以准确实现骨骼识别和追踪，同时对不同姿态时的骨骼点也能准确识别，比如下蹲、转身和坐在椅子上等情况。Kinect体感设备是主要的硬件部分，相应的后台软件也异常强大，目前Kinect主要的SDK（SoftwareDevelopmentKit）有两种分别是OpenNI和KinectforWindowsSDKoOpenNI是一种通用的自然语言交互框架，该框架支持多种语言、支持多平台，由于是第三方提供相应提供的API接口和功能较少。KinectforWindowsSDK是微软官方提供的，支持多种语言，提供的API接口丰富且强大，对开发者使用难度较低，但只支持Windows平台。3系统开发环境与设计方案该系统平台包括硬件设备和软件两个部分，硬件部分进行手势和肢体动作视频采集以及视频图像显示，软件部分进行运动视频信息的处理和分析。3.1硬件环境(1)PC机两台，参数如下:操作系统:Windows1064位专业版内存:32GBCPU处理器:i7-8700k主频4.OGHz显卡:GTX1080Ti显存频率11008MHz显存容量1IGB(2)Hitachi旧立投影仪五台(3)深度传感器Kinectv2一台3.2软件开发环境(1)开发工具:VisualStudio2017,C#VisualStudio2017是微软在2017发布的开发工具，主要基于微软自家的Windows桌面操作系统平台打造的开发工具。(2)驱动工具:KinectforWindowsSDKv2.0KinectforWindowsSDK是微软基于最新的体感传感器KinectV2发布的SDK，适用于Windows平台，通过KinectV2采集图像和声音等信息后，通过该SDK处理后，提供一系列的API让开发者获取各种彩色、深度、骨骼和语音等信息。(3)计算机视觉库:OpenCV3.0OpenCV是英特尔在1999年建立的开源计算机视觉库，该视觉库集成众多图像处理、机器学习和计算机视觉等领域的各种算法和源代码，用户通过API直接调用相关函数实现，无需重复实现，对各种平台如Windows,Linux,MacOS操作系统提供良好的支持，同时提供C++,C#,Python和MATLAB等语言支持。3.3系统设计方案3.3.1系统框架本文设计的人机协作危险作业控制系统，主要分为四大模块:信息采集模块，识别模块，交互模块和显示模块。系统的架构图如下图5.1所示:采集模块:该模块主要通过Kinectv2传感器进行场景中人物的视频图像信息采集，通过KinectSDK进行各种信息预处理后提供后台处理，通过API提供给识别模块使用。识别模块:该模块是系统的核心模块，主要包括手势识别和动作识别，根据人物在不同的场景选择手势识别或动作识别，让体验者使用身体语言进行人机协作。交互模块:识别模块将身体动作识别后，会将对应的指令输入给控制端，如手掌从左向右滑动对应下一页、右手大拇指与食指成V字型对应鼠标单击事件等;系统界面会提供手势识别和动作识别中若干具体参数的设置，如Kinect的可视范围、手势识别的灵敏度和动作模板库选择等。显示模块:根据五台投影仪及各种灯光搭建的全景全环绕虚拟环境，进行如网页浏览、视频播放和PPT展示等。图5.1人机协作系统结构图3.3.2系统流程整个人机协作系统从流程上划分主要分为三个部分，分别为Kinect硬件层、手势和动作识别层和应用层，如图5.2所示人机协作系统流程图，具体介绍如下。第一部分Kinect硬件层，主要通过Kinectv2硬件设备进行场景中的彩色图像、深度图像和骨骼信息的实时采集，并将采集后的信息实时通过USB3.0接口高速传输到KinectSDK进行计算处理，并将计算结果以API形式提供给后续流程调用。第二部分手势和动作识别层，手势识别是基于Kinect获取的彩色图像、深度图像和骨骼数据进行目标人体的手势定位、分割、提取、平滑和轮廓采样等处理后，提取手势特征基于指尖检测方法实现静态手势识别。人体动作识别主要是基于KinectforSDK提供的骨骼追踪和骨骼坐标信息，实时追踪距离Kinect垂直方向最近的人体，通过关键帧和人体结构向量进行人体运动特征提取，基于改进后的DTW算法和提前录制好的标准动作模板库进行人体动作的识别。第三部分应用层，通过Kinect的骨骼追踪技术实现右手与鼠标映射的虚拟鼠标，基于上一层的识别技术进行指令输入。在静态手势识别基础上，实现手势与鼠标事件(如单击、双击和滚动等)一一映射;在人体动作识别上，实现日常12余种肢体动作识别与场景游戏互动。在不借助鼠标和键盘等外设辅助情况下，实现用户与计算机自由流畅的交互体验。4系统功能实现4.1虚拟体感鼠标选择右手作为追踪目标，根据实时获取的右手骨骼坐标值进行骨骼坐标系与鼠标坐标系转换。右手在移动操作时会产生抖动现象，若直接进行坐标系转换，鼠标在显示屏上会不停抖动。本文采用放大骨骼坐标系的方法来消除抖动，右手关节点B(x,y,z)的坐标系转换鼠标坐标的公式如4-1所示。在图4.1中图点，分别表示同一个点在不同坐标的表示，width和heigth分别表示显示屏幕的长和宽。鼠标坐标系中限制坐标系为0-65535之间。（4-1）计算机显示器坐标系与鼠标坐标系按公式4-2进行转换。（4-2）图4.1同一点在三种坐标系转换在实际场景应用中发现，由于超大显示屏的原因，在虚拟鼠标进行快速移动和精准移动两种不能兼具。本系统在鼠标移动上设计两种移动模式，普通模式下是快速移动，当右手抬起与肩旁平行时为精准移动。在右手移动后暂停超过2秒后，系统会进入手势识别状态，根据手势识别的结果与鼠标事件进行映射，如表4.1所示手势与鼠标事件映射表。表4.1手势与鼠标事件映射表基于KinectSDK提供的骨骼追踪技术和本文的静态手势识别算法实现虚拟体感鼠标，通过双手的移动和手势代替传统的鼠标操作，其虚拟鼠标子系统工作的流程图如图4.2所示。图4.2虚拟眼标操作流程图4.2人体动作识别人体动作识别的系统主要包括两个功能分别是，动作模板录制和动作识别，其人体动作识别子系统的操作流程图如图4.3所示。图4.3人体动作识别的系统界面(1)点击系统界面的“Capture”按钮，系统通过Kinectv2进行三秒内的动作采集通过系统处理好保存为TXT文本的形式，一个动作处理后存储为15KB左右，进行人工动作名称标识后，点击“Store”按钮添加到动作模板库中。(2)点击系统界面的“Read”按钮，将动作模板加载到系统内存中，因为本系统动作模板以数据形式保存通常在1OOMB之内，放在内存中加速识别速度。(3)点击系统界面的“start”按钮，通过Kinectv2进行视野范围内的人体追踪，Kinectv2可以同时显示6个人的人体骨骼，并且最多对2个人进行骨骼追踪，为了便于识别效果，系统进行只对距离Kinect水平距离最近的人进行动作识别，如图5.10所示。为了便于进行动作的区分，系统进行3秒内的轮询人体动作信息采集，依次将识别结果放入一个队列中，远程的场景显示系统通过socket方式进行轮询