基于体感技术的碰撞球游戏设计与开发毕业论文

洛阳理工学院毕业设计（论文）I基于体感技术的碰撞球游戏设计与开发摘 要体感技术是一项利用人体肢体动作识别外界感应的一门技术,它可以让人们可以很直接地用自身的肢体动作，与周边的设备或某种环境互动，而且不需要使用任何复杂的其他外在设备，便可让人们身临其境地与内容进行互相“交流” 。此次毕业课程设计是利用微软公司的 Kinect 体感设备作为捕捉人体动作识别的工具来获取到人体骨骼模型，然后通过 VisualStudio 开发工具，来实现设计出一个能够满足人们简单娱乐的小球碰撞游戏。该系统利用 Kinect 传感器红外摄像头侦测、捕捉用户肢体及骨骼动作，将采集到的红外线图像和 Kinect 的原始参数进行一系列复杂的计算，从而获得人体三维深度流数据信息，以此来创建成相关的骨骼模型，再将整合形成的原始模型转换成虚拟角色，当用户发出挥手、抬脚、说话等动作时，该虚拟角色通过识别该人体骨骼模型的关键部位进行动作触发，使小球做出相应的动作。毕业课程应用 Kinect 设备，其具备当今最先进的人机交互技术、人体运动分析技术和骨骼提取技术，是对相关技术的一次大胆尝试。其中，人机交互技术在许多领域得到了广泛应用。人体运动分析技术也有了可观的发展，实质上能够捕捉人体的动作是实现人体运动分析的前提。骨骼提取作为捕捉人体动作的重要一环，也日益得到学术界的关注，骨架是表现图像拓扑的一个重要特征，是表示物体形状的一种有效形式，其信息量少，但又能较完整描述物体的几何性质，因此在图像检索、模式识别和虚拟运动等领域得到了广泛的应用。市场上涉及到的行业有虚拟试衣，体感游戏，购物商城，虚拟会议等等。但体感技术提取人体信息不够灵敏，技术还有待提高。关键词：体感，Kinect，小球碰撞，虚拟角色，骨骼模型洛阳理工学院毕业设计（论文）IIThe Technology Of Somatosensory Based On Collision Ball Game Design And DevelopmentABSTRACTMotion-sensing technology is a use of human body movement recognition outside the induction of a foreign technology, as the name implies, it can let people can directly use their body movements, interactions with the surrounding equipment or some kind of environment, and theres no need to use any other outer equipment complex, can make people more vividly and content to “communicate“ with each other. To improve efficiencyThis design is to use Microsofts device body feeling equipment as capture human motion recognition tool to get to the human body skeleton model, then through VisualStudio development tools to design a can satisfy people simple ball collision of entertainment games. The system USES sensors infrared camera device detection, capturing user body and bone moves, the collected infrared image and to access the original parameters calculation of a complex set of 3 d depth stream data information for the human body, in order to create a relevant bone model, and then integrated form of the original model is transformed into a virtual character, when the user sent to wave, lift the foot, the action such as speaking, the virtual character by identifying the key parts of the human body skeleton model for action triggers, make the ball makes the corresponding action.As the field of pattern recognition and artificial intelligence technology level unceasing enhancement, makes the man-machine interaction technique has been widely applied in many fields. At the same time, in recent years, human motion analysis technology has considerable development, in essence, to capture the action of the human body is the premise to realize human movement analysis. Skeleton extraction, as an important part of the human body movements, is becoming more and more attention by the academic circle, and also an important feature skeleton topology is to keep the image, is an effective form of said object shape, the less the amount of information, but 洛阳理工学院毕业设计（论文）IIIalso can complete description geometric properties of the object, so in image retrieval, pattern recognition and the virtual movement, and other fields has been widely used. But motion-sensing technology to extract human body information sensitive enough to technology needs to be improved.KEY WORDS: Motion-sensing，Kinect，Small ball collision，Virtual character，Skeleton model洛阳理工学院毕业设计（论文）IV目 录前 言 .1第 1 章 绪 论 .31.1 引言 .31.1.1 国内外研究现状 .41.1.2 本文的主要内容 .51.1.3 章节安排 .6第 2 章 Kinect 传感器的结构及工作原理 .72.1 Kinect 硬件部分 .72.1.1 Kinect 基础介绍 .72.1.2 系统级芯片 .82.1.3 红外投影机 .92.1.4 彩色摄像头和红外摄像头 .92.1.5 麦克风阵列 .92.2 Kinect 传感器的软件系统 .102.2.1 Kinect 的核心 NUI API .112.2.2 Kinect Audio DMO .122.2.3 Windows Speech SDK .122.3 深度图像的获取技术 .132.4 Kinect 获取深度图的原理 .14第 3 章 基于深度图像的骨架提取 .163.1 检测方法 .163.1.1 传统的检测方法 .163.1.2 深度摄像头实现目标检测与分割 .173.1.3 基于最优阈值的方法 .183.2 骨骼提取 .203.2.1 人体骨架空间 .203.2.2 关节定位 .21第四章 小球碰撞游戏开发 .23洛阳理工学院毕业设计（论文）V4.1 建立游戏模块 .234.2 基于 C#编程 .244.2.1 定义小球模块 .244.2.2 定义游戏模式 .254.2.3 碰撞类型 .264.2.4 界面显示 .284.2.5 语音识别模块 .294.3 游戏体验 .35第 5 章 总结与展望 .375.1 论文主要工作 .375.2 展望 .37结 论 .39谢 辞 .40参考文献 .41附 录 .43洛阳理工学院毕业设计（论文）1前 言随着当今社会的高速发展，人们的工作效率也越来越高，生活节奏也逐步加快，这些都与计算机的迅猛发展密不可分。现今社会，基本有人类的地方就有计算机，也没有哪个行业可以真正与计算机脱离开来。提高人类计算机的使用效率，改变人类使用计算机的时间是现实亟待解决的问题既是节约时间，又可以提高工作效率，还可以提高人们娱乐和交流方式。人机交互是研究人与计算机及其相互作用的技术,其研究目的在于利用所有可能的信息通道进行人-机交流,提高交互的自然性和高效性。目前人与计算机交互的方式往往局限于鼠标与键盘,正是由于这种传输方式的单一性阻碍了人机交互的进一步发展,人机交互中输入输出效率之间的差距变的越来越大。随着科学技术的高速发展,更高层次的人机交互理念对交互方式提出了巨大的需求，众多科研人员开始对新的交互技术的多通道界面展开研究,目前的研究内容主要是集中在手势输入、语音识别及感觉反馈等方面。而 Kinect 体感技术的出现促进人机交互的发展，具有重要意义,Kinect 作为新一代的体感设备，可以依靠实时捕捉使用者的动作、面部识别及语音识别就可以达到输入功能。这一特性很好地填补了现有人机交互技术的缺陷,并且促使 Kinect 体感技术成为人机交互领域中的一个研究热点。在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互动。可以说这项技术是目前人机交互技术中最前沿、最热的领域之一，它将开启人机交互的新时代。自微软 Kinect 红外深度感应器发布以来，国内外对其技术和应用上的研究都取得了比较多且富有创造性的成果。Kinect 感应器最初是作为微软 XBOX 游戏机的体感外设发布的，后经热心开发者建立起 OpenNI 的软件框架，Kinect 在计算机方面的研究和应用才逐步获得了较大的影响力。现阶段微软已经为此款深度感应器发布了官方的驱动程序及 SDK，更进一步推动了体感技术的开发应用。Kinect 在国内外的研究动态，在人体骨架识别和建模方面，利用 SDK，华中科技大学的 Wei Shen 和微软公司的 Ke Deng 等人提出了基于模型的人体骨架修正和标记方法，较好地解决了获取人体动作视频中的遮挡问题。此外，微软剑桥洛阳理工学院毕业设计（论文）2研究院的 Shahram Izadi 等人则利用深度摄像头开发了一套实时三维重建和交互系统，系统通过摄像头对所见物体进行三维重建，并实现了操作者在虚拟空间中的实时交互。可以说传感器方面的革新使人体骨架建模有了更优的解决方案，为基于人体骨架识别和运动跟踪方面的应用开拓了广阔的前景。另一方面我们也认识到 Kinect 技术目前应用不是很广泛，其深度探测技术还不够成熟，其每秒只能拍摄 30 帧，这样的动作捕捉不但不能准确分辨，也会造成很大的延时。只能适合缓慢的动作，这使得其应用范围受到一定局限，难以实现一些需要快速做出相关肢体动作来控制设备内容的实时运作。所以未来需要对其精确度提升有很大的要求，最近也获知 Kinect2 已经在国外发售，有望能实现自然语音识别、更准确的面部识别和更详细的人体运动捕捉能力。本次毕业课题是以 Kinect 体感技术来实现一个碰撞球的游戏系统，硬件平台就是微软的 XBOX360。软件开发工具 Microsoft Visual Studio 进行系统开发。开发所用语言为 C#。通过 Kinect 红外摄像头设采集用户动作，将采集到的三维深度流数据信息通过编程算法和图像处理，在 Kinect 平台上创建成相关的骨骼模型，再将整合成的原始模型转换成虚拟角色，当用户发出动作时，该虚拟角色也将相应的做出与之同步的动作触发，从而控制场景中的小球运动和碰撞。这样可以根据游戏体验增强家人之间的互动关系，促进孩子与家长之间的沟通协作性。在整个设计过程中要针对小球碰撞游戏的情况解决以下一些问题。如何能够将 Kinect 采集到的深度数据转化为相应的骨骼模型来操纵小球运动。并通过相关算法提高获取到的骨骼模型的识别精度，并实时跟踪用户的肢体动作，减少动作的延时。提高玩家体验游戏效果的真实性。第 1 章 绪 论洛阳理工学院毕业设计（论文）31.1 引言人机交互从只有一个维度的绿色字符控制台界面（CLI） ，到有鼠标操作两个维度的图形用户界面(GUI)，再到现在的多点触摸(Multi-Touch)在手机、平板电脑等移动终端上得到了广泛的应用，无疑又引爆了消费者对自然交互的渴望，但交互体验还停留在二维平面的阶段，同时随着摄像头、GPS、重力感应等各类传感器的普及，虚拟现实和增强现实大放异彩，在虚拟与现实世界重叠的同时，又有了眼球跟踪、语音识别、人脸识别等让技术更好理解人类的手段。Kinect 正是在这样的背景中诞生的，使人机交互技术从二维的世界扩展到三维的空间，而且是进入到了非接触的交互体验之中。Kinect 是微软于 2010 年发布的一种三维体感摄像机，它具有骨骼跟踪、人脸识别、麦克风输入、语音识别等功能。因此，可以很好的利用 Kinect 进行人机交互，而人体运动分析更是人机交互中目前研究的重点和热点方向。人体运动分析有着广阔的应用前景，主要包括以下几个方面的应用 1：(1) 智能监控系统，例如在一些智能监控场合，通过对人脸识别、步态分析决定是否容许其进入该区域。比如说在银行、机场等安全要求比较高的地区，可以通过监控，发现可疑人员并发出报警。(2) 虚拟现实，例如可以对用户在真实物理空间中的姿态进行有效的分析理解。(3) 智能用户接口，计算机可以通过计算机视觉信息，实现人机交互。比如机器人通过摄像头捕捉人体运动信息并加以理解并作出合适的反应。(4) 运动分析，例如在舞蹈，体操运动的训练中，通过分析关键节点的运动来指导纠正练习者的动作等。(5) 基于模型的视频编码，例如通过建立人脸、人体的参数化模型，达到较高的压缩效果，对人体运动分析的研究具有重要意义。1.1.1 国内外研究现状日常生活中的智能监控系统、体育运动竞技研究、动画制作等许多领域都需要对人体运动状态进行分析。要实现人体运动的分析，就必须对人体运动的状态进行捕获，通过采集得到的数据对人体关节点进行定位获得准确的运动参数。目洛阳理工学院毕业设计（论文）4前捕获人体运动的方法有很多，但是最直接的方法，还是通过摄像头进行捕获。因为通过摄像头获取的图像和视频不仅包含了许多运动信息，而且摄像头不会对人的运动产生任何约束，因此，人体运动方面的研究，几乎都是使用摄像头作为输入信息进行研究的。人体运动捕捉的研究开始于 1980 年，由于它的广泛应用，国内外的学者对此进行了大量研究，提出了许多运动捕捉和姿态估计的方法。基于视频的人体运动分析主要是从摄像机拍摄的图像序列中分析每一帧的人体运动状态，对人的行为进行识别。通过不同的运动分析方法可以从图像中提取出不同的信息。北京理工大学徐枫等人使用无标记运动捕捉的方法获得任意时刻人体对应的骨骼和三维模型 2。T.Drummond 等人通过检测运动物体的边缘信息，可以快速恢复图像的三维模型，具有较高的实时性 3。美国科学家 Moon 等人提出了采用形状编码的方法对外轮廓进行描述，利用外轮廓信息来进行运动捕捉 4。武汉理工大学教授李豪杰等人研究出了自顶向下和自底向上的运动捕捉方法5，自顶向下的捕捉方法又称为基于模型的方法，该方法根据已知的条件，将人体模型与图像进行匹配，建立一些约束，以获得人体姿态参数。该方法主要包括：(1) 微分法建立一个目标函数，通过雅克比矩阵建立模型微分和图像坐标的联系 6，本方法收敛速度较快，但不适合跟踪大幅度的运动。(2) 动力学法在预测时与图像某些相关数据间生成一种类似于弹簧弹力的力，根据这种类似于弹簧弹力的力修正模型参数，直到匹配成功 7。本方法可以跟踪较大幅度的运动，但却不能保证其收敛性。(3) Kalman 滤波利用目标的动态信息首先对前一时刻的状态进行预测，然后利用前一时刻的估计值和现在时刻的观测值来更新对状态变量的估计，求出现在时刻的估计值 9，本方法可以描述跟踪过程中的某些不确定信息，鲁棒性较高，但本方法要求系统状态和噪声是单峰分布，很难满足现实要求。自底向上的捕捉方法又称为非模型的方法，该方法通过对底层特征的跟踪，对图像进行处理分析，从中提取感兴趣的特征，将它们与待识别目标的特征相比较，选取最相似的部分，以此确定待识别目标在图像中的位置，获取人体姿态信息。该方法主要包括：(1) 特征跟踪法，首先在首帧中标注出人体的关键点位置，然后通过后续帧中通过跟踪建立起帧与帧之间的关系，最后获取不同的时刻人体的姿态参数 10。(2) 标记法是作为指导对人体的轮廓进行标记，从而获得姿态信息 11。洛阳理工学院毕业设