最新3D动态人体模式识别技术研究

1、將品好文档.推荐学习交涼3D动态人体模式识别技术研究3D动态人体模式识别技术研究1、项目来源及选题依据本项目为学生自选题目项目。木项目属于计算机视觉学科的基础研究，由本项目组独立完成，旨在 研究运动物体的模式识别技术。计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研 究方向。计算机视觉是一门综合性的学科，它涉及计算机科学、信号 处理、物理学、应用数学和统计学，神经生理学和认知科学等多个学 科领域，吸引了大批研究者投身其中。一些发达国家，如美国把对计 算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大 基木问题，即所谓的重大挑战(grand challenge)。目前它在多

2、个工 程领域均有成功的应用，是制造业、检验、文档分析、医疗诊断，和 军事等领域中各种智能、自主系统中不可分割的一部分。模式识别就是当把认识对象能够分类成几个概念时，将被观测的模式 与这些概念中的一类进行对应的处理。这种概念称为类或者种类。为 实现模式识别的机械，首先必须考虑从识别对象测量(提取)出某种 特征量的方法。当今信息化时代的快速发展对计算机视觉提出了越来越高的要求。三 维模型具有比二维图像更丰富的信息，利用三维信息是实现目标识别 的另一有效途径。基于三维数据的识别方法，在计算机视觉领域已经 被广泛研究。有的研究考通过分析三维模型数据的分布特征，提出了 整体分离的方法，结合物体特点，实现

3、了各区域的准确裁减。然而， 在某些识别问题中，信息的提取有时并不一定是在静态条件下。因 此，三维动态识别技术也应运而生。动态识别是相对于静态识别提出 的一个新概念，旨在对运动物体进行三维识别。由于运动物体的特征 较静态物体更难以捕捉，因而，动态识别技术的关键问题就是如何快 速准确提取运动物体的特征并构造有效的识别方法，它对提取、重建 和识别算法的快速性和有效性提出了更高的要求。本课题在研究三维人体目标的动态特征的基础上，旨在建立一个三维 动态人体模式识别系统，它将完成对一个运动的人体进行有效识别的 功能。该系统可广泛应用于医学、运动员测量分析、军事目标判定、 计算机图形学和计算机辅助设计中。另

4、外，该技术还有较大的推广空 间，在这个技术基础之上，改变被测物体后也可在诸如制造业和建筑 界等多个领域得到应用，如三维机械系统动态识别及三维建筑动态识 别系统等。2、选题过程中已经阅读的文献资料，以及各项准备工作（如计算、实 验等）已完成知识储备如下：数学：空间解析几何及线性代数；复变函数；数学物理方程程序设计：C+； C#算法理论：计算机视觉完成第一轮学习这个阶段里，项目组利用mat lab软件进行了人体轮廓提取的仿真 实验，初步实现了人体的轮廓提取功能。另外，针对运动的视频分析 部分，项目组已经建立了一个合理的人体刚体模型，为人体运动分析 奠定了良好的基础。3、国内外同类课题研究现状运动信

5、息处理始于上世纪70年代。那时，确定图像上移动向量的分布（光流），即图像间的映射关系是主要的研究课题。虽然在图像间由 特征的对应关系能够获得映射关系，但在对应时需要伴随着搜索和处 理的大量计算。因此，作为利用图像间差分计算移动向量的方法，提 出时空梯度法。该方法是在运动图像编码的研究中发现的，并由Horn 与Shunk等对其进行了公式化。时空梯度法将移动向量进行线性约 束，但只凭该约束并不能直接确定移动的向量，还需要其他的一些约 束。针对此又提出其他的各种约束办法。人体是一个非刚体运动模型。但在处理较大幅度的运动时，人体往往 可以被近似为一个多节点的刚体模型。1979年，Ullinan等提出，

6、如果 假设所研究的対象是刚体，就能够从图像间的对应关系恢复对象物体 的三维结构和三维运动。很长时间以来，针对人体的运动分析都是建 立人体刚体模型进行估计，具体说来就是通过安装在人体关节处的光 点的运动，对人体的结构和运动进行估计。然而，由于人体结构较为 复杂，即便采取自下而上的处理方法也是很困难的。因此，大多采用 预先假定人体模型知识的自下而上的处理方法，难点主要体现在下面 两点：（1）不易提取有效的图像测量特征；（2）人体的姿势是一个 高维空间，基于全局搜索和匹配的方法计算量太大。近年来，研究者分别从人体模型、图像特征以及搜索策略等角度讨论 了基于视频的三维人体运动跟踪问题。D M Gavr

7、ila与L S Davis等 人利用多个已定的摄像机对全身运动进行跟踪。他们使用距离图来匹 配模型与边界特征，并采用分解搜索空间的方法进行姿态估计。 Deutscher J, Blake, A, Reid I等人釆用例子滤波算法在多摄像机下实 现对人体三维运动的跟踪，并使用模拟退火算法来减少对粒子数目的 需求。C Bregler J Malik等人釆用类似Lucas&Kanade光流估计的 方法来跟踪身体各个部分。C Sminchisescu与B Triggs提出使用 Covariance Scaled Sampling结合局部优化的方法从单视频中跟踪人 体运动。这些算法在可控环境下实

8、现了简单的人体三维运动的跟踪。 但是它们存在的共有问题是：（1）假设简单背景或者人穿着紧身衣；（2）无法实现自动初始化和自动从错误中恢复；（3）无法处理错误 累积以及光照变化等环境因素的影响；（4）计算复杂度较高。进入20世纪90年代，有人提出了将时空梯度法和人体的机器人模型相 结合的动作估计法，以及通过模型的逐次匹配的人体姿势估计法等一 系列方法，希望能够将其作为新的运动捕获的人体运动图像分析技 术。对于动态图像的分析以及最后识别运动目标，日前主要通过两个途径来 实现。一种途径是模仿人眼成像及识别物体的机理，让计算机从获得 的二维连续图像序列中提炼出运动目标，并从中重构出三维物体的可 视部分

9、以达到识别物体的目的。虽然在这一方面的研究取得了一些进 展，但是由于其它方面的研究滞后以及计算机的固有缺陷（例如，计算 机系统普遍地釆用二维逻辑，而人眼成像及识别物体不仅仅是二维 的），使得通过这一途径完全还原及识别运动目标的研究进展缓慢。另 一途径是图像法识别运动目标。图像法识别运动参数的基本原理是将 物体用成像头（红外或可见光等）摄入后形成的图像信号序列送入计算 机，经过对图像的预处理、特征提取、目标识别后，在连续图像序列 中进行特征点匹配，进而解出目标物体的运动参数，实现对目标物体 的搜索、识别和跟踪。一旦完成对目标及其运动参数的识别，就可以 由伺服机构完成下一步的决策和处理。图像法识别

10、是从输入图像和目 标物体两个方面入手，通过对输入图像序列的处理，使其与目标样本 库中的图像进行匹配，以达到识别目标的目的。该方法也存在着缺 陷，比如，样本库可能非常大，不利于实时跟踪和处理。4、详细阐述所选课题的目的和意义计算机视觉主要的诀窍在于从图像或图像序列中获取对世界的描述。 毫无疑问，这是很有使用价值的。摄取图像通常不带破坏性，是安全 的。它又是一件不费力的事，现在的成木也不昂贵。用户希望从图像 中获取的描述对不同的应用可能性相差很大。例如，一种称为从运动 求取结构的技术可以从图像序列中获取所见物体的描述以及摄像机的 运动规律。娱乐产业中人们利用这种技术来构造建筑物的三维模型， 此时人

11、们关注结构而忽略运动信息。这些模型可以应用到实际建筑物 无法使用的场合，如火灾、爆炸等场合。只要利用数量很少的一组照 片就可以构造出好的、简单准确的、令人信服的模型。而用这种技术 来控制移动机器人时，人们一般关注运动，而将结构舍弃。这是因 为，一般仅知道机器人工作的某些方面。而并不知道机器人在这个区 域的准确位置。可以从固定在机器人上摄像机的运动信息中确定机器 人的位置。计算机视觉还有许多其他方面的重要应用，其中之一是医学图像的处 理与理解。人们可以设计软件系统来增强图像，或鉴别重要的现象或 事件，或通过成像获得可视化信息。另一种应用是：检验人们对物体 拍摄的图像，以便确定它们是否符合规定。第

12、三种应用是卫星图像的 理解。这既可用于军事目的，如编制程序来确定进来有没有与军事有 关的现象在给定的地区内发生，或估计轰炸所引起的损害，也可运用 于民用的目的。第四个应用是对收集的图片加以组织与结构化。和其他计算机视觉技术一样，三维人体动态识别技术也广泛用于制造 业、医学工程、检验、文档等多个领域。另外，该项目中间生成的三 维重建模型可作为计算机图形学三维人体模型二次开发素材，动态特 征捕捉也为3D图像处理带来方便，可以说带来了一种新的三维动画设 计手段。而在识别检测领域，医学三维识别系统可以看做这项技术在 这个领域中的推广。最后还可以在加强快速捕捉检测技术的情况下作 为电子警察系统中的交通肇

13、事检测。总之，这个技术的研究具备广泛 的前景，拥有很大的实用价值。5、根据选题所要完成的工作和预期成果及成果形式所要完成的论文工作：1、理论工作(1) 获得摄像机内外参数为获得真实的三维场景与视频序列的映射关系正确，必须首先求解出 摄像机的内外参数，实现摄像机自定标。另外，为提高准确性，也利 用了真实场景中已存直线、平面的特殊的位置关系作为约束条件，估 计单应性矩阵。(2) 人体检测算法针对视频图像的噪声和背景问题，经过定标的摄像机系统应可以完成 对人体的检测，通过背景差等方法抽出身体图像，使用一个矩形框对 其标定。这个算法中应该包含比例分割、部位确定和模型区域匹配功 能。(3) 运动跟踪算法

14、为定量把握人的动作，引入表示身体结构与位置/姿势的模型。对于从 图像中所抽出的身体图像，通过匹配身体结构模型来决定位置与姿 势。从连续图像间的变化可以推断位置/姿势的变化。(4) 运动识别算法作为动作的识别方法，可釆耿隐马尔科夫模型和运动动作进行识别的 研究，同时也提出了对模式识别方法扩展后得到的一些方法。然而， 由于运动图像的信息量大，对捕捉特征要求高，故多釆取跟踪方法。 一般而言，对于线性系统，总能通过推理的方式实现运动分析，例如 线性动态模型的卡尔曼滤波方法。2、系统实现（1）利用视频实现人体检测，在复杂背景中分离人体及人体区域 匹配（2）建立人体模型，本项目釆取多关节的刚体模型，配合蒙

15、皮骨 骼动画实现运动捕捉（3）以XNA和托管Direct 3D作为开发工具，实现运动动画计算 机模拟（4）运用matlab进行模式识别研究并在系统中实现模式识别功 能（5）实现远程控制云台的硕件平台及其软件控制木课题最终成果如下：建立一个运动识别系统，该系统可以对人体进行跟踪检测，并有效识别待测人体项目完成后发表核心期刊水平以上论文一篇，内容具体涉及本项目的 实施过程中遇到的各种问题及解决方案，以及项目的更进一步的发展 展望和项目意义。同时，拟申请专利一项。6、拟釆用的研究方案和要解决的关键技术问题（一）项目内容及具体方案（1）基本工作原理木系统总体思路为，首先通过双目视觉系统釆集两个二维视频

16、流，在 经过简单预处理后，对优化后的二维视频流进行特征判定。特征判定 后将这些特征数据对比与标准人体模型在系统中重建一个三维动态人 体模型，通过识别其预先存在与否决定输出匹配信息或继续学习，最 后完成整个系统功能。本系统工作框图见下：（2）工作功能概述信息釆集系统：图像方面，本项目釆用多点视觉系统，将一个三维实 体投影到多个摄像机当中，后期处理为三维立体模型。另外，面对一 个新的待学习人体，还需输入个人基本信息作为识别依据。预处理：将采集的二维图像组或视频流经过噪声消除、边缘处理和归 一化处理。这样的二维视频处理有助于筛选人体图景，为后续操作做 好准备三维标准人体模型：数据库中按照成年男女分别

17、建立两个标准人体模 型。该模型包含后续的静态特征和动态特征。静态特征：即个人外形轮廓、身高、体型等与个人当前运动状态无关 的变量。这个特征的提取有动态釆集和静态釆集两种，分别对应于视 频或图片输入。动态特征：即一个人的姿势特征。动态特征含义广泛，本项目针对走 路、站立、坐姿三种基本姿势分别建立三个动态特征标准动作姿势 库，判断和识别时也仅仅针对这三个特征进行匹配识别。静态特征捕捉：本系统利用多摄像头及其几何位置恢复三维空间坐 标。具体说来，三维空间中一个点会在每个摄像头所在平面留下投 影，利用这些投影及相关数据可恢复空间坐标信息，并重建三维静态 仅供学习与交潦.如冇侵权请联系网站刪除谢谢9將品

18、好文档.推荐学习交涼曲面。这些曲面贴在标准人体模型中达到重建三维静态人体模型目 的。动态特征捕捉：将人体按照关节划分为多个多边形区域，在摄像中跟 踪每个区域的变化情况，去掉无关数据后作为这个人的动态特征并在 标准动态特征的基础上修改相应的值，最终获得个人的动态特征捕 捉。三维重建：综合两个部分的三维模型特征，系统将实现一个人的完整三维重建，这样的三维模型包括一个人的外形特征、走路常见姿态、 站姿和坐姿的常见形态。完成后这些数据存入缓存备用。数据管理：木项目需要对个人静态特征、动态特征和基木信息进行有 效管理，建立支持动态三维模型的存储、查找、调用、修改等操作的 数据库。匹配识别：将待测物体重建完毕后，搜索三维模型库，找到可匹配的 模型后返回此人个人基本信息，如姓名等。若找不到匹配目标，则可 确定此人未被预先学习过，要求输入个人信息后存入数据库中。(二)技术路线(1)身体图像的抽取由于在差分图像里除人体轮廓外还有因噪声二产生的各种区域， 需要区分。小的噪声可以通过预先对图像实施平滑处理，对差分图像 反复实施缩小与扩大来消除，通过以上操作来抽出身体图像。之后， 从中找出头与手脚等的身体各部位。这里，直接利用皮肤颜色找到脸 和手的位置。在身体站立时，直接利用比例关系确定各部位位置。（2）身