人体行为识别技术

1、精品人体行为识别技术在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图像预处理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与

2、场景理解等几个基本过程。特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为识别则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识，识别复杂行为，实现对事件和场景的理解。【2】1、行为识别的应用从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域：智能监控这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现（如通过检测人脸的方法）防止只是简单的通过运动目标检测所造成的错误报警（

3、例如因为动物活动或者刮风摇动树枝等等而造成误报）。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑行为（如经常在重要地点徘徊等等行为）从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。虚拟现实跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。高级用户接口指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之间的智能交互。止匕外，通过对手势语言的理解，还可以进行聋人与计算机之间

4、的手语交流。运动分析人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中，提取运动员的各项技术参数（如关节位置、角度和角速度，等等），通过分析这些信息，可以为运动员的训练提供指导和建议，有助于提高运动员的训练水平。止匕外，还可以用于体育舞蹈动作的分析，以及临床矫形术的研究等领域。基于模型的视频编码通过提取一定的静态场景中人物的形态特征参数和3D姿态参数，以较低的数据量对视频数据流加以描述，实现视频数据的压缩和低比特率传送。可以用于在因特网上展开远程视频会议以及VOD（Vi

5、deo-On-Demand）视频点播。总之，人体运动跟踪的研究已涉及到计算机视觉、模式识别、视频图像处理等方面的理论问题和实际应用问题，对人体这一带有关节旋转运动的非刚体目标的跟踪与分析将会促进这些领域在理论上产生新的处理方法，并将对诸多应用领域产生潜在的影响。2、行为识别研究难点行为识别发展至今，取得了很大的进展，在低层，中层和高层都取得了一定的突破，但是行为识别算法并不成熟，目前不存在一个算法适合所有的行为分类，3个视觉层次中都还有很多严峻的问题有待解决。其研究的难点主要体现在以下几个方面：1）动作类内类间的变化太大对于大多数的动作，即使是同一动作都有不同的表现形式。比如说走路，可以在不同

6、的背景环境中完成，走路的速度也可以从慢到快，走路的步长亦有长有短。其它的动作也有类似的结果，特别是一些非周期的运动，比如过马路时候的走路，这与平时周期性的走路步伐明显不同。由此可见，动作的种类本身就很多，再加上每一种类又有很多个变种，所以给行为识别的研究带来了不少麻烦。2）环境背景等影响环境问背景等因素的影响可谓是计算机视觉各个领域的最大难点。主要有视角的多样性，同样的动作从不同的视角来观察会得到不同的二维图像；人与人之间，人与背景之间的相互遮挡也使计算机对动作的分类前期特征提取带来了困难，目前解决多视觉和遮挡问题，有学者提出了多摄像机融合通过3维重建来处理；另外其影响因素还包括动态变化和杂乱

7、的背景，环境光照的变化，图像视频的低分辨率等。3）时间变化的影响人体的行为离不开时间这个因素。而我们拍摄的视频其存放格式有可能不同，其播放速度有慢有快，这就导致了我们提出的系统需对视频的播放速率不敏感。4）数据的获取和标注既然把行为识别问题当成一个分类问题，就需要大量的数据来训练分类模型。而这些数据是视频数据，每一个动作在视频中出现的位置和时间都不确定，同时要考虑同一种动作的不同表现形式以及不同动作之间的区分度，即数据的多样性和全面性。这一收集过程的工作量不小，网上已经有一些公开的数据库供大家用来实验，这将在本文的第3部分进行介绍。另外，手动对视频数据标注非常困难。当然，有学者也提出了一些自动

8、标注的方法，比如说利用网页图片搜索引擎，利用视频的字幕，以及利用电影描述的文本进行匹配。5）高层视觉的理解上面一提到，目前对行为识别的研究尚处在动作识别这一层。其处理的行为可以分为2类，一类是有限制类别的简单规则行为，比如说走、跑、挥手、弯腰、跳等。另一类是在具体的场景中特定的行为，如检测恐怖分子异常行为，丢包后突然离开等。在这种场景下对行为的描述有严格的限制，此时其描述一般采用了运动或者轨迹。这2种行为识别的研究都还不算完善，遇到了不少问题，且离高层的行为识别要求还相差很远。视此高层视觉的理解表示和识别是一个巨大的难题。3人体行为分析研究一般的运动人体行为分析主要包括一下几个流程：1）数据库

9、建立；2）运动人体检测;3）运动特征提取；4）行为理解与识别。在我们的运动人体行为分析研究中，重点研究运动人体检测和运动特征提取。如图1所示是运动行为分析研究的整体框架：视核输入>数据演处理识别结果3.1运动目标检测对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步，运动检测即为从序列图像中将变化区域从背景图像中提取出来。目前，已有的运动目标检测方法按照算法的基本原理可以分为三类：帧间差分法、背景减除法和光流法。三类方法各有其优缺点。（1）背景减除法背景减除法是预先选取不含前景运动目标的背景图像，然后将当前图像帧与背景图像相减得到前景目标。最常用且有效的是背景减除法。此类算法的

10、缺点是由于通常需要缓冲若干帧来学习背景，因此往往需要消耗大量的内存这使其使用范围受到了限制。此外，对于大范围的背景扰动，此类算法的检测效果也不理想。Stauffer和Grimson提出的高斯混合模型是使用最为广泛的背景建模方法。高斯混合模型通过多个高斯分布对背景建模，每个分布对应一种背景像素的模态，从而能够适应像素层面上的背景扰动问题，并能通过对背景的不断更新，使系统能对背景的变化自适应。但是，高斯混合模型对于全局光照变化、阴影非常敏感对于缓慢的运动目标检测效果也不理想。(2)帧间差分法帧间差分法的主要思想就是利用视频图像序列中连续两帧或三顿的差异来检测发生运动的区域。Lipton等人提出的用

11、于实时视频流中运动目标检测的算法就是顿间差分的方法Lipton98。顿间差分法的特点是动态性强，能够适应动态背景下的运动目标检测。但是，这类算法检测出的目标轮廓非常不理想，在目标内部会留有许多空洞，在目标运动较快时目标的轮廓会被扩大，在目标运动较慢时甚至有可能无法得到目标的边界。(3)基于光流的运动目标检测算法基于光流的运动目标检测算法是利用光流方程计算出每个像素点的运动状态矢量，从而发现运动的像素点，并且能够对这些像素点进行跟踪。在摄像机运动、背景变化时，光流法也能检测出运动目标，并且它能同时完成运动目标检测和跟踪，但是该方法的计算复杂度高，在没有专用硬件支持的情况下很难做到实时检测，同时，

12、光流场的计算非常容易受到噪声、光照变化和背景扰动的影响。采用光流场计算的方法也很难将运动目标的轮廓完整地提取出来。3.2 运动目标分类目标分类是指从运动目标检测到的前景运动区域中提取感兴趣目标区域。复杂场景小检测到的前景区域可能包含不同种类的目标，如行人、车辆、飞鸟、刘云、摇动的树枝等，在人体运动分析系统中，只对运动人体感兴趣，因此需要对运动目标的类型进行分析识别，提感谢下载载取人体目标。目前常用的目标分类方法有如图2:基于形状信 息的分类这两类目标分类方法 也可结合使用，以得 到更准确的分类结果提取区域的分散度、面积、宽高比等 特征，采用三层神经网络将前景目标 分类为人、人群、车辆和背景干扰

13、根据运动区域的形状 特征进行分类分散度和面积信息区分人、车 辆及混乱扰动使用简单的人体轮廓模式的形状参数检测运动人体目标分类基于运动信息的分类利用人体运动的周期性进行分类通过计算运动区域的残余光流来 分析运动目标的刚性和周期性,根据人体运动的周期性特性，采用时频分析法判断运动轨迹是否存在周期性，从而识别出运动人体与刚性车辆的运动相比，非刚性的人体运动具有较高的平均残余光流并且人体运动呈现周期性，因此可将人体区分出来3.3 运动目标跟踪依据运动目标的表达和相似性度量，运动目标跟踪算法可以分为四类：基于主动轮廓的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪。跟踪算法的精度和鲁棒性很大程度上

14、取决于对运动目标的表达和相似性度量的定义，跟踪算法的实时性取决于匹配搜索策略和滤波预测算法。1）基于主动轮廓的跟踪Kass等人提出的主动轮廓模型,即Snake模型，是在图像域内定义的可变形曲线,通过对其能量函数的最小化，动态轮廓逐步调整自身形状与目标轮廓相一致，该可变形曲线又称为Snake曲线。Snake技术可以处理任意形状物体的任意形变，首先将分割得到的物体边界作为跟踪的初始模板，然后确定表征物体真实边界的目标函数，并通过降低目标函数值，使初始轮廓逐渐向物体的真实边界移动。基于主动轮廓跟踪的优点是不但考虑来自图像的灰度信息，而且考虑整体轮廓的几何信息，增强了跟踪的可靠性。由于跟踪过程实际上是

15、解的寻优过程,带来的计算量比较大，而且由于Snake模型的盲目性，对于快速运动的物体或者形变较大的情况，跟踪效果不够理想2）基于特征的跟踪基于特征匹配的跟踪方法不考虑运动目标的整体特征，只通过目标图像的一些显著特征来进行跟踪。假定运动目标可以由惟一的特征集合表达，搜索到该相应的特征集合就认为跟踪上了运动目标。除了用单一的特征来实现跟踪外，还可以采用多个特征信息融合在一起作为跟踪特征。2）基于特征的跟踪基于特征的跟踪主要包括特征提取和特征匹配两个方面。（1）特征提取，特征提取是指从景物的原始图像中提取图像的描绘特征，理想的图像特征应具备的特点是a）特征应具有直观意义，符合人们的视觉特性；b）特征

16、应具备较好的分类能力，能够区分不同的图像内容；c）特征计算应该相对简单，以便于快速识别；d）特征应具备图像平移、旋转、尺度变化等不变性。目标跟踪中常用的运动目标的特征主要包括颜色、纹理、边缘、块特征、光流特征、周长、面积、质心、角点等。提取对尺度伸缩、形变和亮度变化不敏感的有效特征至今仍是图像处理研究领域中一个比较活跃的方面。（2）特征匹配，特征提取的目的是进行帧间目标特征的匹配，并以最优匹配来跟踪目标。常见的基于特征匹配的跟踪算法有：基于二值化目标图像匹配的跟踪、基于边缘特征匹配或角点特征匹配的跟踪、基于目标灰度特征匹配的跟踪、基于目标颜色特征匹配的跟踪等。基于特征的跟踪算法的优点在于对运动

17、目标的尺度、形变和亮度等变化不敏感，即使目标的某一部分被遮挡，只要还有一部分特征可以被看到,就可以完成跟踪任务；另外，这种方法与Kalman滤波器联合使用,也具有很好的跟踪效果。但是其对于图像模糊、噪声等比较敏感，图像特征的提取效果也依赖于各种提取算子及其参数的设置，此外，连续帧间的特征对应关系也较难确定，尤其是当每一帧图像的特征数目不一致、存在漏检、特征增加或减少等情况。3）基于区域的跟踪基于区域的跟踪算法基本思想是：a）得到包含目标的模板，该模板可通过图像分割获得或预先人为确定，模板通常为略大于目标的矩形，也可为不规则形状；b）在序列图像中，运用相关算法跟踪目标。这种算法的优点在于当目标未

18、被遮挡时，跟踪精度非常高、跟踪非常稳定。但其缺点首先是费时，当搜索区域较大时情况尤其严重；其次，算法要求目标变形不大，且不能有太大遮挡，否则相关精度下降会造成目标的丢失。近年来，对基于区域的跟踪方法关注较多的是如何处理模板变化时的情况，这种变化是由运动目标姿态变化引起的，如果能正确预测目标的姿态变化，则可实现稳定跟踪。4）基于模型的跟踪基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型，然后通过匹配跟踪目标进行模型的实时更新。对于刚体目标来说，其运动状态变换主要是平移、旋转等，可以利用该方法实现目标跟踪。但是实际应用中跟踪的不仅仅是刚体，还有一大部分是非刚体，目标确切的几何模型不容易得到。

19、这种方法不易受观测视角的影响，具有较强的鲁棒性，模型匹配跟踪精度高，适合于机动目标的各种运动变化，抗干扰能力强，但由于计算分析复杂、运算速度慢，模型的更新较为复杂，实时性较差。准确建立运动模型是模型匹配能否成功的关键。3.4 运动目标的特征运动目标的特征，是判断一个目标区别于另外一个目标的重要依据。有效的运动目标特征集可以准确地区分不同目标。运动目标特征的提取是实现运动目标分类的重要步骤。运动目标分类方法概述目前，基于视频的运动目标分类方法已经有很多，主要有3类：基于静态特征的分类，基于动态特征的分类和基于静态、动态特征相结合的分类。1）基于静态特征的分类基于静态信息的分类，即利用检测出来的运

20、动区域的形状、颜色等物理特征进行目标分类的方法。Lipton等利用离散度和面积信息对运动区域进行分类，区分人、车、及混乱扰动，并利用时间一致性约束使分类更准确，把除人、车外的目标当成干扰物，实现简单。Zang等人利用长宽比、角点特征对运动区域进行分类，区分人、汽车。Rivlin、Bogomolov等利用外接椭圆的长宽比以及星形骨架等形状特征，区分人、动物、汽车。Hu等定义了目标轮廓上的点与几何中心的距离为“中距离”，利用中距离的离散度、最大中距离与最小中距离的比值作为分类特征，区分人、自行车、汽车。方帅等利用最大互信息获得一组可靠、独立且具辨认力的目标特征集，并用有向无环图的多类支持向量机进行

21、分类，区分人、汽车。Otoom等人以角点的个数、圆的个数、离散度为分类特征，区分机场周围的人、人群、包裹、手推车，该文分类效果较差，主要是因为同一个目标角点的个数与离摄像头远近差别很大，而且圆的个数判断人、人群依赖目标姿势。2）基于动态特征的分类基于动态特征的分类，即利用人体运动的周期性或其他与运动相关的特征进行目标分类的方法。采用静态特征往往会造成在特征提取上对姿势依赖的问题，而有效的动态特征可以减少对姿势的依赖。Cutler与Davis对目标随着时间变化的自相关特性进行计算，再通过时频化方法分析目标是否存在周期性的运动特征而将人识别出来。YangRan与TsaacWeiss,基于周期性分类

22、人和车辆，对目标较小、图像分辨率低的航空和红外图片有比较好的分类效果。Javed、Shah等利用是否有人体周期性运动特征、圆的个数等特征，分类人、人群和车辆。3）基于静态与动态特征相结合的分类Bogomolov、Dror等的系统是基于目标静态特征和动态运动特性相结合进行目标分类的，采用了属于同类目标的静态轮廓的相似性和身体的倾斜角、脚之间的距离等运动特征，用支持向量机分类器进行分类，提高了精确度和鲁棒性。Aggarwal等利用紧凑度值以及运动方向的变化量，区分人、人群、汽车、自行车，运动方向的变化量区分度不是很好。Li等使用速度、长宽比、离散度等特征，以BP神经网络作为分类器，区分交通场景中的

23、人、自行车，较好地对复杂场景下人、自行车进行分类。常见的运动目标特征分析一个运动目标特征往往无法识别三个以上的目标，或者识别的准确率不够高，一般目标分类研究都是选择至少两个特征。通用特征指的是能反映所有目标特性的特征；属性特征，顾名思义，某个目标的所固有的特征是特别能反映该目标特性的特征。1）运动目标的通用特征常见的通用特征主要有面积、长宽比、离散度、空隙率（紧凑度）等。目标面积是在像素平面的投影面积，不是目标的实际目标，同一位置的不同目标大小各异，但是摄像机拍摄的目标近大远小，即使是同一目标，摄像头拍摄的距离不同，面积也是不一样的，在固定单摄像机的情况下，面积对不同类目标之间的区分度不是很大

24、；摄像机标定后该特征有一定的应用。长宽比即目标外接矩形的长宽比例，与距离摄像头远近无关，具有归一化的特性，能真实反映目标的形状比例，是最常用的一种目标特征。离散度即运动目标周长的平方与面积的比值，外形越复杂的目标，离散度越大；对于目标碎片比较多的运动目标，由于目标的轮廓准确获取不易，离散度计算比较复杂并且计算的准确性无法保证。空隙率即目标外接矩形内部非目标像素点所占的比例，与其相反的特征就是紧凑度。2）运动目标的属性特征人的属性特征主要有圆、人体运动周期性等。人头近似圆，从人的头顶往下的角度看，人头所在位置可以检测到圆；研究中发现圆特征严重依赖目标角度、姿势，正面、侧面的角度下，圆特征不明显、

25、人头所在位置常常无法检测到圆。人体运动周期性特征反映的是人体步态的规律性变化，周期性特征的提取对目标的观察角度有很高的要求，只有人体目标偏侧面才能准确提取到该特征。汽车的属性特征主要有运动速度、离散度变化量等。运动速度即相邻两帧的目标像素距离与时间间隔的比值，该特征在一定程度上反应了目标在视频图像中的运动快慢，汽车的运动速度比较快；但是由于目标在不同的视频中所处的环境和位置不同，摄像头拍摄的角度和距离也不同，该特征与面积特征一样，只有进行摄像机标定后，才有实际应用意义。离散度变化量反映了各个目标的变化幅度。离散度变化量特征与离散度一样，计算比较复杂并且计算的准确性无法保证。空隙率变化量计算简单，也能反映各个目标的变化幅度，并且在目标碎片比较多的情况下也能很好的提取，可以较好地替代离散度变化量特征。自行车既不是刚体，也不是非刚体，是一种介于刚体（汽车）与非刚体（人）的目标。目前很少有文献提起自行车行之有效的属性特征，其特征一般都是介于人、汽车之间。运动目标特征的选取由于实验中提取到的前景目标存在多角度、目标含有少量影子、目标区域提取不完整和目标较小等情况，采用基于形状的特征分类目标，可较好地适应这些情况。因此，我们参赛的特征主要是基于形状的特征。目标基于形状的特征主要有目标轮廓、面积、长宽比、离散度、质心、外接矩形等。目前研究中广泛使用的目标特征主要有长宽比P、面积信息