正面视角下运动人体步态特征提取与识别研究

1、 本科毕业设计（论文）正面视角下运动人体步态特征提取与识别研究沈林燕山大学里仁学院2015年 6 月 本科毕业设计（论文）正面视角下运动人体步态特征提取与识别研究学 院： 里仁学院 专 业： 2011测控技术与仪器 学生 姓名： 沈林 学 号： 111203021100 指导 教师： 陈华 答辩 日期： 2015年6月23日 燕山大学毕业设计（论文）任务书学院：电气工程学院 系级教学单位：仪器科学与工程系 学号111203021100学生姓名沈林专 业班 级检测11-2题目题目名称正面视角下运动人体步态特征提取与识别研究题目性质1.理工类：工程设计 （ ）；工程技术实验研究型（ ）；理论研究型

2、（ ）；计算机软件型（ ）；综合型（ ）2.管理类（ ）；3.外语类（ ）；4.艺术类（ ）题目类型1.毕业设计（ ） 2.论文（ ）题目来源科研课题（ ） 生产实际（ ）自选题目（ ） 主要内容1. 掌握常用特征提取与识别方法；2. 分析正面视角视频图像特点，确定人体行走步态特征提取与识别方法；3. 识别结果与现有方法进行比较。基本要求1. 按电气工程学院本科生学位论文撰写规范的要求完成设计论文一份（不少于2.4万字），A0图纸。说明书及插图一律打印，要求条理清晰、文笔流畅、图形及文字符号符合国家现行标准。2按学院指定的地点进行设计，严格按照进度计划完成毕业设计任务。参考资料1. 特征提取与

3、识别相关文献；2. 数字图像处理参考书。周 次14周58周912周1316周1718周应完成的内容查阅相关资料确定特征提取与识别方法算法的软件实现与实验撰写论文画图、准备答辩指导教师：陈华职称：副教授 2015年1月4 日系级教学单位审批： 年 月 日摘要 摘要步态识别作为一种新兴的特征识别技术，目的在于根据人的走路特征来进行身份识别。与人脸识别、指纹识别等比较具有远距离、非接触、难伪装、难隐秘的特点，是远距离情况下最有效的一种生物特征识别技术，在智能监控和人体行为的识别分析方面具有广阔的应用前景，近年来成为研究热点。 一个完整的步态识别过程通常包括运动预处理、目标检测、周期检测、特征提取和分

4、类识别五个阶段。现有的步态识别研究算法大多数是基于侧面视角的，正面视角的步态识别研究算法特别少，而在步态识别中考虑行走方向已经成为一个挑战性的研究问题，为此，本文针对理想环境下的正面步态进行了识别研究。 首先，针对采用传统目标检测方法进行正面目标检测时，人体二值化图像常出现大面积空洞，或者在人体下肢区域出现大面积阴影等情况，本文提出了一种特殊的背景减差法，即对人体上下部分分别阈值二值化，然后把二值化后的图像处理得到完整的二值化人体轮廓。 对于正面周期检测，首先利用人体学髋关节思想找到能够划分人体左右腿的最佳点(P点)，然后根据 P 点提出了一种新的周期检测方法，利用人体下肢角度正切值求周期。

5、然后，针对目前正面步态识别率不高，步态特征单一的情况，本文基于特征融合提出了一种正面视角步态识别算法：基于统一 Hu 矩和人体下肢角度特征融合的识别算法，并将这种算法与其他现有的算法进行了实验对比分析。最后采用支持向量机作为分类器，实验均在中科院 CASIA 步态数据库上进行训练、识别，实验结果表明，所用方法取得了较高的识别率，具有一定的可行性。关键词：步态特征、周期、差分法、统一Hu矩、特征融合、支持向量机。AbstractAs a new feature recognition technology, gait recognition is based on the characteris

6、tics of human walking. With face recognition, fingerprint recognition, compared with remote, non-contact, difficult to disguise or hidden features, is far away the most effective a biometric identification technology, in recognition of intelligent monitoring and human behavior analysis has broad app

7、lication prospects. In recent years become research hotspot.A complete gait recognition process usually includes five stages: motion preprocessing, target detection, periodic detection, feature extraction and classification. Existing gait recognition algorithms are mostly based on the side view, fro

8、nt view gait recognition algorithm, especially small, in gait recognition in considering the direction of travel has become a challenging research problem. Therefore, in this paper, an ideal environment for the frontal gaits were recognition of.First, when the positive target detection using the tra

9、ditional target detection methods, human binary image often appear large area empty, or in the area of human lower limb appeared large area shadows, this paper presents a special background subtraction method, namely the human body parts were threshold binarization, then the binary image after proce

10、ssing to obtain complete binary contour of the human body.For the positive cycle detection. First of all, the human body hip joint method to classify human legs around the optimum point (P), and then puts forward a new method of cycle detection according to the point P, the human lower limb angle ta

11、ngent value for the cycle.Then in view of the current positive gait recognition rate is not high, gait characteristics of a single situation, this paper based on feature fusion a front view gait recognition algorithm is proposed: Based on unified Hu moments and the lower limb of the human body angle

12、 feature fusion recognition algorithm, and this algorithm with other now some algorithm of experimental contrast analysis.Finally, the support vector machine (SVM) as a classifier, experiments were performed on CASIA gait database for training, recognition, and the experimental results show that met

13、hod has higher recognition rate and has certain feasibility.Keywords ：Gait features, period, difference method, unified Hu moment, feature fusion and support vector machine.III燕山大学本科生毕业设计（论文） 目 录摘要IAbstractII第1章 绪论11.1 步态识别的研究背景和意义11.2 国内外研究现状31.2.1 国外研究现状31.2.2 国内研究现状51.3 步态识别和分析的应用61.4 步态识别的研究难点71

14、.5 本文主要研究内容8第2章 基于改进背景减差法的运动目标检测102.1 引言102.2 目标检测方法102.2.1 背景减差法102.2.2 改进的背景减差法112.3 形态学去噪132.4 连通性分析和去除冗余帧132.5 利用人体下肢角度求周期14 2.5.1 定位划分左右脚的最佳点(P 点)14 2.5.2 确定 BAC152.6 本章小结17第3章 静动态特征提取183.1 引言183.2 基于模型法的特征提取183.3 统一Hu矩静态特征提取213.4 下肢关节角度的动态特征提取243.5 本章小结26第4章 基于支持向量机的步态特征识别274.1 引言274.2常用模式识别方法

15、274.3 支持向量机284.4 基于统一 Hu 矩和下肢角度特征融合的识别算法324.5 本章小结32结论34参考文献36致谢39附录1 开题报告40附录2 中期报告43附录3 文献翻译49V第1章 绪论 第1章 绪论1.1 步态识别的研究背景和意义随着当今社会科技迅猛发展，人们对公共安全越来越重视,信息安全也表现出前所未有的重要性。身份识别作为信息安全的必要前提，也受到越来越多的关注。然而对于传统意义上的身份识别技术来说，一般包含身份标识物品和身份标识知识，钥匙、证件等身份标识物品既容易因为粗心大意而丢失又很容易被犯罪分子伪造，而口令、密码等身份标识知识，假如我们没有受过专业的记忆训练，时

16、间稍微一长我们就会很容易将它们遗忘或者混淆，特别是在当今这个科技发达的信息社会中，简单的身份识别技术，因为无法保证身份确认的唯一性和准确性，所以很容易被高科技犯罪分子识破。这时生物识别技术就这种情况下应运而生了，生物识别技术包括基于固有生理特征或独特行为特征的识别方法1。生物特征可以是静态的或动态的。静态特征可以用手、指纹、人脸、虹膜、视网膜和耳朵的形状来描述；另一方面动态特征可以用签名、声音、输入模式、步态等来描述，研究人员已经开发出手势、指纹、人脸和表情、语音识别技术。由于指纹识别需要身体的接触，而人脸与虹膜识别需要特定的环境，所以目前大多数的研究主要集中在面部和表达分析、人体跟踪、手势识

17、别和人耳识别。最近，步态识别已成为身份识别中一个争相追捧的研究焦点。 在任何的生物机械意义上，人类行走运动体现了数以百计的肌肉和关节。尽管所有的步行方式是基于双足运动，然而由于步态是通过肌肉和骨骼结构由许多不同周期和振幅的运动组成的，因此步态被认为是独特的。步态可以用数以百计的动态参数来描述，例如，关节角速度和加速度。然而，在计算机视觉领域由于低分辨率很难将这些参数和特征进行有效的提取。步态识别包括目标检测与识别、跟踪和行为理解。从技术角度来看，步态识别与模式识别、图像处理、计算机视觉和人工智能等息息相关2。然而步态识别还存在许多重大的挑战包括：从动态背景中精确的提取目标、非刚性运动过程和隐藏

18、的对象问题。 步态识别的目的是克服背景和服装的干扰对行人进行识别。优点包括它不需要对象的合作或身体接触和传感器可以安装在离行人较远的位置。例如，银行劫匪经常戴着面具，眼镜和手套，这时没法使用人脸识别和指纹识别。在这种情况下，由于步态具有低分辨率和难以隐藏的生物特征，步态可能是唯一有用的识别技术，尤其适合于安全敏感场合的应用监控，如机场、银行、军事基地等场合，对可疑人员进行快速的检测、识别，判断其进入的权限。而且不断发生的恐怖事件已使人们意识到安全的重要性，尤其在美国“911”事件以后，各国对远距离非接触身份识别技术给予了高度关注，步态识别恰恰为远距离身份识别提供了重要的技术手段3。 当然步态识

19、别也存在一定的局限性，例如，当数据库的规模较大时，步态特征可能不足。步态识别的结果取决于许多因素，比如说步态会随着人的生理状况(怀孕、酗酒、骨骼损伤等)和环境的改变而改变，并且同一个人的步态在他(她)的不同的人生阶段，由于身高、体重、习惯和骨骼结构的变化也会产生明显的变化。 因此，在当今社会还没有出现一种适合任何环境、任何场合都适用的生物识别技术，我们需要考虑到实际情况，比如说性价比、识别率的高低、识别时间的快慢、应用的场合等等，来选择一种适合我们的生物识别技术。 近年来，步态识别的研究者越来越多，相比较其他生物识别技术而言，步态有以下优点：1、非侵犯性(Unobtrusive)。指纹、虹膜等

20、生物特征的采集需要用户的合作(主动接触指纹仪、注视虹膜捕捉等)，所以它们有可能引起某些用户的反感和抵制，而步态则可以在被观察者不知情的情况下进行步态特征的秘密观察和提取，不需要被观察者的密切协作。2、远距离识)(Recognitionat a Distance)。一般的生物特征如人脸和指纹等都需要近距离的接触来提取特征，指纹特征的提取需要指纹扫描仪，人脸需要近距离的捕捉以满足分辨率的要求，而步态特征则可以在远距离(150米甚至更远)捕捉到。3、清晰度要求低。与人脸、指纹等特征不同的是，步态特征在分辨率较低的图像中也能较好地提取。4、难以隐藏和伪装。人脸可以通过面具、蒙面等形式加以隐藏，指纹可以

21、通过手套等加以隐藏，但个体自身的走路姿势却很难加以隐藏或伪装，如果故意伪装自己的行走行为则会在监控中表现的更加可疑。当然，根据同常生活经验也可以得到，步态容易受到以下因素的影响：l、身体状况。身体不舒服、喝酒甚至生病、腿部受伤都会影响走路姿势。2、情绪状态。心情好时步伐会更轻盈、速度更快，心情不好时，步伐会沉重。3、着装因素。同一人穿着不同种类的衣服(紧身或宽大)时，身体在二维平面的投影会出现变化，提取出的步态特征可能会差别很大。4、携带物体。背包、伞等携带物会使人体轮廓产生变化，携带物对运动人体产生遮挡，随着负重的增加，人的行走速度和步调也会明显降低。5、行走路面。行走路面会影响小腿以下部分

22、的轮廓提取，特殊路面也会对人的行走方式产生影响。草地上行走时，草丛会对人脚产生一部分的遮挡，行走在上坡和下坡路面上时，人的步态肯定是不一样的4。从上述各种生物识别技术的介绍中可以看到，任何一种生物特征都不可能适用于所有场合，实际应用时，要根据所需的识别准确度、能承受的代价以及对侵犯性、成熟程度等的要求进行合理选择。由于步态识别具有低分辨率和难以隐藏的生物特征，步态可能是唯一有用的识别技术，尤其适合于安全敏感场合的应用监控。因此，步态识别技术对于计算机识别领域和模式识别领域具有重要的研究意义。1.2 国内外研究现状 1.2.1 国外研究现状实时了解在各个领域发生了什么状况，采用过程监控进行识别身

23、份和应对紧急情况，这些对于国土安全的应用来说是非常重要的，在这种情况下，对远程步态识别研究是有价值的。然而真正对于步态识别的研究工作发端于 HID 研究计划，该研究计划项目 2000 年 9 月由美国国防部高级项目研究署 DARPA 提出，目的是为了在民用和国防等场合下，增强免遭恐怖袭击的能力，提高自动保卫能力，其任务是开发大范围、多模式的视频监控技术以实现人体在远距离下的身份识别。许多大学和研究机构也参与此项目并取得了很多具有价值的研究成果，包括：卡耐基梅隆大学(CMU)、马里兰大学(UMD)、英国南安普敦大学(Soton)、麻省理工学院(MIT)、佐治亚理工学院、南安普敦大学等 26 家高

24、校和科研机构，极大地促进了步态识别的研究进展，鼓舞了大家对步态识别的研究热情。运动分析并不是一个新课题，并且其物理模型早已经成功应用于医学步态识别。斯蒂夫尼奇的实验表明即使在体型和照明变化的情况下也能成功进行识别。Amit Kale 在马里兰大学提出一种基于行为的身份识别。来自卡耐基梅隆大学的 Robert T. Collins 提出了一种基于人体轮廓和步态的身份识别算法。麻省理工学院G.Shakhnarovich 给出了一种基于脸和步态的多角度识别算法。这些研究已经极大地改善了步态识别的研究现状。 人类步态识别的应用前景激发了许多研究者和公司在先进的人机接口、监控、视频会议、医疗诊断和基于内

25、容的图像存储和检索等方面的研究兴趣。很多国家(如美国和英国)已经启动了相关的项目。1997 年，美国国防部高级研究计划局启动了视觉监视和监测(VSAM)项目，许多大学如卡耐基梅隆大学、麻省理工学院等参加也参加这个项目，目前许多研究结果已应用于日常生活中5。 在过去的二十年里，研究人员和专家已经提出了很多步态识别的算法，主要应用于侧面视角的数据库。考虑所有可能的角度来比较所有算法并不简单，但步态识别算法可以分为两类：基于单一视角的步态识别算法和基于多个视角的步态识别算法，这两种方法都有各自的优点和缺点：单一视角方法的优点在于系统结构简单，操作方便，但这种方法因为观看范围是局限于一个单一的相机从而

26、限制了信息的获取。如果目标被遮挡或部分的框架，系统可能无法对人进行正确识别。多个视角方法利用将两个或两个以上的摄像头置于不同的位置，扩大了观察范围，从而获得了更多的信息。然而对基于多视角的算法来说，不同摄像头的标定也将是个难点，另一个问题是会增加额外的费用和计算复杂度。 仔细考虑到上述方法和步态的特点，一些研究人员已经决定专注于单一视角的步态算法研究。Ivan Laptev 等人扩展了空间兴趣点的概念到时空域，显示一个视频如何在局部的时空特征中，从复杂的背景场景中对动态步行的人进行检测。然而，他们没有考虑的时空描述子的运动方向不变性，图像对比度和旋转的变化。所有这些方法都是基于使用一个摄像机的

27、单一侧视图。这意味着，行走方向必须平行于摄像机，否则识别就会失败。 南佛罗里达大学(University of South Florida )率先建立了步态数据库并且对该领域中所面临的研究难点和技术重点进行了详细的叙述；卡耐基梅隆大学(CMU)则利用训练样本和识别样本的关键帧特征进行相似性识别；南安普顿大学利用人体腿部的运动模型在小样本数据库上进行了分类识别；麻省理工大学(MIT)将运动人体的侧面二值化图像近似为七个椭圆形的组合，通过提取每个椭圆的质心坐标、长轴方向和长短轴之比，以及人体的质心高度作为特征，通过模板匹配的方法来进行分类识别6。1.2.2 国内研究现状我国对人体步态分类识别的研究

28、起步较晚，但是近年来某些高校和研究所在这一领域还是取得丰硕的果实。归国博士谭铁牛等人领导的中科院自动化所是其中的领军人物。中国科学院自动化所的胡卫明和王亮提出的基于主成分分析的步态识别方法，其研究成果被国内外诸多高校和研究机构的相关研究项目所引用。此外，在这一领域进行研究的研究机构还有清华大学生物医学工程研究所，浙江工程学院模式识别研究中心，浙江工程学院信息电子学院等等。 目前关于步态的研究大部分都是基于侧面视角的，魏敏提出了一个基于傅立叶描述子的步态特征提取和人体识别的方法。洪哲提出了一种基于傅立叶描述子的步态识别算法，使用背景减除法提取了人体轮廓后，对步态周期进行了分析，然后从视频中提取关

29、键帧。傅立叶描述子被用来处理轮廓序列，利用压缩技术进行降维处理，随后他利用模板匹配和最邻近进行分类和识别。顾磊提出了一种基于图像序列的人体步态识别方法。相对于基于侧面步态识别的研究来说，基于其他视角特别是正面视角步态识别的研究相对来说就少很多。在文献7中提出了一种基于平行线约束下而设定的，与视角无关的步态识别算法，但是这样的约束条件有时并不合适。文献8提出了类似的基于肢体长度的多视角步态识别算法，在 45和 90视角下得到了满意的识别率。北京交通大学的高海燕提出了一种利用人体下四分之一区域左右腿像素点之差求周期，然后基于傅立叶描述子的正面步态识别的算法。但是，该方法存在周期检测不精确、识别率不

30、高等不足之处。1.3 步态识别和分析的应用 步态识别涉及心理学、生理学、力学、计算机图形学等，它在许多领域有潜在的应用。在安全监控中，步态识别可用于识别个体和检测可疑和潜在的有害行为，因此它可以用于敏感的环境管理。步态识别在日常生活中也有应用，例如，它已经被有效地用于体育的选择最佳策略。步态识别也被应用于病人复苏和临床诊断。功能性电刺激(FES)基于步态分析有助于病人恢复正常行走能力。此外，步态分析可应用于机器人控制。例如，它可以帮助稳定的复杂的行为像攀登。在计算机游戏产业，模拟步行可以提高立体感觉和兴趣。显然，步态识别和分析具有广泛的应用。下面我们对步态识别的应用进行简单的介绍： (1) 智

31、能监控系统 访问控制是人类识别的一个重要的应用领域，具体地说，就是使用面部识别和步态识别限制人们访问某些特定地区；另一个应用在如在停车场、超市、自动取款机和公交车站等特定领域的可疑行为。当有可疑行为时，智能监控系统可以发出警报或简单地记录行为。 (2) 虚拟现实 虚拟现实提供了一个环境，在这个环境中我们可以模拟与现实世界一样的虚构世界。为了表示在虚拟世界中的运动，我们可以先获得来自真实世界的位置，方向和运动信息，然后投影到虚拟世界中，添加手势，头部动作和面部表情为用户提供了更广泛的互动。此外，运动分析、视频游戏、视频会议和动画制作也有了更广泛的发展空间。 (3) 高级用户接口 在未来，我们希望

32、机器人能够利用视觉信息作为语音和语言的有效补充。这需要独立感知信息的能力和有效地提取信息的能力。理解人类行为，包括面部识别、人体动作识别、步态识别等都可以导致一个更高层次的人机交互。 (4) 运动分析 有三个主要的应用，首先，整体运动分析可以用于特定数据库的图像搜索，如与运动相关的数据库。第二，在体育领域、跳舞、运动分析可以通过引入一个人体模型和联合分析来纠正运动的姿势。第三，医学步态分析在为诊断和治疗方面提供了支持，步态识别在临床医疗上蓬勃发展并且成为治疗相应疾病的有力工具，是随着信息技术的快速发展而来的。步态识别在医学上最早是运用在中风与残障的诊断和治疗方面，以及小儿麻痹的相关研究上。在

33、1980 年，现代步态分析先躯、骨科医师大卫萨兰德曾经说过，人们对行走步态的了解和对病理步态治疗的思维通过对步态特征的分析得到了很大的改变9。 1.4 步态识别的研究难点 现存的所有的步态识别方法几乎都是在假定的理想条件之下进行的，但是在时间的应用当中常常还存在很多我们至今无法解决的研究难点： (1) 遮挡问题：目前几乎所有的步态识别研究对象都是基于单一目标进行的，而在现实应用当中往往基于多个目标的，这时就会出现运动目标的自遮挡或互遮挡情况，从而造成在目标检测时无法提取出完整的运动目标，这必然也会给后面的周期检测和特征提取过程带来麻烦，从而造成识别率的下降。目前大多数的步态识别系统都不能很好解

34、决的相互遮挡问题，尤其是在拥挤的情况下常常造成训练不足。我们需要建立一个更好的模型来处理遮挡问题，此外，一般的基于模型的系统又无法确定何时终止跟踪。目前存在一个方法，就是使用统计学方法来处理信息的缺乏，采用多摄像机系统能够较好地解决了遮挡问题10。 (2) 运动目标检测：快速和准确的运动分割是一个重要而困难的问题，目前大部分的步态识别视频和现存的步态数据库几乎都是在理想情况在拍摄的，即摄像头固定、背景简单且静止、单一运动目标等等，可是在实际图像采集中的动态环境中往往存在各种不确定因素：包括天气、光照、背景噪声、阴影、遮挡和微妙的摄像机运动。 1.5 本文主要研究内容 目前关于步态的研究大部分都

35、是基于侧面视角的，相对于基于侧面步态识别的研究来说，基于其他视角特别是正面视角步态识别的研究相对来说就很少，而在一些特定的场合往往就是针对正面视角的步态图片或者视频进行处理的，并且相对于侧面步态视频而言，在正面步态视频中，相机既不需要平移跟踪运动目标也不用必须离运动目标足够远来捕获几个周期的步态视频，所以针对正面视角的步态识别进行研究是非常有必要的。为此，本文针对正面视角步态识别特别是针对于正面步态识别中遇到背景颜色与人的穿着相接近时，造成人体二值化图像大面积空洞或者人体下肢有阴影等情况，提出了几种解决方法。本文把正面步态识别研究算法主要分为运动目标检测、周期检测、特征提取、分类识别四个过程，

36、最后在分类识别过程中研究了特征融合在步态识别中的优越性。步态识别的一般流程见图 1-1 所示。提取前后脚形成的角度确定P点提取轮廓二值化预处理视频输入确定周期统一Hu矩识别分析图1-1 步态识别的一般流程课题以视频监控为背景，以人为监控对象，研究了如何提取更加有效的步态特征，并采用支持向量机在中国科学院自动化所 CBSR 中心建立的 CASIA 步态数据库的 Dataset B 数据集上进行分类识别实验。本文主要研究内容为： (1) 针对本文所用视频是基于正面视角的这个特点，采用常用背景减除法进行正面目标提取时，人体二值化图像常出现大面积空洞，并且在人体下肢区域常常出现大面积阴影，针对这些情况

37、，本文提出了一种改进的背景减除法，即对人体上下部分分别阈值二值化。 (2) 针对目前步态周期检测方法大部分都适只合侧面步态识别而不适合正面视角的步态识别，或者少许适合正面步态周期检测但会产生误差的情况，而以往研究中只利用人体脚部左右像素数目之差做正面视角的周期检测时，左右像素数目差的变化曲线均值不为 0 从而造成误差的情况。为了提高周期检测的精确度，本文提出了利用髋关节思想找到能够划分人体左右脚的最佳点(P 点)，然后根据 P 点利用人体左右脚像素点之差求周期、利用人正面行走时左右脚最低点间的距离变化求周期、利用正面行走时人体下肢角度正切值的变化求周期三种新的期检测方法。 (3) 针对目前正面

38、步态识别率不高，步态特征单一的情况，本文提出了一种分别提取图像统一 Hu 矩和步态周期作为步态的人体静态特征，并且提取人体下肢关节角度作为人体步态的动态特征，然后将静态和动态特征进行特征融合，从而大大的改善了单一特征带来的识别率低的问题11。 (4) 介绍了所采用的分类器支持向量机的基本原理，并分别验证了本文提出的三种步态识别方法：基于步态周期和统一 Hu 矩特征融合的识别算法、基于统一 Hu 矩和下肢关节角度特征融合的识别算法、基于统一 Hu 矩、步态周期和下肢关节角度三种有效特征融合的识别算法，并且对每一种算法的实验结果均进行了分析比较。 73 第2章 基于改进背景减差法的运动目标检测 第

39、2章 基于改进背景减差法的运动目标检测2.1 引言 运动检测的目的是从背景图像中提取出运动目标区域，对运动目标的精确提取对步态识别来说是极其重要的，因为后续的处理都是针对运动目标进行的，所以人体运动目标区域的精确提取直接影响后续的周期检测、特征提取和分类识别等后期处理。从视频序列中提取出人体步态序列的示意图见图 2-1。 图2-1 运动分割示意图2.2 目标检测方法 由于视频背景常常处于动态变化之中，例如光照、阴影等的影响，使得目标检测也成为一项很有挑战性的工作。目前，目标检测方法有很多，下面介绍两种常用的目标检测方法，背景减差法和光流法。 2.2.1 背景减差法 在步态识别中，目标提取最常用

40、的方法是背景减除法：该方法是用从视频提取的当前帧减去背景图像，这是一种基于像素级处理的方法。提取的前景是用于识别和跟踪。对于运动检测来说这是一个非常简单和方便的方法，这种方法的难点不是减法计算而是如何建立背景模型。有几个经典的背景减差法，下面介绍几种具有自适应能力的背景减差法。 (1) 平均阈值法：首先计算出背景像素的平均值，前景像素即是那些差值超过阈值的像素点。 (2) 均值方差法：不断更新均值和方差，然后计算距离。如果该距离大于阈值，则设置像素为前景。 (3) 高斯混合模型的方法：三高斯分布的每个像素被用来背景建模。权重是根据模型计算权重匹配频率。高斯分布拟合，任何权衡分布大于 50%的被

41、认为是背景分布。Stauffer与Grimson 采用自适应的混合高斯背景模型，有效地解决了光照和背景的影响。 (4) 归一化法：图像分成几个部分，每一部分由它的均值和标准偏差表示。规范化后，与期望值相差最大的部分被认为是前景。 (5) 贝叶斯决策方法：使用直方图来表示的概率密度函数，具有最大后验概率累积的像素被认为是前景。背景减差法是将当前图像与背景图像的灰度值直接进行相减操作，并将差值与某一阈值T 进行比较，大于阈值T 的即被认为是目标点，赋值为 1；反之，认为是背景点，赋值为 0，从而检测出运动目标。设 f ( x,y,t)为t时刻序列图像中点 ( x ,y)处的像素值， b ( x,y

42、)为背景图像中点 ( x ,y)处的像素值 12。该方法算法简单，计算速度快，能适应系统实时性的要求，适用于背景静止或缓慢变化的情况，并且一般能够提取出较完整的目标图像，但是对动态场景的变化，如光照、阴影等的影响较为敏感。 Kalman 与 Brandt 、 Kilger 根据卡尔曼滤波( Kalman Filtering )的自适应背景模型来减少天气和光照的变化所带来的影响。2.2.2 改进的背景减差法 当我们采用背景减差法(也就是背景减除法)进行正面视角的目标检测时，针对本文所采用的视频特点：比如遇到人体穿着与背景相似即前景和背景颜色相近的情况时，很难从噪声中将运动目标区域完全地提取出来，

43、常常会出现两种情况：第一种情况，当取较小阈值时，人体上半部分空洞较小，但人体下肢区域常常会出现大面积的阴影，需要采用合适的方法将其去除；第二种情况，当取较大阈值时，人体下肢区域的阴影面积较小，但是人体上半会出现大面积的空洞。而且不管我们取任何方法统一阈值，这两种情况都无法避免。针对上面的问题：当遇到第一种情况时，我们可以对人体上部分进行空洞填充，人体下肢出现的大面积阴影可以采用基于归一化 RGB 颜色空间的方法进行阴影减除；而当我们遇到第二种情况时，虽然人体下半部分不存在阴影，但人体上半部分的空洞采用普通的后处理(开闭运算、空洞填充)都无法处理，需要采用运算复杂的中值建模构造空洞，然后去除空空

44、洞，或者采用计算更为复杂的边界扫描子算法去除空洞。这些算法对于要求达到实时检测的步态识别来说都是不可取的。 为此，本文提出一种改进的背景减除法，即对人体上下部分二值化时分别自适应阈值：首先根据人体根据人体解剖学的关系找到人体髋关节(我们将在下章详细介绍怎样进行髋关节的定位)，然后根据人体髋关节的纵坐标图2-2 分部阈值二值化图像将人体灰度图像剪切将其分为上下两部分，对人体上、下部分分别采用最大类间方差法取合适阈值法进行二值化，如图 2-2 所示。最后再将人体这两张上下两部分图像重新拼接得到我们想要的完整的人体二值化图片，如图 2-3 所示。这种方法可以有效的杜绝空洞的出现，不仅可以得到完整的人

45、体二值化轮廓，还能完整保留人体下肢的特征。 图2-3 完整的二值化图像2.3 形态学去噪 数学形态学去噪，是利用对人体形态结构模型的认识，用数学中关于拓补学等知识对的得到的人体运动轮廓进行修复和去噪。在我们运用改进的背景减差法进行分部阈值二值化，得到完整的二值化图像后，除了运动区域被标识出来，还有常常很多其他的较小的噪声区域，并且在提取出的人体区域内部，也会一些小的缝隙。利用数学形态学处理的最终目标就是去除这一类的小噪声，使得人体二值化图像变得更加平滑和完整。形态学处理是图像处理中常用的一种方法。假设需要进行形态学处理的图像是 X ，选定的形态学算子是B ，让B在图像 X 上移动，根据各个操作

46、相应的函数去产生处理后的目标图像14。2.4 连通性分析和去除冗余帧 对图像进行形态学处理之后，还是有一些较大的噪声不能被消除，而且有时人体区域内部也会出现一些消除不掉的空洞。正是由于这些噪声的存在，程序便不能完成轮廓边缘的提取。因此，我们必须在形态学处理之后使用连通性算法对图像再进行一次操作。经过图像连通性分析后，即可得到单一的人体运动区域。 利用连通性分析，不仅可以去除较大的运动区域外噪声，还可以填补运动区域内部的空洞。获得到分割出的运动区域后，首先对整幅图像进行连通性分析，保留最大的黑色连通域作为运动目标区域。 冗余帧就是步态视频中含有不完整的人体目标的二值化图像，在这些冗余帧中，人体区

47、域是不完整的，丢失了脚步信息，对周期检测会造成不良影响，所以必须剔除这些冗余帧，从而获得有效帧。去除冗余帧的基本算法思想就是，判断二值化图像最后一行像素点是否有为 1 的点，有则为冗余帧。冗余帧的去除不仅可以缩短周期检测的时间，还可以提高周期检测的准确度，减少周期检测的误差。 2.5 利用人体下肢角度求周期与其他生物特征识别技术不同，步态具有周期性。一个步态周期可以看作右脚抬起时到下一次右脚抬起时的过程，包括四个阶段：（1）右双撑，两腿迈开时右脚向前；（2）左单撑，两脚合拢时左脚摆动；（3）左双撑，两腿迈开时左脚向前；（4）右单撑，两脚合拢时右脚摆动15。图2-4 步态周期四个关键帧2.5.1

48、 定位划分左右脚的最佳点(P 点)通过仔细观察和实验发现，当人体正面行走时，髋的宽度变化不大而且是逐渐变大的，但是髋关节的横坐标几乎不变，所以理论上利用髋关节思想计算步态周期较为准确。 为了提高周期检测的准确度，本文利用髋关节找到划分人体左右脚的最佳点P点，根据P点求得左右脚最低点形成角度的正切值来得到周期，如图2-5所示。 图2-5 P点定位图2.5.2 确定 BAC通过仔细观察和实验发现，对于正面步态，在人从远到近的过程中，随着人体左右腿的摆动，人体左右脚最低点(A点和B点)连线间的高低距离差(BC)会产生的一定的角度 BAC，我们简称为人体下肢角度，如图2-6所示。 随着人体行走一个周期

49、时左右腿抬脚的幅度不同， BAC的大小也会发生变化，并且这角度的大小同样呈现周期性变化，所以本文首先根据2.5.1小结求出的能够划分人体左右腿的最佳点(P点)，然后根据P点的横坐标对人体左右腿进行准确的划分，最后利用人体左右脚最低点间的高低距离差所产生的角度( BAC)的正切值的变化曲线来计算周期，如图2-7示。平滑步态周期曲线，取最后两个相邻波峰波谷之差的平均值求得步态周期。如图2-8所示。图2-6 左右脚最低点形成的角度图2-7 步态周期曲线图2-8 平滑的步态周期曲线2.6 本章小结 本章首先介绍了几种常用的步态检测的方法，根据所采用的视频特点，针对遇到人体穿着跟背景颜色相近时的目标检测

50、，采用常用背景减除法进行正面目标提取时，人体二值化图像常出现大面积空洞，并且在人体下肢区域常常出现大面积阴影，针对这些情况，本文提出了一种改进的背景减除法，即对人体上下部分分别阈值二值化，最后经过图像后处理得到理想的二值化运动人体。根据最佳点P点得到左右脚最低点间形成的角 BAC，利用 BAC得出运动周期。第3章 静动态特征提取 第3章 静动态特征提取3.1 引言 图像特征是指图像本身所具有的原始特性或者属性。每一幅图像都有一些别的图像没有的自身特征，包括人类视觉能够直接感受到的自然特性和需要通过测量或者某种变换才能够得到的人为特征。所以说找出能够表征运动的最有效的特征，就是特征提取和选择所要

51、完成的首要任务。而良好的特征往往需要不仅拥有可以很好的与其他特征进行区分的特性，还需要这个特征拥有可靠性、独立性好和数量少这几个特性。3.2 基于模型法的特征提取 这是一种基于人体骨骼和运动序列中表现出的运动特征基础上的方法。根据模型测量并计算出特征参数，最后进行分类识别。较之基于统计法，基于模型法能形象直观地描述人体运动中肢体各部分的变化，这种方法可以避免因遮挡和视角问题带来的影响，通过计算肢体角度、高度、长度等参数来识别身份。但是，计算复杂。几种常见的模型有钟摆模型、人字模型、棍状模型、线图模型、3DHW模型和椭圆模型。 （1）钟摆模型 钟摆模型是比较早提出的，以腿部结构为基础，大腿部分看

52、成钟摆的上部，在髋关节和膝盖之间来回摆动，小腿看成钟摆的下部，在膝盖和脚踝之间摆动。从模型中提取角度参量和，腿的长度t1和k1，关节点的位移函数a(t),k(t)和h(t)，髋关节在水平和垂直方向的速度vx和vy，示意图如图3-1和3-2。 （2）人字模型 该模型是以两腿为基础的，两条腿的交点为髋关节，分别测量参数A、L、W、Ix和Iy，通过这5个参数来进行身份识别。如图3-3所示。图3-1 腿部简化模型图3-2 钟摆模型（3）棍状模型 该模型是以人体行走时骨骼结构为基础的，通过计算出、来识别身份。如图3-4所示16。 由于线图模型，椭圆模型和3DHW模型不是针对正面视角下的，在此不多做介绍了。基于模型法虽然具体形象但是计算复杂，在计算机视觉方面是个研究难点，但是基于统计法的特征提取方法相对计算简单，容易出现结果，目前来说，研究员惯用基于统计法的特征提取方法，本文也是采用此法，下面做具体介绍。图3-3 人字模型图3-4 棍状模型3.3 统一Hu矩静态特征提取影响步态识别的识别率的因素有很多，针对目前目前针对正面视角所采用的识别方法所得的识别率没有侧面识别率高、步态特征单一等情况，因此需要一种更为有效的正面识别方法。本文提出了一种分别提取图像的统一Hu 矩