步态识别论文

课程论文步态识别学号：12426009班级：通信122:楚舒琦目录摘要3一、背景介绍4.学习.资料.TOC\o"1-5"\h\z\o"CurrentDocument"二、相关研究4\o"CurrentDocument"三、主题（算法）53.1基于线图模型的动态特征提取63.2基于整体的静态特征提取8\o"CurrentDocument"3.3识别9\o"CurrentDocument"四、实验9\o"CurrentDocument"五、结果讨论12\o"CurrentDocument"六、总结12\o"CurrentDocument"七、应用前景13\o"CurrentDocument"八、技术难点及解决途径148.1技术难点148.2解决途径15\o"CurrentDocument"九、参考文献16.学习.资摘要步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。在智能视频监控领域，比面像识别更具优势。对步态识别的优缺点以及步态识别所涉及到的运动分割、特征提取与选择、模式识别算法进行了综述，并对步态识别中存在的问题与未来的研究方向进行了讨论。关键词：生物特征识别；步态识别;特征提取;运动分割;动态时间规正.学习.资一、背景介绍步态是指人们行走时的方式，这是一种复杂的行为特征。罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制的，这就是走路的姿势。英国南安普敦大学电子与计算机系的马克•尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的'风格”上都存在细微差异。对一个人来说，要伪装走路姿势非常困难，不管罪犯是否带着面具自然地走向银行出纳员还是从犯罪现场逃跑，他们的步态就可以让他们露出马脚。人类自身很善于进行步态识别，在一定距离之外都有经验能够根据人的步态辨别出熟悉的人。步态识别的输入是一段行走的视频图像序列，因此其数据采集与面像识别类似，具有非侵犯性和可接受性。但是，由于序列图像的数据量较大，因此步态识别的计算复杂性比较高，处理起来也比较困难。尽管生物力学中对于步态进行了大量的研究工作，基于步态的身份鉴别的研究工作却是刚刚开始。步态识别主要提取的特征是人体每个关节的运动。到目前为止，还没有商业化的基于步态的身份鉴别系统。二、相关研究信息融合：感知融合是人类感知外部世界的本能之一。人类可以非常自然地运用这一能力把来自人体各个感知器官眼耳鼻四肢的信息图像声音气味触觉组合起来并使用先验知识去估计理解和识别周围的环境以及正在发生的事情。融合理论正是对人类这一本能的模仿旨在利用计算机技术对按时序获得的多源观测信息在一定准则下加以自动分析综合以完成所需的决策和估计任务而进行的信息处理过程。信息融合的基本原理就像人脑综合处理信息一样充分利用多源信息通过对这些多源的观测信息的合理支配和使用把多源信息在空间或时间上的冗余或互补依据某种准则来进行组合以获得被测对象的一致性解释或描述。按照信息抽象的个层次可将信息融合分为3级（像素级融合特征级融合和决策级融合）。像素级融合是在采集到的原始数据上进行的融合是原始测报未经预处理之前就进行的综合和分析是最低层次的融合。.学习.资•特征级融合属于中间层次它先对原始信息进行特征提取然后对特征信息进行关联处理和综合分析最终用于目标识别。一般来说提取的特征信息应该是这一目标的充分表示量并且去除了一定的冗余信息。其优点是实现了可观的信息压缩有利于实时的目标识别。特征级融合算法的一般流程如图1所示。f嬴」］一特征提单T同事-径特征提取——物:精征提服图1特征级融合算法一般流程•决策级融合是一种高层次融合。先将多源传感信息对目标属性进行独立决策。再对各自得到的决策结果进行融合以获得整体一致的决策。其优点是具有很强的容错性和很好的开放性。并且处理时间较短）难点在于分类特征组合与表达的机理难以量化和统一图2给出了决策级融合算法的一般流程。决策级融合必须从具体决策的实际需求出发。充分利用特征级融合所提取的测量对象的各类特征信息。采用适当的融合技术来实现。常用的方法包括k/n准则、Bayes准则和Dempster-Shafer理论等。-特吐提暇f庚黄一决「物[.策£f决策f级—馨特征提取融音利-►决策f特征提取图2决策级融合算法一般流程三、主题（算法）信息融合在其他生物特征识别领域巳经取得了很好的效果。也为步态识别性能的进一步提高提供了可能的方法。在步态识别领域中。常采用特征级融合和决策级融合两类方法。融合的特征包括不同类的步态特征（多特征融合）、步态特征和其他生物特征（多模态特征融合）以及不同角度摄像机拍摄的步态特征（多视角融合）等。在决策级融合中。通常假设各个特征之间具备统计独立性。则各个分类器得到的匹配分值可用Bayes理论D-S证据理论、表决法、.学习.资

聚类分析、模板法、模糊集合论、神经网络、熵法等进行合并。通常使用的合并规则有加法规则、乘法规则、最大规则、最小规则、中值规则和多数投票规则等。为了进一步研究融合理论在步态识别中的应用。我们提出一种基于线图模型和静态特征的步态识别算法、静态特征主要用于反映人体目标的全貌。例如形体高度胖瘦等。线图模型主要用于反映人体目标的运动特点。如行走过程中主要关节点位置的变化（肢体间角度的变化等、本文分别研究了使用特征级和决策级融合’加法规则和乘法规则理论进行步态识别的方法、算法流程如图3图4所示。1_整见荀凝取二伯制馥丧即—一,〜—动赢洛忘羸1_整见荀凝取二伯制馥丧即—一,〜—动赢洛忘羸t哗强啡每崔型特征型恋形，特律「:]|—「，I―他魔丁rI匹配令世）|用仙定计:‘I匹配.二也：TOC\o"1-5"\h\z一一融】（骨井｝I:【：♦I相-度it■尊|4L|识别图3特征级融合策略流程图图4决策级融合策略流程图3.1基于线图模型的动态特征提取首先抽取出二值侧影图像的骨架信息。然后根据该骨架信息和解剖学知识共同得到各个关节点的位置及相互间形成的角度。最后使用这些位置和角度信息形成步态的动态特征、算法的具体步骤如下：步骤1利用图像处理技术中的中轴变换方法提取二值侧影图像的骨架图、它是一种可逆变换。既能压缩图像信息。又能由中轴及其数值恢复原图像、提取方法如下：1）D表示原图区域中像素点的集合E（D）表示其边界E0⑵表示其外边界,S（D）表示区域D及其8连通区域的所有像素点、令DddD..学习.资一步细化之后得到的结果区域如下：D=S(D)U[D-E(D)]U[E(S(D))AD](1)newoldoldiold0oldold如果Dnew=Dod，终止迭代，跳转到第4)步.否则，令Dod=De^，并跳转到第2)步。Dnew即为所求区域的骨架像素的集合。步骤2根据解剖学中人体各部分肢体占身高的比例关系。来提取人体的关节点位置、即对人体骨架进行扫描。扫描线与人体骨架的交叉点即为关节点的位置、这样可以得到人体的8个关节点：(X,J),(x,J),(x,J),(x,J),(x,J),(x,J),headheadneckneckshouldwershoulderpelvispelviskneelkneelknee2knee2anklel"ankle2'ankel2"ankle2'连接这8个关节点，得到人体的骨骼化模型，图5示出简化的人体比例关系。图5简化的人体比例关系图步骤3进一步计算出骨骼化模型中各部分肢体所形成的角度、这里取肢体与竖直线的角度)这7个角度分别包括。°，。，°，。，°，°，。，人体骨架及骨骼化模型、headneckbackthigh1thigh2shin1shin2以及肢体夹角示意图如图6所示。令(x0,J0)和(气，J?分别为肢体两端的关节点所在位置、则肢体夹角计算如下:°=arctan气君(2)J1-J0.学习.资3.■--，:”5’•--■■：＜■■-，m图6人体骨架及骨骼化模型步骤4确定步态参数)通过上述讨论，可以看出在骨骼化模型中一共有23维参数特征，关节点位置2*8=16维，肢体角度7维。关节点位置中的x值通常是固定不变的、为了简化运算、可以将其去除、留下关节点的y值信息及肢体角度信息共同构成15维参数特征的步态模式)进一步、为了消除空间尺度不同带来的影响、需要将这些参数特征归一化到区间[n/2,3n/2]中。3.2基于整体的静态特征提取侧影的宽度和高度信息是决定目标形状的两个重要因素，宽度代表了运动目标的胖瘦程度、高度则代表了运动目标的身高)身高和胖瘦是人类视觉系统进行身份识别的主要依据之一、但是这两个参数常常随着摄像机拍摄距离的变化而变化)例如、同样焦距下、一个高个子目标由于拍摄距离较远会显得比近处的矮个子目标还要矮小)宽度所代表的胖瘦信息也是如此)因此、它们都不可以单独作为形体特征来进行步态识别)为了消除这种误差、本文算法w采用了侧影的伸长度作为基于整体的形态特征、即：E=(3)式中W代表侧H影的宽度,H代表侧影的高度。然而，伸长度中的除法运算常常会消除掉一些有用的信息、例如一个拍摄距离较远的又高又胖的人可能会和一个拍摄距离较近的又矮又瘦的人拥有同样的伸长度、因此单独使用伸长度很难将目标区分开来)为了克服上述缺点、又引入了空间度特征：S=ZnZmP(i,j),P(i,j)e(0,1)(4)空间度代表了二值侧影目标中前景像素i=1j=1的数目。同样、两种静态参数特征也需要进行幅度上的归一化运算。.学习.资3.3识别本算法采用K近邻分类器进行模式分类）由于步态数据具有周期性）循环性的特征、因此相似性度量采用基于周期的方法、具体步骤如下：1）令训练序列为x={X,X,...,X}，测试序列为X={X,X,...,X},Ngg,1g,2g,NgpP,1P,2p,Npg和Np分别表示两序列的帧数,X门表示第i个序列中的第j个特征关量。2）对任意一个序列X={X1,X2,...,Xn}计算出它的步态周期n（n<N）是它的帧数，并将其分成［N/n］个子序列.其中，第k个子序列可表示为X（k）={X+1,Xk+2,...,Xk+J。3）对于测试集中的第K个子序列和训练集中任意以L为起始帧的子序列、计算它们之间的距离:气心3=EN=JIXp,k+广Xg摸（4）pg4）得到整个测试序列和训练序列之间的相似度:Sim（X,X）=1-12kmin（disXk）X（l））（5）式中K=［m/N］。l为训练样i"本序列中和测试样本子序列进行比较的起始帧l=0,1,...,n-Ng。相似度Sim的值越大，说明两个序列越相似。四、实验我们分别对仅基于整体形状特征的算法）仅基于动态模型特征的算法）特征级融合算法以及运用了加法和乘法规则的决策级融合算法进行了实验和比较（见图7-图10）实验数据采用了来自于卡耐基梅隆大学的CMU数据埠。该数据库包含25人、每人6个视角4种走路姿势。快走）慢走）上坡和抱球共24个序列，每个序列340帧左右、重点测试了步速对算法的性能影响。算法评价采用CMS和ROS曲线。为了便于进行评价（需要将数据库中每个样本序列按照步态周期拆分为若干子序列、每个快步走序列大约包含8个步态周期（每个慢步走序列大约包含7个步态周期）（再为每人随机抽取一个步态周期作为测试集（其余步态周期序列作为训练集（来进行步态识别。另外（为了测试算法对行走速度的敏感性（本文分别以快步走和慢步.学习.资

走数据互为训练和识别样本、未拆分序列）进行了实验。算法识别率采用5阶CMS结果的平均值。实验结果如表1所列实验编号训练样本测试样本基于形状特性基于模型特征特征级融合算法决策级融合算法加法规则乘法规则125个快走步态周期剩余快走步态周期82.7427682.0684.887.31225个慢走步态周期剩余慢走步态周期72.66476.13484.6782.6783.6325个快走序列25个慢走序列39.279.282.483.276425个慢走序列25个快走序列33.667.271.266.448.8.学习.资-B-技X三将就4HE15阶次-如拉基己棋型物祇-B-技X三将就4HE15阶次-如拉基己棋型物祇f天策/族侃寮一史事灯：（a）实验1识别性能的CMS曲线（b）实验I校验性能的ROC也线图7实验1,（CMU数据埠，Train:fast;T?st:fast）的识别校验性能曲线-«■:上希黑触色眼还期L5-a-优基于考卷郴E现s■—授枣将环-*■聒征辑it合次兼袅H包扯湛段皿:，eq实验？识别性能的cms|用线<b）实验2校验性能的Rglll线图8实验2（CMU数据埠，Train:slow;iest:slow）的识别校验性能曲线图f胃基于理学特征吒策莪g事:加法现jd）雪岸歌鞅我律总.或M）1D阶次3识别性能的CMSIlli线5525图f胃基于理学特征吒策莪g事:加法现jd）雪岸歌鞅我律总.或M）1D阶次3识别性能的CMSIlli线55253）实验&校验性能的KOC曲线9实验3（CMU数据埠，Train:fast;lest:slow）的识别校验性能曲线.学习.资阶我凯基于掌5!44神说垂瘢吐去OP法痼对）■■.说汝HA克世虹；心IDUOJOW5U6070阶我凯基于掌5!44神说垂瘢吐去OP法痼对）■■.说汝HA克世虹；心IDUOJOW5U6070dO91)10Q示警率/%3）实验4识别性能的CMS曲线（b）实验4校验性能的R4匚曲线五、结果讨论1）融合算法确实比单一特征算法的识别率有所提高。2）对于相同步速的实验来说（使用决策级融合算法结果更好（而且乘法规则明显优于加法规则。3）对于不同步速的实验（仅基于形状的步态特征识别率下降最多（基于模型的算法识别率变化不大（可见形状特征对步速变化不具有鲁棒性。4）特征级融合算法在步速变化的实验中得到了最好的识别结果（说明决策级融合算法性能的提高更容易受特征算法识别结果的影响。六、总结步态识别的标准数据埠以及算法统一评价准则还没有制定。目前的数据埠规模较小且不够全面。一种步态识别方法在不同数据埠上的识别结果可能会不同，使用不同评价标准对每种算法进行评价所得到的评价结果也是不同的，也不具有可比性。基于有身数据量大、计算复杂的特点，不可能将所有步态识别算法在每个数据埠上进行测试。所以，如何客观评估步态识别算法的性能，是步态识别的研究难点，也是亟需解决的问题。影响步态识别正确率的因素很多，如何采取相应的措施克服各种因素的影响，以达到期望的性能仍是研究的难点。.学习.资拥挤状态下，运动目标的有遮挡以及目标之间的互遮挡问题难于处理。可以用统计的方法从巳有图像信息中进行人体姿势、位置等的估计和预测。另外，利用多摄像机多视角跟踪拍摄来解决遮挡问题的方法也是很有潜力的一种方法。随着对步态识别中融合技术更深入的研究，如何选择性能互补的特征、如何优化具有冗余信息的特征、如何采用不同层次的融合策略来提升算法性能也亟需进一步研究。七、应用前景随着我们逐渐迈入数字时代，基于步态特征的身份识别技术愈加显示出它的价值。对于诸如军事基地、停车场、机场、高档社区等重要场气出于管理和安全的需要，人们必须知道该区域发生的事件，并有效准确地识别人、快速检测威胁并且提供不同人员的进入权限级别,于是采用某种特定方法来监视该场景。特别是场景中的人，人脸、指纹和虹膜等生理特征识别不再适用，而步态识别作为有效的行为特征，不需要任何交互性接触就可以实现远距离情况下的身份识别。美国国防高级研究计划署(DARPA)资助的远距离身份识别HID(HumanIdentificationataDistance)计划，其任务就是开发多模式、大围的视觉监控技术以实现远距离条件下的检测、分类和识别，从而增强国防、民用等场合免受恐怖袭击的自动保护能力。美国五角大楼也正在拟定采用步态识别技术进行反恐。美国9-11恐怖袭击以后，人们巳经意识到安全的脆弱性，目前各国都高度重视这样一个问题，即如何对国家重要安全部门和敏感场所进行全天候、有动、卖时的远距离监控和身份识别。而基于步态特征的身份识别技术就是解决这一问题的有效手段之一。虽然目前步态识别技术的效果还不尽如人意，系统的准确率不够高，而且成本较高，但这项技术有着美好的应用前景。预计5年后，步态识别机将实现商品化。届时，世界各国均可享受到这一新型识别技术的好处,在各国机场及其他重要场所的出入口安装这种机器，结成一无形的反恐巨网，增强人类社会的安全度，构筑一个和谐、安全的人类家园。在临床工作中，对人体行走方式进行客观记录并对步行功能进行系统评价,是康复评定的重要组成部分。现实中有很多疾病会引起步态变化，即产生走路姿态异常。为此可通过对步行规律的研究，分析人体骨骼、关节的三维空间定位以及生物力学特性,准确评价人体各部位在运动过程中的动态变化，从而揭示步态异常的病理原因。步态评价也是神经病学、风湿病学、矫形学和康复医学在日常临床实践中的重要方面。对患有神经系统或骨骼肌肉系统疾.学习.资病而可能影响行走能力的患者需要进行步态分析，以评估患者是否存在异常步态以及步态异常的性质和程度，从而为分析异常步态原因和矫正异常步态、制定治疗方案提供必要的依据。通过步态分析还可以理解步态异常的基本过程和机制，从而对力、关节角度和肌肉活动进行详细分析，进而进行相关的医学研究。另外，步态识别问题是人的运动分析的一个子问题，因而步态识别问题的研究成果有可能扩展应用于解决计算机视觉领域里的其他问题如区分不同的运动（走路、跑步、打网球的击球动作）、手语的解释等。八、技术难点及解决途径步态识别是计算机视觉和模式识别领域一个非常新的研究方向，近10年来，研究者在这方面取得了许多成绩，但是要设计并实现一个实用性强的步态识别系统非常复杂并且困唯。由于人的行走姿势受各种因素的影响，在不同环境条件下行走姿势有或多或少的变化，因此步态识别的计算较复杂，识别的准确度还不够高。目前该系统的准确率在80。〜90。，准确性低于第一代身份识别技术。许多家观因素的存在，给步态的最终识别带来了困唯，如何更准确地识别步态特征，是步态识别领域面临的唯题。然而，医学研究所确定的特征，或者因为特征本身没有可重复性，或者由于观察角度的限制和有遮挡问题，并不适于基于计算机视觉的系统去提取。从计算的角度来看，从低质量和没有标记的视频序列中对运动物体进行跟踪和分割的算法的不精确性导致了所提取特征的不可靠性，而由摄像机深度和角度不同造成的透视的影响使特征提取工作变得十分繁重。8.1技术难点复杂背景的干扰：运动目标的有效检测对于目标识别、跟踪和行为理解等后期的处理是非常重要的。步态序列图像是一个复杂、具有非常高维数的视觉模式，图像获取过程中的不确定性，使得步态识别过程必然会受到各种外界因素的干扰，从而使得复杂背景图像中的目标检测非常困唯。如何消除复杂背景的影响，准确提取运动人体的目标特征，成为步态特征提取以及后续处理的关键。识别算法问题：目前巳有凡种常用的模式分类器应用于步态识别，但是尚且处于实验研.学习.资究阶段,没有一种完美无缺的算法。常见的方法有最近邻(Nearest-neighbor,NN)分类、人工神经网络(Ar-tificialneuralnetwork,ANN)及隐马尔可夫模型(Hiddenmarkovmodel,HMM)等，这些方法有许多弱点。其中最近邻分类器是根据欧凡里得距离对巳知向量和待识别量进行比对，该方法没有深入挖掘数据部包含的变化信息，即：哪种数据变化属于同一个体部变化信息引起的，哪种变化是由于不同个体之间的差别造成的。其次,最近邻分类技术对于权重大小的分配具有不可靠性，这在步态识别以及数据融合中是非常重要的因素。对步态数据进行简单的融合也会严重影响步态识别率。而人工神经网络和隐马尔可夫模型的理论基础是经典统计学，采用的是样本数目趋于无穷大时的渐进理论。然而在步态识别的实际研究中，样本数目往往有限,故这些在理论上有显著长处的分类方法在实际应用中却可能不尽人意。另外，由于这些算法本身存在的问题，就会出现随着样本数的增多，识别率会有所下降。这是因为，样本数量越大，出错的机会就越多；根据步态识别的特征来看，样本数的增加导致特征空间出现拥挤现象,个体之间的差别就会缩小。如何解决这个问