设计version基于人体骨架提取与跟踪

基于的骨架提取。基于的运动的视觉分析是计算机视觉研究领域的重要课题之一也是近几年来备受者关注的前沿方向运动分析的研究在动画、游戏、虚邻域均有着广阔的应用前景本文主要对基于的骨架提取和进行了。首先本文采用帧差法和背景差分法相结合的方法对序列中的运动进行检测，并用大津法选取阈值进行自动分割，检测出运动，并进行形态学的处理。然后，利用细化的方法提取了骨架。在骨架图像的基础上本文采用了快速查表法对的特征点进行提取最后本文分别采用基于帧差法和n-hift算法的算法对运动进行。，准确地提取骨架和特征点算法实时性强。由于运动时的自遮，：运 检测 骨架提取，特征点HUMANBODYSKELETONEXTRACTIONANDTRACKINGBASEDONVisualysisofhumanmotionbasedonisanimportantresearchareainthefieldofcomputervision,anditalsohasdrawnmanyscholarsgreatattentions.Thisresearchhasvariousapplicationsinhumananimation,computergame,virtualrealityandaugmentedreality, puterin ction,surveillance,sportsysis,computers-aidedclinicaldiagnosis,andsoon.Ourresearchworkfocus-basedhumanskeletonextractionandInthisthesisfirstlythetemporaldifferencingmethodcombinedwithbackgroundsubtractionmethodisusedtodetecthumanbodyinmotionfromtheimagesequenceswithadoptingOSTUmethodforthresholdsegmentation,andthenhumanmorphologyiscarriedouttogetbetterresult.Forthenextstep,thinningmethodisappliedtoextractthehumanskeleton,andthisthesisproposesamethodofthefastlookuptabletoselectfeaturepointsfromhumanskeleton.TherestofthethesisgivesaccesstohumanbodytrackingbasedonTemporalDifferencingandMean-shiftalgorithm.Inthisthesis，mark-lesstechnologyisapplied,namelytherearenomakerssensorsonthehumanbody.Becausethefirstframedoesnotneedartificialcalibration,customerinterferenceisreduced.Theexperimentsshowthatitcanquicklyandaccurayextracthumanskeletonandfeaturepoints.Besides,humanbodytrackingalgorithmsufficesthereal-timerequirement.Butusuallythereissomeinterferencesuchasoverlap,andthemethodsproposedinthisthesishavetheirlimitations.However,thisthesisisstillmeaningfultohumanbodymotionysis.:HumanMotionDetection,HumanSkeletonExtraction,FeaturePoints,HumanMotionTracking 前 绪 课题研究背 研究现 课题研究内 结构安 基于背景差分法和帧差法的检 引 序列预处 光流 帧间差分 背景差分 背景差分法和帧差法相结合的检测方 背景模型的建 运动的提 阈值的选 形态学处 小 细化法和骨架的提 引 骨架化的概 星形骨架 中轴变换 细化法和骨架提取算 细化 基于细化法的骨架 小 基于快速查表法的骨架图像特征点提 引 候选特征点的提 候选特征点的候选特征点的最终选 小 5运动引 目标技术分 常见的运动的方 基于模型的非模型帧差法理论基 实验效 Mean-shift算 基于Mean-shift的实验效 小 总结与展 总 展 参考文 致 译文与原 附录（主要程序 形成了反差。为了使计算机系统具有模拟人类通过视觉接受外界信息、机视觉这门崭新的学科。计算机视觉的是要为计算机和机器人开发具有人运动的检测、识别与技术属于计算机视觉的内容，但又以数字图诸多领域和学科。作为一个跨多学科的研究课题，其本身就存在很大的境，这些都给运动的检测、识别与的研究带来了许多。本文研究的基于的骨架提取与是计算机视觉领域的研究热点之一。它是从图像序列中提取运动的骨架，然后进行，更高级的处理是对人的行为进行识别和理解。它在银行的安全，医疗，游戏动画中人的虚拟现实以及图像与检索等方面具有广泛的应用前景和潜在的经济价值。本文人的基础上，采用了帧差法和背景差分法相结合的方法提取运动区域，然后结合细化法提取出骨架，并运用快速查表法提取出特征点。本文借助的图像处理工具箱编程实现所有算法，并得到仿真结果。运动的检测与是运动分析的重要组成部分运动分析的研2080年代初[1]，因其重要的学术价值和广阔的应用前景，近几年已对的运动进行识别和、在高级阶段还包括对人的行为的理解运动。随着视觉理论的研究和计算机处理能力的显著提高运动与分析正大科研工作者及相关商家的浓厚。传统的运动分析方法一般分为两种[8]：一种是在的各个关节部样计算机就可以精确地分析计算在各个时刻的运动参数另式则是针对包含运动的图像序列进行分析。图像序列可以是单机拍摄，也可以是多个机同时从各个视角拍摄的。相对而言，采用传感器进行运动分析的方法尽管简单准确但是附着在表面的标志物有时被遮挡或伴随着表面若在智能系统中监视行为不可能在被检人的身上带有传感器和任何标记对于第二种方法当前的无标记[9][10]的运动分析的方法分为两大类：一种是基于模型的[11]，该方法将预先定义的模型与图像相匹配以获得姿态参数，当实际图像序列与模型间的匹配建立之后，借助于模型，利用几何结构，运动等先验知识，完成特征对应，实现。另一种是非基于模型的，也即基于特征的，该方法通过目标的特征点、特征线来实现对人的通常还需要结合纹理色彩及形状特征来提高的鲁棒性[12]。因此研究如何从无标志物运动图像序列中出特征点的运动轨迹更基于图像序列本身的信息进行运动的和分析包含三个基本内容(2)运动的与分析，得到各个时刻反映参数，即关键点的(3)行为的识别和理解，其中运动的和分析是运动分析过程的关键步骤，是进一步识别理解运动行为的基础。，：像序列中首帧的位置在后续帧中目标的确定可以依靠运动的连续性原则进行。首帧中位置的确定通常有两种方法法是用手工标注的特征点即关键部位的关节点[14][15]，这种方法不利于实现：地去除背景对运动的观察也可采用单目视觉[17]和多目视觉[18]单目视觉只现信息融合理论上能较好地解决因出现与身体自遮挡时单目视觉估计有对整个进行建模的，也有仅对人的整置、方向进行，，取决于实际的应用场合如在手语识别或运动员训练中就只需要对的手或者一般只需在图像序列中确定的位置以及判断的运动方向即可由于很大的自由度和高度非线性的特点，因此其运动系统非常复杂。此外的外理速度方面姿态包含几十个自由度，如何对这一高快速搜索以达到，，，展的趋势上看运动的类型已由简单的周期性运动，如步行、跑步过渡到对自由运动乃至复杂的体操动作的与分析时有人工干预逐步向自动化标注的方向过渡。例如，1997年国防高级项目署设立了卡内用于战场以及普通民用场景进行的自动理解技术[20]；英国的雷丁大，究[21]；IBM与。摄影设备，该设备对运动员的全程动作拍摄、实时处理，为诊断技术动作、优化技术方案和模拟最佳动作提供了科技支持实时视觉系统不仅能够定位人和分割出人的身体部位，而且通过建立外观模型来实现多人的，并可以检测人是否携带物体等简单行为、德国、的多所大学和科研机构长期获得各方面的资助，开展对运动分析的研究工作，IEEE也定期举办关于运动分析的，此外，国际上一些期都将人的运动分析研究作为主体内容之一，以便为该领域的研究人员提供了的交流机会，可见国际上对该。紧跟国际的发展国内也与20世纪90年展了这方面的研究[18]目前。展这方面研究的单位主要有中国科学计算所、航空航天大学和浙江大学等其国计算所的研究主要用于手语识别[23]，它是给被测人手上带数据手套是一种基于传感器的方法其自动化主要开展了人运动的视觉分析技术研究在运动中使用了运动模型和关节体模型航空航天大学研究的是航天活动中的运动它利用了现场资料浙江大学医学工程学院则是主要研究的手势及步态运动分析在临床诊断和物理治疗上的应用该校的人工智能采用单目图像序列对没有出现被遮挡部位的动作进行了首帧采用手工标注的特征点该方法基于单目视觉无法准确国家863计划973项目国家自然科学基金等都对运动。技术的研究提供了项目资助这些都将极大地推动我国在运动研究本课题以基于的骨架的提取与为研究背景在查阅了现有的大量文献、期和国内外的基础上，深入了解了基于的运动骨架提取将设计开发的算法运用或者VC编程实现，形成与同步的骨第一章：绪论。简要介绍了运动分析的研究背景、研究现状和应第二章：基于背景差分法和帧差法的运动的检测。先介绍了目前目标行了改进，提出了背景差分法和帧差法相结合的运动检测方法。第三章：骨架的提取。阐述了在图像处理中骨架的概念，并介绍了目前骨架提取的几种方法。稍后着重介绍了运用细化的方法提取骨架。第四章：骨架图像特征点的提取。建立了基于快速查表法的骨架上提取特征点方法第五章：运动。前两节分别介绍了目标目标技术分类，常见的运动方。后面两节简单地介绍了基于帧差法和Mean-shift算法的人体方法。第六章。总结与展望。对本文进行了总结，不足之处，并对今后的工基于背景差分法和帧差法的检域的有效分割对于与行为理解等后期处理是非常重要的因为以后的处理过机照相机等图像设备在摄入图像的同时会产生热噪声环nnmedian n21/2个像素的值，又应小于等于模板中n21/2个像素的值。中值滤波的过程就是将模板在图像中漫游，并将模板的中心与某点像素x,y的位置重合，中间值作为median x,ymedianfs,t （2-s,tNx, 11 0 011 0 0

011 0011 0

（OpticalFlow）检测运动目标是以灰度梯度基本不变或以亮度恒定为基于匹配的方法是首先对运动目标的主要特征或区域进行定位和，然后通过特征或区域位移的变化进行光流量计算。这种方法在编码中得到广流对目标实时监测和的时候，仍然存在许多问题。息；可以很精确的计算出运动目标的速度，并且在机存在运动的情况下也长，计算复杂，实时的要求，并且该方法受噪声的影响比较大，因而 DifferentialBetweenAdjacent假设给 图像序列f1,f2,fn中，fk,fk1为任意两帧连续图像，则分后的图像可以用如下（2-2）表示Dkx,y

fkx,yfk1x,y

其中xyDkxy为帧差图像的灰度。然后对差分后 Fx,y

ifDkx,yT

上式中T真现象；三是如果相邻两帧中运动的所覆盖的区域太过接近，前帧中的人2-2以相邻两帧帧间差分效果为例，检测结果中会 b.第k帧图 图2-2 由图2-2（c）的红框部分，可以看出第k-1帧的运动的某些肢体遮挡了检背景差分法（BackgroundSubtraction）是目前运动分割中最为常用的一种关的干扰等特别敏感，且不适用于机运动或者背景灰度变化很大的情背景差分的基本思想是将当前帧图像与事先或者实时得到的背景图像相减，理想情况下这样得到的差分后得结果是仅包含运动的图像，但是由于电子噪声光照颜色的影响所造成的影响，所得到的差分结果除了运动轮廓区域，还有阴影和噪声的区域。因此必须通过一定得阈值将运动区域的 TheprocessofbackgrounddifferentialFdx,y,tFx,y,tBx,y,tFdt进行二值化，运用运动目标检测的判据为：Fdxy,tT，则xyT为门限值。

2-4。首先提取背景帧图像，如图a；图b是随机抽取的包含运动当前帧图像；对图a和图b运用背景差分法，结果如图ccc二值化，结果如图d。 图2-4背景差分法实验效果因此目前很多研究员纷纷致力于开发不同的背景模型。例如Mittal[28]等人提出了采用变带宽核密度估计法建立背景模型；Haritaoglu[29]等人采W4算法等。背景差分法和帧差法相结合的检测方数码相机或机得到的通常是RGB分量构成的彩像。如果在RGB果，计算量是单用灰度值的三倍。通常中存在大量的噪声，在实验中发现三通道比单用灰度化后的检测出的运动物体更完整，但噪声也，相比之图像进行处理前都将彩像转成灰度图像，在做进一步的处理。正如前面所述，帧间差分法与背景差分法各有，也各有缺点。背景差和背景更新的目的；接着用背景差分法实现运动区域的检测；最后通过形态学方法实现对运动区域的修正。 首先令序列的首帧作为对应的背景帧，运用帧差法检测相邻帧之间是本文中对进行每秒25帧的截取，首先将截取的包含运动序列 序列的第一帧F0作为背景帧B0。针对后面的每一帧（包含运 ）Fii1,2,,t，i表示相应的帧号，将相邻的像素DWix,y

Fix,yFi1x,y

然后设定阈值T按 （2-5。若DWix,y等于1，表明此时对应帧有变化区域；若DWix,y等于0，则表明此处对应帧无变化区域。 是通过相邻两帧图像的差分运算与设定的阈值T相比较，将变化区域检测出运动覆盖的区域，即前一帧中的的覆盖区域A，当前帧中运动的,前帧的变化区域包括A和B[30]DWix,y0。

DWixy对应的是当前帧的差分图像，T 通过上述过程分析出现序列每一帧对应的变化区域之后按照2-7构建第iBixyDWixy1Bix,yFx,y1 x,y,DWx,y

其中学习速率取决于，当0时背景的更新速率快，当1时背景更新速率慢，通常在0.8 1之间某个值。背景建模效果图如图2-7： 7（a7（c对应帧的灰度背景模型。在背景模型中能看到轻微模糊的轮廓曲线，这是运动的提接下来运用背景差分法将运动区域提取出来。利用构造的背景模型与 像，Bix,y表示相应的背景的灰度图像。相减的结果用Dix,y表示，由于构造的背景与真实的背景有一定的差异，而且Dix,y中还包含光照、噪声和阴 区域，必须选取一个合适的阈值T，Dix,y可以与设定的阈值T进行比较，按 （2-9）得到二值掩码图像Mix,y，即可更加精确的运动区域Dix,yFix,yBix,y

Mix,y

,存在较多的阴影区域，在小腿部分还有背景中横线的干扰，提取的区域有衣服纹理等，此时需通过设定阈值进行二值化操作精确提取运动区域，消目视检查直方图是选取阈值的法。图2-9所示的直方图有两个不同的模式；正如结果所示，我们可很容易地选取一个阈值T来分开它们。另一中选择T的方法是反复试验，挑选不同的阈值，直到观测者觉得产生了较好的结 在实际中利用第法是可以分析直方图来获取阈值T，但是并非任何prnq,q0,1,2,,L

nnq是灰度级为rqL能的灰度级数。假设现在已经选定一个阈值kC0是一组灰度级为0,1,kC1是一组灰度级为kk1,L1

kk

对任意k

BOtsu方法选择最大化类间方差2的阈值kB2w

2w

2ww

B满足条件的k

0 BB

kmax20kL

OstuL2-8（e）~（h）2-10： 膨胀是在二值图像中“加长”或“变粗”AzAz

为空集，B为结构元素。总之，AB膨胀是所有结构元素原点位置组成的集合，其中映射并平移的B至少与A的某些部分。利用膨胀操作可腐蚀是“收缩”或“细化”二值图像中的对象的操作，是膨胀的对偶运算（义中，AB腐蚀记为：zz

Ac

换言之，ABB与A的 BBB

ABA

蚀操作缩小运动的边界，消除那些小的由于噪声或光照产生的小的连通区域，接着运用膨胀操作填充运动内部空洞和边缘存在的缺口。实验效果如2-11。 景模型的创建，运用背景差分法实现运动区域的提取，最后通过形态学消除阴影，完成对新背景模型，同时可以准确的检测出区域。缺点是对客观环境有一定的限制。在运动周围的环境光照均匀的条件下效果较好，并且要求运动的像素值与背景的像素值有一定的差异，否则提取出的运动区域会出现空洞细化法和骨架的提通过骨架化算法得到区域的骨架来实现。目前骨架提取算法有星形骨架法，中轴变换法，Apar区域法，细化法。本文采用了细化法对骨架进行提（Skeleton，不唯一性，有时会造成形状表达得二义性，造成识别上的，但同时也给应离重心点的距离，其中N是 区域边界点的总个数，xi,yi是目标边界上的DiDi的局部极大值作为极值点。把这些点和重心连接NN NN

x x y22 （3-3-15个极值点，极值点与质心点构成 3-1根据轮廓结构的近似的特性，Leung和Yang提出了一种特殊的轮廓标记区域，即Apar（anti-parallelline，利用Apar区域可以将轮廓划分为若干个子块，更好地识别和标记部位。Apar区域，也称Apar条带，是指两条反向的平行线构成的一条矩形区域，如图3-2。将检测到的运动区域用Apar区域近似的标定。图3-3所示利用六个Apar区域组成的模型。 图3-3模型的Apar区Apar根据区域轮廓上点的链码方向变化，提取出待筛选的拐点；然后将其Apar区域的检测和筛选。该步骤的作用是用来确定身体的各个部位以及身通过求取链码方向的变化求得边缘轮廓的拐点。这里所述的链码是man链型情况下，这一表示建立段的4连接或8连接上，每一条线段的方向通3.448 4方向和8方向的链的疏密程度，另一个参数是角度阈值Tθ，用来控制拟合直线的方向。这两个参3-5为运用man链码对某帧人体运动图像进行轮廓的提取和矢量化的效果图 接下来，再以这些矢量直线段位基础就可以开始Apar的检测过程。检测的1跳直线段开始。从接续的直线段中寻找与该直线方向相反的第一条直线段作为Apar的对；然后，以此对位基础，开始一个Apar条直线段是否为一对反向的平行线，如果是，则这两条直线Apar对的直线段相连，否则该对生长的过程结束；最后从两线段的端点开始，继续检测新的Apar对，重复上述过程，直到无法检测出新的Apar对，并且全部Apar对停止生长为止。将Apar区域确定后，每个Apar3-6所示为两个反向箭头平行线组成的Apar区域，虚线表示这个区域的中线。以此类推可以求出所有Apar区域的中线，进而得到骨架。但Apar算法计算量较大。 Apar区域特征点的提一个区域的骨架也可以用Blum[1961]中轴转换方法（MAT）定义，中轴变换是描述物体形状骨架最为常见的方法，中轴（MedialAxis）可以认为是精确定义的骨架。边界的BRMAT如下图所示。对R中的每个点p，找到它在B上最接近的邻点。如果p有多于一个这样的邻点，就认为p属于R的中轴（骨架。“最接近”（MAT）这个概念取决于距离的定3-7显示了使用欧式距离的一些例子。 区域的MAT有一个基于所谓的“草原之火概念”的定义。把图像想象成一整速度向区域中心前进。区域的MAT就是不止一处火焰的前沿在同一时刻所达Calabi1966年基于最大球概念给出了一个更为正式的定义[Talbot1992]XXB（二维下是一个圆盘）称为最大的充要条件XBBBBXB'BX的骨架SXXSXpX|r0,Bp,rmaximalballofX尽管区域的MAT能生成较为合意的骨架，但直接实现这一定义需要大量（2）（3）本文采用细化法提取骨架，它一种应用于细化二值图像的算法。区域1018083-8图3-8用于细化算法的相邻 图3-9式(3-4)中条件(a)和(b)的 说明，此时Np14且（b）Tp1p4p6p4p6p6p8p6p8

（d）Np1p2p3p8

3-9Np14Tp13。2步，条件（a）和（b）仍相同，但条件（c）和（d）（3-

（c’）p4p8p4p8p6p81步。如果条件（a）1步，将做了标记的点删除（0值2（1）（2）（3）（4）（a的点使用这种方法时，条件（b）是的。因此，这个条件防止在使用（d（（d’（d（d’p60p80。2.123- 从骨架效果图来看，提取的骨架基本反映出了的运动形态。下面的两组图，图3-12和图3-13是连续运动序列，第一组是“走步”的序列，第二组是“摆臂”的序列。两组图中均包含了原始彩，运动 很大，所以本文采用细化法提取骨架。该算法能够有效地对运动区域进行骨架提取，较为准确的反应出的运动形态，为下一步的特征点的提取基于快速查表法的骨架图像特征点提骨架图形是由若干线段在二根据一定规则构成的，其信息绝大部分于提扰能力。为了更好理解快速查表法，本文将骨架图形特征点分成四4-1给出了特征Ⅰ端点Ⅱ折点Ⅲ歧点Ⅳ交点图4-1 基于快速查表法的骨架特征点提取，主要分为三个步骤：首先用快速查表法检测出候选特征点；其次对候选特征点；最后对的特征点进一考查上一章中骨架二值图像中一个像素的3399位的二进制数，那么就会在范围0,511（共有29512种）中有一个数值一一对应这个像素33邻域的排列方式。在上述条件的假设下，用一个数值就可以表示一种33邻域排列，文中称这个数值为标量数值。基于以上的假设，就产4-2所示的33对考查点33邻域与模板的对应位置进行相乘运算在相加，得到这个考查点的1 的标量数值图。例如：分配给邻域101 112 根据上述的内容，分析了端点、折点、歧点、交点在334-1实4-3。 征点。分析候选特征点的特点可以发现，同一类型的特征点总是集合在一起，范围大致在55或77邻域，这样可选择大小是55或773，则将它们合并成一个候选特征点，新的特征点位于原来几个候选特征来方便。本实验采用的55邻域，对图中的候选特征点进行，效果如下 4-5的33邻域中它是一个折点，有时一条直线某一处的毛刺干扰，导致在小邻域是：以该候选特征点为中心，选择一个大小事1111的窗口（本实验中采用的是11114- 4-64-7： 特征点的位置。比如说，在进行“”操作中提到，若窗口中候选特征点的数3，则将它们合并成一个候选特征点，新的特征点位于原来几个这种偏离是非常小的，误差在几个像内，特征点的提取还是比较准确的。 从图4-8的四幅图可以看出，特征点提取的效果基本符合变化规律，但也存在问题。首先特征点的提取是基于骨架进行的，骨架是一种细化的结果，它出的真实“宽度”。例如从（c）图可以看出，人的手的部位没有特征点的，这是因为细化是提取的中轴，的“长度”和“宽度”都会受不同程度影响。骨架的端点不一定是的端点，因为本实验中手部与身0值。其次，很多时候（b（d骨架与特征点相结合来研究运动的特性及，特征点虽然浓缩了人体的重要信息，但是只用特征点并不能完整地表达运 。此外对于静态的。对于解决自遮挡等问题，可以利用先验知识和图像特征对运动进测位置来约束检测过程，从而保证在遮挡严重时仍可以正确地捕捉运动。另外，部分关节并不符合骨架物理约束系统的树形结构模型，但是这些关节具有一定的规律性。根据日常生活的观察来看，人在观察的时候，大脑还可以找到许多其他的方法来确定中被观察者各个关节的位置。这样就算机时拍摄的侧面，有一半身被遮挡，人脑依然会判断出被遮挡关本章在提取出运动区域的骨架的基础上，利用快速查表法，提取出骨架上的特征点。特征点的提取较为准确，能反映出的重要信息。缺点是存5运序列图像中进行目标是计算机视觉、图像处理各模式识别领域里非常活跃的课题。所谓运动目标，就是在目标检测的基础上，对一段序列图像中的每幅图像找到感的运动目标所处的位置，也就是在连续的帧图像间创建位置、速度、形状等有关特征的对应匹配问题。在监视中运动目标运动目标的运动分析和场景分析提供了可靠的数据来源，同时运动目标的目标技术分国内外学者已经对目标进行了大量的研究，提出了许多用于的有效算法。这些算法根据不同的分类标准，有着不同的分类方法。根据目标与目标检测的时间关系可分为三类：第一类是先检测后跟到的目的。这种方法延续了经典的信号和数据处理机制，可以借助现有图像处理和数据处理技术，检测过程都没有利用过程提供的信息。第二类是先后检测，先对目标下一帧所在的位置及其状态进行预测或假设，然后跟踪检测结果，来矫正预测值。这一思路的难点是事先要知道目标的运动特性和规律。第三类是边检测边，图像序列中目标的检测和相结合，检测要利用来提供处理的对象区域，要利用检测来提供目标状态的观测从目标的策略来分，通常可分为3D方法与2D方法。所谓3D方法通常是在世界坐标系中完成对目标的，而2D方法则是指在图像平面内而言2D方法。谭铁牛[34]，Koller[35]3D模型进行车辆3D方法而言，2D方法速度较快，但对于遮挡问题难以处根据从被的目标中提取特征的不同，可以将目标的方法分为颜色、形状、区域、小区域、视图和点特征等方法。此外，根据机是否运动还可分为机运动的目标和机固定的目标。根据目标个数可分为单目标和多目标。常见的运动的方目前运动的方法大致可分为两类：基于模型的方法和非模型基于模型的方法利用点、线、区域、容器把的目标拟合成一个几何模型，运动目标的变成了目标识别的问题。这种方法含有的语义描述和知识。因此，与其他方法相比，它的可靠性较强。这中方法首先建模型，然后将模型与图像序列中的匹配。传统的模型表达方法有三种：二维轮廓：该方法使用在图像中的投影来表示。如Ju[37]等运动受关节运动的约束，该模型被用于运动图像的分析；Niyogi与Adelson[38]利用时空切片方法进行人的：首先观察由人的下肢轨迹所产立体模型：该方法是利用广义锥台、椭圆柱、求等三维模型来描述的 躯干的中心，目的是利用模型来产生行走的三维描述。由于基于模型的方法能够充分利用目标的特殊性质，与只能利用目标一般显得尤为突出，比如多物体，图像间的运动幅度比较大等。这种方法较适合于多面体的人造物体，因为这种物体存框模型。它的缺点是计旋转和变形等，而且需要知道大量关于目标的先验知识。先验知识是从多响算法的实时性。非模型方法事先不需要建立的模型，而是根据运动呈现的几基于特征的：基于特征的包括特征的选择和特征的匹配两个过程。为了实现，首先要选择目标中某些具有特定信息的特征点，然后的。但是的前提条件是必须保证这些特征点具有高度的稳定性，为了提高的鲁棒性，这种方法往往要选择一组特征基于区域的：基于区域的方法在一些文献中也被称为基于相关的大的区域。具体做法就是将系统的基准图像（即所的区域）在实时图移值所对应的两个图像（基准图像和与基准图像同样大小的实时图基于区域的算法，轮廓表达有减少计算复杂度的优点，如果开始能够续地进行，然而轮廓初始化通常是很的。非模型方法，运算量较小，但是由于实际运动往往是在复杂的背景下进行的，存在大量的干扰。因此这类方法进行准确的难度较大。进行了简单的探究。本章采用的是非模型，分别运用帧差法和Mean-shift算法来进行运动。帧差法一般的是整个，主要关注整个的位置和方向，而不需要考虑的局部细节和模型，所以不需要对模型初始化，算法比较简单。相比之下，Mean-shift算法要复杂的多，但可以实现快速的最优匹配，在目标的实时领域起着非常重要的作用。整体的，往往可以建立在目标检测的基础上，若能准确、实时地检测到目标，实质上也就得到了运动当前的位置，这是可以用一定的表示方法，如目标的中心点，或者用一个矩形框包围整个，来标识这个位置，以突出所要的目标，那么也就完成了对整体目标的。这依据前面的介绍，这种方法属于先检测后，因此的关键是目标的据中背景的复杂程度，选择合适的发方法，本节的主要内容是帧差法跟中的运动的的位置是实时变化的，所以利用帧间差分法的原理，设定阈值来提取图像中的运动区域来确定当前的位置。我们之前讨论过帧间差分法的缺点，其中之一就是如果相邻两帧中运动的所覆盖的区域太过接近，前帧中的会对目标产生遮挡。如果说对于目标的准确检测，以及对法。但却可以满足目标，我们这里重新回顾一下图2-2。虽然从效果上看，目标区域被前一帧的运动遮挡了，但是当前的运动区域是确定的，而整体考虑的是的当前位置，所以我们本节实验在帧差法的基础上来进行了改进并实现了整体的实时，为了突出的效果，我们用一个红色矩形框将包围起来，矩形框的大小是随着的宽度而改变，即最小外接矩形，并用红色十字星标注矩形框的中 图5-1帧差法效果图 图5-2帧差法效果图图5-1和5-2可以看出，该方法具有较好的效果，红色矩形框的大小随着的大小变化而变化，尤其第II组图更为显著。但也可以发现在原彩色图像中有的最小外接矩形并没有将包围起来，这是因为矩形大小是根据二值化图像计算出来的，所以有一些误差，但是这不影响整体效果和精度个物体，对于复杂背景或者是动态背景，以及当被的被遮挡了，甚至在多人群中目标，本方法是非常不稳定的。如果想进一步研究，可以用卡尔曼滤波器对运动进行预测，可以在有遮挡的情况下完成对人的跟帧差法，得到的是人的整置信息，如果我们想的某个部果我们一开始就直接锁定的某个部位，接下来只要利用匹配算法在下一帧中找到相应的部位即可，当然此方法也适合整个具有光流法、Mean-shift算法、卡尔曼滤波算法、粒子滤波算法等等。本节采用的方法是Mean-shift算法。Mean-shift（均值漂移）是一种密度梯度的无参数估计方法，由Fukunaga1975年提出。1995年Cheng的文章将其引入计算机视觉领域，直到近几年才引起国内外学者们的广泛。aniciu和Meer对Mean-shift在图像滤波、分割和中的使用都做了较早的论述。ChangjiangYangd对图像的Mean-shift方法进行了讨论，使用改进的快速变换提高算法的速度，Collins将尺度空间和Mean-shift相结合解决了核函数带宽实时变化的问题。i下面我们首先介绍Mean-shift算法的技术框架，然后描述其用于的过程。Mean-shift算法是一种在一组数据的密度分布中寻找局部值的稳定的方法，这里的“稳定”是指统计意义上的稳定。然而Mean-shift算法更加正式的描述是，Mean-shift算法与核密度估计的规则有关。i假设有

Rd中样本集合x,i12,nxKx，窗口半径hn xxinfxnhdK

K的profile是0R的函数kKxkx2。使用 xx2 x

k i

nhd

' fh,kxfh,kxnhd2xxik

如果kx在xgxkxgx可以导出新的核GxCgx2，其中C是归一化因 xx2GG

g i

nhd x

x2/C

n

xx2 i x

xx2g i 被称为Mean-shift向量，即使用该核G作为权值的平均，该平均与（核的中心）的差。kx称为gx x1h2Cfh,K

x处，使用核G计算的Mean-shiftK得到归一化的密度梯度估计。归一化要依靠使用核Gx处的密度估计。因此Mean-shift向量总是指向密度增大的最大方向。Mean-shift5-3所示 Mean-shiftMean-shift算法是一种半自动方法，在起始帧，通过手工确定搜索窗口来选择运动目标。计算核函数下的搜索窗口的直方图分布，用同样Mean-shift算法的步骤如下窗口的类型（均匀、多项式、指数、或者分布窗口的形状（对称的或歪斜的，可能旋转的，圆形或矩形窗口的大小（超出窗口大小则被截去其中第（2）至（4）步是Mean-shift算法的的迭代部分。5-4来解释下算法的含义。 假设我们用如图的矩形框在初始帧锁定我们 的局部部位，算核函数下的搜索窗口的直方图分布，用同样的方法计算当前对应窗口的Mean-shift向量。Mean-shift向量告诉我们如何将Mean-shift窗口的中心重新移动到由计算得出的此窗口的重Mean-shift0（也就是，窗口不能再移动。收敛的位置在窗口中像素分部点不影响Mean-shift的收敛性，所以寻找峰值的这一过程在统计意义上是稳我们假设运动的头部，首先要锁定头部区域，也就是初始化一个目标图5-5选择的头部作为目下面是头 效 图5-6头部效果我们再来看一组人脚部位的效果图 图5-7腿部效果我们假设的是人的右脚，首先还是选取目标区域，然后开始。从的效果来看，基本上可以完成对脚部的，但仍存在问题。一是裤子鞋的颜色相同，而本文中Mean-shift是计算核函数下的搜索窗口是颜色直为特征的，因此这样对脚部的会产生很大的影响，从（d）图可以看得到。二是的双脚是相互交错运动的，也就是有遮挡现象，而此Mean-shift（b（d综合对头部和脚部的，可以设想几点改进。头部来说，人是由远而近的向前运动，那么头部大小会发生变化，Mean-shift的目标窗口的大小是不变的，如果开始时目标窗口选的很小的话，也是会影响效果的，解决的办法可以采用Camshift算法，Camshift的搜索窗口会自我调整尺寸。比如说如进或远离机时的尺寸而自动调整窗口的大小。对于脚部的，希望可以利用最大限度地使用测量结果来估计其运动。如果多个测量的累积可以让我们检测不受噪声（这里可以指遮挡、腿和的二在预测的基础上，利用Mean-shift算法进行进一步的匹配。预测阶段广泛使用帧差法和Mean-shift算法对运动进行了。帧差法较适用于人的整体，人的局部部位可采用Mean-shift算法，其效果基本令人满意。在章末又对如何加强效果提出了几点设想，希望在今后进行深一基于的运动和分析，因其重要的学术价值和广阔的应用前景，人机交互、虚拟现实、体育运动分析、动画和游戏、临床医学诊断、鉴本课题重点研究了基于的骨架提取和的方法主要完成了以下(1)目标的检测。在中运动的是我们感的目标，所以如何实时，(2)骨架和特征点的提取。的骨架和特征点包含来的重要信息，视频的信息的量是很大的骨架和特征点的提取不仅可以减少信息的，的运动。的运动已成为计算机视觉研究的热点话题之一，它已经应用于安防机器人等领域的要具有实时性和精准性实时性就是计算机处理的速度快精准性突出的是尽量减小的误差这两方面依赖于硬件和软件的支持。本文分别运用帧差法和n-hift算法进行。境的多变复杂，而且本身的运动也是难以预测的。要想得到更完善的效果，(1)复杂背景下目标的检测。本文实验环境是比较理想的，而实际当境现复杂背景下目标的检测。(2)的。目标的检测和的是关的，检测的好坏影响着的的效果，同时的运动时无规律的，目前的算法也只能在一定的希望在今后对基于特征点或骨架的与分析进行系统的学习和研究(3)建模问题。不同间身体结构、外形、衣着等差异使得形状的精确建模非常，而身体模型也会直接影响的精确性。[1]WangLiang,HuWeiming,TanTieniu.Recentdevelopmentsinhumanmotionysis[J].PatternRecognition,2003,36(3):585-601.[2].基于序列的骨架提取与三维重建[D].大连：大连理工大学[3]Hilton.ModelingPeopleTowardVision-BasedUnderstandingofa’sShape,Appearance,andMovement.ComputerVisionandImageUnderstanding,2001,Vol.81:pp227-230.ThomasB.Moeslund,ErikGranum.ASurveyofComputerVision-BasedHumanD.M.Gavrila.Thevisualysisofhumanmovement:asurvey[J].ComputerVisionandImageUnderstanding,1999,Vol.73,No.1,pp82-98.elasticmotion[J].ComputerVisionandImageUnderstanding,1998,Vol.70,No.2,J.K.Aggarwal,Q.Cai.Humanmotionysis:areview[J].ComputerVisionandImageUndetstanding,1999,Vol.73,No.3,pp428-440.挺，，.运动图像序列的二维运动骨架重建[J].计算机辅助设计与图形学学报，2000，12(4):245-250.，，.单目中无标记的运动[J].计算机辅助设计与图形学学报.2005,17(9):2033-2039.，，，史操.适用于单目的无标记三维运动[J].计算机辅助设计与图形学学报2008,20(8):1047-，挺，.基于模型的运动[J].计算机研究与发展.1999,36(10):1268-1273.徐恩平.基于序列的运动功能分析[D].：华技大学.运动的方法与实验研究[D].大连：大连理工大学，博士MoeslundT.B.,GranumE..MultipleCuesusedinmodel-basedhumanmotioncapture.IEEEInternationalConferenceonAutomaticFaceandGestureRecognition,2000,Page(s):362-367.Chung-LinHuang,Chung-ChinLin.Model-basehumanbodymotionysisforMPEGIVencoder,Proceedings.InternationalConferenceonInformationTechnology:CodingandComputing,2001,Page(s):435-439.YamamotoM.,OhtaT.,YamagiwaT.,YagishitaK.,YamanakaH.,OhkuboN..Humanactiontrackingguidedbykey-frames,Proceedings.IEEEInternationalConferenceonAutomaticFaceandGestureRecognition,2000,Page(s):354-361.SongY,GongcalvesL.,DiBernardoEetal.Monocularperceptionofbiologicalmotion-detectionandlabeling.In:TheProceedingsoftheSeventhIEEEInternationalConferenceonComputerVision.Corfu,Greece:1999,805-812.CaiQ.,AggarawalJ.K.Trackinghumanmotioninstructuredenvironmentsusingadistributed-camerasystem.IEEETransactionsonPatternysisandMachineInligence,1999,21:1241-1247..基于的运动技术研究[D].湖南：湖南大学，.运动二维特征点检测与三维重建[D].大连：大连理工大学，RemagninoP,TanT,Multi-agentVisualsurveillanceofdynamicscenes[J].ImageandVisionComputing,1998,16(8):529-532.MaggioniC,KammererB.GestureComputer:History,DesignandApplications[M].ComputerVisionforHuman-MachineInction.Cambridge:CambridgeUniversityPress,1998.吴江琴，高文.基于DGMM的中国手语识别系统[J].计算机研究与发展2000,37(5):551-[24]J.G.Jeon,K.T.Park,Multi-targettrackingsystemusingtexture[C].ProceedingsoftheSPIE-TheInternationalSocietyforOpticalEngineering,1997,3034:229-236.[25]PavlovicV,RehgJ,ChamT-JandMurphyK.AdynamicBayesiannetworkapproachtofiguretrackingusinglearneddynamicmodels[J].IEEEInternationalConferenceonComputerVision,Corfu,Greece,1999,94-101.[26].基于图像的运动目标检测与算法研究[D].大连：大连理大学，[27]ALipton,HFujiyoshi,RPatil.Movingtargetclassificationandtrackingfromreal-time[C].In:ProcIEEEWorkshoponApplicationofComputerVision,Princetion,NJ,1998:8-14.[28]MittalA,ParagiosN.Motionbasedbackgroundsubtractionusingadaptivekerneldensityestimation[J].ComputerVisionandPatternRecognition,2004(4):302-309.[29]HaritaogluI,HarwoodD,DavisLS.W4:Realtimesurveillanceofpeopleandtheiractivies[J].IEEETransactionsonPatternysisandMachineIn 2000,22(8):809-[30]，，方.一种实用的背景提取和更新算法[J].厦门大学学[31]RitaCucchiara,CostantinoGrana,MassimoPiccardietal.ImprovingShadowSuppressioninMovingObjectDetectionwithHSVColorInformation.IEEEInligentTransportationSystemsConferenceProceedings,2001:334-339.[32].数字图像处理[M].：电子工业TanTN,SullivanGD,BakerKD.Model-basedlocationofroadInternationalJournalofComputerVision,1998recognition:22-KollerD,DaniilidisK,NagelH-H.Model-basedobjecttrackinginmonocularimagesequencesofroadtrafficscenes[J].InternationalJournalofComputerWrenC,AzarbyejaniA,DarrellT.Real-timetrackingofthehumanbody.IEEETransonPatternysisandMachineInligence,1997,19(7):780-785.McKennaSetal,Trackinggroupsofpeople,ComputerVisionandImageUnderstanding,2000,80(I):42-56.ParagiosNandDericheR.Geodesicactivecontoursandlevelsetsforthedetectionandtrackingofmovingbojects.IEEETransPatternysisandMachineInligence,2000,22(3):266-280.PeterfreundN.RobusttrackingofpositionandvelocitywithKalmansnakes.IEEETransPatternysisandMachineInligence,2000,22(6):564-569.20101220116月初在此首先我要感谢信息学院丁永生教授和教授在毕业设计期间对我别安排博士和学长具体指导我的毕业设计在我对设计课题方向还不明确，不知如何下手，感觉重重的时候，郝老师一方面为我详细讲解课题内容，使在此我还要感谢同学他也在百忙之中抽取时间帮我准备了课题的运动序列中关键动作姿态的提，从中提取出关键动作姿态，这对的的复原重现，人体动作的识别，行为的理解等有很大的帮助。本提出了一种利用2D信的候选者中筛选出精炼的关键姿态。实验说明了本文方法非常有效。，1动作姿态的分析对行为理解是非常重要的一步目前对动作分析的研究已经做出了很大的努力[1-4]。将动作分割成图