（信号与信息处理专业论文）人体目标识别及其在客流量统计中的应用.pdf

摘要 近年来，运动人体的识别在图像处理与计算机视觉等领域引起了许多学者的 关注。运动人体的识别包括四个基本步骤：( 1 ) 从背景中提取运动目标；( 2 ) 从 运动目标中分割出入体目标：( 3 ) 提取运动人体目标的特征决策向量；( 4 ) 利用 分类器进行识别。其中，运动人体目标特征向量的提取是识别的关键。本文通过 对运动人体目标空域和变换域各类特征的研究，提出了傅立叶描述子、类圆形半 径等目标轮廓特征，长宽比、占空比、圆形度等目标区域特征以及图像的颜色、 纹理等多个特征，通过实验对其进行筛选，最终以分类效果较好的方式将有效特 征组合起来，形成一个决策向量，用来进行识别。 本文对人工神经网络的选择进行了大量的实验，根据分类结果，最终选择使 用误差反向传播的三层前馈网络，利用l e v e n b e r g - m a r q u a r d t 训练算法实现神经 网络的分类功能，本文还利用规则化调整方法对网络的泛化能力进行了增强。 在前人工作的基础上，作者应用本文中的算法实现了个实时客流量统计系 统。客流量统计系统是自动记录客流情况的系统，可以为商家的经营和管理提供 准确的数据作为参考。该系统通过摄像头、计算机和图像采集卡等专业设备将商 场门口的客流情况捕获下来，转换成数字图像序列，利用图像处理知识提取出图 像序列中的运动目标块。通过提取人体目标的决策特征向量，利用人工神经网络 分类，识别出是否为人体目标并判断目标的数量。 本文的算法经过实验验证，具有较高的理论意义和实用价值，在实验室环境 中记录结果显示，该算法的绝对准确率达9 8 以上；在多个商场及学校等人流密集 的环境中测试结果显示，该系统的平均准确率可达9 7 左右，显示了较好的统计准 确性和鲁棒性。 关键词：图像识别：运动人体：客流量统计系统；人工神经网络 a b s t r a c t r e c o g n i t i o no fm o v i n gh u m a nb o d yh a sb e e nr e c e i v i n gi n c r e a s i n ga t t e n t i o nf r o m r e s e a r c h e r si nt h ef i e l d so fi m a g ep r o c e s s i n ga n dc o m p m e rv i s i o nr e c e n t l y r e c o g n i t i o n o f m o “n gh u m a n - b o d yi n v o l v e sf o u rm a i ns t a g e s ：( 1 ) m o v i n go b j e c t ss e g m e n t a t i o ni na c o m p l e xs c e n e ；( 2 ) h u m a nb o d ys e g m e n t a t i o nf r o mm o v i n go b j e c t s ；( 3 ) t op r o p o s e m o 、，i n gh u m a nb o d y sf e a t u r ev e c t o r ；( 4 ) r e c o g n i t i o nb yc l a s s i f i e r a s t h eb a s eo f r e c o g n i t i o no fm o v i n gh u m a nb o d y ，t op r o p o s et h em o v i n gh u m a nb o d y sf e a t u r ev e c t o r i st h ek e yo f t h ew h o l ep r o c e d u r e i nt h i sp a p e r , b a s e do nt h er e s e a r c ho nm o v i i l gh u m a n b o d y st y p e so fc h a r a c t e r si ns p a t i a ld o m a i na n df r e q u e n c yd o m a i n v a r i o u sc h a r a c t e r s a r ep i c k e do u t ：c h a r a c t e mf o rb o u n d a r i e ss u c ha sf o u r i e rd e s c r i p t o r sa n dr a d i u so f s i m i l a rr o u n do b j e c t s ，c h a r a c t e r sf o rr e g i o n ss u c ha st h er a t i oo fl e n g t ht ow i d t h ，t h e r a t i oo fs p a c eo c c u p a t i o na n dc i r c u l a r i t y , i m a g e sc o l o ra n dt e x t u r ec h a r a c t e r s t h e s e c h a r a c t e r sa r es c r e e n e db ye x p e r i m e n t si nt h i sp a p o r f i n a l l y , ad e c i s i o n - m a k i n gv e c t o r i sf o r m e dw i t he f f e c t i v ec h a r a c t e r st or e c o g n i z e i nt h i sp a p e r , v a r i o u se x p e r i m e n t sa r ed o n et os e l e c ta p p r o p d a t ea r t i f i c i a ln e u r a l n e t w o r k s b a s e do nc l a s s i f i e dr e s u l t s ，t h r e el a y e r se l r o rb a c kp r o p a g a t i o nn e t w o r ki s s e l e c t e di nt h i sp a p e ru l t i m a t e l yu s i n gi _ e v e n b e r g - m a r q u a r d tt r a i n i n ga l g o r i t h mt o r e a l i z en e t w o r k s c l a s s i f i e df u n c t i o n r e g u l a r i 2 5 n gm o d u l a t i o ni su s e dt or e i n f o r c e n e t w o r k s a d a p t i v ea b i l i t y ar e a l - t i m ep e d e s t r i a n sc o u n t i n gs y s t e mi sr e a l i z e du s i n gt h ep r o p o s e da l g o r i t h m i nt h i sp a p e rb a s e do nt h ef o r m e rr e s e a r c h t h ep e d e s t r i a n sc o u n t i n gs y s t e mi sas y s t e m w h i c hc a nc o u n tt h en u m b e ro f p e d e s t r i a n sa u t o m a t i c a l l y i tp r o v i d e se x a c td a t af o rt h e m a n a g e r so f m a r k e t st oa d m i n i s l r a t e t h i ss y s t e mc a p t u r e sm o v i n gp e d e s t r i a n si nt h e g a t eo f m a r k e t su s i n gp r o f e s s i o n a ld e v i c es u c ha sc a m e r a , c o m p u t e ra n di m a g ec a p t u r e c a r da n ds oo n m o v i n gh u m a nb o d i e si na c o m p l e xs c e n ea r cs e g m e n t e di nd i g i t a l i m a g e su s i n gt h ek n o w l e d g eo fi m a g ep r o c e s s i n g f i n a l l ym o v i n gh u m a nb o d y ! sf e a t u r e v e c t o ri su s e di nt h i sp a p o rt or e c o g n i z ew h e t h e ri ti sah u m a nb o d ya n d # y e so u tt h e n u m b e ro f o b j e c t sb ya r t i f i c i a ln e u r a ln e t w o r k s t h e a l g o r i t h mi nt h i sp a p e r i sv a l i d a t e db ye x p e r i m e n t sa n dh a sm o r ea c a d e m i c s i g n i f i c a n c ea n dp r a c t i c a lv a l u e t h r o u g he x t e n s i v ee x p e r i m e n t s ，t h ep r o p o s e ds y s t e m e x h i b i t st h ec o l t e c tp e o p l ec o u n t i n gr e s u l t so f o v e r9 8 i nt h ee n v i r o n m e n to f l a b o r a t o r ya n d9 7 m o r eo rl e s si nt h ee n v i r o n m e n to f m a r k e t sa n ds c h o o l sw h i c hh a v e m o r ep e d e s t r i a n s t h ee x p e r i m e n tr e s u l t sd e m o n s t r a t et h a tt h i sp e d e s 撕a n sc o u n t i n g s y s t e mh a sp r e f e r a b l ev e r a c i t ya n dr o b u s t n e s s k e yw o r d s ：i m a g er e e o g a i t i o mm o v i n gh u m a n b o a r t p e d e s t r i a n sc o u n t i n g s y s t e m ；a r t i t i e i a ln e u r a ln e t w o r k i i i 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博士，硕士学位论文 = = 厶佳旦拯迟剔丛基查窒速量缝让虫笪座旦：。除论 文中已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在 文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经 公开发表或未公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：彳为锔1 御g 年多月如日 学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于：保密口 不保密口( 请在以上方框内打“”) 论文作者签名：刁易宽 导师签名： 日期：撕。佴3 月 第1 章绪论 1 1 论文课题的来源及意义 本文所研究的课题是受大连恒锐图像有限公司委托开发的产品项目并得到大 连市立项支持，主要对运动人体目标的识别问题进行研究，并应用该算法实现商 场客流量统计系统，属于数字图像处理领域的图像识别范畴。对该领域的研究具 有非常重要的理论意义和实用价值。 随着经济的快速发展，大型商场的竞争日趋激烈。只凭经验进行各种决策调 整已经跟不上时代的潮流，将信息技术融入商业经营和管理，以准确的数据为基 础进行分析和管理成为发展趋势。客流量是商场在商业运作中的一个重要因素。 强劲的客流量，一方面有传递广告的效应，另一方面也是实现巨大营业额的前提。 货币与商品的交换，需要顾客的参与，因为顾客既是携带货币的载体，同时也是 分流商品的主体。即使今天到商场的顾客没有消费，也会成为将来潜在的消费者。 但是大的客流量并不等于大的营业额，两者并不是线性的关系。如果商场的商品 定价过高或服务质量不好，就会扼制顾客的消费。一般的商业统计，没有精细分 析产生营业额的全过程，而只是看到了营业额的结果，这样就会丢掉一些商业运 作的信息。如果我们能精确地知道某个营业额是在某种客流量下形成的，就会分 析出客流量与营业额之间的关系问题。 为了获得准确的客流量数据，一些商家安排员工在一段时间内，连续地对进 入商场的顾客进行目视计数，再把全部店门的计数相加，就可以粗略地掌握商场 的客流量。但这种方法的缺点显而易见：首先，客流量密度是动态的，某一时间 段的客流量并不能代表所有时间的客流量；其次，在客流较大的时候，人工目视 计数误差很大。用这种方法得到的数据，只可以用于定性的了解，没有实际的统 计分析价值。 本文中客流量统计系统的实现能改变这一状况，它通过对商场中客流数量进行 准确、全面地统计分析，为商场经营决策者提供商业决策依据。它根据一年中不 同季节，工作曰和双休日，以及一天内不同时间里进出商场的顾客数量进行准确 的统计，从而为公司制定和调整经营策略、公关策略、促销策略、价格策略、商 品进货选择、商场布局、服务方式和内容等提供客观、科学的依据，帮助商家成 为市场竞争中强有力的一员。 1 2 人体识别领域发展的现状 图像识别一直是图像处理界很热门的研究领域。近年来，对运动人体的识别 在图像处理和计算机视觉领域引起许多学者的关注。这一领域在客流量统计、视 频会议、银行监控系统等方面具有广阔的应用前景和发展空间。 1 2 ：1 图像识别概况 图像识别，可以认为是图像模式识别，它是模式识别技术在图像领域中的具体 应用。模式识别的研究对象基本上可概括为两大类：一类是具有直觉形象的，如 图像、照片、图案、文字等等；另一类是没有直觉形象而只有数据或信息波形， 如语音、心电脉冲、地震波等等。但是，对模式识别来说，无论是数据、信号还 是平面图形或立体景物，都是除掉它们的物理内容而找出它们的共性，把具有同 一共性的归为一类，而具有另一种共性的归为另一类。模式识别研究的目的是研 制能够自动处理某些信息的机器系统，以便代替人完成分类和辨识的任务【l 】。一个 图像识别系统可分为四个主要部分，其框图如图1 1 所示： 图1 1 图像识别系统框图 f i g 1 1i m a g er e c o g n i t i o ns y s t e mf l o w c h a r t 第一部分是图像信息的获取。它相当于对被研究对象的调查和了解，从中得到 数据和材料。对图像识别来说，就是把图像信息经过系统输入设备数字化后输入 到计算机以备后续处理。 第二部分是图像预处理。预处理的目的是去除干扰、噪声及差异，将原始图像 变成适合于计算机进行特征提取的形式。它包括图像的变换、增强、恢复等。 第三部分是图像特征提取。图像特征提取是图像识别中很重要的一环，它的作 用在于把调查了解到的数据材料进行加工、整理、分析、归纳，以去伪存真、去 粗取精，提取出能反映事物本质的特征。 第四部分是分类判决。即根据提取的特征参数，采用某种分类判决函数和判别 规则，对图像信息进行分类和辨识，得到识别的结果。 1 2 2 人体识别的方法 目前常用的基于图像处理的人体识别方法一般分为单目识别、双目识别两种。 双目识别是基于计算机视觉理论，利用计算机定标获得图像的深度信息；用以进 一步识别处理。这种方法由于受其成本高，算法复杂度高等限制，在很多领域并 不适用。相比之下，单目识别的方法很多，主要包括以下几种：( 1 ) 基于人脸的 识别方法：该方法通过对人脸的眼睛、鼻子等器官的定位以及建立肤色模板进行 匹配比对，对人脸进行识别和认证团1 3 】；( 2 ) 基于头肩的识别方法：该方法是通过 投影的局部极大值提取人体的头部，根据人体学知识，取头宽度的3 倍左右作为 人体头肩模型的宽度，通过描述头肩轮廓特征对人进行识别t 4 j t 5 】：( 3 ) 基于步态的 识别方法，该方法利用傅立叶描述子对人步态轮廓图像进行描述，用步态图像的 高度比进行步态的准周期性分析，通过人走路的姿势实现对个人身份的识别和认 证f 6 】【刀。用这三类方法进行识别的图例见图1 2 ，这些方法都是针对人体的某个部 分进行特征提取，再根据这些特征进行识别的。 , i k删大量 1 ) 人脸识别图2 ) 头肩识别圈 3 ) 步态识别图 图1 2 不同识别方法例图 f j 昏1 2e x a m p l ei m a g ef o rd i 融n tr q 舀n i t i o na i 酬t l l m 针对本课题的实际情况，我们的目标是准确记录客流数量，并不需要对各个 用在于把调查了解到的数据材料进行加工、整理、分析、归纳，以去伪存真、去 粗取精，提取出能反映事物本质的特征。 第四部分是分类判决。即根据提取的特征参数，采用某种分类判决函数和判别 规则，对图像信息进行分类和辨识，得到识别的结果。 12 2 人体识别的方法 目前常用的基于图像处理的人体识别方法一般分为单目识别、双目识别两种。 双目识别是基于计算机视觉理论，利用计算机定标获得图像的深度信息，用以进 一步识别处理。这种方法由于受其成本高，算法复杂度高等限制，在很多领域并 不适用。相比之下，单目识别的方法很多，主要包括以下几种：( 1 ) 基于人脸的 识别方法：该方法通过对人脸的眼睛、鼻子等器官的定位以及建立肤色模板进行 匹配比对，对人脸进行识别和认证f 2 1 3 】：( 2 ) 基于头肩的识别方法：该方法是通过 投影的局部极大值提取人体的头部，根据人体学知识，取头宽度的3 倍左右作为 人体头肩模型的宽度，通过描述头肩轮廓特征对人进行识别【4 【5 】；( 3 ) 基于步态的 识别方法，该方法利用傅立叶描述子对人步态轮廓图像进行描述，用步态图像的 商度比进行步态的准周期性分析，通过人走路的姿势实现对个人身份的识别和认 证 【7 】。用这三类方法进行识别的图例见图1 2 ，这些方法都是针对人体的某个部 分进行特征提取，再根据这些特征进行识别的。 删灿 i ) 人脸识别图2 ) 头肩识别圈 3 ) 步态识别图 图1 _ 2 不同识别方法例图 f i g 1 2e x a m p l ei m a g ef o rd i f f e r e n tr e c o g n i t i o na l g o r i t h m 针对本课题的实际情况，我们的目标是准确记录客流数量，并不需要对各个 针对本课题的实际情况，我们的目标是准确记录客流数量，并不需要对各个 人体的身份进行详细认证以区别人与人之间的差别，而且在人流比较密集的商场 门口，从人的正面、侧面获取脸部信息、头肩部分或整个人体的轮廓都会由于人 多产生遮挡而失败，因此上面几种方法并不能满足本课题的需要。通过对实际情 况的分析，本文选择获取图像的角度为人体的正上方，即从头顶的角度进行采集。 1 3 本人主要工作 人类是一个复杂的群体，人与入之间本身有着明显的相异性：高、矮、胖、 瘦、衣服和头发的样式和颜色都不尽相同。人体在运动的过程中又会表现出各种 各样的形态，例如摆臂、抬腿、扭头等等，因此识别人体的难度非常大。由于人 体为非刚体，在运动过程中不能保证其整体的形状保持不变，这又大大增加了其 识别的难度。 本文在参考了常用图像识别方法的基础上，对人体识别进行了研究，提出了 复杂环境中基于特征提取的人体识别算法，作者还参与了商场客流量统计系统的 构建，并将本文提出的人体识别算法应用到该系统中。本系统将商场门口的客流 情况用摄像头拍摄下来，通过图像采集卡转换成数字图像序列。利用图像处理知 识对图像进行预处理，提取出其中的运动目标区域；通过大量的观察、统计和分 析，在对运动目标区域的特点进行研究的基础上，提出了人体目标的多个特征向 量，并将其以特定的方式组合起来；再运用人工神经网络作为工具对提取的特征 进行训练、分类，将运动人体目标识别出来，并判断出目标区域中的人数；根据 识别的结果，进一步进行对应目标的匹配跟踪，以实现客流数量及其运动方向的 准确统计。本人的主要工作包括以下内容； 1 查阅了大量有关客流量统计相关的中英文献和资料，掌握了客流量统计系 统当今的研究和发展情况及其应用现状。 2 研究了当今图像处理中的分割、跟踪等的常用方法，比较分析了各种方法 的优势与不足；在综合经典算法的基础上，得到了一套能够在复杂的背景环境中 提取运动目标区域的运动分割算法。 3 对图像的表示与描述方法进行了研究。利用链码、傅立叶描述子等表示方 法对目标进行了描述，并对传统的傅立叶描述子从归一化的角度进行了改进，使 其不受目标大小、平移、旋转等变化的影响。 4 4 对模式识别的方法进行了研究。其中包括特征的提取、特征的筛选、特征 向量的组合构成等，从图像的形状、颜色、纹理等方面提出了运动人体目标的多 个特征向量，对类圆形目标的形状从多个角度进行了描述，并以识别分类效果较 好的方式进行了向量的组合，得到了一个由目标的长宽比、占空比、圆形度、傅 立叶描述子、类圆形半径组合而成的决策特征向量。 5 研究了人工神经网络、支持向量机等学习机器的基础理论和使用方法。将 运动人体目标的决策特征向量送入到选取的神经网络、支持向量机等分类器中进 行学习和训练：通过对实验结果的比较，结合商场环境的实际，设计出一个符合 课题要求的人2 a * 经网络，并对其训练算法的选择、泛化能力的提高等都进行了 一定的工作，最终获得了较好的分类识别效果。 6 基于本文的算法实现了商场客流量统计系统的人体识别和计数模块。用 m a t l a b 进行了算法的实现和可用性的分析：用c 语言，在v c + + 环境下对模块 进行了设计、分析和调试，对该模块在学校、商场等客流密度较大的场所进行了 现场实验，统计分析了系统的可用性及准确率等。 第2 章复杂背景中运动人体目标的提取 提取运动目标是进行图像识别、跟踪等后续工作的前提，是至关重要的一步。 目前使用的大多数是运动分割的方法得到运动目标区域，由于商场等场所的客流 量非常大，而且环境复杂，为了能从复杂的背景环境中获得较好的i f l 标分割效果， 本文在分割目标时对目标进行了补偿填充、平滑去除噪声、目标的合并与分解等 处理，得到了比较理想的效果。 2 1 运动目标区域的分割 运动分割是提取运动人体目标的第一步操作，也是对目标识别、分类和跟踪 等后期处理非常关键的步。在我们进行运动人体提取的过程中，一般我们首先 通过运动分割的方法将运动区域与背景区域分开，然后再根据不同的需要得到我 们感兴趣的目标，因此运动分割算法的好坏将直接影响到后续操作的效果。 按照不同的侧重点，运动分割技术可以分成不同的类别：按照人工参与的程 度，可以将运动分割分为自动分割和半自动分割；按照实现技术的不同，我们可 以将其分为差图像法和时间差分法两大类【引。 2 f t 基于背景建模的差图像法 差图像法是利用当前图像与静态背景图像的差分来划分运动区域的一种方 法。实现这种方法首先要选定一个没有目标的静态背景图像，用来与待处理的运 动图像差分，但是由于背景图像的动态变化，如天气、光照、影子等的影响，使 得背景的构造成为实现该方法的关键一步例。目前很多学者都就背景重建这一问题 进行了研究，提出了很多方法。经过综合比较：基于视频帧差的差图像法能够在 重建效果和算法复杂度之间得到比较好的折中【1 0 】。 假设图像序列的灰度分量为i ；( x ，y ) ，其中x ，y 表示像素位置，i 表示帧数 ( i = l ，n ) ，n 为序列总帧数，用公式( 2 1 ) 来表示视频帧差，它反映了相邻帧间 的灰度变化： 6 c 。m 。c x ，y ，= 嚣：，d = l i j + 一c x ，y ，一t ，c x ，y ，1 c z ， 其中，阈值t 用来控制去除噪声。对于位置( x ，y ) ，c d m i ( x ，y ) 表示了在位置 ( x ，y ) 处像素点沿时间轴的变化曲线，可以根据c d m ，( x ，y ) 是否大于零来将这条曲 线分段，并将其中被检测到的静止部分用集合 s ( x ，y ) ，1 jsm ) 表示，如图2 1 所 示。其中s ，的起点和终点分别是s t j 和e n ，a 在位置( x ，y ) 对应的 s j 的集合中， 选择最长的静止分段并记录该分段中点的对应帧号为m ( x ，y ) 。第m ( x ，y ) 帧处的点 用来填充视频背景中的相应位置【1 1 1 ，用式( 2 2 ) 来表示。 图2 1 ( x ，y ) 像素点沿时间轴的变化曲线 f i g 2 1c h a n g eo f p i x e l ( x ，y ) i na x i so f t i m ec h a r t m ( x ，y ) = ( s t ( x ，y ) + e n ( x ，y ) ) 2 b ( x ，y ) = i ( x ，y m ( x ，y ) ) ( 2 2 ) ( 2 3 ) 其中，s t ( x ，y ) 和e n ( x ，y ) 是对应于最长静止分段的起点和终点，b ( x ，y ) 为重 建的视频背景，用公式( 2 3 ) 求得。 在实际应用中，本文选择了i 的最大值为l o 帧，以降低算法复杂度和运行时间。 例如在十帧之内第3 、4 、5 、6 、7 帧均为静止帧，则将当前的背景用第5 帧的图像 来替换。 2 1 2 基于时间的三帧差分法 时间差分法是在连续两帧图像间采用逐个像素的时间差分及阈值化来提取图 像中的运动区域，假设图像序列的灰度分量为i ( x ，y ) ，其中x ，y 表示像素位置， i 表示帧数( i _ 1 ，n ) ，n 为序列总帧数，用公式( 2 4 ) 来表示相邻帧的帧差，它 反映了相邻帧间的灰度变化： j 。( x ，y ) = 1 。1 , d d t t ，d = l i “( x ，y ) - i i ( x , y ) i ( 2 - 4 ) 其中，t 是用来判断运动区域的闽值。当差值大于阈值t 时则认为该点为运 动区域中的点，否则认为是背景。这样即通过前后两帧图像的运动趋势，将大致 运动区域提取出来了。 这样得到的运动区域会比实际的大，为了得到更准确的运动区域，本文采用 了三帧差法，即对相邻三帧中前两帧和后两帧分别提取运动区域，再对两个结果 取公共部分，即为中间帧的运动区域，可用公式( 2 5 ) 表示： b w = 。一l i - i lr 、1 ，。一，。l ( 2 5 ) b w 表示中间帧图像的运动区域的二值圈，f 。，、，f + 。分别表示连续的三帧酎像， 算法原理示意图如图2 2 所示，图2 3 是基于三帧差分法提取运动区域的效果图。 图2 2 三帧差分法示意图 f i g 2 21 1 1 f e ef - - a l l ed i f f e r e r t , c ea l g o r i t h mc h a r t 1 ) 第一帧灰度图像2 ) 第2 2 帧灰度图像3 ) 第三帧灰度图像 4 ) 1 ) 与2 ) 差分结果图5 ) 2 ) 与3 ) 差分结果图6 ) 4 ) 与5 ) 重合部分图 图2 3 三帧尊法运动分割图 f i g 2 3i m a g ef o rm o v e m e n ts e g m e n t a t i o nb yt h l e ef r a m ed i f f e r e n c e 2 2 运动目标区域的补偿填充 由于人是非刚体，在运动的时候身体的某个部位可能没有发生运动，这样在 进行帧差的时候，没有发生运动的部位就检测不出来。这样很容易产生些空洞， 导致目标不完整，为了对这些空洞进行补偿填充，本文采用了种子填充算法。 2 2 1 种子填充算法理论基础 种子填充算法是图形学中的一种算法：首先假定目标部分的轮廓是封闭的， 在区域内预先设置一个种子像素，然后以该像素为起点开始搜索与种子点相邻且 位于轮廓线内的点。如果相邻点不在轮廓线内，那么就到达轮廓线的边界；如果 相邻点位于轮廓线之内，那么这一点就成为新的种子点然后继续搜索下去，搜 索方法分为四邻域搜索和八邻域搜索两种【1 。 2 2 2 种子填充算法的实现 假设填充前图像中背景部分和空洞部分均为0 ，目标部分为l ，如图2 4 中i ) 所示。理论上应该首先在目标部分设置一个种子点，但是由于各帧图像目标位置 的不确定，所以选取种子点的难度相对较大，为了避免在整个图像中进行频繁的 重试找种子点，本文对算法进行改进：由于图像边缘处一般情况下均为背景，困 此本文首先在图像边界位置选择一个种子点，然后进行八邻域搜索，将是背景的 部分全部设置为2 ；为了确保全部的背景点都被搜索到，本文进行两次这样的授索： 一次的起点在图像的左上角，另一次的起点在图像的右下角。这时只剩中间的空 洞部分为0 ，将是0 的空洞点全部设置为i ，再将是2 的背景点全部设置为o ；这 样目标部分为1 ，背景部分为0 。这种方法可以有效地将凸形目标区域中的空洞填 充好【“i 。 1 ) 填充前图2 ) 填充后图 图2 4 种子填充算法的效果图 f i g 2 4s e e df i l l i n ga l g o r i t h mi m a g e 2 3 运动目标区域的平滑去噪 由于实际的环境非常复杂，在检测出运动区域后，运动区域的轮廓不平滑， 图像中也会有较多的噪声，为了解决这些闻题，本文考虑使用平滑滤波器对其进 行处理。 平滑滤波器的作用是对图像进行模糊处理和减小噪声。其中模糊处理是使图 像更加平滑，减少突起部分。平滑滤波器一般分为线性空间滤波器、统计排序滤 波器等几类。线性空间滤波器的输出是包含在滤波掩模邻域内像素的简单平均值， 这种处理减小了图像灰度的“尖锐”变化。主要用于处理由于灰度的尖锐变化形 成的舆型随机噪声。统计排序滤波器是一种非线性的空间滤波器，它的响应基于 图像滤波器包围的图像区域中像素的排序，然后由统计排序结果决定的值代替中 心像素的值。最常见的统计滤波器是中值滤波器，它是将像素邻域内灰度的中值 代替该像素的值，对处理椒盐噪声非常有效。 由于我们要处理的是二值的运动区域，使其更 加平滑，去除其附带的噪声点，这些噪声都是以黑 白点的形式出现在图像中的，因此联想到中值滤波 器。根据中值滤波器的原理，在二值图像中可用掩 模内多数像素点的值( o 或1 ) 代替中心像素的值。 例如图2 5 所示：掩模内有5 个l 和4 个0 ，则中 心点的值将被设置为1 。这样对图像进行平滑处理， 去除噪声，经过中值滤波器平滑处理前后的效果如图2 6 所示。 1 ) 原图 图2 ，5 滤波器掩模 f i g 2 5f i l t e rm a s k 2 ) 平滑处理前圈3 ) 平滑处理后图 图2 6 平滑处理效果图 f i g 2 6s m o o t h i n gi m a g e 2 4 运动目标区域的合并 在提取运动区域时存在下面这种问题：由于部分目标区域运动后灰度变化不 大导致在运动目标提取时丢失部分区域，而产生一些小块的目标，这样将严重影 响目标提取的准确性。因此我们需要对图像中本来是一个整体的多个运动区域进 行合并。因此本文考虑选用形态学运算对目标区域进行处理。 图像处理中的形态学是借用数学形态学作为工具，从图像中提取对于表达和 描述区域形状有用处的图像分量，对于处理图像有着非常重要的作用。形态学处 理主要包括：腐蚀、膨胀、开、闭运算、细化，粗化，骨架等操作。腐蚀在形态 学运算中的作用是消除物体边界点。膨胀运算就是把图像周围的背景点合并到物 体中。在腐蚀和膨胀两个基本运算的基础上，我们可以构造出形态学运算族，它 由上述两个运算的复合和集合操作( 并、交、补等) 组合成的所有运算构成。其 中最为重要的两个组合运算是形态学开运算和闭运算。 对图像x 及结构元素s ，x o s 表示用s 对x 进行开运算，x s 表示用s 对x 进行闭运算，则它们的定义如公式( 2 6 ) 、( 2 7 ) 所示： x o s = r xe s ) e s ( 2 6 ) x s = f x o s le s ( 2 7 ) 其中，x s 表示用s 对x 进行腐蚀，x o s 表示用s 对x 进行膨胀。因此， 开运算可视为对腐蚀图像用膨胀来进行恢复。而闭运算可看作对膨胀图像用腐蚀 来进行恢复。 为了实现目标合并，将小块目标重新合并到运动区域中，本文选择运用闭运 算，将断开的几个部分连接在一起，结构元选择正方形的结构元。经过闭运算处 理前后的效果如图2 ? 所示。 1 ) 原图 2 ) 台并前图3 ) 合并后图 图2 7 图像区域合并效果图 f i g 2 7r e g i o nc o m b i n a t i o ni m a g e 2 5 运动目标区域的分解 通过对我们采集图像的观察研究发现，大多数情况下人们都是各自行走，并 没有手牵手或其他接触，理论上提取出来的运动目标部分也应该是一个一个独自 行走的人。但是在实际图像中提取运动目标块时，很多情况下都把多个人分割在 同一个目标块中，这给识别并记录准确的人数带来了很大的困难。产生这种情况 的主要原因有两个：一是因为运动分割时阈值的确定是一个折中的过程，是在尽 可能多的提取运动目标并且尽可能少的提取其他干扰噪声的基础上选择的一个 值；二是由于运动会产生阴影，这些阴影也会跟随人起运动，这样就使人与人 连同之间的阴影一起整个被提取出来而无法分开。如果能够将本来就独立的单个 人在提取运动目标时就被分割出来，将为后续识别带来很大的好处。因此我们希 望将各个目标从整个运动区域中分解出来。本文考虑使用彩色信息和投影进行进 一步分割。 2 ，5 1 刹甩彩色信息进行目标分解 颜色是一种简化目标和分类的重要描述子，具有非常丰富的信息量。为了降 低运算量，增加分割的准确性，我们在基于灰度信息进行运动分割的基础上，对 面积大于一定阈值的运动区域再利用彩色信息重新进行分割。 对颜色的应用依赖于所用的彩色模型，彩色模型的用途是在某些标准下用通 常可按受的方式简化彩色规范。本质上，彩色模型是坐标系统和子空间的规范。 位于系统中的每种颜色都用单个点来表示。现在使用的彩色模型有很多种，这主 要是由于彩色科学是一个包括许多应用场合的很宽的领域。大部分的数字图像都 采用r g b 彩色模型来表达，因为这种模型比较直观。也有其他更接近于人的主观 判断的彩色模型。如h s v 、h s i 、c 埘，c l i 【y k 等等【15 1 。 如果希望基于彩色信息分割一幅图像，会很自然地首先想到h s i ( 色调、饱和 度、强度) 空间，因为h s l 模型具有很多优点。它的亮度分量和色度分量是分开 的，即1 分量与图像的彩色信息无关，且h s i 彩色模型与人类感知有良好的相容 性，因为人类的视觉系统容易区分色度，而对于不同亮度和饱和度的感知并不意 味着对不同颜色的认识。 对任何3 个归一化到 0 ，1 范围内的r g b 值，其对应h s i 模型中盼h 、s 、1 分量可用式( 2 8 ) 、( 2 9 ) 、( 2 1 0 ) 表示。 h = s - 卜志g m i ( r + g + b ) ( r + + b ) 、7 ( 2 9 ) i ：f r + g + b ) 3 ( 2 1 ( 1 ) 因为在h s i 模型中，仅有h 向量代表彩色信息，所以我们利用h 分量值选取 一定的阈值进行分割【16 1 。 虽然在h s i 空间的工作更加直观，但在分割领域，经过实验发现用r g b 彩色 向量得到的效果更好。因此本文考虑利用r g b 向量进行分割。 一 r g b 模型是最常用的模型之一。国际照明委员会( t i e ) 在t 9 3 1 年规定红、绿、 蓝三种基色的波长分别为7 0 0 n m 、5 4 6 i n m 、4 3 5 8 n m 。r g b 模型可以建立在笛卡尔 坐标系里，其空间是个正方体，如图2 8 所示。 图2 8r g b 模型图 f i g 2 8r g bm o d e l 在归一化的单位立方体中，所有的r 、g 、b 值都在 0 ，1 之间。原点对应黑 色，离原点最远的点对应白色。在模型中，每幅彩色图像包括三个独立的基色平 面，使用起来比较方便。 在r g b 模型中，设i r ( x ，y ) 、1 6 ( x ，y ) 、i 。( x ，y ) 分别为图像( x ，y ) 点像素的r 、 g 、b 分量值，本文计算目标区域的各点同邻域点的r g b 分量的梯度& ( x ，y ) 、 民( x ，y ) 、晶( x ，y ) ，如公式( 2 1 1 ) 、( 2 1 2 ) 、( 2 1 3 ) 所示： 1 4 氐( x ，y ) = ( i r ( x ，y ) 一l r x + a ，y + b ) ) 1 r ( x ，y ) 皖( x ，y ) = ( i g ( x ，y ) 一i o ( x + a ，y + b ) ) i o ( x ，y ) 磊( x ，y ) ；( i b ( x ，y ) 一i b ( x 十a ，y + b ) ) 1 b ( x ，y ) 其中，一1 s a s l ，一1 b 1 。 ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) 如果梯度大于一定的阈值，则认为是边缘点，如图2 9 中3 ) 所示。对图像作 腐蚀运算，从边缘处将目标和背景分开，将如图2 9 中4 ) 所示图中面积小于一定 阈值的小块删除，再对剩余的部分进行膨胀运算，最后进行平滑滤波处理，经过 这样一系列的处理得到一个比较好的分割效果图，图2 9 给出了彩色分割的整个 过程。 1 ) 彩色原图2 ) 利用灰度提取运动目标3 ) 利用彩色信息获得目标边缘 4 ) 利用腐蚀算法将目标与5 ) 去除背景部分小块荠膨胀6 ) 平滑处理得到分割结果圈 背景分开成原来目标的大小 图2 9 利用彩色信息进行分割效果图 f i g 2 9i m a g ef o rs e g m e n t a t i o nb yc o l o ri n f o r m a t i o n 2 ，5 2 利用投影进行目标分解 通过对分割出来的目标图像进行观察和分析发现，人体基本都呈现出以下特 征：每个人的头部均突出于身体部分；同时两个人相连的部分多是由于阴影而产 生的，一般会比人的身体部分窄。根据经验，按照人主观的判断，基本可以将每 个突出的部分看作是一个人的特征，而将比较窄的部分视作两个人连接的部分。 因此考虑引入投影，以显示图像在水平和垂直两个方向的像素数量，一个峰值代 表一个人，一个谷值代表两个人的一个分界点，当谷点值小于一定闽值，认为此 处为分割点，由此将目标分为两部分。 投影可以直观地表示出图像在某个方向上像素点数量的多少，根据前面对分割 后图像特点的分析，每个人体都有一个突出的头部，增加了图像在该位置的目标 点数，而两个人之间相连接的部分比目标的其它部分窄，表现为该位置图像的目 标点数较少【1 7 l 。因此本文在图像的水平和垂直两个方向得到两个投影，通过投影 中峰值数来判断目标数量。 当曲线谷点处的值小于一定门限值时，以该点作为分割点将目标分割开，图 2 1 0 所示为运动目标块中有两个、三个人情况下，利用水平、垂直投影进行分割 的效果。虽然不能完全按照实际情况将多个人分开，但也基本符合要求，适合使 用。如果曲线谷点处的值不小于门限值，则不能保证此处一定是两个人的交界处， 因此不做处理，直接在后面进行识别。这样可以解决一部分目标连接问题，减少 识别产生误差的可能，在一定程度上提高了总体的识别准确率。 1 6 1 ) 两目标图像的水平投影2 ) 两目标图像的垂直投影 3 ) 两目标原图4 ) 利用投影分割两目标图像 5 ) - - - - - 目标图像的水平投影6 ) - - 目标图像的垂直投影 7 ) - - 三目标原图 8 ) 利用投影分割三目标图像 图2 1 0 利用投影分割目标效果图 f i g 2 1 0i m a g ef o rs e g m e n t a t i o nb yp r o e c t i o n 2 6 分割刚体目标 通过对商场实际环境的观察和研究发现：在商场中有很多客人推车、提购物 筐、搬箱子等的情况。因为这些东西所占的体积很大，而且也是随人一起运动的， 所以会一起被当作人体目标提取出来。这会