（光学工程专业论文）基于视频序列的人体行为识别研究.pdf

重庆大学硕士学位论文 中文摘要 摘要 人体行为识别是人工智能领域的一个重要分支，近年来受到机器视觉领域 研究者的广泛关注。人体行为识别包括从视频序列中抽取相关的视觉信息，并 用一种合适的方式进行表达，最后解释这些信息以实现识别和学习人的行为， 研究人体的行为模式将为人们的生活带来全新的交互方式。目前，人体行为识 别的研究进展比较缓慢，有待于进一步研究学习。 本文以图像处理、图像分析理论为基础，对国内外关于人体行为识别领域 的相关算法进行了研究和改进。分析了运动目标检测领域比较常用的差图像法 和自适应高斯背景建模法，针对差图像法精度不高、高斯背景建模法背景更新 速度太慢的缺点，提出了一种利用向量线性相关性质检测运动人体的新方法。 该方法根据同性象素线性相关、异性象素线性无关的性质，计算参考帧和待测 帧对应向量矩阵的w r o n s k i a n 行列式。当计算结果大于设定阈值时，即判断 所在向量中心为运动目标点；反之为背景点。与差图像法和高斯背景建模法相 比，该方法算法简单，检测结果精度高。设计了一套预处理流程消除杂散噪声 和人体倒影，利用形态学算子消除图像杂散噪声，并提出利用镜面对称能量最 小法则消除人体目标由于地面倒影而引起的形状“畸变”。图像经过这样预处理 后，能有效提取出目标边缘特征的傅立叶描述符和目标轮廓特征的骨架描述符。 对于傅立叶描述符，采用屏蔽直流分量、归一化交流分量的方法进行优化，能 有效降低目标平移、缩放对特征识别带来的影响。对于轮廓特征的骨架描述符， 设计了两种数据结构存储骨架描述符的进一步抽象信息，包括记录头、手、脚、 胸、胯的坐标，计算头一胸、手一胸、胸一胯、脚一胯的距离以及它们与水平 方向的夹角。根据计算出的距离和夹角建立人体行为的事实、规则数据库，通 过谓词演算、演绎推理进行人体行为识别。分别采用改进欧氏距离判别式和基 于自然语言的专家系统对目标特征进行匹配，取得了初步进展。 使用c 语言编写目标检测、特征提取阶段的算法程序，并在m a t l a b 上进 行仿真实验；使用v i s u a lp r o l o g 语言编写人体行为识别专家系统，初步实现了 识别人体行为的目标。实验结果表明，所建立的边缘和轮廓特征数据库能够在 最少数据库样本的条件下就能达到识别人体行为的目的。 关键词：行为识别，傅立叶描述符，骨架描述符，专家系统，v i s u a lp r o l o g 重庆大学硕士学位论文 英文摘要 a b s t r a c t r e c o g n i t i o no fh u m a nb e h a v i o rp a t t e r nw h i c hi s a ni m p o r t a n tb i f u r c a t i o no f a r t i f i c i a li n t e l l i g e n c eh a sb e c o m et h er e s e a r c he m p h a s i so fm a c h i n ev i s i o na r 髓i n r e c e n ty e a r s r e c o g n i t i o no fh u m a nb e h a v i o rp a t t e r nc o n t a i n sd e t e c t i o no fa n i m a t e d o b j e c t sf r o mv i d e os e q u e n c e ，t h ef e a t u r ee x t r a c t i o nf r o mo b j e c t sa n dc o m p r e h e n s i o no f t h e s ei n f o r m a t i o nt or e c o g n i z eh u m a nb e h a v i o r s a u t h o rf i r s t l yp r o p o s e dan o v e ld e t e c t i o nm e t h o du s i n gv e c t o rd e p e n d e n c et h e o r y t or e s o l v et h ed i s a d v a n m g eo fi m a g e sd i f f e r e n c ea n da u t o a d a p tg a u s sb a c k g r o u n d m o d e l i n gr e s p e c t i v e l y t h i sp a p e rd e s i g n e dap r o c e s s i n gp r o r e d u r et oe l i m i n a t en o i s e s a n ds h a p ed i s t o r t i o nd u et os h a d o we f f e c t a f t e rp r e p r o c e s s i n 岛f o u r i e rd e s c r i p t i o n f r o mo b j e c tb o u n d a r ya n ds k e l e t o nd e s c r i p t i o nf r o mo b j e c ts i l h o u e t t ea l ee x t r a c t e d f o r t h ef o u r i e rd e s c r i p t i o n , t h i sp a p e re l i m i n a t e st h ed cc o m p o n e n ta n dn o r m a l i z et h ea c c o m p o n e n t st or e d u c et h ee f f e c tf r o me x c u r s i o n , z o o m f o rt h es k e l e t o nd e s c r i p t i o n , t w od a t as t r u c t u r e sa r ed e s i g n e dt os t o r ea b s t r a c ti n f o r m a t i o ne x t r a c t e df r o mt h e s k e l e t o nd e s c r i p t i o n , w h i c hi n c l u d e st h ec o o r d i n a t e so f h e a d ，a r f n ，c h e s t , c r o t c h , l e ga n d d i s t a n c e sb e t w e e nh e a da n dc h e s to ra n l la n dc h e s to rl e ga n dc r o t c ha n ds oo n a c c o r d i n gt o t h e s ef a c t s ，ae x p e r ts y s t e mb a s e do nn a t u r a ll a n g u a g ei sb u i l dt o r e c o g n i z eh u m a nb e h a v i o ru s i n gp r e d i c a t e sd e d u c t i o n t h e f e a t u r e se x t r a c t e df r o m o b j e c tb o u n d a r ya n ds i l h o u e t t ea r em a t c h e du s i n go p t i m i z e de u c l i dd i s t a n c ej u d g m e n t a n de x p e r ts y s t e mb a s e do nn a t u r a ll a n g u a g er e s p e e t i v e l y ，t h a th a v eg e tp r i m a r yr e s u l t s a l lt h ea l g o r i t h m sa b o u ti m a g er e c o g n i t i o ni nt h i st h e s i sa r ep r o g r a m m e dw i t hc ， a n de x e c u t e di nm a t l a b t h ee x p e r ts y s t e mi sc o n s t r u c t e dw i t hv i s u a lp r o l o g l a n g u a g e t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ed a t a b a s eb u i l do nf o u r i e rd e s c r i p t i o n a n ds k e l e t o nd e s c r i p t i o nc a nw o r ko na sf e w e ra sm o d e ls a m p l e s k e y w o r d ：a c t i o nr e c o g n i t i o n , f o u r i e rd e s c r i p t i o n , s k e l e t o nd e s c r i p t i o n , e x p e r t s y s t e m , v i s u a lp r o l o g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重鏖太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：j 矽禹签字眺洲7 年多月午日 学位论文版权使用授权书 本学位论文作者完全了解重废太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重庆太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在上述一个括号内打“4 ”) 学位论文作者签名：扛嘉 导师签名： 签字日期：山衫年占月牛日签字日期：工唧年月日 重庆大学硕士学位论文l 绪论 1 绪论 1 1 研究背景和意义 人们在相互交流过程中，除了使用语音交流夕卜，还常常借助于身体语言， 即通过身体的姿态和动作来表达意思，这就是所谓的人体行为交互。人体行为 表达不仅能够加强语言的表达能力，有时还能起到语音所不能起到的作用。对 人机行为模式识别是计算机通过定位和识别人体，跟踪人体肢体运动，从而理 解人体的动作和行为，并做出响应的智能反馈过程。人体行为模式的识别过程 包括目标的检测、目标特征的提取、特征模式的匹配，这一过程需要图像处理、 模式识别、人工智能等领域的相关理论知识来支撑。图像处理主要包括图像分 割、边缘提取、频域的增强、变换、噪声的去除、特征提取等：模式识别主要 包括设计各种分类器和建立p r o l o g 数据库49 1 。 研究人体的行为模式将带来全新的交互方式。计算机通过用户行为能够预 测用户想要做什么来满足用户的需求。如：计算机跟踪人们的视线，就能决定 用户的意图，是想要浏览网站还是需要打电话等；可以开发一种智能游戏，机 器可以对玩家的动作进行识别，从而让玩家身临其境的进入游戏场景，摆脱了 以往必须通过游戏手柄操纵游戏人物的限制；在银行、机场、政府大楼等对安 全比较敏感的场所，还可以使用智能视觉系统进行辅助监控，对一些具有安全 隐患的人或事件提前发出预警。 1 2 人体行为识别的研究现状及发展趋势 1 2 1 研究现状 近年来，国内外在人体运动分析方面开展的研究很多，也取得了一定的进 展，特别是在人体运动跟踪方面，取得了显著的成果。如i s m a i lh a r i t a o “们开发 的矽4 模型不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实 现多人的跟踪，并可以分析人是否携带物体、放置物体、交换物体等简单行为。 英国雷丁大学n ”开展了对车辆和行人的跟踪及其交互作用识别的相关研究。国 内发展比较前沿的主要是清华大学的视觉研究组和微软亚洲研究院视觉计算研 究组，其中微软亚洲研究院视觉计算研究组2 1 在人脸识别、指纹识别方面的研 究处于国际领先水平。然而，在人行为识别与理解方面的进展却相对较小，这 其中既有机器视觉本身存在的固有原因。也有今年来研究工作的侧重点和方向 问题。 重庆大学硕士学位论文 1 绪论 目前人体行为识别的研究主要有头部运动、手运动、步态m 。1 7 1 等，匹配主 要使用模板匹配法和状态空间法。模板匹配方法先将图像序列转换为一组静态 形状模式，然后从给定的序列图像中提取相关特征，并和预先存储的行为模式 进行比较，其优点是计算代价低，但对运动持续时间的变化和噪声比较敏感。 状态空间法把每一种静态姿势定义为一种状态，这些状态通过概率联系起 来，由静态姿势所组成的任何运动序列可以看成是这些不同状态之间的次遍 历过程，在遍历过程中计算联合概率并将最大值作为行为分类的标准。 近年来，采用状态空间法开展人体行为识别的研究较多，但是越来越多的 研究者把目光投向了使用自然语言对人体的静态姿势定义，通过谓词演算的方 式进行行为识别的方法。该方法通过合成简单事件来自然地表达客观世界中具 有复杂时空关系的一般事件；根据运动物体的属性直接定义原子事件；具有连 续性的一系列原子事件形成了一个事件线程，定义为单线程组合事件；具有时 间、空间以及逻辑关系的一系列事件组合成为多线程事件。采用这种方法建立 起一个透明的层次事件结构，这种层次化的事件结构表达方式形成了事件的自 然语言描述。 1 2 2 发展趋势 人体行为识别本质上是一个人工智能问题，涉及图像处理与分析、机器视 觉、人体生理学、人体运动学、模式识别、人工智能等多学科领域的知识。对 计算机来说，即使现代的计算机硬件技术非常先进，具有远远超过人类的海量 存储和高速运算能力，但在处理识别与理解的问题时却显得力不从心。实际上， 目前人体行为识别与理解仍集中于人体标准姿势、简单行为的识别与理解，近 年来利用机器学习工具构建人体行为统计模型的研究已有了一定的进展，但行 为识别仍处于初级阶段。 研究人体行为识别技术的难点在于特征选择和机器学习。要在选取合适的 特征和达到一定的识别准确度之间进行折衷，一种更好的办法是定义一个动态 的特征模型，借鉴人类的学习、识别与理解机理。总之，人体行为识别与理解 技术的未来发展趋势是如何借助先进的视觉算法和人工智能等领域的成果，将 现有简单的行为识别与语义理解推广到更为复杂场景下的自然语言描述，努力 建立一个能够不断积累知识、丰富经验、具有自主学习能力的实时系统。矿4 1 3 本文研究的主要内容 本文主要的研究内容有五个部分： 分析运动目标检测领域比较常用的差图像法和自适应高斯背景建模 法，针对差图像法精度不高、高斯背景建模法背景更新速度太慢的缺点，提 2 重庆大学硕士学位论文 1 绪论 出一种利用向量线性相关性质检测运动人体的新方法。 设计一套预处理流程消除杂散噪声和人体倒影，利用形态学算子消除 图像杂散噪声，并提出利用镜面对称能量最小法则消除人体目标由于地面倒 影而引起的形状“畸变”。 研究目标边缘特征的傅立叶描述符和轮廓特征的骨架描述符的提取、 优化和表达。对于傅立叶描述符，针对目标平移、缩放对特征识别带来的影 响，采用屏蔽直流分量、归一化交流分量的方法进行优化；对于骨架描述符， 针对传统骨架形态学算子会产生“伪分支”的缺点，使用变形模板生成骨架描述 符的方法。 研究使用模板法对边缘特征的傅立叶描述符进行匹配，并给出初步的匹 配结果；设计两种数据结构，存储进一步抽象后的轮廓特征信息，初步构建基于 自然语言的人体行为模式专家系统。 进行各阶段算法的实验研究。 3 重庆大学硕士学位论文2 运动目标的检测 2 运动目标的检测 2 1 引言 视频序列包含的信息比静止图片多得多。对于一段视频序列来说，其中的 一幅图像只能提供运动物体在某个瞬间的快照，而一段由若干图像组成的视频 序列则能展现运动的整个过程。 在图像的处理分析应用中，检测运动目标并估计运动轨迹是一个重要研究 方向。本文研究的参考背景局限于室内环境，和室外环境相比，其环境变化要 小得多，检测算法的设计也相对简单。运动目标的分析识别建立在运动目标被 可靠提取的基础上，要求提取的目标具有完整的轮廓，能反映出人的基本形态 特征。这就要求设计的算法能有效地提取视频序列中的人体目标。 2 2 差图像法 在运动目标检测的诸多算法中，差图像法最简单、最直观。它直接对视频 序列中相关的两帧图像进行差分比较，若比较结果的绝对值大于预设阈值，即 判定该点为运动目标点；反之为背景点。 假设时刻背景参考图像为f ( x , y ，) ，在时刻f ，时图像f ( x ，y ，t a 中出现了 人体目标。根据差图像法，图像f ( x ，y ，r ，) 中对应运动点的灰度值将大于设定阈 值r ，如公式2 1 。 加矗芝虢u 汀l 泣- ， t 为预先设定的灰度阈值。当图像差值d 。( x ，y ) 的值大于设定阙值时，令图 像的点仅，y ) 处的灰度值为l ，经过差图像法后的图中所有值为1 的点集组成了 运动目标。 检测过程中存在两个问题：一是目标的重叠部分无法被检测；二是处理后 的图像中检测存在较多的伪目标点。差图像法只能粗略判断背景中的运动目标， 其检测精度不高，难以获得运动目标的精确描述，因为进一步对目标分析、特 征提取时，要求提取的目标应尽可能地接近真实目标的形状。差图像法的主要 问题在于阈值的选取，阈值选取的好坏直接影响检测的结果。本文引入概率统 计的原理减小阈值选取对目标检测的影响，对一幅灰度图像，记t h r e s h o l d 为前 景与背景的分割阈值，前景点数占图像比例为，平均灰度为巩；背景点数占 4 重庆大学硕士学位论文 2 运动目标的检测 图像比例为联，平均灰度为奶。图像的总平均灰度为：u = * u o + 弼+ u 。 从最小灰度值到最大灰度值遍历t h r e s h o l d ，当g = 氍( 砜一【，) 2 + 啊 ( 队一【，) 2 取最大值时的t h r e s h o l d 值即为分割的最佳阈值，该式实际就是类问方差值，阈 值t h r e s h o l d 分割出的前景和背景两部分构成了整幅图像，根据方差的定义，式 g = ( 砺一u ) 2 + 塌+ ( u 一( ，) 2 是灰度分布均匀性的一种度量，方差值越大， 说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目 标都会导致两部分方差变小，因此使类间方差最大的分割意味着错分概率最小。 将这一原理用于差图像法的检测阂值选取，完成两幅图像的差值运算后，运用 上面介绍的类问差分最大原理确定分割阂值可以减小阈值选取过于简单带来的 错分误差，图2 1 是使用类问差分最大原理的示意图。 图2 1 类间差分最大原理示意图 f i g2 1s k e t c ho f 2 3 自适应高斯背景建模法 自适应高斯背景建模法适用于摄像机静止、背景随时间不断更新的情况。 首先建立参考背景的高斯分布参数模型，通过比较参考帧和待测帧的象素分布 确定变化较大的运动区域。该方法能获得运动目标区域的完整的轮廓，但在实 际应用中需要对背景模型不断更新以适应环境的变化。 按处理的视频类型，高斯背景建模法可分为单模态高斯参数模型和多模态 高斯参数模型。前者适用于灰度图像，可以用单个概率分布模型来描述；后者 的分布则比较分散，需要多个分布模型来共同描述。本文只对单模态情形下的 背景模型加以说明和讨论。 5 重庆大学硕士学位论文 2 运动目标的检测 2 3 1 单模态高斯背景模型 在背景图像的参数估计算法中，统计在一段较长的时间段内视频序列图像 中每一象素值的均值胁和方差爵，将由胁和西组成的具有高斯分布的图像 作为初始的背景估计图像： 岛= e m ，引 ( 2 2 ) 如果静止的场景中发生了光照改变，或是某个长时间静止的物体开始移动， 则图像中对应于该物体未移动前位置的象素点将被认为是前景点，这将在后期 目标跟踪中产生累积性的错误，从而要求高斯模型能够响应这些变化，即要求 利用视频序列提供的信息对背景模型的高斯分布参数进行更新。 完成背景估计图像的初始化后，随着每一帧新图像的到来，为了不断自适 应地更新背景图像的高斯分布参数，引入一个表示背景参数更新快慢的常数一 参数更新率p ，参数更新率p 的大小直接决定了检测的结果。 背景模型高斯分布参数的更新可表示为： 麒= ( 1 一p ) “一l + p z ( 2 3 ) = 0 一p ) c t i + p c ；, 一朋) 7 一， ) ( 2 4 ) 参数更新率= k r l ( zj 雠l ，q 1 ) ( 2 5 ) 其中，k 是一个 o ，l 】之间的常数，玎( zi 以i 吼一1 ) 表示均值为儿一l ，方差为0 - 2 的高斯分布的概率密度函数。 从而得到更新后的背景估计图像e ： 马= 【肛，砰】 ( 2 6 ) 完成背景图像的初始化后，对每一幅当前帧的图像进行目标检测。目标检 测主要包括变化检测、目标分割两部分。首先，利用估计的背景图像e 与当前 图像f 的差分进行变化检测，使用的检测公式如下： 风o ，y ) = 0 丑f 口o r 。e 堙g r 加o u “n ，耐d：z f t o ( x ，, j ，y ) ) - 一b e t ( ( x t , y y ) ) i ； ( 2 7 ) 其中t 是目标分割时设定的阈值，我们将在下一小节对其进行讨论。 2 3 2 单模态高斯背景模型的阈值选取方法 能否完整地将目标从视频序列图像中分割提取出来，很大程度取决于目标 检测算法检测出的前景点集是否真实可靠，所以保证日标分割质量的关键是能 否在检测后获得理想的目标背景的二值图像。帧间差分和背景消减的目标检测 算法都是通过阈值分割对差分图像进行二值化处理，从而将图像中的前景象索 点从背景象素点中分离出来，可见选取一个合理的阈值对保证二值图像的质量 是很重要的，从而也直接影响到目标分割的效果。 因此一种阈值选取方法即是按一定的方法求出满足某种条件的象素值t ， 6 重庆大学硕士学位论文2 运动目标的检测 而认定满足这个条件的t 可以作为图像二值化的一个阐值，而对于直接寻求阈 值的充分条件常常无从着手。因此常采取的措施是先寻找阙值所具有的一些性 质，即可近似地作为其充分条件的性质，再依此求出满足条件的象素值。显然 这种条件越充分，求出的阈值就越真实，于是寻找阈值选取方法就转变为分析 阕值所具有的性质。 对于单模态高斯背景模型的阈值分割，在使用背景消减法进行目标检测的 时候，我们通过统计在一段较长的时间段内视频序列图像中每一象素值的均值 z 和方差a r 2 ，以及参数的自适应更新，建立了一个具有高斯分布的图像作为背 景估计图像，利用估计的背景图像e 与当前帧图像，= 的差分检测出运动区域， 公式2 7 。 该公式说明，象素点在差分检测中的差值越大，说明比之背景估计图像的 变化越大，其作为前景点的可能性也就越大，反之，在差分检测中的差值越小， 说明该象素点比之背景估计图像的变化越小，其作为背景点的可能性也就越大。 由于背景估计图像具有高斯分布的特点，描述背景的高斯分布的均值可 以理解为背景中最稳定的值，所以，象素点比之背景模型的变化的大小，完全 可以通过该点象素值与背景高斯分布的均值之间的差值大小来反映，而标准差 盯反映这个高斯分布的宽度，差分检测中的差值与标准差盯的比较就可以说明 象素值与背景高斯分布的均值的距离大小，所以，背景高斯分布的标准差盯完 全可以作为目标分割时的闯值参考。 但是如果直接将背景高斯分布的标准差莎作为目标分割时的阈值很容易造 成检测的误差，其原因是： 用于变化检测的背景图像只是一个估计图像，不可能总是和真实背景完 全一致； 背景不可能始终没有任何变化，直接将背景高斯分布的标准差盯作为目 标分割时的阈值，就可能误把背景的扰动检测为前景。 所以，考虑到以上因素，在设定目标分害闺值的时候，必须对背景高斯分 布的标准差盯加以修正，即设定阈值t = a 盯。 墨= 器 而强鲫删 ! 脾) _ 剐而力i 加 ( 2 8 ) b a c k g r o u n d j f , f x , y ) - 蜀( 而叫五口 其中，五为一个修正标准差的常数。我们将在实验部分对五的取值进行实验分 析。 7 重庆大学硕士学位论文 2 运动目标的检测 2 4 线性相关法一w o r s k i a n 算子 2 4 1 图像向量模型和线性相关算子 针对差图像法精度不高、高斯背景建模法背景更新速度太慢的缺点，本章 提出了一种利用向量线性相关性质检测运动人体的新方法。图2 1 是图像象素点 的向量模型。 图像的每个象素和邻域的象素点构成了对应象素点的向量模型。在进行目 标检测计算时，向量模型中心所在的象素点由该点所在的向量矩阵代替。图2 1 是3 x 3 的向量模型，通常还有5 x 5 、7 x 7 的向量模型。向量模型中每一个元素代 表所在象索点的光照强度，当象素点和背景参考帧相比发生光强的变化时，对 当前帧和背景帧对应象素点的向量进行线性相关判断，由此可检测出发生变化 的前景点。 叵曰习 f 阳 胃崩 i j 【i _ j 图2 1 图像向量模型 f i g u r e2 1i m a g ev e c t o rm o d e l 启戈2 j ；假设v 是数域k 上的n 维向量空间。 孑j ，瓦) = 石 二l y ，当 且仅当t 葛= o 岛= 0 ，。n 。k ) 时，向量z l 一，石线性无关。否则 i l ，一，宏线性相关。 假设孑和p 分别是来自当前帧和参考帧的两个向量，孑，矿y 。根据定义 2 1 ，存在一个常数k ，当k 满足i k 矿= 石时，向量牙和矿线性相关。令 叉= ( x l ，矗) ，f - - o , , ，) ，由夏一k 一y = 石可得：而y l = = k 。 根据该表达式可推导出判断向量是否线性相关的判别式： 如击毙一卜= 去喜蚤 晓， 方差仃：作为检测阈值，当盯2 = 0 时，叉、彳线性相关，待测向量彳中心所在的 象素点为背景点；当盯2 0 时，叉、彳线性无关，待测向量i 中心所在的象素点 8 重庆大学硕士学位论文2 运动目标的检测 为目标点。利用向量线性相关性质有效地提高了目标检测的灵敏度，但同时也 放大了噪声。下一节将针对这一问题，介绍一种同样基于线性相关理论的算子， 该算子在不增加算法复杂度的前提下，能更加可靠地检测出运动目标。 2 4 2w r o n s k i a n 算子 针对阈值选取过于简单可能造成目标检测同时噪声也被放大的问题，通过 引入w r 0 小f s k i a n 行列式来解决这一问题。先给出两个定义。 启y cz 2 ，对于定义在区间，上的函数集合 z ( x ) ) 二，如果存在一系列不为 零的常数 t ) 二l 并且满足置，( = o ，则称函数石( 石) ，z c 砷线性相关。否 则，线性无关。 “1 启义2 了，定义w r o n s k i a n 行列式是 z ) 二1 的l 阶至n - 1 阶导数的集合。 表达式定义为： ( ：一) # 五 z 。， 刀。 z 片。 ( 2 1 0 ) 若函数集合 z ( x ) 二l 。中的每一个函数z ( x ) 在区间 口s 耳6 上都n - 1 阶 可导，则函数集合 ) w r o n s k i a n 行列式在区间ha x 口 。 ( 2 1 6 ) 由于阈值口的选取没有任何先验知识可以参考，因此同样使用2 2 节介绍的类间 差分最大原理确定口的取值。 2 5 本章小结 分析了运动目标检测领域比较常用的差图像法和自适应高斯背景建模 法，针对差图像法精度不高、高斯背景建模法更新背景速度太慢的缺点，提 出了一种利用向量的线性相关性质检测运动人体的新方法。与差图像法和高 斯背景建模法相比，该方法算法简单，检测结果精度高。 1 0 n ；旧 = t 一只 ：，； 黼 形 验 实 行进 件 条断判的 重庆大学硕士学位论文 3 目标的特征提取和表达 3目标的特征提取和表达 3 1 目标特征提取前的预处理 3 1 1 二值化图像中杂散噪声的去除 虽然使用w r o n s k i a n 算子检测的结果优于自适应高斯背景建模法，但经 过检测后的图像中人体目标的周围仍然存在不少杂散噪声和由于地面倒影引起 的形状失真，如图3 1 所示。 图3 1w r o n s k i a n 提取结果 f i g3 1r e s u l to f w r o n s k i a n d e t e c t i o n 上图中的人体目标周围存在很多杂散噪声，这些噪声影响了进一步对目标特征 的提取，因此本文设计了一个有效的预处理流程来消除这些杂散噪声，处理流 程如图3 2 所示。 霪圈圉圈 图3 2 预处理流程 f i g3 2f l o wc h f l to f i n e - p r o c e s s i n g 重庆大学硕士学位论文3 目标的特征提取和表达 膨胀和腐蚀是两个形态学中最基本、最常用的算子，它们的定义如下所示： 彳。口= 二f c 三尢n 一g a o b 斟耻4 ( 3 1 ) ( 3 2 ) a 是待处理的二值化目标，b 为一个3 x 3 的结构模板。腐蚀用来消除二值化图 像中的微粒噪声；膨胀则用来恢复目标的轮廓。图3 3 显示了经过腐蚀后的二值 化图像，图中目标周围仍然存在一些微粒噪声，但待测目标已经成为图像中的 主体部分。提取连通分量，并统计各个连通分量的象素数，判断象素总数低于 设定阂值时，认为是噪声，从图像中去除。令y 表示一个包含于集合a 中的连 通分量，并假设y 中的一个点p 是已知的，则下列的迭代表达式可以遍历y 中 所有元素： 叉j = ( 彳：。o 口) n a 七= 1 ，2 ，3 ( 3 3 ) 令蜀= p ，b 是3 x 3 的结构元素，当置= k l 时，算法收敛，程序停止运行。 图3 4 是预处理后的图像。经过腐蚀、连通分量去除、膨胀后的二值化图像除了 由于倒影引起的失真外，已经基本满足进一步分析的要求。 图3 3 经过腐蚀的图像 f i g3 3i m a g ea i t e re r o s i o n 图3 4 预处理后的图像 f i g3 4i m a g ea f t e rp r e - p r o c e s s e d 1 2 重庆大学硕士学位论文3 目标的特征提取和表达 3 1 2 目标轮廓倒影的消除 如果背景中地面光滑，待测目标常常会因为镜面反射产生倒影，从而使检 测出的目标产生形状“畸变”，为了能可靠提取目标的特征，应消除这种失真。 然而目前没有现成的图像处理算法可以使用，作者根据镜面反射原理设计了一 个简单可靠的算法来去除地面倒影带来的形状“畸变”。 通常被测目标( 人体) 总是以站立姿势进入摄像机的视野，无论人体目标 怎样移动，产生的倒影总是和人体关于地面对称。因此，本文定义能量方程 e ( x , y , g r o u n d l ，当能量方程的取值最小时，可以找到人体和倒影的对称轴。 令，( ，。，卫) ，i = 1 ，2 ，3 ，为二值图像中任意一行的象素点集，定义： = 砌 志 ( 3 4 ) g r o u n d = l ，2 ，m r o w 当e 最小值时的g r o u n d 即倒影和人体的对称轴。将对称轴以下的倒影部分全部 划入背景点集，即实现了去除倒影的目的。图3 5 是去除倒影后的二值化图像。 图3 5 倒影消除后的图像 f i g3 5i m a g ew i t hs h a d o we l i m i n a t e d 3 2 目标的边缘特征提取 3 2 1 傅立叶描述符简介 提取目标的边缘，并通过傅立叶边缘，使二维的信息转化为一维的信息可 以大大减少图像模板数据库的容量和模板匹配的时间。因此，本章研究如何提 取目标边缘的傅立叶描述符。 1 3 重庆大学硕士学位论文 3 目标的特征提取和表达 图3 6 人体轮廓坐标复数空间 f i g3 6c o m p l e xs p a c eo f h u m a ns i l h o u e t t e 如图3 6 是一个人体轮廓的坐标图，为了便于傅立叶变换，定义图3 6 的坐标 空间为复平面参考系，纵坐标是虚轴，横坐标是实轴。上图中人体边缘每一点 的( z ，y ) 坐标表示为x ( 七) = 黾，y ( 七) = 败，整个轮廓边缘表示为集合 s ( 七) = 【工( 七) ，y ( 七) 1 ，k = o ，1 ，2 ，n - i ，轮廓上每一点的坐标使用复数表达式： s ( k ) = 【工( 七) 一砟】+ _ ，陟( 七) 一k 】 ( 3 5 ) 其中t 和只分别为轮廓中心点的坐标。公式3 6 是边缘点集合的离散傅立叶变 换： 舡) 2 专荟珊x p 【一j 2 石u k n 】 ( 3 6 ) = 0 ，1 2 ，一1 n 为目标边缘点的个数。公式3 7 轮廓点集合的离散傅立叶反变换： m ) 2 萎砸) e x p 协疵】 ( 3 7 ) 抽0l j ，j k = 0 12 ，一1 由图3 6 中目标边缘上任意一点开始，按逆时针方向遍历目标边缘，记录每 个点的坐标，根据公式3 6 计算出边缘的离散傅立叶变换序列。公式3 8 是公式 3 6 的展开： s ( k ) e x p - j p = 【a x c o s ( p ) + a y s i n ( p ) 一 缸s i n ( p ) 一a y e o s ( p ) 】 ( 3 8 ) 3 2 2 边缘傅立叶描述符的提取 在进行实际的离散傅立叶变换时，采用快速傅立时变换来替代。一维d f t 所作的工作主要是把一个n 元数组a ( f ) ( f = 0 ，1 ，一1 ) 通过一种线性变 换变成另一个n 元数组x ( i ) ( f = 0 ，l 一，一1 ) 。如果直接计算全部数组元 素大约需要进行2 次乘加运算，当n 很大时计算量是惊人的。当在目标轮廓 边缘上采样2 5 6 个点，则需要进行6 5 ，5 3 5 次乘加运算；当采样5 1 2 个点时，计 算量达到2 6 2 ，1 4 4 次乘加运算。运用f f t 算法将原来的变换分解为两个变换的 1 4 重庆大学硕士学位论文3 目标的特征提取和表达 乘积，并利用三角函数的周期性质，可以把运算次数减少到的n l o g ，n 数量级。 计算离散傅立叶变换的快速方法主要有按时间抽取的f f t 算法和按频率抽 取的f f t 算法，两者的计算量差别不大，我们采用按时间抽取的f f t 算法。令 公式3 6 中i = e - 弘“，f 嘴有两个特点： 一是对称性蝶+ 儿= 一蝶； 二是周期性= 眩加+ = 阿秽”。 令目标轮廓的采样点序列的长度为= 2 7 ，其中r 是正整数，n 为合数。可 以将轮廓采样点序列分解成两部分：一是偶部分s ( 2 k ) ；二是奇部分 s ( 2 k + 1 ) ，其中k = o ，1 ，2 ，n a l 。根据上面单位根的对称性，公式3 6 可以写成： 口( ) = s ( 后y 巧袭+ 彤s ( 七罗巧绕 k = 2 1k f f i 2 t + l ( 3 9 ) = e 。) + 降篙( ) o 1 3 ) 。( | i ) 和e 出( 七) 是分别是轮廓采样点的奇序列和偶序列。由此式只能计算出 的翦个点，对于后个点，由单位根的对称性，有以下变换公式： 口( ) = f k ( ) + 降嚣f ( ) 4 + 警) = ( ) 一孵f ( ) ( 3 1 0 a ) ( 3 1 0 b ) 于是一个n 点长的序列变换就分解成了两个长为n 2 序列的变换。依此类推， 这种按时间抽取算法是将输入序列分成越来越小的子序列进行离散傅立叶变换 计算，最后合成为n 点的离散傅立叶变换。 算法的具体实现主要分为两个部分：一是输入点序列的位反转；二是蝶形 结网络计算。首先将n 个输入点序列按二进制进行编号，然后对各个编号按位 倒置并重新排序。例如对一个8 点序列变换： 0 0 1 倒置后变成1 0 0 0 1 0 - - ) 0 1 0 0 1 l- - ) 1 1 0 1 0 0 专0 0 1 1 0 1 - - )1 0 1 1 1 0 - - ) 0 1 1 1 1 1专l l l 倒置后的编号为 0 ，4 ，2 ，6 ，l ，5 ，3 ，7 ) ，然后将这n 个点的序列输入到蝶 形结网络中去，进行f f t 计算，如图3 7 所示。n = 2 点的离散傅立叶变换全 重庆大学硕士学位论文3 目标的特征提取和表达 由蝶形运算组成，需要r 级运算，每级包括 ，2 个蝶形运算，总共有( 2 ) l o g ： 个蝶形运算。f f t 算法按级迭代进行，计算公式可以写成： 巾x ( o ，) 一v lxhu。(。o： ：x 篡 ：x 篡 2 ( 3 ) 恸厂秘o ) 嘶，火之。， 两2 a + b c 而= a b c ( 3 ，1 1 ) 图3 7 蝶形结网络计算 f i g3 7p a p i l i o n a c e o u so p e r 越i o n k o ) k ( 4 ) k ( 1 ) h ( 5 ) 3 2 3 边缘傅立叶描述符的表达 由于目标轮廓的边缘是闭合曲线，因此目标轮廓的边缘点序列在遍历轮廓 边缘一次以上的情况下可以看作是周期信号，周期t 为轮廓边缘的采样点数目。 边缘的傅立叶变换序列可以分解为许多不同频率分量的谐波和。由于时域的输 入序列是一系列复平面上的点，因此经过傅立叶变换后的输出序列也是复数序 列。对经过傅立叶变换的输出序列，本文使用信号的幅值密度l x ( 厂) l 和相位谱 伊( 门作为目标轮廓的傅立叶描述符。 没有必要使用经过傅立叶变换的完整序列来表示目标轮廓的边缘特征。傅 立叶描述符的低频部分决定了边缘的形状，而高频部分决定了边缘的细节。对 于低频和高频间的频带对于匹配并没有太大的影响。将近9 5 的能量集中在序 列前2 0 和后2 0 的频段中，因此在实际的计算过程中，我们只需要记录傅立 叶变换前2 0 和2 0 的序列。例如，一个2 0 0 个点的轮廓边缘，变换后只储存 频率o 4 0 和1 6 0 2 0 0 范围的点。图3 - 8 是一个9 6 个离散点序列经过傅立叶后， a 、b 、c 、d 分别对应频率l 1 6 、l 1 2 、l 8 、1 4 经过傅立叶反变换后的图 像。 1 6 吣幻” ”吣 o ” 球环耳环距巧q琢要要 重庆大学硕士学位论文 3 目标的特征提取和表达 圆圆团圆 ( a )( c )( d ) 图3 8 不同频率范围傅立叶反变换的图像 f i g3 8i m a g e st r a n s f o r m e db yi d f tw i t hd i f f e r e n tf r e q u e n c yr a n g e 3 3 目标轮廓的骨架特征提取 3 3 1 轮廓的骨架特征概述 虽然每个正常人高、矮、胖、瘦形态各不相同，但是总体的构造却是大体 相同的。解剖学和生理学的研究表明所有的脊椎动物具有以下几个共同特征： 骨架所有的脊椎动物拥有颈、躯干、尾巴和四肢组成的骨架；器官所有 脊椎动物都可以看做是一系列器官的有机组合，而骨架则相当于器官的中轴线； 结点脊椎动物的骨骼与骨骼通过关节连接，其中铰链关节和球窝关节最重 要。铰链关节是长骨与长骨之间的连接，而球窝关节是四肢和躯干的连接。 根据脊椎动物的上述特点，将视频序列中提取出的人体目标可以表达为： 一系列基本的形状。如矩形、圆、圆柱体等。 一系列由基本形状变形后形成的变形体。 一系列连接这些变形体的语法规则。 一系列形状相似性的准则。 3 3 2 基本变形模板的构造设计 用来构造人体骨架的基本结构模板有两个：一个是被称为“蠕虫”的变形模 板，图3 8 a 、c 形象显示了“蠕虫”的特点；另一个是变形圆，如图3 8 b 、d 所示。 根据人体生理解剖学的知识，变形“蠕虫”的中轴线可用来表示人体的骨骼，“蠕 虫”两端的变形圆中心可以表示将人体各部分连接起来的节点。 m ( d ) 图3 8 “蠕虫”和基本圆的初始形状及其变形体 f 噜3 8d e f o r m a t i o np r i m i t i v e s ：w o i m & d e f o r m a t i v ec i r c l e 1 7 重庆大学硕士学位论文3 目标的特征提取和表达 “蠕虫”由一根中轴曲线和从中轴线往两边生长的“肋骨”构成，“肋骨”表示肌 肉的形状。长为的中轴线c l c 2 由厅个离散点组成，中轴线的伸长形变和弯曲形 变可由离散点的向量坐标表示为：x = ( 而，y l 一，而，儿) 。 “蠕虫”中轴线上的每个点( 五，y ) 到边缘的正交距离z 由肢体的肌肉形状决 定。为了简化模型，我们假设蠕虫”关于中轴c i c 2 对称，这样变形矩形就可以 用向量r = f ，；r 2