（电路与系统专业论文）基于CCD摄像机的举重运动分析系统的预处理及研究[电路与系统专业优秀论文].pdf

广西师范大学硕士学位论文 基于c c b 摄像机的举重运动分析系统的预处理及研究 广西师范大学物理与信息工程学院2 0 0 2 级 电路与系统专业计算机图像处理 研究生：伍尤富导师：王修信副教授 摘要 近年米，人体运动分析成为图像处理利计算机视觉领域中的热门课题，它包括人体运动 蚓像序列中的检测、识别、跟踪、三维重构，并对其行为理解和描述，有着广阔的应用前景。 2 0 0 8 年，举行瞩目的第2 9 届奥运会将在我国的首都北京举行。为了举办一届历史上最 出色的科技奥运北京市提出了“数字奥运”的新概念。如何科学地指导、顺练运动员成为 一个重要的课题。运用人体分析系统处理的是由c c d 摄像机摄入的视频图像序列，首先经 过背景去除，把所研究的人体目标从图像中提取出来，然后采用关节点跟踪算法对运动人体 的关肯点进行跟踪，最后把关节点在图像序列中的二维坐标进行三维重构，用所获得的三维 数据进行人体运动的分析。 本文以立体视觉测量原理为基础，利用普通的c c d 摄像机为基础测量工具，建立三维 测量系统。首先论述了运动的分析的基本原理和方法，及举重运动的数字图像的采集和数据 平滑、增强，摄像机标定，关节点三维坐标的获取。在三维重构过程中摄像机标定是一个极 其重要环节在摄像机标定过程中，参考了研究员张正友提出的一种可行、简易标定方 法，通过非线性优化算法，我们可以精确地计算出每个摄像机的参数。然后根据这些参数和 运动员关节点的二维坐标，利用最小二乘法计算出人体各关节点的三维坐标。： 关键词：计算机视觉，运动分析，人体模型，三维重构，摄像机标定，立体视觉。 r e s e a r c ha n dp r e t r e a t m e n to f a n a l y s i ss y s t e mo n l i f t e rb a s e do nc c dc a m e r a g r a d u a t es t u d e n t ：w uy o u _ f u a d v i s o r ：a s s o c i a t ep r o f w a n gx i u _ x i n c o l l e g eo f p h y s i c sa n di n f o r m a t i o ne n g i n e e r i n g , g u a n g x in o r m a lu n i v e r s i t y a b s t r a c t i nr e c e n ty e a r s ，k i n e t i ca n a l y s i sb e c o m e sm o r ei m p o r t a n ti ng r a p h i cm a n a g e m e n t a n dc o m p u t e rv i s u a l ，i tc a nd e t e c t ，i d e n t i f y ，t r a c ep e r s o n sa n d3 dr e c o n s t r u c t i o nf r o m k i n e t i cp i c t u r e sa n dp e r s o n sm o v e m e n t t h ef a m o u so l y m p i cg a m e sw i l lb eh e l di n2 0 0 8i nb e i j i n g ，t h ec h i n e s ec a p i t a l ， t oh o l dam o s te x c e l l e n to l y m p i cg a m e so fs c i e n c ea n dt e c h n o l o g y , n u m e r i c o l y m p i cg a m e s ，an e wc o n c e p t ，w a sp r o p o s e d i tb e c o m e sav e r yi m p o r t a n tt h i n gt o s u p e r v i s ea n dt r a i nt h ea t h l e t e ss c i e n t i f i c a l l y k i n e t i ca n a l y s i ss y s t e md e a l sw i t h p i c t u r e ss h o tb yc c dc a m e r a s a f t e rr e m o v i n gb a c k g r o u n d ，u s i n gj o i n td e t e c t i n g a l g o r i t h mt od e t e c tj o i n t sa n dr e c o n s t r u c t i n gj o i n t s c o o r d i n a t e so ft w od i m e n s i o n si n t h r e ed i m e n s i o n ss p a c e p a r a m e t e r sg o ta r ea p p l i e di nk i n e t i ca n a l y s i s a c c o r d i n gt o t h ep r i n c i p l eo fs t e r e ov i s i o n ，t h i s p a p e rp r e s e n t s at h r e e d i m e n s i o n a lm o v e m e n tm e a s u r e m e n ts y s t e m ，b a s e do nc c dc a m e r a s f i r s to fa l l ，t h e p a p e rd i s c u s st h ep r i n e i p l ea n dm e t h o do f t h ek i n e t i ca n a l y s i s ，c o l l e c t i o no f t h ek i n e t i c i m a g e s ，s m o o t h i n go ft h ek i n e t i ci m a g e s ，e n h a n c e m e n to ft h ek i n e t i ci m a g e sa n d c a m e r ac a l i b r a t i o n c a m e r ac a l i b r a t i o ni sav e r yi m p o r t a n tp a r ti n3 dr e c o n s t r u c t i o n i nc a m e r ac a l i b r a t i o n ，r e f e rt ot h er e s e a r c h e r - - z h e n g y o uz h a n gw h o p r o p o s ea f l e x i b l en e wt e c h n i q u et oe a s i l yc a l i b r a t eae a n l e r a ，b yan o n l i n e a rr e f i n e m e n tw ec a n o b t a i ni n t e r n a la n de x t e r n a lp a r a m e t e r s t h e nw ec a nf i g u r eo u tt h e3 dc o o r d i n a t e so f h u m a nk e yp o i n t sb a s e do nt h e i r2 dc o o r d i n a t e s ，t h ec a m e r a sp a r a m e t e r sa n dt h e m a x i m u ml i k e l i h o o de s t i m a t i o n ( m l e ) a r i t h m e t i c k e yw o r d s ：c o m p u t e rv i s i o n ，m o t i o na n a l y s i s ，h u m a nm o d e l ，3 dr e c o n s t r u c t i o n ， c a m e r ac a l i b r a t i o n ，s t e r e ov i s i o n i i 广西师范人学硕士学位论文 第一章绪论 1 1 课题研究的目的和意义 近年来，人体运动分析成为图像处理和计算机视觉领域中研究的热点，包括人体运动的 检测、识别、跟踪、三维重建并对其行为理解和描述，人体运动分析系统将实现真实地观察 运动员瞬时的姿态、各关节点的位置和运动轨迹，输出任意时刻运动员各关节的位移、速度、 角速度等运动数据，便于进行量化分析，结台人体生理学、物理学原理，研究改进的方法， 使体育顺练摆脱纯粹的依靠经验的状态，进入理论化数字化的时代。还可以把成绩差运动员 和优秀的运动员的动作捕捉下来，对他们的动作进行对比，纠正不规范的动作，继而保持合 理的动作，对帮助顺练提高运动水平有益，达到辅助顺练的目的嘲。例如，悉尼奥运会游泳 池壁内配置有功能十分优良的高速摄像设备，可对运动员的全程动作跟踪拍摄，实时处理， 为诊断技术动作、优化技术方案和模拟最佳动作提供了科技支持。测试设备精度之高，已达 到令人惊讶的程度，科学技术正在帮助人们不断跨越人类的运动极限。 另外，人体运动分析在医学领域中一直以来扮演着十分重要的角色，对运动康复医学中 的用药剂量和康复运动轨迹分析，可促进病人早日康复，例如小儿麻痹症的运动分析可改进 治疗。在智能监控领域中，人一直是监控的重要的对象。这一领域中对于人的运动分析，主 要山于两类需求，一类是要求能够及时检测到场景中人的出现，消失等事件，诸如机场等公 共场所中的安全检查中需要对出现的人进行捕捉与跟踪定位，由此可以进行诸如定位人的头 部的工作，以便为接下来所进行的面相识别等工作作好铺垫。另一类则需要对人的特定活动 加以识别，例如在停车场中，将某些人的特定活动如来回徘徊等，视为可疑活动进行识别， 以加强安全监控的效果。在该领域中其他诸如百货商场，交通管理等应用场合中也需要对人 体运动进行有效监控。 2 0 0 8 年我国将举办举世瞩目的第2 9 届奥运会，为了举办一届历史上最为出色的科技奥 运，北京提出了“数字奥运”的新概念。运用计算机分析运动员的运动信息来提高运动成绩 愈发显出其重要性。因此人体运动分析系统对运动的深入理论分析和求得最佳的运动技术有 极好的效果，其完成后的应用前景十分广阔，倔其研究的难度极大，到2 0 0 1 年为止在我国 体育界完整且成功的研究仅上海交通大学洪嘉振教授，对腾空运动取得了可应用的成果。 1 2 人体运动分析系统 人体运动分析系统处理的是由摄像机摄入视频图像序列，首先经过图像预处理( 图像平 滑和增强处理) 、背景去除，把所研究的人体目标从图像中提取出来，然后采用关节点跟踪 】 第一章绪论 算法对运动人体的关节点进行跟踪，最后把关节点在图像序列中的二维坐标进行三维重构， 用所获得的三维参数进行人体运动的解析。 利用图像序列进行人体运动的跟踪与分析包括三个基本内容：( 1 ) 从复杂背景中提取运 动人体：( 2 ) 人体关节点的跟踪与标定；( 3 ) 人体运动的三维重构与解析。其中人体关节点 的跟踪与标定是人体运动的分析过程的关键，是进一步进行人体运动解析的基础，c c d 摄 像机是对物理世界进行三维重构的一种基本的测量工具，c c d 摄像机所获得的三维物体是 以像素为单位的，如何确定物体的三维空间坐标和二维图像的对应关系是摄像机标定工作所 要解决的问题。无附着物运动人体关节点跟踪的通用方法是在跟踪前确定图像序列的第一帧 的人体关节点的位置，然后由人体运动的连续性确定后续图像序列中的人体关节点的相应位 覆。首帧人体关节点的位置的确定大致可分为两种方法：一种方法是手工标注关节点”，这 种方法关节点位置的标定比较准确，但自动化程度不高；另一种方法是根据人体特征来确定 人体的并个部位，虽然能部分实现自动化，但是部位的标定不够准确。在人体运动跟踪和三 维重构阶段，有基于模型的方法和非基于模型的方法。基于模型的方法是先建立人体的三维 模型，将模型与图像序列第一帧的人体匹配，在后续帧的跟踪中可以在限制人体运动参数的 条件下采用卡尔曼滤波方法估计后续帧中的人体运动参数，然后通过调整人体模型使模型与 后续帧中的人体匹配，最终构造出人体运动的模型序列。非基于模型的方法事先不用建立人 体模型，而是根据人体运动呈现的几何、纹理、色彩等信息，采用模板匹配的方法确定后续 帧的人体运动矢量。此外，在对人体运动的观察时可以采用单目视觉“”和多目视觉 l o - 1 1 】。 单目视觉只用一台摄像机摄像，标定简单，计算量小，但是对人体复杂运动的跟踪和自遮挡 问题无法准确处理；多目视觉利用设置在不同方位的多台摄像机拍摄人体运动，然后利用多 组图像序列重构人体关节点的三维位置，能够较好的解决复杂人体运动跟踪和自遮挡问题。 该摄像系统是基于多目视觉系统，采用了两台摄像机从不同角度拍摄人体运动视频图 像，计算出人体各个关节点的三维坐标。 1 3 该课题在国内外的发展情况 在人体遥动分析方面，国内外的很多科学家已进行了大量的研究和探索，对人体运动分 析提供了很火的帮助。以下是三个具有代表性的研究成果【”】： ( 1 ) 美国公司a r i e ld y n a m i c s 研制的艾里尔运动生物力学分析系统广泛应用在竞技体育 运动和康复医疗领域； ( 2 ) 德国s i m im o t i o n 录像解析系统是基于w i n d o w s 操作系统的运动录像分析系统，可 应用于体育，运动医学，人机工程和动画制作等领域的2 d 和3 d 运动数据的采集和分析。 2 广西师范人学硕士学位论文 ( 3 ) 北京爱捷人体信息研究开发的一套体育运动图像分析系统爱捷运动图像图形测 量分析仪。该系统可以计算出运动员在顺练比赛中的运动参数( 坐标、距离速度、相对距离、 相对速度、角度、角速度等) ，并可以将图像和数据叠加的形式反馈给教练员和运动员。国 内有多家单位采用此系统。 这些系统的价格一般比较昂贵，而且存在一些问题或缺点： ( ”均未采用中国人的模型来计算相关数据，入人体各环节质心、人体重心等； ( 2 ) 显示效果一般为简单的线图框图，而没有真实的人体模型，不够直观； ( 3 ) 重构出的三维模型姿态不可修改编辑： ( 4 ) 所采用的框架安装和使用不够方便； ( 5 ) 人体关节点的识别完全靠人工，劳动量巨大。 1 4 课题的来源论文的组织结构 本课题来源于广西教育厅科研项目。 本论文的主要工作是对立体视觉系统中的摄像机进行了标定，在此基础上完成了举重 运动员主要关节点三维坐标参数的计算，此前也对运动图像进行预处理( 图像平滑，增强， 背景去除) 。 本论文的各章节主要内容如下： 第一章 围绕本论文所研究的内容，对本课题研究的目的和意义，人体运动分析系统及其在 国内外发展情况作了简要介绍。 第二章介纠了运动分析的基本原理和方法。 第三章对运动图像进行了预处理，主要对图像进行滤波、增强、静态背景去除。 第四章利用传统摄像机标定方法对摄像机标定，为了保证标定结果的精确度，采用非线性 优化算化计算得到标定所需要的参数。 第五章详细地介纲了三维重构的几种常用方法，并根据摄像机标定的结果，计算出了运动 员主要关节点的三维坐标。 第六章对本论文的工作进行了总结，并对今后的工作进行了展望。 广西师范人学硕士学位论文 第二章运动分析的基本原理和方法 2 1 引言 人类对运动的分析、理解、跟踪与控制的要求是迫切需要，是对运动物体的分析，得到 重要参数后反过来再去控制运动物体，这在许多领域是一项关键的技术。分析物体的运动一 般是先摄f 运动物体的序列图像，再用动画技术回放出来，这样便于分析和研究。 2 2 1 三维运动的分析 图2 2 1 物体的三维逛动和成像平面 设o x y 是物体空间位置坐标系，o a t 是图像平面，为f 焦距。从图2 2 1 中可以看到， 物体点p 从时刻f “1 的位置 “1 ，y “1 ，z k - i ) 运动到时刻，的位置 ，y ，z k ) 的三维空间 运动，它在d 耵二维图像平面上显示为从( “1 ，y “1 ) 位置运动到( ，y ) 位置，其位移 量为( x ，a y + ) ，时间间隔为a t 2 ，把空间坐标系中物体的速度记为( “，v ，w ) ，图像平 面上物体图像相应位置的速度记为( u ，矿) 2 ，那么它的大小和方向分别为 i u ，y ) l = 【( z ) 2 + ( y ) 2 f 矿= t g - ( t ) ( 2 - 2 - 1 ) “y 分别表示速度在z 和y 方向的分量，我们称( u ，y ) 为物体点p 的瞬时位置速度。由公 式( 2 - 2 1 ) 可知，在f 一定的情况下求速度可转化为求位移量，因此求瞬时位置速度的关键 是求( a x ，a y ) 。 第二章运动分析的基本原理和方法 如图2 2 1 所示，由中心投影关系可得如下关系式 x ：f x _ z y ：f y z ( 2 2 2 ) 空问物体点p 在时刻f “位于( x “1 ，y “1 ，z k - i ) ，到时刻f 运动到( x ，y 。，z ) ，其位移量 是( a x ，心) 。亦即 x = 一+ a x y = y 一1 + 衄 z i = z k - i + a z 由公式( 2 2 - 2 ) 和公式( 2 2 3 ) 得到 肚掣a z = 芝华z：卜1 +卜1 + z ，t ：丛! ! ：! 墅2 ：! ：! ! ：! ! ! 生 1 z 一1 + z z 一1 + 舷 因此，若记 ；：三缸，：丝 缸f 缸，：堕v ，：垒 a z 7 比 我们可以推得物体空间平移与图像平面上平移之间的基本方程 麟：一x k ：磐；! ：尘 z 。一1 + a z y = j ，一y 。= f i a y 了i - j y f k - l a z = a x7 一x o f 2 2 - 3 1 ( 2 - 2 - 4 ) ( 2 _ 2 5 ) ，i l ，：，1 ( 2 - 2 - 6 ) a y 一y 一1 酉干广 如果我们已经求得图像平面上物体在( x ，y ) 位置的( a x ，a t ) ，由公式( 2 2 6 ) 可知 出，衄和z “1 是未知数。下面分两种情况讨论 ( 1 ) z = 0 由公式( 2 - 2 6 ) 可得 6 广西师范大学硕士学位论文 z 一1 a x a x = ， z k - i 】， v = 7 f ( 2 - 2 7 ) 其中f 为摄像机的焦距，是已知数，如果知道物体上的任意一点与摄像机的距离z ，由a x y 就能确定xt y 的值，从而得到平移速度。 ( 2 ) a z 0 由公式( 2 - 2 6 】，令 ，：a y ：a yr - y k - i a xh x l x “ ( 2 - 2 8 ) 在f “1 图像平面上，取两个点( x l ，) 和( 爿2 ，墨) ：它们对应于同一运动物体上的两个空间 物体位置。( j t ，e ) 和( x 2 ，l ) 在图像平面上的位移分别为( 必。，i ) 和( 脯2 ，匕) 。由 公式( 2 - 2 - 8 ) 得到： 解公式( 2 2 9 ) 得到 一 y 一j 】： j 馘。呶一x 、 一y 一 。猷、呶f x 、 血，：墨二兰墨二堡墨 一吒 缈，：盥二垒兰垒竖二互2 1 一也 得到( 血，缈7 ) 以后，由公式( 2 2 6 ) 解得 ( 2 - 2 - 9 ) ( 2 - 2 1 0 ) z k - i ：堕掣警攀一1 ( 2 - 2 - 1 1 ) + a y 这里，( “1 ，y , - i ) 和( 脯，a y ) 可取( z 1 ，r 1 ) 或( 置，t ) ，相应得位移为( a x l ，a e ) 或 ( 必：，a y e ) 的任意一个。 由式( 2 - 2 5 ) 、( 2 - 2 1 0 ) 、( 2 - 2 11 ) j 7 第二章运动分析的基本原理和方法 x ：a x a z f a y ：a y a z ， z 3z k - i a z r 2 - 2 1 2 ) 与情况( 1 ) 一样，如果知道任一点与摄像机的距离zi l i i i 确定* ，z 的值。 2 2 2 一般三维运动参数的估计 一个刚体做任意一种三维运动，都可以分解为过原点的轴旋转和平移两部分，则三维运 动可用f 式描述： x y z 女 = r 工一 y 一 z k - ： 其中，r 是旋转矩阵： r = 一la 2a 3 4 = a 2 = 4 = + 匡 n ? + ( 1 一n i ! ) c o s 0 n n 2 ( 1 一c o s 0 ) + n 3s i n 0 n l h 2 ( 1 一c o s 0 ) 一n 2s i n 0 n l n 2 ( 1 一c o s 0 ) 一n 3s i n 0 n ：+ ( 1 一n ；) c o s e n 2 n 3 ( 1 一c o s 0 ) + n is i n 0 n 3 ( 1 一c o s 0 ) + n 2s i n 0 n 2 n 3 ( 1 一c o s 0 ) 一n ls i n 0 n ；+ ( 1 - n ；) c o s o ( 2 - 2 - 1 3 ) 其中”l ，”2 ，h ，是旋转方向常数，设旋转为绕原点与q 连线的轴旋转的，则旋转轴的x ，y z 各方向的单位向量为 广西师范大学硕士学位论文 = c o s 口 = c o s 口 ( q + q ；+ g ；) z h 3 = 丛1 = c o s y ( g ? + q ；+ g ；) j 式中q 点坐标为q ( q 1 ，q 2 ，吼) ；n 1 ，n 2 ，3 称为方向余弦 n ；+ n ；+ n ；= 1 曰为两帧之间运动物体围绕过原点的轴的旋转角度。若0 很小，r 可近似地表达成 1 r = in 3 0 l n 2 0 一”3 0 1 n 1 0 ”2 0 一n 1 0 1 根据式( 2 - 2 - 2 ) 、( 2 - 2 - 5 ) 、( 2 - 2 1 3 ) 和( 2 - 2 1 4 ) - 可以得到 f 2 - 2 1 4 ) = ( - n 3 y k - i + n 2 f ，等+ 竿州等 y 。= n a o 一1 + y 一n l o z 一1 + 4 y = ( t a x k - 1 + n l f ) 等+ z k - l y ，k - 型川等 2 - 5 z = 一n 2 0 t 石一1 + n p y 。一1 + z 一1 + a z = ( 吨“奶y k - 1 ) o 尼“+ f ) 等 由式( 2 2 1 5 ) 可以推得 肚f 毒：f 坚! ：竺五0 z k - 1 ：i z k - l xj , - i 竺；山c 。 ( - n 2 x “+ 1 1 1 y “) 目z + 尼“+ ， 鲁 儿如拦竺：1 2 兰：兰垂 口。1 6 2 ( 一h 2 x “+ n a y “) 臼z + f z k l + f ) 鲁 设：妒l = n l o ，p 2 = n 2 0 ，矿3 = n 3 0 9 蒜吼 + 一研 第二章运动分析的基本原理和方法 则： c p ? + 妒；+ 妒；= 0 2 ，因此 a x = x 一x 一1 一一 f y c p 3 一( f 2 + 芹一12 ) 妒2 + x 一1 y 一1 妒1 z 一1 + f a x 一f x 一1 ( 一妒2 x 一+ 妒】y 扣1 ) z 一1 + ，2 一1 + f a y ：y 一j ，。一1 一一 一f x _ 码+ ( ，2 + y 。一1 2 ) 妒l x 2 1 y 2 1 妒2 】= 一1 + f a y 一f y 一1 ( 一妒2 x 一1 + 妒l y 一1 ) z 一1 + f 2 一。+ ， ( 2 - 2 1 7 ) 公式( 2 2 1 7 ) 就是一般三维运动估计的基本方程。在公式( 2 2 1 7 ) 中消去z “1 ，得到 a x 一x 一a x a x ( 一妒2 。r 一1 + 妒l y 一1 + f ) + f y 一1 妒3 一( ，2 + x 一12 ) 妒2 + 工一1 y 一妒j 一 妙一y “1 一y a t ( 一妒2 x 扣1 + p l y 1 + f ) + - f x 一1 妒3 + ( f 2 + y k - l * ) 妒l x 一1 y 一1 妒2 ( 2 2 1 8 ) 公式( 2 - 2 一1 8 ) 含五个未知数：妒1 ，仍，妒3 ，缸，a y 。我们至少需要物体图像上的五个 点，用上式才能解出次五个未知数，再由公式( 2 2 1 7 ) 求得z “1 。为更精确可取多丁五个点 用最小二乘法求解。 求得吼，p 2 ，妒，缸，缈和z “后，旋转矩阵r 已知，平移矩阵还要根据式( 2 2 5 ) 求 a x ：= a x a z ， 。：垒垒 7 ， z 。一= z k - i a z 通过以上两节的分析，我们知道要确定物体的三维位移向量必须已知物体与摄像机的深 度信息。不通过辅助手段，由单个摄像机是无法得到摄像机与物体的深度信息，因此无法完 全决定平移向量的大小，仅仅只能决定其方向。这一点可以直观说明如下：由于我们所知道 的只是物体上的特征点在图像上的像，因而如果物体扩大了一倍且同时远离了一倍，则其在 图像上的像是不变的，相应地原来的平移运动也增加了一倍，而所有这些在图像平面上是反 0 广西师范大学硕士学位论文 映不出米的。 在实际测量中获得物体与摄像机的深度信息一般是用下面两种手段；一是使用测距仪， 由测距仪实时提供深度信息；二是增加摄像机的数目，通过多目视觉获得物体在同一时刻不 同方向上的图像，由这些图像进行三维重构，可以得到物体的实际三维坐标。多目视觉比单 目视觉复杂得多。 2 3 运动分析的一般方法 运动分析是计算机视觉中一个特别受重视的部分，在这方面国内外进行了人量的研究并 取得了不少成果。不同时刻采集的二帧或多帧图像中包含了存在于摄像机与景物之间的相对 运动信息，这些信息表现为图像帧之间的灰度变化或诸如点、线段、区域等特征的位置和属 性的变化等。运动分析就是要从相邻的图像帧中检测出这些特性的变化从而分析出物体的真 实的三维运动情况。从利用图像桢的数量上可分为短序列和长序列分析，特别是随着今年来 硬件环境的改善，跃序列运动分析日益受到重视：从数据的维数上可分为基于二维数据的运 动分析和基于三维数据的运动分析；从分析的手段上可以分为基于时空梯度的方法、基于相 关的方法以及频率域的方法等。总的来说，运动分析的方法大体上可以分为两犬类：一类是 基于光流的运动分析技术，一类是基于特征的运动分析技术。 2 3 1 基于光流的运动分析技术 当物体在空间中运动时，将在图像空间中将引起亮度的变换。因此可以说图像空间中的 亮度变化反映了物体的运动，而光流分析正是基于这一观点而产生。 2 3 2 光流的基本概念 光流指的是图像中亮度图像的运动速度分布，用于表达由于物体运动所引起的图像亮度 的变化。光流可由下式表达为 ，= ( 砉，老 ， 上式中“，v 分别表示在x ，y 方向的速度。 2 3 3 光流的计算 光流的计算主要计算基于两种假设： 1 在一定时间间隔上亮度图案的亮度保持不变； 2 图像上的相邻点以比较一致的速度运动。 第二章运动分析的基本原理和方法 考虑到在一较小的时间间隔上，图像亮度图案的亮度不变，可以得到f 式 l ( x + d x ，y + a y ，t + a t ) = l ( x ，y ，f ) ( 2 - 3 - 2 ) 其中i ( x ，y ，t ) 表示图像的亮度是位置与时间的函数。出，咖分别表示在较小的时间间隔 d t 上点 ，y ) 的位移。将上式泰勒级数展开有 m 崩f ) + 出呈+ 出娶+ o ( a ：) ：i ( x , y , t ) o y o t 略去高阶项可得下式 一丝：堕堂+ 塑丝 8 td ta x d t 却 当取极限西 0 时，有 i f + h ix + v iv = 0 ( 2 - 3 - 3 ) ( 2 - 3 4 ) ( 2 - 3 5 ) 上式称为光流得约束方程，给出了图像梯度对于运动速度的约束关系。很显然，每 个象素只有一个约束条件，而我们要求得两个未知数，所以仅仅依靠上述约束条件还不能确 定光流。通过上面的约束方程，因此还需要附加另外的约束条件。这个问题被称为“孔径问 题”。解决这一问题就需要提供另外的条件，而一个自然的假设条件是对某个特定的物体而 言其相邻点之间的亮度变化相对较少，由此可以定义平滑性约束，用某个点与其领域的光流 值的偏筹来表征平滑性，如下式 岛= ：m 。厂2 + ( u i , j + i - - , l i , j ) 2 + ( v 。厂v + ( ) i , j + l - - v j ) 2 】 另有光流约束方程的误差 c u = ( ，“f + ，y + l ) 2 使得下| 式最小化 e = ( q + 码) i ， 可以通过下式的迭代方程得到 ( 2 - 3 7 ) ( 2 3 - 8 ) 广西师范大学硕士学位论文 “，n + l 巧一鬻以 v 。n + l 胃一衡弘 ( 2 3 9 ) 上式( 2 - 3 - 9 ) 可看作是光流约束和局部平均的共同作用结果。其中瑶，呀分别为点( i ，j ) 周 同领域的平均值。 2 3 4 光流技术的不足 虽然光流反映了物体在空间中的运动，但是它并不能反映所有的运动形式。例如考虑在 光流条件恒定不变的情况下，均匀圆球的自转运动。在这种情况下，物体虽然有运动，但是 在图像中的亮度却没有变化，也即光流无法与物体的运动相对应。另一个例子是考虑在物体 不动的情况下，照明的光源发生运动或明暗发生变化，这样势必造成图像中的亮度变化，而 物体却没有任何运动。这就也表明光流并不能完全反映物体的运动。 尽管这样，在大多数情况下光流仍然可以认为是物体运动的表征。 2 3 5 基于特征的运动分析技术 运动分析的另一类常用方法是基于特征对应的方法。从以上对于光流技术的讨论，我们 可以发现，运用光流技术需要一个基本的前提条件，即需要较高的采样率，以保证在一定的 时间间隔上，物体的亮度基本保持不变。而这一要求对于许多实际应用的场合下，很难保证。 而通过对于类似人眼的高级视觉系统的研究表明，人眼可以在相当的时间间隔上通过对于空 间中的相应特征进行匹配来建立运动感觉，即可以在长距离空间中跟踪视觉目标。 因此类似的可以采用对于图像序列中的特定标记进行跟踪对应的方法来进行分析。 般而言，可以采取两个步骤：第一个步骤是在图像序列中找到相应的特征，这些特征应该具 有一定的独特性，以便区分和检测。第二个步骤是在同一图像序列中，对前一帧图像中的某 个特征，在后一帧图像中找到与之相对应特征的位置，从而完成匹配与对应。 2 3 6 特征的对应 所谓特征对应就是要在图像序列的各种特征之间建立一一对应的关系。特征对应一直是 一个非常刺手的问题。假设有图像序列共有k 帧，每帧有n 个特征，则在整个图像序列中 一共可以建立起种特征对应关系。因此这是一个组台爆炸问题。而且，如何在这么多的组合 种，选择出正确的对应结果也存在者相当的困难。另外，特征对应存在者容错性较差的问题， 第二章运动分析的基本原理和方法 当出现特征对应错误的情况下，后续图像序列的对应必将受到前面错误的影响，从而导致错 误的蔓延和扩散，影响最终结果。 由以上分析可知，解决特征对应问题必须引起某些约束机制。一般所用的约束由最大速 度约束，加速度恒定约束，运动的刚性约束等。 2 3 7 特征对应法和光流场法比较 基下光流技术的方法，义称为连续处理的方法。光流技术不需要先对图像进行特征抽取， 而是直接对图像本身进行处理。它的另一个优点是：可以求得稠密( 即图像中每一个像素) 处所对应物体的运动信息。但是在实际的应用中，光流技术存在一定的不足。首先，光流法 通常假定相邻时刻之间间隔较长的话，光流场基本方程不能成立，这种方法就不适应。其次， 由于光流场的平滑假设，使得那些原来没有速度或者速度很小的像素点受到运动目标较火速 度的影响，平均速度有所提升。第三，光流法使用的前提条件是运动目标为刚体或准刚体。 最后，由丁光学效应和成像系统硬件的影响，图像上有较明显灰度变化的区域可能不只一个， 其中有的是真实的运动目标，有的是影子，有的是噪声或光线反射引起的，这些对光流法都 会产生误差。 基于特征的方法，又称为离散处理的方法。牛 征方法无需假定相邻时刻之间的间隔很小， 它可以用于相邻两帧或三帧甚至更长时间间隔内运动的分析，这个优点使得特征法的适用性 远比光流法好。另外，特征法既适用于刚体也适于与柔性物体。当然，特征法与光流法相比 也存在不足。首先，特征法，需要对图像进行特征抽取，并在相邻时刻图像中建立特征对应， 这是一项较困难的工作。其次，使用特征法中仅能求得特征处的运动信息，其它部分的运动 信息要根据这些特征处的信息，经过一定的插值外推来求得。 在计算这些三维参数时，首先要对运动韵序列图像进行预处理( 平滑，增强、背景去除 等处理) ：摄像机的标定，特征点的三维坐标的获取，然后得到三维运动骨架序列图像。 4 广西师范大学硕士学位论文 第三章图像序列的预处理 3 1图像平滑 图像在生成和传输的过程中经常会受到备种噪声的干忧和影响，使图像质量变差。影响 图像质量的噪声种类很多，有电噪声、机械噪声、信道噪声和其它噪声等等。为了抑制噪声 改善图像质最，提高匹配的精确度，必须对图像进行平滑处理。 一般情况下，一般图像的能量主要集中在低频区域，只有图像的细节部分的能量才处于 高频，随机的脉冲干忧和其他噪声，其能量也主要集中在高频区域内。而进行图像平滑的主 要目的就是要消除或衰减图像上的噪声，即高频分量，增强低频分量，或称低通滤波。但由 丁| 在高频区域也包含着图像的细节能量，因此图像平滑处理在消除或衰减噪声的同时，对图 像的细节也有一定的衰减作用。因此在平滑噪声时应尽量不损害图像中的细节。 噪声滤除方法可大体上分为线性方法和非线性方法两类。线性方法具有数学分析简单的 优点，缺点是在滤除噪声的同时也平滑了图像的边缘，也不能完全去除脉冲噪声。因此，用 线性方法对图像进行滤波，会给匹配带来困难中值滤波是一种非线性滤波方法，它克服了 线性滤波的缺点，中值滤波是一种局部平均图像平滑处理技术，对干扰脉冲和点状噪声有良 好抑制作用，而对图像边缘能较好地保持，但是对于大面积的噪声污染，例如高斯分布的白 噪声，在均方误差准则下，中值滤波平滑噪声的能力却不如均值滤波，它对一个滑动窗口内 的所有像素进行灰度排序，用其中间值代替窗口中心像素( x ，y ) 原来的灰度。在更一般的噪 声污染模型下，当噪声污染的概率较小时，中值滤波抑制噪声的能力优于均值滤波，而当嵘 声污染的概率较大时，均值滤波抑制噪声的能力优于中值滤波 4 4 , 4 5 。 3 1 1 中值滤波 1 5 】 在一维形式。r ，中值滤波器对于给定的n 个数值缸，a 2 ，aa 。 ，将它们按照大小有序排 列。当一为奇数时，位于中间位置的那个数值称为这n 个数值中值。当h 为偶数时，位丁中 间位置的两个数值的平均值称为这h 个数值的中值，记为m e d ( a ，a 2 ，a 口。) 。中值滤波就 是一个这样的变换，图像中滤波后某像素的输出等于该像素领域中各像素灰度的中值。 m p d 表示取窗口中值，如一窗口长度为5 ，像素灰度分别为 2 5 ，1 6 ，3 0 ，1 8 ，2 8 ，则 g f = r e e d 2 5 ，1 6 ，3 0 , 1 8 ，2 8 = 2 5 若灰度级为3 0 的像素为椒盐噪声( 表现为黑图像上的白点，白图像上的黑点) ，在经过中值 第三章图像序列的预处理 滤波后即被消除( 如下图) 原始图像中值滤波后的图像 一维中值滤波的概念很容易推广到二维。这时取某种形式的二维窗口，将窗口内像素排 列，生成单调二维数据列拉。 。类似一维，二维中值滤波输出g o ，t ) 为 g ( j ，七) _ m e d a 。 一般来说，二维中值滤波比一维滤波器更能抑制噪声。二维中值滤波器的窗口形状可以 有多种，如线状、方状、十字状、圆形、菱形等( 如图3 1 ) 。不同的形状的窗口产生不同的 滤波效果，使用中可以根据图像的特点和用户的需要来加以选择。 图3 1 中值滤波器常见的窗口 3 1 2 维纳( w i e n e r ) 滤波“6 1 维纳滤波( wi e n e r 2 ) 可以实现图像噪声的自适应滤除，w i e n e r 2 函数根据图像的局部方差 来调整滤波器的输出，当局部方差大时滤波器的平滑效果较小，这种自适应滤波通常比线 性滤波的效果好，它比相应的线性滤波具有更好的选择性，可以更好地保存图像的边缘和高 频细节信息。 一般地维纳滤波器要求了解噪声的频谱密度，这种先验知识在很多情况f 都是很难做到 的，因此并不适用。但是可对像素所在的指定大小的区域作统计运算，利用所得方差和均值 6 广西师范大学硕士学位论文 作为先验知识，对图像进行处理，具体推导如下 设像素。f ，降质后灰度为2 f ，；则可得 ( 3 - 1 1 ) 其中w i ，j 是均值为0 的加性随机噪声，它的方差为仃2 。假设我们给定z f ，和噪声的统计特 性，来估计_ j 。均值墨，和方差q j ，j 可求得 2 i ，= e b “j - e i z u j _ 乏， q ，= e ( _ 一墨。) 2 = e ( 2 一乏j ) 2 j 一盯2 又一般维纳估计式为 f = w g + b 因此可设x 。的估计值叠，为 ， j = a z i + b 利用均方误差最小的最优准则 ( 3 - 1 - 2 ) ( 3 1 3 ) ( 3 - 1 4 ) ( 3 1 5 ) ，( 墨，) = 冒【( 墨。，一_ ) 2 ( 3 1 - 6 ) 应为最小。 将，( 毫，) 分别对a ，b 求偏导数，并使结果为零，可得方程组 解得到 i 型址兰：! 二虹型：o ， ( 3 1 7 ) l 型丑二坐：! 二亟塑! ：o “ 【o b i ”9 l ，j + 盯2 | 6 = 瓦0 虿2 i 整理得x f ，的估计值为 i i ：i = j i i + k ；i 心t i 一2 i i 、 ( 3 - 1 8 ) ( 3 1 9 ) 7 第三章图像序列的预处理 七“= 西万q i , j 当盯2 不知时，则以所有局部估计方差的均值代替。 ( 3 1 1 0 ) 由t o “和仃2 都是正数，因此f ，的值介于0 和1 之间a 当信噪比比较低或所取邻域 灰度变化缓慢时，q f ，相对于口2 很小。此时戽f ，“0 ，估计值置，j 就近似等丁i 。相反当 信噪比较高或所取邻域内灰度变化剧烈，即可能有边缘存在时，q ，j 远大丁- 仃2 。此时 k f ，zl ，估计值譬f ，就近似等于z ：，j 。这样就较好的满足了自适应的将信号尽可能精确的重 现出来，而噪声却受到最大抑制的要求。下面是原始图像和经过维纳( w i e n e r 2 ) 滤波处理后的 图像。 原始的图像经维纳滤波后的图像 而且基于统计特性的w i e n e r 滤波器【1 7 - 1 8 在很好的滤除加性自噪声的弼时，较好的保持了图 像的边界情况，提高了后面差分图像质量，而且运算速度快。 3 2 圈像增强 图像增强是图像处理的最基本的手段，它往往是各种图像分析与处理时的预处理过程， 幽像增强的目的，是通过对图像灰度作修正，改善图像的视觉效果，提供直观、清晰、适合 丁分析的图像。在图像信号的采集、输入等过程中，总会使得图像质量的下降，这样会增大 人体关节点的跟踪难度，比如有的图像的对比度很差，因此，需要对图像中每一个像素的灰 度进行灰度标定变换，扩大图像灰度的范围，达到增强图像的目的，便于对图像细节的分辨， 设原始图像在b ，y ) 处的灰度为f ，而改变后的图像为g ，则对图像的增强可表达为将在 ( x ，y ) 处的灰度f 映射为g ，此映射可以表示为： 广西师范大学硕士学位论文 g g ，y ) = r l 厂g ，y ) 1 ( 3 - 2 1 ) 对比度增强属于点运算，因为其增强的方式为逐点地进行运算，其结果只和此像素点的 特征有关。在图像增强我们主要用到直方图修整法。 直方图表示数字图像中每一灰度与其出现频度间的统计关系，是图像增强空域法中的最 常用、最重要的算法之一。直方图能给出改图像的概貌性描述，例如图像的灰度范围、每个 灰度级的频度和灰度的分布、整幅图像的平均明暗和对比度等，由此可得出进一步处理的重 要依据。自然图像由于其灰度通常分布在较窄的区间，引起图像细节不清楚。采用直方图修 整后可使图像的灰度间距拉开或者使灰度分别均匀从而增大了方差，使图像细节清晰，达 到图像增强的目的。直方图修整法通常有直方图均衡化和直方图规定化两类。 设，b ，y ) 的灰度范围为二和，：。( 如果每个像素是用8 位表示，那么，一般来说， f u 。= 0 ， 蚰。= 2 5 5 ) 。将直方图规定化为r 【0 ，1 j ，即 忙寿杀l c ， 一一 m