（系统理论专业论文）运动图像热闹度的计算及相关研究.pdf

摘要 阔像的谈别是图像斑理中重要的阿餐之，它奁模式识涮，入工鬻麓等领 域有，泛的疵臻价整。 酋先本文针对运幼物体融被检测出的二越运动图像，提出了一种计算运动 圈像热灏程度的方法。该方法蓠先采糟标记连遴蘧域的方法分截击肇个运动秘 体；然聪利用形态学方法用质点表示出单个运动物体；鹾盾提出热闹度寝示运 动图像的熟阉程度及其算法。实验臻聚表臻，计算磁鹃热闹度和实际判断出的 热闹程度基本一致。 其次，为了提供遮动图像热阚度计算的二值运动疆像，我们迸杼了送动鬻 像中运动物体检测方法的研究，提出了前尉差图像，形态学处理和定位匹配等 提应鹣处理方法，通过这些方法，实现了两帧起运动图像中起始和终运动物锩 的检测。 最鼹，铹对起始、终止遮动塑像中憨多个运动物髂必须一对废，选取获 度图像的直方图、灰发均值秘灰度均方差等特征，提出了利用棚似测度矩阵进 行运动物体越蹑浆秘方法。 关键诞：逡璐图像，运懿物体，热瓣凄，邀动物体检测，耨爨差强像， 定位匿蘸，运动耪体翡嚣靛，褐钕瓣度雉簿 a b s t r a c t i m a g er e c o g n i t i o ni so n eo fi m p o r t a n tc o n t e n ti nt h ei m a g ep r o c e s s i n g ， a n di th a se x t e n s i v ev a l u eo fa p p l i c a t i o ni np a t t e r nr e c o g n i t i o na n d a r t i f i c i a li n t e l l i g e n c e f i r 蛙，ac a l c u l a t i o nm e t h o df o rb u s yd e g r e eo fm o v i n gi m a g eb a s e d o nt h eb i n a r ym o v i n gi m a g ei nw h i c ht h em o v i n go b j e c t sh a db e e nd e t e c t e d i sp r e s e n t e di nt h i sp a p e r 。t h es i n g l em o v i n go b j e c tw a sd i v i d e df r o m t h em o v i n gi m a g ew i t ht h em e t h o do fl a b e l i n gc o n n e c t e dc o m p o n e n t s ：t h e n a p p l y i n gm o r p h o l o g i c a lm e t h o d ，t h es i n g l em o v i n go b j e c tw a sd e n o t e da d o t f i n a l l y ，b u s yd e g r e eo fm o v i n gi m a g ea n di t sa l g o r i t h mi sd e v e l o p e d e x p e r i m e n t ss h o wt h a tt h ec a l c u l a t i o nv a l u eo fb u s yd e g r e ea c c o r d e dw i t h t h ea c t u a lv a l u eo fb u s yd e g r e e s e c o n d l y ，f o rp r o v i d i n gt h eb i n a r ym o v i n gi m a g et h a ti su s e d f o r c a l c u l a t i n gb u s yd e g r e eo fm o v i n gi m a g e ，w es t u d i e dm o v i n go b j e c t s d e t e c t i o nm e t h o di nm o v i n gi m a g e ，t h e nr e l e v a n tp r o c e s s i n ga l g o r i t h m ， s u c ha sf o r w a r d r e c e d i n gd i f f e r e n c ei m a g e ，m o r p h o l o g i c a lp r o c e s s i n ga n d 1 0 c a t i o nc o r r e s p o n d e n c ee t c ，w a sr a i s e d ，t h r o u g ht h e s ea l g o r i t h m sw ec a n d e t e c ts t a r ta n de n dm o v i n go b j e c t si nt w om o v i n gi m a g e s a tl a s t ，b e c a u s em o v i n go b j e c t si ns t a r ta n de n dm o v i n gi m a g e sm u s t b ec o r r e s p o n d e do n eb yo n e ，t h ee o r r e s p o n d e n c em e t h o di nm o v i n go b j e c t s b ys i m i l a rm e a s u r em a t r i xw a sp r e s e n t e dt h r o u g hs e l e c t i n gs u c hf e a t u r e a sh i s t o g r a m ，m e a nv a l u ea n ds t a n d a r dd e v i a t i o no fg r a yi m a g e + k e yw o r d s ：m o v i n gi m a g e ，m o v i n go b j e c t ，b u s yd e g r e e ，m o v i n go b j e c t s d e t e c t i o n ，f o r w a r d r e c e d i n gd i f f e r e n c ei m a g e ，l o c a l i o n c o r r e s p o n d e n c e ，m o v i n go b j e c tc o r r e s p o n d e n c e ， s i m il a r m e a s u r em a t r i x 昆明理工大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下( 或 我个人) 进行研究工作所取得的成果。除文中已经注明弓】用的内 容外，本论文不含任何其他个人或集体已经发表或撰写过的研究成 果。对本文的研究做出重要贡献的个人和集体，均已在论文中作了明 确的说明并表示了谢意。本声明的法律结果由本人承担。 学位论文作者签名：j ( 舍功现彳杜 日 期：幽订年1 月，；日 关于论文使用授权的说明 本人完全了解昆明理工大学有关保留、使用学位论文的规定，即： 学校有权保留、送交论文的复印件，允许论文被查阅，学校可以公布 论文的全部或部分内容，可以采用影印或其他复制手段保存论文。 ( 保密论文在解密后应遵守) 导师签名：二堕墼论文作者签名：j 型釜避 日期 坚! 堕生! 目! ；旦 垦望墨三盔兰壅主篓塞兰兰壁燕塞薹煞塑堡垫璧毽鳖茎蔓墨塑塑茎 第一章绪论 1 1 引曹 数字塑像处理技术熬应用起源于2 0 世纪2 0 年代，当耐通过海底泡缆从英 国的伦教到美豳的纽约采用数字压缩技术传输了第一幅数字照片。就当时的技 拳农警来看，鲤果不鬟缝，馋一瞧霆像要义星期对惩，瑟压绻骺只器癸了3 小 时。此后，由于遥感等领域的应用，使数字图像处理技术逐步受到关注并得到 稳痊夔发震。1 9 6 4 年美嚣豹喷气接送嶷验室鲶理了太空船“舞# 继者七号”发翳 的月球照片，运标志着第3 代计算机问世后数字图像处理概念开始得到普遍戚 爱，其审魄较突出熬残藏是文瓣发餮与痤矮，获得了诺贝零奖。其嚣，数字黧 像处理技术发展迅速，目前已成为很多领域和学科的学习和研巍对象“。”。 鼗字餮豫处理技术获广义上酉看豫是各耱图像攘童菝寒豹慧称。宝毽括裂 用计算机和其像电子设备完成的一系列工作，如图像采集、获取、编码、存储 籁传输，图像鹣合成翻产生，辫像豹鼹示、绘镶l 帮输爨，鹜像燮搽、增强、恢 复和重建，特糕的提取和测量，目标的检测、表达和描述，序列图像的校正， 图像数摇库的薅立、索引、查询和抽取，图像的分类、表示和谈剐，3 d 景耪煞 重建复原，图像模型的建立，图像识别的利用和匹配，图像和场景的解释和理 解，l ! l 及基于它们的推理、判断、决策秘行为艇怒l 等蒋。 图像处理科学对人类具有爨要意义，它表现在如下三个方聪”1 ： ( 1 ) 图像怒人们从客蕊世界获取僚怠的重要来源 0 2 ，推知原因，是因为妇于要对不同大小的运动图像的热闹 凄避 簿毙较，我雷】撼淘量豹搂彝夹角的篷璇射刭区瓣【o ，l 】上，散了袈下楚理： 屹一 岛：z ) 居 所阻得到的热闹度均偏小，不过对热闹度的应用并没有太大的影响。 2 6 热闹度的预期威用领域 搴文褥爨瘸燕辫发表示遥动图像静熬阐程度，颥诗哥 ；l 琏蘑到缀多簇域，舞： 交通干道中交通状况的监控，学校中对教室状况的脓控，工厂中对流水线作业情 况的箍控，黎乱场豢豹识羽，体育画蔷静识捌等等。 1 0 基明理王太学磺蔓：研究生学位论文 避动霉缘热阚度的计算援相关研究 第三章运动物体检溅 在第二章中，运渤物体热闹度的算法是在运动图像中运渤物体酷经被检测 出来，共用不疑大小豹图形标示出来的嚣嫉二值强像熬基础上辑骰匏，两实际 中的运动图像并非二值图像，运动物体更没有被标志出来，所以我们必须避 步磅襄鲤翅褥到运动镌体已拔检测战鹣= 毽运动图像，零章羡点讨论在秀挟运 动图像中运动物体或目标的检测，这也是本文不同予目前研究的方法之处。 3 1 褶关知识介绍 农数字溜像处毽孛，蓦蓉遮魂检溯靛鼓零霹分为基于模叛粒 ( t e m p l a t e - b a s e d ) 技术和蒸于特征的( f e a t u r e b a s e d ) 技术。1 ，生要有两种 凌较常鬻魏方法：一释是塞矮静聿囊溺交诧裣翱，舅一耱是基于块器熬或巍滚方 法的运动矢爨场计算。帧间变化检测方法快捷简单，适合于运动快鼠形变较大 静运麓嚣标和辩实辩毪要求较高的反用，餐瓣有全嚣运动静场景不蕤轰按谈麓。 而运动矢量方法比较精确、静棒，给出的信息更丰寓，并可处理有众局运动的 情况，缺点楚计算需鼗更多时闻，对过于复杂和侠速静运动教栗不簸。 遮动目标检测的方法根据运动图像序列性质的不同而不同，根据背景性质 的不闻，运动目标检测可分为两大癸：一类怒静止鬻景下的运动舀标检涮；另 一类悬运动背景下豹运动目橼检测。 3 。1 1 静止鬻漾下的运动曩标检测 对于静比背景下的运动检测，完全可以采用帧间变化捡测( c h a n g e d e t e c t i o n ) 检测出运动目标，基本流程如图3 1 所永。 圈31 静l p 背簸下运动目标检测流程 昆明理工大学磺士研究生学位迨文 运动爱搬熟辫度的量 葬盈相关研究 3 1 1 1 鸷景恢复 视频序捌帧闻矮有很强盼裙关性，利用多帧信怠进抒分柝，w 以根据各个 坐橱出像素值在整个序列巾的统计绥息对遮动场景钓背景进行恢复。 定义图像序列为l ( x , y ，1 ) ，其中x ，y 表示空闻坐标，f 表示帧数i 一( 1 ) ，n 为序列总帧数。膨捌的亮度分量为f y ，0 ，视频帧差( c h a n g ed e t e c t i o n m a s k ，c d m ) 反应了相邻帧竞闻的灰度变化： c d m ( , , y 加长瓣蠢一阪嘲夸乇的，翻 嘏1 ) 其中，溺毽t 被磊来去狳臻声。黠强定憋坐标傻鐾国y ) , c d m 国y ，0 ，鞋 表泳为帧数i 的函数，它记漾了在位置o ，y ) 处像素点沿时间轴的变化曲线。根 据c d m 国y ，i ) 是器丈予0 将该夔线分段，弗将其巾旋检测爨豹等予0 戆部分震 集合乜“y 姐主，赋肘j 袁示，s i 的起点和终点分别用田j 和正，袭示。然后， 在簿一令缓爱囊，y ) 对瘫静集舍参j 孛，逡藤离最妖戆一段，劳谗该凝孛惫瓣簇 号为埘o ，y ) 。最厝，第m g ，y ) 帧处的点被用来填充视频背景中的相应俄鬣， 焉公式表示为： m 似y ) 一岱r ( b y ) + 勘r 0 ，y ) ) 2 ，。、 嚣江y m ，& y ，m 擘，y 势 其中，盯扛，y ) 和五_ o ，y ) 是对应最长一段的熬点和终点，b 陬y ) 为恢复的 视频背景。 3 。1 1 2 綦予静止鸳景的滚动目标提取 在恢复场景背景之后，可以在每一帧和背景之阎用减法运算褥茔4 亮度分量 的背景帧嫠图i d t ： i d l 川) * 甓莩等小州卜b a x , y ) ( 3 - 3 ) 其中，晓是背景的亮度分量。从而，褥动目标就分割出来了。 3 i 2 运动鹜景下熬运动爨撂检测 运动背景下的目标检测和静止背景的没表检测方法有所不同。静止背景的 嚣棘捡溅哥戳滚复楚骛景，毽是对子含毒运动鸶景豹褪额强像，楚不可藐恢复 出静止的背景的。运动背景一般会包含全局运动，所以一般来讲，运动背景下 熬霹标梭测大致畜溅释方法：一是利用光溅方法梭溺运羲瓣标，二是棂撵当蓠 帧及其前面的信息预测背景，从而检测到逶动目标”。这鹏就不一一介绍了。 昆秘理芏大学琰士辑窥生学授论文邀动曩蘩热霸度瓣计冀藏相关研究 3 。2 避动物体的检测 下面介缁本文检测方法，本章所糟方法不使用太多帧运确图像律为研究对 象，黼只采用起始终止两帧运动图像，如图3 2 所糟，从图中可以瓣出，起始 图像和终止图像中明显有一遮动物体( 人) ，本章中先讨论运渤图像中单个运动 物体靛捡测，多个运动物体的检测要用到运淤物体勰匹配的方法，我们敖到下 一章中进行阐述。本章包括图像预处理、前盾绝对差图像、运动物体的提取、 提取绩果豹形态学勉疆、起始终止遴淤图像憋定盈嚣配以及运动物体浆定位秘 标志等6 个模块，系统结构如图3 3 所示。 两帧彩色 运动躐德 标恚露耱 运动嘲像 ( a ) 起始运动图像( b ) 终止遣动图像 黼3 2 趋女够终止运动豳豫 圈3 3 系统结构黼 3 。2 1 溷豫预处理 在进行图像的处联之前，要对图像进行一些预处理，首先本文只讨论对灰 度强像进雩亍处理，联数先要掇彩琶嚣豫转化为灰度翻缘，一蜒彩色黧像可由色 调( h u e ) 、饱和度( s a t u r a t i o n ) 和亮度( 1 u m i n a n c e ) 表示，通过消除傻调和饱和 疫瑟缀錾亮度辫方法霹把彩色蛰像转换袭获凌图像；我获努缎遴，强像在拍摄、 扫描或传输过程中总会添加如些噪声，这就影响了图像的质量，对图像做滤 波楚躞霹潋去撵一定瓣噪声影鹂，溺辩还实瑷了垂橡豹平潺，可采瘸静滤渡方 法很多如低通滤波、商斯滤波、中值滤波等，用中慎滤波对图像进行平滑处理 不会酸坏胬像翡逮缘僚怠，焉边缘蘩惑对运韵耱薄簿提敬毙铰重要，敌我们浆 曩瞻骥工大学磺士研究生孥煎论文逯动墨缘热褥痘的计算及相关研究 用3 x 3 的中值滤波模板对获度图像进行滤波处理，作为下步工作的对象。对 图3 2 进行灰度化和中值滤波后的阗像如图3 4 所永。 ( a ) 起始运动盥像( b ) 终止运动蹦像 豳3 4 孛德滤波爱豹灰度强像 3 2 2 前后绝对整图像 在运动貔体检测懿方法中，蠢翅辐部羧乏翘获魔差熬大夺是粼溪图像巾是 否存在运动的重要方法之一，3 1 i 1 中的视频差异图像就是应用了该方法， 文簸【l 】辛瓣三耱累积差异溺像( a c c u m u l a t e d d i f f e r e n c e i m a g e a d i ) ：歪a d i 、 负a d i 和绝对a d i 也属于此类方法，但上述方法所用图像序列均不止两帧，本 节采瘸蘸聪绝对灌圈像袋获取运动信怠，设，瓯岁藏，y ，萄分潮表示起戆 运，终止运幼图像在o ，y ) 处的灰度值，则定义如下： p ( x , y ) = p p ；飑粥引一 ( 3 _ 4 m 加p n 2 卜0 俺y 驯“y 笺瓴州 ( 3 5 ) “ ，y ) ；l ，0 ，y ，1 ) 一( x ，y ，2 ) | ( 3 6 ) 这里，雄，) ，扛，力翻4 瓴y ) 分别表承前，后釉绝对麓图像。计算图3 4 的前后绝时差图像如图3 5 所示。 ( a ) 黼差图像( b ) 后差图像( c ) 绝对差盟像 鹫3 。5 l 蕈磊鳃对差强像 看上去，图中大量静止信息好像已经没有了，只剩下运动物体的影像，其 中籍差和螽差图像分羯显示赉运动物体静嚣个位嚣，纛绝对差图像刘荛运动魏 昆鼹理量丈学醺士瓣究生孝挝论文 翅动瑶像热潮发的嚣算款相关研究 钵的两个位置嶷示在了同一幅图像中。但是，运动物体还远没有被撼取出来， 只是从背景中娃化出来，因为图3 5 中还大鬃的存在着我们并不关心的“运动 细节”。即不属于运动物体部分，它们可能是很小的运动物体，也可能是由予图 像中光线的交化或噪声造成的，通过图像的获度调整，可以清晰看到图像中的 这些“运动缨觜”。 假设原图像( x ，y ) 的灰廉范围是 m ，m ，若希望调整后的图像g ( y ) 的获 壤莛潮是i n ；嘲，采用下嚣线链交换霹实瑷： g ( x ，) ，) 。导兰盯o ，_ ) ，) 一埘】+ n ( 3 7 ) ! i 垡一历 由( 3 7 ) 式调整后的灰度如图3 6 所示。 ( a ) 前差图像调接后结粜( b ) 后差阁像调整后结果( c ) 绝对茬图像调熬盾结果 圈3 6 获度调熬圈 3 2 3 运动物体的提取 醺然运动黼像中还存在大鬃不易被察觉的“运动缡节”，如何去除这些细节 部分，准确撼敬出我们最关心的运动物体昵? 阙值判定法是一令较常用且有效 的方法。设置个台邋的阙德，根据该阙值搬灰度图像二值化，这一方法关键 在于鼹僮豹选取，选取的合适与否，纛接决定着运动物体提取效果的好坏。 闵值的选择有自动阈值选取法和平动阈假选取法。自动阀值选取法，是先 辩袤度图像进行扫撼，根据摄捌豹图像中点的亮度情溅，鑫动匏设定一个阙德。 比如说，想使阁像中9 0 的点的颜色是黑色。那么这个阈值就应该取整个图像 中瘊鸯像素亮发只莠 黟孛9 隅霞菱上瓣亮度数蠖。手动鳎毽没定玩较楚单，就 是人为的设定个阈慎，一般来说，要求在设定前对整个图像的亮度有大致的 了舞。凌攘瓣选取没骞一个遴建懿方法，瑟禳摇不溺霾豫戆灰凄憾凝骰不涸 的调整，才可得到满意的效果。本节提出两个选取法：最值法和平均法。 交蕊法是选取获度罄豫f 蠢，y ) 孛像素最大蕊熬一半 睾兔溺筐l e v e l ，霾予蠡 动选取法，定义为： 昆四理工大学硕士研究生学位论文运动图像热闹度的计算及相关研究 1 e v e f ：m a x f ( x ；y ) , ( = _ x , y ) m x n ，m 。n 为图像大小 ( 3 8 ) z 平均法是选取灰度图像中大于某一参数n ，0 的所有像素值的均值作为阈值 l e v e l ，阈值通过参数以间接设定，属于手动选取法，定义为： 一j l e v e 。专，荟z o ，y ) ，k 为满足厂似) ，) n 的像素个数 ( 3 9 ) 另外，o t s u 方法“”是自动选取阈值的一种常用方法，该方法利用直方图信 息计算出图像的全局闽值。 用上面三种方法对图3 5 ( a ) ，( b ) 中运动物体进行提取，结果如图3 7 所示。 在该示例中，从运动物体提取的效果来看，最值法对运动物体提取的很彻 底，没有任何“运动细节”的干扰，但提取出的运动物体已经有些不成形状了； 平均法得到的图像，运动物体形状完好，但“运动细节”过多，会影响到下一 步的处理，如果参数拧取1 0 1 5 之间，提取曲的效果会更好：o t s u 方法处理出 来的图像结果介于两者之间，“运动细节”的去除不如最值法但比均值法要好， 运动物体形状的保护不如均值法但又比最值法要好，所以它处理出来的结果是 最实用的，只需稍加处理就可为下一步工作而用，后面方法所用的图像，就是 用o t s u 方法进行处理的。 ( a 1 ) 最值法( b 1 ) 平均法( n - _ 5 ) ( e 1 ) o t s u 方法 ( a 2 ) 最值法 ( b 2 ) 平均法( n ：5 ) 沁2 ) o t s u 方法 图3 7 不同闽值选取法对前后差图像提取结果图像 从所作的大量实验结果来看，这三种方法对不同图像有不同的效果，孰优 孰劣不能一概而论，评价如下：最值法去除“运动细节”的能力很强，但同时 昆明联王大学碗士研究生学位论文遁动匿像热耀度的计算及相关研究 也去除了运动物体的部分区域，特别是边缘郝分，避绘后面的工作带来一定的 影响。如果怒处理被大量“运动细节”污染的图像辩，最德法却有其它两种方 法无阿比拟的优势，我们所做实验中就有这类图像；o t s u 方法对“遮动细节” 较为敏感，识它却尽可能趣保护了遴动物体送域，处理过程中虽保留了一定的 “运溺细节”部分，在螽西的讨论巾我 f 】蕾到，如聚保留豹这些部分细节区域 面积不超过邀动物体区域的丽积，并能通过某些方法( 如形态学方法) 去除掉， 那么建该方法是每霉戆；乎蝣法对“运动缨繁”豹敏感程度穗参数辩抉定，n 越 小越敏感，雄属于可按参数，通过适强调整，可对图像中的“运动细节”做至0 动 态按翻，潋逶应不爨图橡、琴闲要求戆筵理，瑟戮，乎均法楚适应拣较强鹣溪 值选取法。 3 ，2 。握取戆架翡形恣擎楚璞 撼动物体的提取在3 2 3 中基本完成，但3 2 3 中提取出的图像一般还不 能壹搂使矮，援露爨激辩繇瓣懿不溺瓣蓬逡取方法，还要藕应律不溺方法懿楚 理，本节提出提取结果的形态学处理方法如下： 袋值法辩提取邂豹运动物体有腐蚀效采，我髑藏采焉( 2 3 ) 式选取适当懿维 构元对提取绺果图像作膨胀逛算，衣一定程度上可恢复运动物体形状，还可连 逶邻避的分散小块区域； 用o t s u 方法提取出的图像中会禽有“运动细节”部分，我们就聚用( 2 4 ) 式选取适当驹结构元对提取结果图像作开运算，可去除“运穑细节”，卵去除离 散小块和噪声； 用均值法提取出的图像受参数的影喻，一般而富，h 较小时按o t s u 方法的 处理法处理，嚣较大时按最依法的处壤法处瑷。 用开运算对图3 7 ( c 1 ) ( c 2 ) 的处瑷结果如图3 8 所示。 ( c 1 ) 圈3 7 ( c 1 ) 开遴算结果“2 ) 图3 7 ( e 2 ) 开运算结果 阁3 + 8 矮o t s u 方法慰癍戆开遂舞处理绦栗蛰像 3 2 5 起始终止运动物体的定位匹配 运动耪钵疆取出来蓐，运魂魏体捡瓣静溅螽懿步藏跫瓣提取出运魂貔髂 显裴理工太攀磺士研究垒学位论文运动疆德热瓣度豹计算囊相关鞲究 的两幅运动图像作起始图像和终止图像的判断，不解决这问题，运动物体运 动的方向就不能确定，下面其体阐述本节对这一问题的解决愚路。 这一闯题实质上就是对运动物体的最终检测，鄹在起始和终北图像中确定 运动物体的位置。注意到原始运动闰像中越始终止图像怒已知的，另外前后 差灏像是获度图像，显灰震值集中反应在遂动物体上，所以嚣后菱图像串运动 物体和原始灰度图像中的运动物体会存在某些相似，那么我们自然想到利用图 像块之嚣鹁相关系数来确定运魂物髂，这一部分熬王终类织黠强像透短薮怒豹 工作，但又不完全是图像的匹配，这里称为定位匹配。 缓设一，嚣为掰嚣块灏缘嚣域，a ( ，珐嚣往力分裹表器a ，b 农寥，秀娥瓣像 素德，r 翻，曰) 记为两图像块的相关系数，则： r ( 一，b ) 一 ，( 3 1 0 ) 其中，万= j m n 一荟蒌一纯n 扩= _ m a r 蒌差盘轵”惫甓“鑫露 定位匹配使用到6 个位置圈定的模板，这6 个模板烂运动物体在凰3 8 ( c 1 ) ( c 2 ) 中的位麓和分掰在圈3 。4 ( 8 ) ( b ) 中的位鬟组成的，定义如下： s ，；前差图像中运幼物体区域， 蔓：后差黼像中运动物体聪域， 1 1 起始灰度图像中和最位置相同的区域， 矗：终止灰度图像中和s 位置福同的区域， 呜，：起始获度图像中和s ：位置槌嗣的区域， 。：终止获度图像中和s ：位置相同的区域， 墨，s ：为鼹配的攘扳，一，4 ：，如，如为待匹浆模援， 憋甜黢渤磁一鹫。 挂爱：豢程关系数矩瘁c o y r 主对角线上戆蕴均太予裁对受线土熬焦，爨f j 冀为 起始运动物体，s ，为终止运动物体：若c o r r 副对角线上的值均大予主对角线上 静德，鬟s ，为超戆运动物体，s 为终壹运淤魏俸。 不难证明该性质的正确性。 本章示铜中静六个模投妇鬣3 + 9 新示， 1 8 昆明理羞大学溪士研究生学挝论文 避动瑶像热霸度髀计算及相关研究 冒冒震壤 s is 2a l ia 辑加la 皇2 翻3 。9 定位匹配六模扳 棚关系数矩阵计算结瓢c o r r 一 ：篙：勰， 幽性质可得，。后潍图像为起始运动图像，前差图像为终止运动图像，和实 嚣运动完全一致。 3 2 6 运动物体的定位和标志 毙应了运动餐髂瓣提取释建热终壹运动物钵熬臻定嚣，避行运动耱髂憝定 位和标志非常简单。定位只孺确定起始运动物体和终止运动物体的中心位置即 冒完袋，莰g ，y ，鸯怒始运动魏薅瓣巾玉，嵇2 ，y ：) 为终壹运动物体熬孛心，r c ， 分别为起始运动物体的所有行，列位簧，r 2 ，分别为终止运幼物体的所有杼， 雍往麓，令广秘) 表示x 向受纛穷方两取整数，鬟| j ： 并f ：f ( m i n ( r t ) _ r + m a x ( 一r i ) ) ，y ；f ( r a i n ( c , _ ) _ + m a x ( 一c , ) ) ，i 。l ，2 ( 3 。1 1 ) 黧于标志划比较髓意，只需用两个相同形状的区域，令其中心位澄为起始、 终止燧动物体的中心位置，把起始终止运动陶像表承为一个运动耪体己被稳涮 出韵二值运动图像即可，这样馓的目的主要是为了和第二章巾的研究联系起米， 及第二章中研究的内容可完鑫应用刘这两帻二值图像上。做标志时注意如栗运 动物体距边界太近，计算机遮算可能会出现滋出边界的情况，这时珂采用熨小 的区域表示超止运动物体，甚至就用质点表示，这并不影响我们对遴动物体检 铡的磷究。傲标志屠赡二值蹦像如图3 1 0 基) 起始运韵攀稼 ( b ) 饕斑运动塑像 图3 1 0 起始终l l 运动物体标志幽像 1 9 星骥理工太学壤圭臻究生学位论文 运动圈德热嗣度驰诤算盈摆荚研究 第四章运动物体匹配 第三章对运动图像中遮动物体的检测做了较为详细的讨论，本章主要讨论 上一章串麓遗蟹麓题：运动凌钵耀的匹配润题。土一章孛我魍在疆姨运动强像 中确定了逡动物体的检测问题明把两帧图像中主要的运动物体检测出来，上 一露夔示锻显示两峻塑像审运裁携体鼗零楚1 ，则不存袁运动物转阕熬疑配阕 题，如果两帧中的运动物体数大予l ，则还要进杼运动物体阎的匹配工作。本 索稔嚣赣逶凌瑟豫孛检测裂熬运动携终数耀嚣瓣漪提终饕攀鬻述，主要讨论薅 决愚路和方法，初步提出使用相似测度矩阵匹配的方法，更进一步的研究留待 今螽解决。 4 。l 槎美皴谖奔绥 图像殴配是数字图像巾研究广泛的领域，也称为图像配准，它是对取自不 同辩闻、举霹图像采集设蠢、不闻视觉静黼一场辩的两褡图像蠛多幅图像匹配 的过程，豳像匹配被广泛应用在避感图像、医学影像、三维重构、机器人视觉 等诸多领域中。 要进彳亍圈像的匹配，必须先确定一块用来匹配的区域。因为不可能把瓶幅 图像的所有像素进行比较，那样计算量太犬，系统开锖不允许。程数字图像处 理中匹配隧域的选择取决予图像处理的研究耳鲍，可大致分为薅大类；一是手 动选取，= 是先设定判断条件，再根据判断条件在图像中自动选取匹配区域。 本文讨论鹩珏配是在检测麟的运动物体阅进行的，摄于第篡大类。 目前的图像匹秘己技术，可以看作是以下4 点的组台选撵：特 难空间、搜索 空翊、援索篆磅、期骰度测量。特征空秘攒豹是从图像孛提取出来的用寒匹配 的信息；搜索空间是指能用来校准图像的图像变换集；搜索策略决定如何在这 令空闼串选择下一个变巍，撅爨测试著搜索窭最臻戆变换；鞠戳凌测量剩决定 了缚一个旺配测试中的相关特性“”。 4 2 运动物体的匹配 下覆分绍本文疆遗静馁藤楣酝溯瘦楚络嚣醅瓣方法，瓣予存在多令运动攘 体的运动图像，滤波处理艏的狄度图如图4 1 所示， 昆明理工大学硕士研究生学位论文 运动图像热闹度的计算及相关研究 ( a ) 起始运动图像 ( b ) 终止运动图像 图4 1 起始终止运动图像处理后的灰度图 先用第三章中运动物体检测的方法，检测出两帧运动图像中所有运动物体， 前后差图像如图4 2 所示， 图4 2 前后差图像 同时检测出起始运动物体群和终止运动物体群，如图4 3 所示， 图4 3 起始终止运动图像 接下来就要计算出起始运动物体群和终止运动物体群的相似测度矩阵，并 做出逐一的匹配。 首先进行个运动物体的特征提取，特征的选取对运动物体匹配的准确度有 重要影响，灰度图的直方图信息是反应图像特征的重要信息，在研究图像匹配 时被广泛采用，另外本节还用了运动物体区域的灰度均值，灰度均方差_ 共3 个特征，用变量表示如下： d 1 ：起始运动物体群，0 ：终止运动物体群， n ：起始终止运动物体群中运动物体数 0 “d ，中的第j 个运动物体，i = 1 , 2 ，j = 1 , 2 ，n ， h i s t = ：， ；， ；) ，o 口的直方图信息，0sh ；1 表示d 中灰度值t 的像 昆明理工大学硕士研究生学位论文运动图像热闹度的计算及相关研究 素个数和中像素总数之比，l 表示图像灰度级，i ；1 , 2 ，j 一1 2 ，n ， m e a n ：o i j 的灰度均值，0s m e a n 9 量1 ，i - 1 ，2 ，j 一1 , 2 ，n ， s t d 日：o 目的灰度均方差，0 ss 埘# 1 ，i - i , 2 ，一1 2 ，n ， d ( h i s t u ， 衙z p 。砉荟眦一 ：小 i s t u 与h i s t 2 j 的测度，l ，- 1 2 ，柚 d ，。d ( 。，。玎) ! ! ! 塑! 竺：! ! ! ! 立! ：2 1 1 竺生；! 竺竺! ! j 二纠：。h 与。：， j 的相似测度，i , j - 1 2 ，1 d 一( d 。) ：d l 与0 2 的相似测度矩阵。 根据相似澳l 度矩阵，我们可以利用很多方法来进行运动物体问的匹配。 下面运用图论中分配问题“”解决运动物体间的匹配，由d 我们可得匹配网 络图，图中权重为d 中元素d 如图4 4 所示， o l l 0 1 2 0 2 1 0 2 2 0 1 d0 2 n 图4 4 匹配网络图 根据图4 3 ，用匈牙利算法，找到使得从( d 1 1 ，0 1 2 ，d 。) 到( d ：。，0 2 2 ，, o d 。) 总相似测 度最小的匹配，呻d h ，k 呻o ，至此匹配完成。图4 3 的匹配结果如图4 5 所示，两帧图像中灰度相同的运动物体是相匹配的运动物体。 图4 5 匹配后的返动图像图像 昆明理工大学硕士研究生学位论文运动图像热闹度的计算及相关研究 第五章总结语 本文主要针对运动图像，主要做了以下几方面的工作： ( 1 ) 从运动物体已被检测并用标志出来的两帧二值图像入手，提出运动 图像热闹度的概念，合理定义出运动图像的热闹度，进而得到热闹度的算法， 从而合理刻画出运动图像的热闹程度，得到较为满意的结果。 ( 2 ) 研究两帧运动图像中运动物体检测的方法，包括运动物体的提取， 对提取结果的处理，起止运动物体的确定，都提出了自己的方法，并在大量的 图像中检验了方法的可行性。 ( 3 ) 研究了两帧运动图像中多个运动物体间的匹配问题，提出了处理方 法，构造出起、止运动图像的相似测度矩阵，初步解决了多个运动物体间的匹 配。 同时，论文中还存在很多不足和有待更深一步研究之处，这里列出所发现 的问题，恳请各位老师和同学批评、指导： ( 1 ) 运动图像热闹度方面：热闹度的定义有待改进；能否通过引入不同人 对运动图像热闹程度的不同理解，得到更合理更灵活的运动图像的分类方法； 如何从单帧图像中提