上海交通大学_李德元

1、上海交通大学硕士学位论文答辩超图匹配研究及其结构关系在跟踪中的应用申请人： 李德元指 导 教 师： 周越珊副导师： 胡答 辨 日 期： 2014.2.17提纲 研究概述 超图匹配 实时跟踪 遮挡检测 研究总结研究概述超图匹配实时跟踪遮挡检测研究总结主要内容研究背景研究概述超图匹配实时跟踪遮挡检测研究总结图像匹配 研究背景 主要内容-模式识别领域的热点问题-军事、工业生产、其他模式识别技术.-超图匹配目标跟踪-模式识别领域的热点问题-军事、智能交通、安防系统、人机交互.-结构关系描述、遮挡问题研究概述超图匹配实时跟踪遮挡检测研究总结超图匹配研究及其结构关系在跟踪中的应用 研究背景 主要内容超图匹

2、配算法改进结构关系描述实时跟踪研究方法主要问题遮挡检测新的角度超图匹配研究概述实时跟踪遮挡检测研究总结概述实验分析本文算法超图匹配研究概述实时跟踪遮挡检测研究总结一对一匹配 概述 本文算法- 独立的点对点，区域对区域- SIFT、MSER、ORB等 实验分析外观形状- 轮廓、骨架- shape context、activeskeleton等超图匹配研究概述实时跟踪遮挡检测研究总结图匹配（=2） 概述 本文算法-两特征点（区域）间的关联信息-特征间结构，而非外观结构 实验分析-拓扑结构超图匹配（2）- 更复杂的关系描述超图匹配研究概述实时跟踪遮挡检测研究总结图(超图)匹配 概述 本文算法-关键点

3、（区域）-特征与关系描述 实验分析-数学建模-模型松弛求解（NP复杂度）超图匹配研究概述实时跟踪遮挡检测研究总结基于区域捆绑特征的柔性体超图匹配算法 概述- 算法改进 本文算法基于星形拓扑结构的超图匹配(LAC) 实验分析- 区域捆绑特征超图匹配应用于柔性体(衣物等)区域捆绑特征更丰富的结构关系描述- 约束条件、结果优化- 模型调整、分析讨论超图匹配研究概述实时跟踪遮挡检测研究总结算法框架 概述 本文算法 实验分析超图匹配研究概述实时跟踪遮挡检测研究总结基于区域的捆绑特征 概述-关键区域：MSER 本文算法-区域内提取鲁棒性好的多类特征： 实验分析SIFT、颜色、(面积、位置)特征与结构关系描

4、述- 区域描述：颜色- 关系描述：位置、面积、颜色超图匹配研究概述实时跟踪遮挡检测研究总结建模求解 概述-问题模型 本文算法 实验分析区域项关系项-定义邻居数=特征向量维度+1超图匹配研究概述实时跟踪遮挡检测研究总结建模求解 概述 本文算法 实验分析区域项关系项NP复杂度线性超图匹配研究概述实时跟踪遮挡检测研究总结结果优化 概述-关联性提高了每个元素匹配的准确度 本文算法-元素丢失及误匹配通过关联性影响其他部分 实验分析-二次匹配、约束条件松弛超图匹配研究概述实时跟踪遮挡检测研究总结结果优化模板图场景图 概述a b c-原约束条件本文算法 实验分析-松弛1a b c-松弛2 a b c-两次匹

5、配第一次：松弛1、低阈值第二次：松弛2、高阈值超图匹配研究概述实时跟踪遮挡检测研究总结实验 概述 本文算法-仿真实验、刚性体匹配、柔性体匹配、结果优化-对比算法：SIFT、LAC 实验分析-Intel Core i3-2120、4.00GB RAM场景(466349)中102个区域匹配模板图中8个区域初次匹配耗时：6.243s结果优化耗时：0.056s超图匹配研究概述实时跟踪遮挡检测研究总结仿真实验 概述 本文算法-单色圆仿真实验初步验证 实验分析区域项关系项超图匹配研究概述实时跟踪遮挡检测研究总结刚性体匹配 概述 本文算法 实验分析超图匹配研究概述实时跟踪遮挡检测研究总结柔性体匹配 概述 本

6、文算法 实验分析超图匹配研究概述实时跟踪遮挡检测研究总结柔性体匹配 概述 本文算法 实验分析超图匹配研究概述实时跟踪遮挡检测研究总结柔性体匹配 概述 本文算法 实验分析超图匹配研究概述实时跟踪遮挡检测研究总结结果优化 概述 本文算法 实验分析超图匹配研究概述实时跟踪遮挡检测研究总结算法分析 概述 本文算法- 捆绑特征的灵活性- 与SIFT、LAC相比，本文算法在柔性体发生褶皱、较 实验分析大形变、视角变化等时具有较好匹配性能- 参数设置、MSER准确度、难以提取合适区域的物体- 灵活运用其结构关系描述的核心思想核心贡献着眼于新问题，改进已有算法- 应用：柔性体匹配- 理论：区域捆绑特征、约束条

7、件改进、结果优化实时实跟时踪跟踪研究概述超图匹配遮挡检测研究总结结构关系描述研究方法本文算法实验分析实时实跟时踪跟踪研究概述超图匹配遮挡检测研究总结超图匹配应用于跟踪 研究方法 本文算法- 通过帧帧间的超图匹配实现跟踪- 计算复杂度、参数设置 实验分析结构关系描述- 超图匹配的核心思想- 将结构关系描述应用于跟踪实时实跟时踪跟踪研究概述超图匹配遮挡检测研究总结基于结构关系的自适应模板匹配实时跟踪 研究方法- 算法框架 本文算法 实验分析实时实跟时踪跟踪研究概述超图匹配遮挡检测研究总结局部关键区域提取 研究方法-关键点：FAST 本文算法-局部关键区域 实验分析-去除场景相似区域实时实跟时踪跟踪

8、研究概述超图匹配遮挡检测研究总结结构关系描述 研究方法-星形结构、仿射不变性 本文算法 实验分析-去除离群区域值过大或持续增大实时实跟时踪跟踪研究概述超图匹配遮挡检测研究总结模型更新 研究方法-模板匹配 本文算法 实验分析-关键区域更新区域相似度+结构关系相似度+离群判断-目标更新关键区域+目标粗定位目标位置+目标大小实时实跟时踪跟踪研究概述超图匹配遮挡检测研究总结跟踪实验 研究方法 本文算法模板匹配(TM):4.6ms动态外观(BHMC):539.8ms 粒子滤波(PF):101.6ms 本文算法(PBT):16.5ms 实验分析实时实跟时踪跟踪研究概述超图匹配遮挡检测研究总结算法分析 研究

9、方法 本文算法-快速、有效、具有较好的鲁棒性（抖动模糊等）-形变过大、遮挡时，易跟踪失败 实验分析-框架下模块的改进：MSER、LK光流配准核心贡献提出新算法- 应用：实时跟踪- 理论：超图理论的灵活应用、仿射不变性结构描述遮挡检测研究概述超图匹配实时跟踪研究总结主要问题关系描述遮挡分析实验分析本文算法遮挡检测研究概述超图匹配实时跟踪研究总结遮挡的特点 遮挡分析 本文算法- 跟踪中常见问题- 与其他干扰（光照、形变、位移等）相比 实验分析相同点不同点其他干扰会使目标与算法模型的相似度降低需将变化后的目标当做跟踪对象遮挡不应将遮挡后的目标当做跟踪对象遮挡检测研究概述超图匹配实时跟踪研究总结相关算

10、法基于物体间关联信息 遮挡分析 本文算法- 具有一定局限性 实验分析基于学习算法-局限于跟踪目标本身-将遮挡与其他干扰对立-长时间遮挡等问题遮挡检测研究概述超图匹配实时跟踪研究总结本文所发现的特性：特性1 遮挡分析 本文算法- 遮挡的发生会有遮挡物（相对的）从场景移入目 实验分析标的过程；通过检测这一移入过程可以判断目标是否被遮挡。特性2- 在遮挡物移入的地方，目标及场景此处的局部小区域所包含的图像内容，会在遮挡物移入时，同时检测到相对目标向里的移动。遮挡检测研究概述超图匹配实时跟踪研究总结特性2的证明 遮挡分析 本文算法-位移 实验分析-形变等干扰-误判遮挡检测研究概述超图匹配实时跟踪研究总

11、结基于场景与目标关系的跟踪遮挡检测算法 遮挡分析- 算法模型 本文算法 实验分析遮挡检测研究概述超图匹配实时跟踪研究总结算法融合 遮挡分析 本文算法 实验分析遮挡检测研究概述超图匹配实时跟踪研究总结跟踪算法融合实验Intel Core i3-2120, 4.00GB 遮挡分析 本文算法RAM：8ms 实验分析遮挡检测研究概述超图匹配实时跟踪研究总结长时间遮挡 遮挡分析 本文算法- 融合：基于时空上下文学习的跟踪算法（STC） 实验分析遮挡检测研究概述超图匹配实时跟踪研究总结算法分析 遮挡分析 本文算法-快速、有效、易于移植-根据具体问题具体设计检测单元的参数 实验分析-基于特性1、2，可设计更

12、加完善的算法（光流法、场景上下文、背景建模、纹理分析等）核心贡献从新的角度提出创新性算法- 应用：跟踪中遮挡检测- 理论：发现可用于遮挡检测的两个特性研究总结研究概述超图匹配实时跟踪遮挡检测主要贡献参与工作研究展望研究总结研究概述超图匹配实时跟踪遮挡检测针对三类问题提出了三种新算法 主要贡献 研究展望-匹配：基于区域捆绑特征的柔性体超图匹配-跟踪：基于结构关系的自适应模板匹配实时跟踪 参与工作-遮挡：基于场景与目标关系的跟踪遮挡检测1、基于区域捆绑特征的柔性体超图匹配 （改进）-稳定区域中捆绑特征，通过星形结构表达多种关系-约束条件改进-模型、计算式调整等研究总结研究概述超图匹配实时跟踪遮挡检

13、测2、基于结构关系的自适应模板匹配实时跟踪（新） 主要贡献 研究展望-结构关系描述引入跟踪-仿射不变性的结构关系描述方式 参与工作-局部关键区域的选取等3、基于场景与目标关系的跟踪遮挡检测（创新）-新的角度分析遮挡，发现了可用于遮挡检测的特性-基于所发现的特性，提出了快速有效的算法-基于该特性的算法框架具有很高的开放性研究总结研究概述超图匹配实时跟踪遮挡检测超图匹配 主要贡献- 计算复杂度：数学规划技术 研究展望- 遮挡：问题模型 参与工作目标跟踪- 实时性与鲁棒性：多类算法的综合应用- 遮挡检测：光流法、背景建模、纹理分析等研究总结研究概述超图匹配实时跟踪遮挡检测论文发表 主要贡献 研究展望

14、- ICIG 2013，一作 (英文EI:20140117162104)- IScIDE 2013， 一作 (英文EI:20140517246453) 参与工作国家自然科学基金- 参与国家自然科学基金（No.61075012）致谢感谢各位老师的指导辛苦了，谢谢！LACLi H, Kim E, Huang X, et al. Object matching invariant constraintC. Computer Vision and (CVPR), 2010 IEEE Conference on. IEEE, 2010:with a locally affine- Pattern Rec

15、ognition 1641-1648- SIFT、特征点位置- 星形结构MSERDonoser M, Bischof H. Efficient maximally stable extremal region (MSER) trackingC. Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. IEEE, 2006, 1: 553-560- 得到的区域具有仿射不变性及相对灰度变化的稳定性- 得到的区域能够较好的用于本文算法绝对值松弛Jiang H, Drew M S, Li Z

16、N. Matching by linear programming and successive convexificationJ. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2007, 29(6): 959-975SIFTLowe D G. Distinctive image keypointsJ. International 60(2): 91-110features from scale-invariantjournalofcomputervision,2004,-关键点检测（DoG）-关键点描述FA

17、STDeb S, Shah D, Shakkottai S. Fast matching algorithms for repetitive optimization: An application to switch schedulingC. Information Sciences and Systems, 2006 40th Annual Conference on. IEEE, 2006: 1266-1271- 快速有效- ORB:oFAST模板匹配-归一化相关系数法快速有效漂移、模板大小不能自适应调整BHMCKwon J, Lee K M. Tracking of a non-rigid object via patch-based dynamic appearance modeling and adaptive basin hopping monte carlo samplingC. Computer Vision and Pattern Recognition,2009. CVPR 2009. IEEE Conferenceon.IEEE,2009:1208-1215-关键区域选取关键点：海森矩阵结构关系描述-目标搜索区域粒子滤