郑伟博士答辩v2

局部形状特征表示及其在目标检测中的应用报告人：郑伟导师：陈熙霖研究员2006级硕博连读2/1/20231提纲课题意义与研究背景本文研究内容基本形状元素的表示方法局部形状特征的变形方法局部形状特征的组合方法总结与展望主要研究成果2/1/20232课题意义与研究背景目标检测的研究意义基于局部形状表示方法开展研究的动机目标检测研究概述形状表示方法概述2/1/20233课题意义与研究背景目标检测的研究意义问题描述视觉信息约占据人类对外界信息感知总量的80%图片和视频作为视觉信息存储媒介蕴含了大量信息目标检测是在图像或者视频中发现并定位指定类别的目标，是对图片和视频中的信息进行分析与理解的重要研究内容理论意义应用前景2/1/20234课题意义与研究背景目标检测的研究意义问题描述理论意义促进多个相关学科的研究计算机视觉(特征表示与提取)模式识别(分类器设计)图像处理(去噪声)认知学(人类视觉感知机理)应用前景2/1/20235课题意义与研究背景目标检测的研究意义问题描述理论意义应用前景公共安全：智能交通监控、异常行为分析家庭娱乐：智能电视、交互式游戏、基于内容的图像检索、相机自动对焦商业办公：基于内容的广告投放、基于内容的文件管理2/1/20236课题意义与研究背景目标检测的研究意义基于局部形状表示方法开展研究的动机目标检测研究概述形状表示方法概述2/1/20237课题意义与研究背景基于局部形状表示方法开展研究的动机为何选择形状信息表示目标对于某些类别的目标，形状信息是其所特有且稳定的信息，而颜色和纹理信息不稳定、类内差异较大形状特征有可能在检测到目标位置的基础上，更精确的解释目标形状，从而勾勒轮廓、分割前景轮廓形状

背部对应位置纹理与颜色

2/1/20238课题意义与研究背景基于局部形状表示方法开展研究的动机局部方法相对于全局方法的优势全局方法易受真实场景中边缘缺失以及交叉影响全局形状表示困难，局部形状易找到高效表示方法若干关键局部形状足以提供检测目标所需信息真实场景中马的边缘理想的马的轮廓若干马的局部轮廓片段2/1/20239课题意义与研究背景目标检测的研究意义基于局部形状表示方法开展研究的动机目标检测研究概述形状表示方法概述2/1/202310课题意义与研究背景目标检测研究概述目标检测器的任务：特定类别的目标在哪里？在图片中？在检测窗口内？轮廓在哪里？前景在哪里？分类定位形状表示分割前景[ShottonPAMI08][GraumanICCV05][ToshevIJCV12][ChenCVPR12][FernandoCVPR12]…[ShottonPAMI08][FerrariIJCV10][ChunhuiCVPR09][ToshevIJCV12][Leibe.IJCV08]…[FerrariIJCV10][ToshevIJCV12][XinggangCVPR12][XiangICCV09][CootesCVIU95]…[ChunhuiCVPR09][ToshevIJCV12][KumarPAMI10][LeibeIJCV08][BertelliCVPR11]…2/1/202311课题意义与研究背景目标检测研究概述目标检测器的任务：特定类别的目标在哪里？分类定位形状表示分割前景[ShottonPAMI08][GraumanICCV05][ToshevIJCV12][ChenCVPR12][FernandoCVPR12]…[ShottonPAMI08][FerrariIJCV10][ChunhuiCVPR09][ToshevIJCV12][Leibe.IJCV08]…[FerrariIJCV10][ToshevIJCV12][XinggangCVPR12][XiangICCV09][CootesCVIU95]…[ChunhuiCVPR09][ToshevIJCV12][KumarPAMI10][LeibeIJCV08][BertelliCVPR11]…在图片中？在检测窗口内？轮廓在哪里？前景在哪里？2/1/202312课题意义与研究背景目标检测研究概述目标检测框架窗口扫描框架[DalalCVPR05]表示：固定长宽比的矩形窗口训练：判别式(分类器)检测：扫描可能的位置与尺度训练过程检测过程2/1/202313投票框架[LeibeIJCV08]表示：部件码本投票中心训练：产生式(聚类)检测：广义哈夫投票课题意义与研究背景目标检测研究概述目标检测框架窗口扫描框架[DalalCVPR05]表示：固定长宽比的矩形窗口训练：判别式(分类器)检测：扫描可能的位置与尺度训练过程检测过程2/1/202314课题意义与研究背景目标检测研究概述衡量目标检测器的两项重要指标精度精细程度窗口[ViolaCVPR01]轮廓[FerrariIJCV10]前景[ToshevCVPR10]精确程度特征表示[DalalCVPR05]分类器设计[Felz.CVPR08]速度减少扫描窗口个数加大采样间隔[DalalThesis06]由粗到细[ZhengIVC12]减少窗口内的计算复杂度层级式分类器[ViolaCVPR01]减少计算冗余[Schn.CVPR04]设计快速特征[WuICCV05]2/1/202315课题意义与研究背景目标检测研究概述目标检测的评测标准速度：运行时间、时间-精度曲线[ButkoCVPR09]精度：不同的检测任务的典型评测方法与数据库分类任务：ROC曲线(VOCchallenge)、混淆矩阵(Caltech101)窗口定位：ROC曲线(INRIAperson)、平均准确率(VOCchallenge)、等正确率与召回率(UIUCcar)勾勒轮廓：覆盖率-准确率(ETHZshape)分割前景：ROC曲线(Weizmanhorses)2/1/202316课题意义与研究背景目标检测研究概述研究现状总结窗口定位的研究广泛开展(准)刚体目标(较早较准确)：准正面人脸[ViolaCVPR01]、侧面车辆[AgarwalPAMI04]非刚体以及多类通用目标(较晚挑战多)：人体目标[DalalCVPR05]、通用目标[Felz.CVPR08]基于形状的检测方法近年来不断发展窗口定位[ShottonCVPR05]勾勒轮廓[FerrariCVPR07]分割前景[ToshevCVPR10]2/1/202317目标检测研究概述研究现状总结窗口定位的研究广泛开展基于形状的检测方法近年来不断发展课题意义与研究背景95~0001~0607~12633000879000755000objectdetectionShapefeaturesobjectdetection566008790099300搜索关键字8.9%10.0%13.2%2/1/202318课题意义与研究背景目标检测的研究意义基于局部形状表示方法开展研究的动机目标检测研究概述形状表示方法概述2/1/202319课题意义与研究背景形状表示方法概述形状表达方式[ZhangPR03]2/1/202320轮廓区域骨架模型：medialaxis几何性质：area、eccentricity区域空间位置：shapegrid、shapematrix变换域系数：Fourierdescriptor区域内的像素信息：ISM、superpixels、HOGblock点的序关系：chaincode点对之间的相对关系：shapecontext几何性质：eccentricity、shapesignature变换域系数：Fourierdescriptor标记点：activeshapemodel滤波器响应值：contourfragment、edgelet、boundaryfragment课题意义与研究背景形状表示方法概述形状表达方式[ZhangPR03]2/1/202321轮廓区域骨架模型：medialaxis几何性质：area、eccentricity区域空间位置：shapegrid、shapematrix变换域系数：Fourierdescriptor区域内的像素信息：ISM、superpixels、HOGblock点的序关系：chaincode点对之间的相对关系：shapecontext几何性质：eccentricity、shapesignature变换域系数：Fourierdescriptor标记点：activeshapemodel滤波器响应值：contourfragment、edgelet、boundaryfragment全局局部课题意义与研究背景形状表示方法概述形状特征(模型)的变形方法形状变化的表示方法形状参数子空间：Activeshapemodel[CootesCVIU95]几何曲线：圆、抛物线[YuilleIJCV92]整体变换：平移、旋转、尺度[OpeltECCV06]能量函数Activecontourmodel[KassIJCV88]Levelset[OsherJCP88]Elasticmodel[BimboPAMI97]TPS-RPM[ChuiCVIU2003]2/1/202322课题意义与研究背景形状表示方法概述形状特征(模型)的变形方法减小类内形变规律影响的方法人工经验：先验位置，小范围扰动Deformablepartmodel[Felz.CVPR08]Boundaryfragment[OpeltECCV06]Activebasis[WuICCV07]自动学习：从训练数据中学习统计规律Activeshapemodel[CootesCVIU95]2/1/202323课题意义与研究背景形状表示方法概述形状特征的组合方法采用机器学习算法组合特征描述能力：matchingpursuit[WuICCV07]判别能力：boosting[ShottonCVPR05]采用认知学的定律组合特征封闭性(closure)[LeviECCV10]接近性(proximity)[FerrariPAMI08]平行性(parallalism)[LoweAI87]2/1/202324表示真实场景图像中的目标形状边缘缺失缺失区域包含错误形状信息背景或目标内部混杂边缘与目标轮廓交叉，与目标轮廓混淆课题意义与研究背景形状表示方法概述研究现状总结表示纯净的形状图形类间区分性类内不变性刚性、非刚性形变2/1/202325提纲课题意义与研究背景本文研究内容基本形状元素的表示方法局部形状特征的变形方法局部形状特征的组合方法总结与展望主要研究成果2/1/202326本文研究内容所要达到的研究目标在真实场景的图片中自动、准确、快速地回答关于特定类别的目标(如马)的如下信息：是否出现在图片中目标窗口在哪里目标轮廓在哪里目标前景在哪里2/1/202327本文研究内容所需解决的关键问题为了使得目标检测器的精度高、速度快，设计形状特征表示方法需要考虑以下三个问题判别能力：检测是分类问题，有效区分前背景描述能力：准确勾勒目标轮廓和分割前景区域计算效率：检测窗口数目大，计算复杂度较高2/1/202328本文研究内容各章研究内容及其关系输入图像窗口扫描基本局部形状特征(小边、条带)可变形局部形状特征(可扰动条带、主动轮廓片段)可变形局部形状特征的组合(主动轮廓组、轮廓片段对)第四章特征组合方法第三章特征变形方法第二章

基本形状元素的表示方法检测窗口分类器背景目标轮廓、前景特征表示分类器设计2/1/202329提纲课题意义与研究背景本文研究内容基本形状元素的表示方法局部形状特征的变形方法局部形状特征的组合方法总结与展望主要研究成果2/1/202330基本形状元素的表示方法研究动机形状信息具有类间判别性和类内稳定性局部形状可以由基本形状元素近似表示2/1/202331基本形状元素的表示方法研究动机以车辆为例研究基本形状元素的表示方法车辆的保险杠、立柱以及轮胎等许多结构可以近似表示为直线段和弧线段等基本形状元素2/1/202332基本形状元素的表示方法条带特征的表示采用明暗相间的条带区域表示车辆的典型结构2/1/202333基本形状元素的表示方法条带特征的提取方法提取图像中亮度对比信息作为特征响应值直接计算方式(DStrip)区域内点离线生成2/1/202334直接计算方式(IStrip)复杂度与条带区域宽度无关g()是积分图运算[ViolaCVPR01]

基于条带特征训练目标检测器Boosting算法训练层级式目标检测器复杂度敏感的特征选择方法权衡计算复杂度与判别能力基本形状元素的表示方法2/1/202335判别能力计算代价特征选择准则：基本形状元素的表示方法条带特征的车辆检测精度评测(VOC2006车辆子集)与Haar-like相比提升约10%与小边特征相比提升约25%2/1/202336Haar-like[ViolaCVPR01]Edgelet[WuICCV05]Heterogeneous[WuCVPR08]I-Strip(本文方法)基本形状元素的表示方法基于条带特征的车辆检测的速度评测复杂度敏感的特征选择方法：自适应调整计算复杂度与判别能力的权重检测器速度：条带特征与Haar-like特征相似2/1/202337基本形状元素的表示方法本章小结算法的优点可以看做小边特征与区域描述子的结合，响应值较稳定可以看做Haar-like特征在形状模式上的扩展，描述能力较强复杂度低，与改进的特征选择算法结合可以达到较快检测速度存在的问题没有显式解决类内形变的影响2/1/202338小边Haar-like条带提纲课题意义与研究背景本文研究内容基本形状元素的表示方法局部形状特征的变形方法局部形状特征的组合方法总结与展望主要研究成果2/1/202339局部形状的变形方法研究动机可扰动的条带特征主动轮廓片段比较两种方法2/1/202340局部形状的变形方法研究动机问题类内形变是造成特征不稳定匹配的最主要原因之一思路特征通过变形方法寻找最佳匹配，有效的减小类内形变带来的影响2/1/202341局部形状的变形方法研究动机可扰动的条带特征主动轮廓片段比较两种方法2/1/202342局部形状的变形方法可扰动条带特征研究动机条带特征不仅可以表示车辆形状，而且可以表示其他的刚体(自行车、摩托车)及非刚体目标(如人体、牛)条带特征匹配算法不能变形类内形变易造成特征响应值的不稳定，从而降低其判别能力2/1/202343局部形状的变形方法可扰动条带特征变形算法按照人工经验让条带局部的位置和对比模式扰动条带特征(IStrip)2/1/202344可扰动条带特征(PStrip)局部形状的变形方法可扰动条带特征检测器对VOC200610类目标的检测平均精度2/1/202345Comp.[EveringhamTR06]HOG[DalalThesis06]Haar.[ViolaCVPR01]Edgelet[WuICCV05]局部形状的变形方法可扰动条带特征总结算法的优点条带特征对多类目标可以取得不错的检测效果扰动算法一定程度上(1.5%)提高了条带特征的检测精度存在的问题扰动算法是人工经验设计的变形算法不同的特征采用同样的变形方法扰动算法无法解决比较大的形变，如铰接形变2/1/202346局部形状的变形方法研究动机可扰动的条带特征主动轮廓片段比较两种方法2/1/202347局部形状的变形方法主动轮廓片段研究动机目标不同区域的形状具有不同的变形规律自动的从训练数据中学习目标的变形规律2/1/202348局部形状的变形方法主动轮廓片段学习算法生成小边特征作为形状基元与训练数据匹配学习形状子空间表示2/1/202349局部形状的变形方法主动轮廓片段主动轮廓片段的性质前两维能够涵盖大部分的变形能量变形中的轮廓片段是光滑连续的2/1/202350第一维主成分第二维主成分局部形状的变形方法主动轮廓片段匹配算法遍历形状子空间，寻找最佳匹配2/1/202351主动轮廓片段目标检测器训练检测器Boosting算法选择特征，构建层级式检测器轮廓定位当窗口被分类为目标时，形状特征向测试图像中对应点投票向原始图像的对应位置投票局部形状的变形方法2/1/202352检测窗口测试图像局部形状的变形方法主动轮廓片段主动轮廓片段的检测精度评测(Weizmannhorses)窗口定位：比edgelet和条带特征提高约4%~5%轮廓定位：比edgelet和条带特征提高约15%~20%2/1/202353窗口定位轮廓定位局部形状的变形方法主动轮廓片段总结方法的优点不同的局部特征具有不同的变形规律能够表示范围变化较大的变形规律存在的问题变形范围比较大，但是缺少更大范围内的形状约束，容易错误匹配到与目标轮廓相似的背景边缘2/1/202354局部形状的变形方法研究动机可扰动的条带特征主动轮廓片段比较两种方法2/1/202355局部形状的变形方法比较两种方法2/1/202356可扰动条带特征主动轮廓片段设计思路人工经验自动学习训练过程无需训练需要离线训练变形规律统一规律由训练数据决定变形范围变形范围小变形范围大窗口定位性能87.4%89.1%86.1%91.1%轮廓定位性能57.5%63.5%58.0%74.0%注：表中数据来自在Weizmanhorse数据库上的精度评测结果提纲课题意义与研究背景本文研究内容基本形状元素的表示方法局部形状特征的变形方法局部形状特征的组合方法总结与展望主要研究成果2/1/202357局部形状特征的组合方法研究动机主动轮廓组轮廓片段对比较两种方法2/1/202358局部形状特征的组合方法研究动机问题大量背景或者目标内部边缘与目标轮廓位置接近、形状相似，导致局部特征在变形过程中容易产生误匹配思路组合局部特征表示更大范围内的形状信息2/1/202359错误匹配结果特征初始位置局部形状特征的组合方法研究动机主动轮廓组轮廓片段对比较两种方法2/1/202360局部形状特征的组合方法主动轮廓组研究动机短的轮廓片段在图像中频繁出现，但连续的长轮廓通常位于目标轮廓上，因此将邻接的短特征链接起来匹配图像中的长轮廓，可能会有效减少误匹配2/1/202361局部形状特征的组合方法主动轮廓组马尔可夫链模型2/1/202362…邻域系统定义：局部形状特征的组合方法主动轮廓组能量函数2/1/202363一阶能量项接近边缘二阶能量项保持连续局部形状特征的组合方法主动轮廓组采用递增式学习的主动轮廓组快速生成算法步骤1:以一个主动轮廓片段初始化主动轮廓组步骤2:选择与主动轮廓组头尾邻接的主动轮廓片段步骤3:以递增方式快速匹配新的主动轮廓组与训练样本步骤4:选出匹配能量最小的主动轮廓片生张主动轮廓组步骤5:更新对主动轮廓组参数的前两维子空间的估计步骤6:没有超出长度上限和前两维能量下限继续步骤22/1/202364能量函数递增形式局部形状特征的组合方法主动轮廓组主动轮廓组性质大多数的主动轮廓组中含有3段以上的主动轮廓片段主成分分析的前二维主成分涵盖形变的大部分能量主动轮廓组可以表示连续的长轮廓2/1/202365长度为10的主动轮廓组的第一维主成分长度为10的主动轮廓组的第二维主成分局部形状特征的组合方法主动轮廓组为什么不直接采用长的小边特征生成长的主动轮廓片段？真实场景下，由于背景边缘的存在、目标轮廓的缺失，很难存在理想的轮廓，因此无法从长的小边特征直接学出长的主动轮廓片段2/1/202366局部形状特征的组合方法主动轮廓组主动轮廓组的检测精度评测(Weizmannhorses)窗口定位：与主动轮廓片段相比，精度提升不明显轮廓定位：与主动轮廓片段相比，约有5%的提升2/1/202367轮廓定位窗口定位局部形状特征的组合方法主动轮廓组总结方法的优点该方法将主动轮廓片段链接成长的连续形状特征，能够减少误匹配到背景中及目标内部的短边缘，因此轮廓定位的精度在同样覆盖率的情况下准确率提高约5%存在的问题与主动轮廓片段相比，并没有编码更多的图像信息，窗口定位的性能并未因此得到显著提升2/1/202368局部形状特征的组合方法研究动机主动轮廓组轮廓片段对比较两种方法2/1/202369局部形状特征的组合方法轮廓片段对研究动机格式塔心理学的相似性定律和接近性定律表明人类可以将形状相似位置接近的轮廓片段组合在一起感知出目标物体的前景区域2/1/202370局部形状特征的组合方法轮廓片段对配对的原则共现性：两个轮廓片段要在训练样本上共现相似性：两个轮廓片段的形状是相似的接近性：两个轮廓片段彼此是最接近的对方的片段2/1/202371局部形状特征的组合方法轮廓片段对匹配能量函数一阶能量项：尽量接近图像中的边缘二阶能量项：两个片段之间的面积变形时保持稳定2/1/202372采用一阶能量项的匹配结果加入二阶能量项的匹配结果局部形状特征的组合方法轮廓片段对轮廓片段对的性质主成分分析的前二维主成分涵盖形变的大部分能量轮廓片段中间的区域可能是目标的前景区域2/1/202373第一维主成分第二维主成分轮廓片段对训练检测器提取形状、颜色、纹理特征，利用逻辑回归和boosting算法训练层级式目标检测器勾勒轮廓与分割前景当窗口被分类为目标时，边缘和内部分别对轮廓和前景投票局部形状特征的组合方法2/1/202374检测窗口测试图像局部形状特征的组合方法轮廓片段对轮廓片段对的检测精度评测(Weizmannhorses)窗口定位：比主动轮廓片段及主动轮廓组提升约3%轮廓定位：比主动轮廓片段及主动轮廓组提升10%~15%前景分割：主动轮廓片段及主动轮廓组无法预测前景2/1/202375窗口定位前景分割轮廓定位局部形状特征的组合方法轮廓片段对总结方法的优点与形状特征相比可以同时利用形状和表观信息，因为轮廓片段对可以从轮廓推测出目标的前景区域与矩形区域的描述子相比，可能提供更准确的表观信息，因为轮廓片段对比矩形区域更准确的表示目标的前景区域与现有的类似方法相比，只需要人工标注训练样本的检测窗口，无需细致分割数据存在的问题轮廓片段对只能够表示局部区域的信息，多个轮廓片段对之间缺乏全局信息约束2/1/202376局部形状特征的组合方法研究动机主动轮廓组轮廓片段对比较两种方法2/1/202377局部形状特征的组合方法比较两种方法2/1/202378主动轮廓组轮廓片段对研究动机连续长片段是显著的相似律、接近律表示信息形状形状和表观检测器功能窗口、轮廓窗口、轮廓以及前景窗口定位性能91.1%89.1%91.1%91.1%轮廓定位性能74.0%80.0%74.0%89.0%前景分割性能-90.0%注：表中数据来自在Weizmanhorse数据库上的精度评测结果提纲课题意义与研究背景本文研究内容基本形状元素的表示方法局部形状特征的变形方法局部形状特征的组合方法总结与展望主要研究成果2/1/202379总结与展望全文内容总结2/1/202380注：表中数据来自在Weizmanhorse数据库上的精度评测结果总结与展望未来工作展望全局形状模型主动轮廓组和主动轮廓对没有利用到全局形状约束与分割方法相结合可以与底层的通用分割算法相结合产生式模型所有的方法都是在判别式框架下讨论，可以尝试在产生式框架下对形状建模2/1/202381提纲课题意义与研究背景本文研究内容基本形状元素的表示方法局部形状特征的变形方法局部形状特征的组合方法总结与展望主要研究成果2/1/202382主要研究成果博士期间发表的期刊W.Zheng,H.Chang,L.Liang,H.Ren,S.Shan,andX.Chen.Stripfeaturesforfast