目标检测中的特征冲突与不对齐问题

1、Two-stage目标检测中的特征/任务冲突问题1.1 Two-stage目标检测的流程与原理说起两阶段目标检测算法，大家耳熟能详的就是 Faster RCNN系列了，目 前的大多数两阶段算法也都是在其基础上进行的改进。不过现在新出的很多“N-阶段”的算法把大家搞混了。所以我这里申明一下两阶段的意义，我们通 常说的两阶段是以Faster RCNN算法为基准的，第一阶段是特征提取和候选框 提取，主要是RPN网络，第二阶段是对候选框进行进一步筛选、精修和细分 类，主要是ROI Pooling/Align等网络。在我的上一篇博文中提到过两阶段目标检测的关于平移不变性和相等性的矛盾问题，这里我们详细探

2、讨一下。两阶 段目标检测中，第一阶段做的事前/背景分类和候选框回归，第二阶段做的是候 选框精修回归和细分类。正如之前所讨论的，分类任务希望无论目标的位置和 形状怎么变化，什么类别的目标就是什么类别，即需要保证平移和尺度的不变 性。而回归任务，我在上一篇博文中提到了，对于物体位置的回归很大程度可 能依赖padding信息，当然这不是这次的讨论重点，回归需要保证目标的位置 和形状变化反映在特征上，进而回归得到位置，即平移和尺度的相等性。这一 问题在行人检索中更加严重，因为行人检索问题中的识别任务要求同类目标的 不同身份要区分开，这一点就与目标检测中的分类任务相违背，因为检测中的 分类不论什么身份，

3、只要属于同一类别即可。classifierRol puvlingproposalsRefion Proposal Networfeature mapsconv layers1.2现有的相关解决方案在正式介绍相关改进策略之前，我们先提提Cascade RCNNT法3，其原理如下：仙 Fz R CSi*hi hG划卜e RFkmiiifcrvo期Irutjiici 蚩1片一 f冋hN 三石一= 鼻品三芒亘 =kuL基壬 Ml 匚三三 三 P K 了 三亘三匚三 云 VH =出f I忙4 0 厂二习Qn至于为了提高预测精度的PrROI-pooling,我就不仔细分析其原理了，不是 这里的讨论重点：I

4、 K(J Pooling5 PrHol 1”,II I J 卅-p 卩I IIMMl川! J Q； / .% :.J W - J N -( / 3 佰hll 屮叫阿孑g 童fjiijLr- 丄M-fl那么真正意义上把分类和回归问题放在明面上的我觉得是RCNN2,来自于18年COC腕测冠军旷视团队。Double-Head1 -1_厂3 恥II亠,.r， JsJ耐 r PPM* 沪Miqi二; Ji?* UIM*J-亠(c) DMbl-HdJf Fh|*心於2融MdKJL. idih Lvrt治T _ -孑祁tbi5n可以看到，四种方案下平衡两个分支损失函数权重后，后两种的效果明显 更好。最后我们

5、来看看CVPR2019勺Guided Anchoring算法。juidMl Hichsr耐&却Ih?:JJJ两閩吩 H-* flrftics?. = IjWigfr* I pnCTiQn#n. Fj ,nt iL . 1MF 丘 1，贬b!w -(- 云这个算法解决的是anchor的设计问题，而anchor的设计需要解决形状对 齐和特征一致性的问题。其中形状对齐指的是以往anchor的尺寸和长宽比都是预设的固定几个，首先这也是超参数，其次无法适应多样的样本形状，因此该 算法以特征图每个点作为中心，先预测 anchor的长宽，再用于预测。而特征一 致性问题则是一个很巧妙的问题，原因在于，同一层的

6、特征图上每个点的感受 野一致，但是预测到的anchor尺寸却不同，那么基于不同大小的 anchor来做 的分类任务却基于相同的特征感受野，这显然是存在问题的。所以作者基于预 测得到的anchor长宽，利用deform-conv为每个anchor分配了新的特征区 域，其中deform-conv中的offset 直接采用预测得到的anchor长宽。On e-stage目标检测中的特征不对齐问题2.1 On e-stage目标检测中的问题On e-stage目标检测算法，以 YOLO系列、SSD系列、Ret in aNet等为经 典，下面是YOLOv3l勺网络流程：I r - r - r4 4t7i

7、r II 51 T Ml 阿厂茁 L |j_irYolovJStructure- .I- -j-V I 二RLEai II II IRPN阶段，所以两 anchor与特征不对齐），我们可以看到的是单阶段的目标检测算法相当于取消了 阶段目标检测中遇到的问题（分类与回归特征冲突， 在单阶段目标检测中只会更加严重。不过单阶段目标检测的目标就是提升速 度，所以我目前并没有看到对第一个问题的解决方案，而去年对于anchor与特征不对齐的问题有好多解决策略。原因在于两阶段目标检测中ROI Pooling本身有一个利用候选框裁剪特征区域的过程，缓解了这一问题，而单阶段目标检 测却没有这一过程。2.2“ 1.

8、5 -stage解决策略CVP R201有一篇Refin eDet算法9，这个算法是针对 SSD算法的改进，融合了单阶段和两阶段的设计思路，但又不是我们之前所说的RP N+ROI Pooli ng这类框架，所以就叫它“ 1.5stage检测框架吧。RefineDet有两个模块，其中 上面是ARM用于调整anchors的位置和大小，下面是 ODM用于目标检测。这 个跟Guided Anchoring的设计思路很像，不过比较简陋。除此之外， Refin eDet还采用了级联预测的模式，利用中间的 特征Concat反向级联，类似于FPN的模式。TCB模块，其通过Deconv和I- -fl:zL小 -

9、i同样地，相同的团队在 AAAI2019的一篇人脸检测算法SRN6也用了Refin eDet 的框架：Setetliva Twe-sfi5(i Ci迢s斗机亘问小 iSTCfSatliwfi Tws=Eep 氐i 3TR：i可以看到整体框架很像，但是却有所不同，SRN1架包含有STC+STR+RF三个 模块。其中STC模块作用于浅层网络，用于过滤掉大部分的负样本，STR乍用于高层特征，用于粗略调整 anchor，类似于Refin eDet。而RFE则是在接受各 个尺度特征的同时，利用非正方形的卷积核对感受野进行增强（考虑到人脸不 一定是正的）。previous Layertt11*CorivC

10、oCortvGonv1x1価1上1 X.641 、1 A 04TVCon甲ConvCohvCtwtv1 3 641 5 - 643 * 1 1645 1 64T1rCOTlVCorwCon#Conv1X1XM1 - 1 d 641 科 1 1 X 64=-CoricatConv1 X I k 256在ICCV2019中有一篇比较特别的检测算法Reppoints7，其出来的时机 正好是anchor-free算法大火的时候，其框架比较特别，可以看作是DCN+Refi ne操作的集成，有人也称其为 DCNv3PLkntciFEct 壮id轉If*PlH Jill呻门、iLl这个框架的特别之处在于没有

11、预测框，没有预测中心或者角点，而是预测 的目标边缘的九个点。不过我觉得这几个特征点更像是一种解释，而不是出发 点。其原理是以特征图上每个点为中心，预测包含该位置的目标的九个边缘 点。其方式是通过卷积的方式预测各个点的相对位置（x,y）偏移，以此作为Deform Conv的偏移量对原特征图进行卷积，由此使得特征与目标区域更加重合，从而进行第二阶段的预测。可以发现，Reppoints很像anchor free 版的Guided An chori ng，而之前提到的 Refin eDet和SRN虽然提到了 an chor预更 新，但是特征并没有校正。WACV202的一片P&A算法 算是对上面的不足做

12、了完善，但是我感觉像是把 Guided An chori ng中的Feature Ada ption 直接搬 过来了，为什么这么说呢。因为 P&A也是先预测anchor偏移和前景背景分类， 然后以此作为deform conv的offsets对特征重提取，再进行目标位置回归和 细分类。JimajsiiLlipA l41rLiVUtRliv?tipradirlBk斗i.应站Ift电 ifWiMId) Zc 阿俱h kip 1!宜1右 psOililJ dCIU也tlltruH H理 憐ih m affieufeilinfHZ lornf Irila tt rldit*.UiiHh . Im III

13、同时间出来的AlignDet8则是提出了ROIC onvSdiffis 碍 idWI#戸Onw AKtiOf 4上图中（a）指的就是Refin eDet类的对齐，（b）就是Reppoints 类的对 齐，（c）就是Guided Anchoring 类的对齐，（d）就是AlignDet类的对齐。 Align Det把基于an chor偏移量的特征对齐称作 ROICo nv还分析了具体的 偏移校正过程：PyWEFil Feature可以看到有两次预测过程，作者采用了Cascade的 方式，两次的IOU阈值不同。其实仔细看的话P&A和AlignDet的结构几乎一模一样，看评审怎么 看吧，估计也是考虑

14、到这方面因素给挂了。? Model En semble很多大型比赛的固定策略“ Ensemble，已经不奇怪了。naive ensemble的策略是借鉴的 2018年的Open Image第二名，给定 bou ndingboxes（P），以及topk个与之IOU较高的候选框，依据验证集的分数来分 配各个模型在集成时的权重，这里还分各个目标类别，然后进行加权：,C = S卩 + 0.05 来 Z S芹The localization D is compiited as:0 3B = (L了 水 Bp 4 *这里作者训练了 28个目标检测网络.，利用二叉树的方式进行模型空间搜 I索0? Data

15、Re-sa mp li ng 确保500个类别的目标中各个类别被选取的概率相等。? Deco up li ng Backb one对于第2528个模型，采取Decoupie Head的策略，其中回归分支的权重 较小。? Elaborate Augme ntati on随机选择一个类别，利用旋转放缩裁剪等方式进行数据增强，这样可以使得一幅图中的类别数变少，缓解数据不平衡问题。? Ex pert Model利用专门的网络训练专门的子类别数据集，这里面考虑了正负样本均衡的问题，容易混淆（标注标准不同，表观相似）的样本。? An chorSelect ing跟YOLO系列一样，利用 k-means方法得到18组anchors（6种长宽比，3 种尺寸）o? Cascade RCNN设置了 0.5,0.5,0.6,0.7四个阶段的级联检测，这我就搞不懂Adj-NMS干嘛用的了。? Weakly Sup ervised Training严重不均衡，所WSDD隙法中的弱监督由于Openlmage数据集中各类别的“长尾分布”很明显， 以作者增加了一些图像级的标注，结合有监督和 算法联合训练。比女口 person 和 guitar person 在旁边? Relati onsh