基于深度神经网络的目标检测

1、第1页 | 共25页基于深度神经网络的目标检测检测检测 定位定位 + 分类分类第2页 | 共25页第3页 | 共25页传统目标检测基于候选区域的目标检测回归方法的深度学习目标检测faster-RCNNfast-RCNNSPPNETRCNNYOLO第4页 | 共25页区域选择特征提取分类器分类滑动窗口策略手工设计特征SVM、adaboost等两个问题传统目标检测第5页 | 共25页候选区域selective searchIOUNMS非极大值抑制PASCAL VOC上的检测率从从35.1%提升到提升到53.7%基于候选区域的目标检测第6页 | 共25页Step1. Input an imageSt

2、ep2. Use selective search to obtain 2k proposalsStep3. Warp each proposal and apply CNN to extract its featuresStep4. Adopt class-specified SVM to score each proposalStep5. Rank the proposals and use NMS to get the bboxes. Step6. Use class-specified regressors to refine the bboxes positions.TOO SLOW

3、WWW ! SPPNET RCNN三个问题（分阶段训练、空间浪费、慢47s）SPP-Net: MotivationCropping may loss some information about the objectWarpping may change the objects appearance第7页 | 共25页 FC layer need a fixed-length input while conv layer can be adapted to arbitrary input size. Thus we need a bridge between the conv and FC l

4、ayer. Here comes the SPP layer.第8页 | 共25页SPP-Net: Training for Detection(1)第9页 | 共25页Conv5 feature mapConv5 feature mapConv5 feature mapImage PyramidFeatMap PyramidsconvStep1. Generate a image pyramid and exact the conv FeatMap of the whole imageSPP-Net: Training for Detection(2) Step 2, For each pr

5、oposal, walking the image pyramid and find a project version that has a number of pixels closest to 224x224. (For scaling invariance in training.) Step 3, find the corresponding FeatMap in Conv5 and use SPP layer to pool it to a fix size. Step 4, While getting all the proposals feature, fine-tune th

6、e FC layer only. Step 5, Train the class-specified SVM第10页 | 共25页SPP-Net: Testing for DetectionAlmost the same as R-CNN, except Step3.第11页 | 共25页第12页 | 共25页Speed: 64x faster than R-CNN using one scale, and 24x faster using five-scale paramid.mAP: +1.2 mAP vs R-CNN2. 训练花费过大的硬盘开销和时间1. 训练分多阶段，并不是端到端的训练

7、过程FC layersConv layersSVMregressorstore第13页 | 共25页3. 训练sppnet只微调全连阶层（检测除了语义信息还需要位置信息，多层pooling操作导致位置信息模糊）Fast R-CNNFast R-CNN: MotivationRoss Girshick, Fast R-CNN, Arxiv tech reportJOINT TRAINING!第14页 | 共25页多任务损失函数(multi-task loss)ROI pooling layer特征提取和分类放在一个网络之中，联合训练Fast R-CNN: Joint Training Frame

8、workJoint the feature extractor, classifier, regressor together in a unified framework第15页 | 共25页（RoI）候选区域：图像序号几何位置Fast R-CNN: RoI pooling layer one scale SPP layer第16页 | 共25页Fast R-CNN: Regression LossA smooth L1 loss which is less sensitive to outliers than L2 loss第17页 | 共25页多任务损失函数image pyramids

9、（multi scale）brute force （single scale）Conv5 feature mapconvIn practice, single scale is good enough. (The main reason why it can faster x10 than SPP-Net)第18页 | 共25页Fast R-CNN: Other tricks第19页 | 共25页第20页 | 共25页- 网络末端同步训练同步训练的分类和位置调整，提升准确度 - 使用多尺度多尺度的图像金字塔，性能几乎没有提高 - 倍增训练倍增训练数据，能够有2%-3%的准确度提升 - 网络直接

10、输出各类概率(softmax)，比SVM分类器性能略好 - 更多候选窗更多候选窗不能提升性能Fast RCNN和RCNN相比，训练时间从84小时减少为9.5小时，测试时间从测试时间从47秒减少为秒减少为0.32秒秒。在PASCAL VOC 2007上的准确率相差无几，约在66%-67%之间第21页 | 共25页1. Region proposal耗时（提region proposal 23s，而提特征分类只需0.32s）2. 伪端到端训练（region proposal使用selective search先提取处来，占用磁盘存储）FasterRCNN卷积网络直接产生候选区域RPN本质为滑动窗口

11、第22页 | 共25页第23页 | 共25页滑动窗口（最后一卷积层）anchor机制（锚点）边框回归可以得到多尺度长宽比候选区域第24页 | 共25页简单网络目标检测速度达到简单网络目标检测速度达到17fps，在PASCAL VOC上准确率为59.9%；复杂网络复杂网络达到5fps，准确率78.8%20000个anchor第25页 | 共28页1 Imagenet上预训练模型初始化网络参数，微调RPN网络2 使用1中网络提取候选区域训练fastRCNN3 用2的fastRCNN重新初始化RPN，固定卷积层微调4 固定2种fastRCNN卷积层，用3种RPN提取候选微调1.无法达到实时2.预先获取候选区域，在对每个proposal分类计算量比较大基于回归YOLO第26页 | 共28页(1) 给个一个输入图像，首先将图像划分成7*7的网格(2) 对于每个网格，我们都预测2个边框（包括每个边框是目标的置信度以及每个边框区域在多个类别上的概率）(3) 根据上一步可以预测出7*7*2个目标窗口，然后根据阈值去除可能性比较低的目标窗口，最后NMS去除冗余窗口即可。增强版本GPU中能跑45fps，简化版本155fps第27页 | 共28页YOLO可以每秒处理45张图像每个网络预测目标窗口时使用的是全图信息只使用7*7的网格回归会使得目标不能非常精准的