10深度学习-第十章 计算机视觉

第十章

计算机视觉

第一节

图像分类计算机视觉概述赋予机器以“视觉”——解析、理解和解释图像及视频中的丰富信息模拟人类的视觉感知过程，将复杂、非结构化的视觉数据转换成可被计算机理解的形式核心任务图像分类目标检测语义分割10.1图像分类图像分类是指将输入图像归类到预定义的类别中的任务一般的图像分类任务通常涉及的类别相对宽泛，例如左图所示，将图片分类为鸟、狗或橘子细粒度的图像分类任务要求在已经分出基本类别的基础上，进行更加精细的子类划分。例如右图所示，模型不但需要识别出图像中是狗，还需要精确对狗的品种（哈士奇和雪橇犬等）进行识别10.1.1数据集MNIST数据集[1]：常用的手写数字识别数据集，由美国国家标准与技术研究所提供。该数据集包含了大约60000张训练集图片和10000张测试集图片，每张图片都是分辨率为28×28的灰度图像。[1]/exdb/mnist/10.1.1数据集CIFAR-10数据集[2]：广泛用于机器学习和计算机视觉研究的图像数据集。由60000张分辨率为32×32的彩色图像组成。

每张图像都标有10个相互排斥的类别之一：飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。每个类别都包含复杂的背景和多种姿态、尺寸、颜色的对象，因此该数据集对图像分类任务提出了一定的挑战。[2]/~kriz/cifar.htmlImageNet数据集[3]：用于视觉对象识别软件研究的大型数据库，由斯坦福大学的李飞飞教授团队创建。包含超过1400万张带有标注的图像，涵盖超过2万个类别，是计算机视觉领域中被广泛使用的数据集之一。[3]/index.php10.1.1数据集10.1.2传统方法传统图像分类方法主要包括特征提取和特征分类两个步骤特征提取从图像中提取能够代表图像内容的特征，使后续的分类算法能够更有效地进行分类。颜色特征，如颜色直方图、颜色矩和颜色相关图等；纹理特征，如灰度共生矩阵（GLCM）、Gabor滤波器和局部二值模式（LBP）等；形状特征，如Sobel边缘提取、轮廓提取和霍夫变换等；关键点特征，如尺度不变特征变换（SIFT）、加速稳健特征（SURF）和方向梯度直方图（HOG）等特征分类在完成特征提取后，传统图像分类方法通常使用机器学习算法进行分类，例如K近邻算法、支持向量机、决策树、随机森林、朴素贝叶斯和线性判别分析等10.1.3深度学习方法传统图像分类方法在处理复杂场景和大规模数据集时表现受限随着深度学习尤其是卷积神经网络的兴起，图像分类的性能得到了显著提升AlexNet,2012[4]DenseNet,2017[5][4]Krizhevsky,A.,Sutskever,I.,&Hinton,G.E.(2012).Imagenetclassificationwithdeepconvolutionalneuralnetworks.Advancesinneuralinformationprocessingsystems,25.[5]Huang,G.,Liu,Z.,VanDerMaaten,L.,&Weinberger,K.Q.(2017).Denselyconnectedconvolutionalnetworks.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.4700-4708).[6]He,K.,Zhang,X.,Ren,S.,&Sun,J.(2016).Deepresiduallearningforimagerecognition.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.770-778).10.1.4数据增强技术几何变换：旋转、翻转、裁剪、缩放、平移等颜色变换：随机改变图像的亮度、对比度、饱和度、色调等噪声添加：添加高斯噪声、椒盐噪声等混合方法：代表性方法包括Cutout、Mixup和CutMix等MixupCutoutCutmix10.1.5正则化技术L1NormalizationL2NormalizationNetworkBeforeDropoutNetworkAfterDropoutBatchNormalizationEarlyStopping10.1.6预训练与迁移学习训练一个高性能的图像分类模型通常需要大量标注数据和计算资源，这成为许多研究和应用的瓶颈预训练模型是指在大规模图像数据集上预先训练模型，模型学会了从大量的原始像素数据中抽取有用的特征，这些特征对于图像内容的理解至关重要迁移学习是一种机器学习方法，它允许我们将一个任务上学到的知识（如预训练模型）应用到另一个相关但不同的任务上10.1.7二分类评价指标二分类任务是指目标类别只有2个的分类任务，如0、1分类混淆矩阵（ConfusionMatrix）：用来总结一个分类器结果的矩阵，其包括TP、FP、TN、FN四个值许多常用的评价指标都是通过混淆矩阵的统计结果计算出来的值得注意的是，TP、FP、TN、FN的和是总样本数准确率（Accuracy）：表示模型正确预测的样本数占总样本数的比例特异度（Specificity）：表示模型预测的负样本数占总负样本数的比例FPR（FalsePositiveRate）：表示模型预测的正样本中的实际负样本占所有负样本的比例。FPR越大，预测正样本中的实际负样本越多10.1.7二分类评价指标精确率（Precision）：表示模型预测的正样本数占总正样本数的比例召回率（Recall）：表示正样本中，被模型正确预测为正样本的比例F1-Score：精确率和召回率的调和平均值，用于同时衡量模型的精确率和召回率10.1.7二分类评价指标P-R曲线：表示横纵坐标分别为精确率和召回率的曲线。P-R曲线可以帮我们找到一个合适的阈值让模型同时具备较高的精确率和召回率AP：AP（AveragePrecision）是P-R曲线下面积。通常来说，AP值越高，模型分类效果越好。AP可以看作是P-R曲线的一个量化指标10.1.7二分类评价指标ROC曲线：ROC（ReceiverOperatingCharacteristic）曲线的横纵坐标分别为FPR和TPR（TruePositiveRate），其中TPR与召回率相同。ROC曲线可以评价模型在不同阈值下的表现AUC：AUC（AreaUnderCurve）为ROC曲线下面积，取值范围在0至1之间。当AUC等于0.5时，相当于随机预测；AUC越接近1则模型分类性能越好，越接近0则模型性能越差。AUC可以看作是ROC曲线的一个量化指标10.1.7二分类评价指标Accuracy_top1：也称为Top-1准确率，指的是模型预测的最高概率类别与真实的类别完全匹配的比例Accuracy_top5：即Top-5准确率，放松了正确答案的标准。在这个指标下，如果模型预测的最高概率的五个类别中包含真实类别，就算作预测正确Macro指标：即宏观平均，对于每一个类别，首先独立计算该类别的精确率、召回率或F1分数。然后，将所有类别的这些指标取平均值得到最终的Macro指标。这意味着每个类别在计算过程中拥有平等的权重，不管类别中的样本数量多少Micro指标：即微观平均，首先，对所有的预测结果（而非每个类别单独）进行汇总，计算总的TP、FP、TN和FN。然后，基于这些总量计算整体的精确率、召回率或F1分数。Micro平均关注的是整体的分类性能，而不是单个类别的表现10.1.8多分类评价指标10.1.9应用场景医学诊断自动驾驶安防监控工业检测社交网络10.1.10发展趋势自适应与轻量化设计：模型压缩、量化、剪枝神经网络架构搜索（NeuralArtchitectureSearch,NAS）数据增强与合成：对抗学习（GAN）扩散模型（DiffusionModel）自监督与弱监督学习：对比学习（CLIP）可解释性与可信性：特征可视化（Grad-CAM）模型对齐注意力机制（AttentionMechanisms）：空间注意力、通道注意力自注意力机制（SelfAttention)混合架构：CNN+ViT10.1.10发展趋势《深度学习》第十章

计算机视觉

第二节

目标检测许静南开大学

人工智能学院10.2目标检测目标检测（ObjectDetection）：旨在让计算机能够像人眼一样识别和定位图像中的物体，它不仅需要识别出图像中有哪些对象，还要确定它们在图像中的位置以及它们的类别。目标检测的本质是对视觉信息进行解析，涉及图像处理、特征提取、模式识别和机器学习等多个层面。10.2.1传统方法传统的基于特征的目标检测算法通常是基于手工设计的特征和机器学习分类器的组合。特征提取：使用各种计算机视觉技术和特征描述符来提取图像中的特征。HOG（方向梯度直方图特征HistogramofOrientedGradient）SIFT（尺度不变特征变换匹配算法ScaleInvariantFeatureTransform）SURF（加速稳健特征SpeededUpRobustFeatures）目标候选生成：使用候选生成算法在图像中生成目标候选区域。滑动窗口（SlidingWindow）选择性搜索（SelectiveSearch）特征分类器：将提取的特征输入到分类器中，以区分目标和非目标区域。支持向量机（SupportVectorMachine，SVM）AdaBoost级联分类器边界框回归：使用回归算法来精确定位目标的边界框10.2.2深度学习方法双阶段（Two-stage）目标检测首先产生区域候选框，其次提取每个候选框的特征，最后产生位置框并预测对应的类别。特点：精度高、速度慢代表作：R-CNN算法单阶段（One-stage）目标检测在产生候选框的同时进行分类和边界框回归，一步到位。特点：速度快、精度较差代表作：YOLO算法10.2.3发展历程基于深度学习的目标检测算法发展历程10.2.4数据集PASCALVOC数据集VOC数据集是目标检测经常用的一个数据集，自2005年起每年举办一次比赛，最开始只有4类，到2007年扩充为20个类，共有两个常用的版本：VOC2007和VOC2012MSCOCO数据集COCO数据集是微软团队发布的⼀个可以用来做目标检测、语义分割和图像字幕任务的数据集，该数据集收集了大量包含常见物体的日常场景图片，并提供像素级的实例标注以更精确地评估检测和分割算法的效果，致力于推动场景理解的研究进展COCO的检测任务共含有80个类，在2014年发布的数据中，训练集、验证集和测试集分别为80K/40K/40K张图片10.2.4数据集GoogleOpenImage数据集OpenImage是谷歌团队发布的数据集。最新发布的OpenImagesV4包含190万图像、600个种类，1540万个边界框标注，是当前最⼤的带物体位置标注信息的数据集边界框大部分都是由专业注释人员手动绘制的，确保了它们的准确性和⼀致性。另外，这些图像是⾮常多样化的，并且通常包含有多个对象的复杂场景（平均每个图像8个对象）10.2.4数据集DOTA数据集DOTA是遥感航空图像检测的常用数据集，包含2806张航空图像，尺寸约为4000×4000分辨率，包含15个类别共计188，282个实例，其中14个主类，smallvehicle和largevehicle都是vehicle的子类数据划分为1/6验证集，1/3测试集，1/2训练集。目前发布了训练集和验证集，图像尺⼨从800×800到4000×4000不等10.2.4数据集10.2.5代表方法R-CNN系列R-CNN通过选择性搜索（SelectiveSearch）算法生成候选区域，然后使用卷积神经网络（CNN）对每个候选区域进行分类和边界框回归随后，FastR-CNN和FasterR-CNN进一步优化了速度和准确性YOLO系列YOLO系列是一种实时目标检测算法将目标检测任务转化为回归问题，直接在图像上预测目标的边界框和类别YOLOv1提出了全新的检测框架，随后的YOLOv2、YOLOv3和YOLOv4等进一步改进了准确性和速度SSD单阶段的目标检测模型在图像的不同尺度上预测目标的边界框和类别，并使用多个卷积层来提取不同尺度的特征具有较快的检测速度和较好的检测性能10.2.6R-CNN系列模型R-CNN[7]R-CNN（Region-basedConvolutionalNeuralNetwork）是一种目标检测算法，它在2014年由Girshick等人提出。主要思想是首先生成一组候选区域，然后对每个候选区域进行特征提取和分类，最后对分类结果进行边界框回归，以获得最终的目标检测结果。[7]Girshick,R.,Donahue,J.,Darrell,T.,&Malik,J.(2014).Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.580-587).FastR-CNN[8]FastR-CNN模型在R-CNN的基础上做了一定的改进，使得我们可以在相同的网络配置下同时训练一个检测器和边框回归器。该网络首先输入图像，图像被传递到CNN中提取特征，并返回感兴趣的区域ROI，之后在ROI上运用池化层以保证每个区域的尺寸相同，最后这些区域的特征被传递到全连接层的网络中进行分类，并用Softmax和线性回归层同时返回边界框。[8]Girshick,R.(2015).Fastr-cnn.arXivpreprintarXiv:1504.08083.10.2.6R-CNN系列模型YOLOv1[9]YOLO(YouOnlyLookOnce)是继R-CNN系列模型之后，针对双阶段目标检测速度问题提出的另一种框架核心思想是将目标检测任务当做回归问题来处理，直接通过整张图片的所有像素得到boundingbox的坐标、box中包含物体的置信度和所属类别的概率[9]Redmon,J.(2016).Youonlylookonce:Unified,real-timeobjectdetection.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.10.2.7YOLO系列模型YOLOv2[10]在速度上，YOLOv2使用DarkNet19作为特征提取网络，该网络比YOLOv2所使用的VGG-16要更快在分类上，YOLOv2使用目标分类和检测的联合训练技巧，结合WordTree等方法，使得YOLOv2的检测种类扩充到了上千种其他策略BatchNormalization(批量正则化)HighResolutionClassifier(高分辨率分类器)ConvolutionalWithAnchorBoxesDimensionClusters(维度聚类)直接定位预测细粒度特征尺度训练[10]Redmon,J.,&Farhadi,A.(2017).YOLO9000:better,faster,stronger.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.7263-7271).10.2.7YOLO系列模型YOLOv3[11]使用了DarkNet53作为新的主干网络，它包含53个卷积层，每个卷积后面跟随着BN层和LeakyReLU层。没有池化层，使用步幅为2的卷积层替代池化层进行特征图的降采样过程，这样可以有效阻止由于池化层导致的低层级特征的损失分类器用Logistic取代了Softmax，并借鉴了FPN思想采用三条分支（三个不同尺度/不同感受野的特征图）去检测具有不同尺寸的对象[11]Farhadi,A.,&Redmon,J.(2018,June).Yolov3:Anincrementalimprovement.InComputervisionandpatternrecognition(Vol.1804,pp.1-6).Berlin/Heidelberg,Germany:Springer.10.2.7YOLO系列模型10.2.8评价指标Truepositives（TP）：被正确地划分为正例的个数Falsepositives（FP）：被错误地划分为正例的个数Falsenegatives（FN）：被错误地划分为负例的个数Truenegatives（TN）：被正确地划分为负例的个数精确率（Precision）：模型正确检测到的正样本占所有被检测为正样本的比例召回率（Recall）：模型正确检测到的正样本占所有实际正样本的比例。准确率（Accuracy）：所有被正确检测的样本（正样本和负样本）占所有样本的比例F1分数（F1Score）：F1分数是精确率和召回率的调和平均值，用于衡量模型的精确性和稳健性平均精度（AveragePrecision，AP）：在目标检测中，通常将精确率和召回率绘制在同一图表上，创建一个精确率-召回率曲线。AP是这个曲线下的面积，它能够综合考虑到各个召回率水平上的精确率平均精度均值（MeanAveragePrecision，mAP）：当有多个类别时，mAP是所有类别的AP的平均值。它是评估包含多个类别检测的模型性能的标准指标交并比（IntersectionoverUnion，IoU）：预测边界框和实际边界框之间的重叠度10.2.8评价指标10.2.9应用场景人脸检测车辆检测遥感目标检测行人检测10.2.10发展趋势轻量级目标检测边缘计算设备支持移动增强现实、自动驾驶、智慧城市等应用端到端目标检测既保持高检测精度又保持高效率的端到端流程小目标检测人群或露天动物的人口计数卫星图像中检测军事目标3D目标检测感知3D世界中物体的位置和姿态视频中的检测探索时空关联来提高视频目标检测能力跨模态检测RGB+深度、激光雷达、光流RBG+声音、文本、视频等开放世界的目标检测域迁移、域泛化问题零样本检测、小样本检测问题增量学习问题10.2.10发展趋势《深度学习》第十章

计算机视觉

第三节

语义分割许静南开大学

人工智能学院10.3语义分割语义分割旨在将图像中的每个像素分配给预定义的语义类别与传统的目标检测任务不同，语义分割不仅要求检测出图像中的物体，还需要精确地划分出每个物体的边界通过语义分割，我们可以将图像分割成具有语义意义的区域，从而更好地理解和解释图像内容在宏观意义上来说，语义分割是一项高层次的任务，为实现场景的完整理解铺平了道路场景理解作为一个核心的计算机视觉问题，其重要性在于越来越多的应用程序通过从图像中推断知识来提供营养10.3.1数据集语义分割的数据集众多，不同的子领域也有各自对应的数据集PASCAL视觉物体分类数据集（PASCAL-VOC）PASCAL-VOC包括一个标注了的图像数据集和五个不同的竞赛任务：分类、检测、分割、动作分类、人物布局。有21个类，包括人、鸟、猫、牛、狗、马、羊、飞机、自行车、船、巴士、汽车、摩托车、火车、瓶子、椅子、餐桌、植物、沙发、电视。该数据集被分为两个子集：训练集1464张图像以及验证集1449张图像。测试集存放在评估服务器上，排行榜是公开的并且可以在线查询10.3.1数据集微软常见物体环境数据集（MicrosoftCOCO）COCO数据集起源于2014年微软出资标注的MicrosoftCOCO数据集，是另一个大规模的图像识别、分割、标注数据集它包含了超过80个类别，提供了超过82783张训练图片，40504张验证图片，以及超过80000张测试图片[9]Redmon,J.(2016).Youonlylookonce:Unified,real-timeobjectdetection.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.10.3.1数据集城市风光数据集（CityscapesDataset）这是一个大规模的关注于城市街道场景理解的数据集，提供了8种30个类别的语义级别、实例级别以及密集像素标注（包括平坦表面、人、车辆、建筑、物体、自然、天空、空）数据集包括约5000张精细标注的图片，20000张粗略标注的图片。数据是从50个城市中持续数月采集而来，涵盖不同的时间以及好的天气情况。开始起以视频形式存储，然后该数据集按照以下特点进行采样得到图片数据集：大量的动态物体，变化的场景布局以及变化的背景10.3.1数据集CamVid数据集CamVid是第一个具有目标类别语义标签的视频集合。数据库提供32个语义标签，将每个像素与语义类别之一相关联该数据集是一个道路、驾驶场景理解数据集，开始是五个视频序列，来自一个安装在汽车仪表盘上的960×720分辨率的摄相机。这些序列中采样出了701个帧，研究人员按照367-100-233的比例分为训练集、验证集、测试集[9]Redmon,J.(2016).Youonlylookonce:Unified,real-timeobjectdetection.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.10.3.1数据集KITTI数据集该数据集是用于移动机器人及自动驾驶研究的最受欢迎的数据集之一，包含了由多种形式的传感器得出的数小时的交通场景数据，包括高分辨率RGB、灰度立体摄像机以及三维激光扫描器尽管很受欢迎，该数据集本身并没有包含真实语义分割标注，众多的研究者手工地为该数据集的部分数据添加标注以满足其问题的需求10.3.1数据集BDD100K数据集2018年5月伯克利大学AI实验室发布了目前最大规模、内容最具多样性的公开驾驶数据集BDD100K，同时设计了一个图片标注系统BDD100K数据集包含10万段高清视频，每个视频约40秒（720p，30fps）。每个视频的第10秒对关键帧进行采样，得到10万张图片（图片尺寸：1280×720），并进行标注10.3.1数据集10.3.2语义分割方法传统语义分割早期的语义分割方法主要是基于传统的特征提取技术，如阈值处理、区域生长和使用K均值技术的聚类。然而，这些基于特征的方法有一个共同的关键点：它们取决于提取的特征的质量。在更先进的算法中，通常使用活动轮廓、图割、马尔可夫条件随机场和基于稀疏性的方法。尽管如此，传统图像处理的方法通常需要手动定义一些特征和规则来进行图像的分割，但由于图像的复杂性和多样性，这些方法往往难以达到较高的准确率和鲁棒性深度学习语义分割随着深度学习的快速发展，基于深度学习的语义分割方法逐渐成为主流。这类方法通常将语义分割任务视为像素级别的分类问题，通过在像素级别上进行预测来实现图像的分割。常用的深度学习模型包括全卷积网络（FCN）、残差网络（ResNet）、注意力机制（attention）等全卷积神经网络（FCN）[12]：FCN将卷积神经网络CNN修改为全卷积网络，通过对分割任务进行微调，将它们学习的表征转移到网络中。然后，定义了一种新的架构，它将深的、粗糙的网络层的语义信息和浅的、精细的网络层的表层信息结合起来，来生成精确和详细的分割[12]Long,J.,Shelhamer,E.,&Darrell,T.(2015).Fullyconvolutionalnetworksforsemanticsegmentation.InProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition(pp.3431-3440).10.3.2语义分割方法U-Net：为了解决生物医学领域的细胞分割任务，通过对可用的训练图像应用弹性变形来获得大量扩增的数据，只需很少的训练图像就可以进行更精确的分割。U-Net可用于解决小样本的简单问题分割，比如医疗影片的分割[13]Ronneberger,O.,Fischer,P.,&Brox,T.(2015).U-net:Convolutionalnetworksforbiomedicalimagesegmentation.InMedicalimagecomputingandcomputer-assistedintervention–MICCAI2015:18thinternationalconference,Munich,Germany,October5-9,2015,10.3.2语义分割方法SegNet[14]：尽管全卷积神经网络FCN包含反卷积层和一些短连接，其生成的分割图仍然比较粗糙。SegNet在解码器中使用了反池化操作对特征图进行上采样，在分割中保持高频细节的完整性。同时，SegNet的编码器舍弃掉了全连接层，因此是拥有较少参数的轻量级网络[14]Badrinarayanan,V.,Kendall,A.,&Cipolla,R.(2017).Segnet:Adeepconvolutionalencoder-decoderarchitectureforimagesegmentation.IEEEtransactionsonpatternanalysisandmachineintelligence,39(12),2481-2495.10.3.2语义分割方法DeepLabv1[15]：使用空洞卷积来解决网络中的下采样问题，使用条件随机场（RF）作为后处理，恢复边界细节，达到准确定位效果。最后附加输入图像和前四个最大池化层的每个输出到一个两层卷积，然后拼接到主网络的最后一层，达到多尺度预测效果[15]Chen,L.C.(2014).SemanticimagesegmentationwithdeepconvolutionalnetsandfullyconnectedCRFs.arXivpreprintarXiv:1412.7062.10.3.2语义分割方法DeepLabv3[16]：DeepLabv3依旧使用了ResNet作为主干网络，也依旧应用空洞卷积结构。为了解决多尺度目标的分割问题，DeepLabv3串行/并行设计了能够捕捉多尺度上下文的模块，模块中采用不同的空洞率。此外，DeepLabv3增强了先前提出的空洞空间金字塔池化模块，增加了图像级特征来编码全局上下文，使得模块可以在多尺度下探测卷积特征。最后，DeepLabv3模型在没有CRF作为后处理的情况下显著提升了性能[16