《人工智能技术基础》课件 第3章 卷积神经网络

人工智能技术基础卷积神经网络第三章

卷积神经网络（ConvolutionalNeuralNetworks,CNN）是一类包含卷积计算且具有深层结构的前馈神经网络。卷积神经网络的研究始于20世纪80~90年代，LeNet-5是最早出现的卷积神经网络；2012年，AlexKrizhevsky等凭借AlexNet得了当年的视觉图像挑战赛，震惊世界。自此之后，各类采用卷积神经网络的算法纷纷成为大规模视觉识别竞赛的优胜算法。如今，卷积神经网络已经成为计算机视觉领域最具有影响力的技术手段。

3卷积神经网络简介1.了解图像基本特点，并掌握卷积神经网络的基本特性；2.掌握卷积神经网络的基本组成，卷积层、池化层和全连接层的特性；3.学习常用的几种卷积操作、池化操作以及全连接层的卷积操作，掌握卷积层步长的选择和padding的选择会实现图像语义分割中常用的反卷积和空洞卷积；4.了解几种经典的卷积神经网络模型LeNet5、AlexNet、VGG、GoogleNet、ResNet、DenseNet和SE-Net。学习目标3卷积神经网络目录Contents3.1卷积神经网络的特性卷积神经网络结构与训练卷积神经网络经典模型介绍本章小结3.23.33.401卷积神经网络特性3.1卷积神经网络特性

卷积神经网络具有的局部连接、权值共享和不变性与图像的局部性、相同性和不变性相一致，特别适合处理与图像相关的任务，因此在计算机视觉领域发挥了重要作用。特征定义局部性当需要从一张图片中获取某一特征时，该特征通常不是由整张图片决定的，而是仅由图片中的一些局部区域来决定。相同性对于不同的图片，如果它们具有相同特征，即使这些特征位于不同的位置，但是检测所做的操作是一样的。不变性对于一张图片在进行下采样后，图片的性质基本上是保持不变的，改变的仅仅是图片的尺寸。3.1卷积神经网络特性

全连接神经网络中的每个神经元都与它前一层中的所有神经元相连，如果将图像的每一个像素看作一个神经元，使用全连接网络完成与图像相关的任务，无疑对计算机的存储和运算速度有着很高的要求，而且图像越大，要求越高。并且对于图像来说，每个像素和其周围像素的联系是相对比较紧密的，而和离得很远的像素的联系可能就比较小了。如果一个神经元和上一层所有的神经元相连，那么就相当于对于一个像素来说，把图像的所有像素都同等看待了，缺少了位置信息。而卷积神经网络采用局部连接的方法，每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连，这样就减少了很多的参数，加快了学习速度。3.1.1局部连接局部连接全连接3.1卷积神经网络特性

一般神经网络层与层之间的连接是，每个神经元与上一层的全部神经元相连，这些连接权重独立于其他的神经元，所以假设上一层是m个神经元，当前层是n个神经元，那么共有m×n个连接，也就有m×n个权重。权重矩阵就是m×n形状。而在卷积神经网络中，给一张输入图片，通常的做法是用一个卷积核（类似于图像处理中的滤波器，实质为针对一个小区域的一组连接权重）去扫描这张图，卷积核里面的数实质就是神经网络中不同层神经元之间的连接权。权值共享意味着每一个卷积核在遍历整个图像的时候，卷积核的参数(连接权值)是固定不变的，比如有3个卷积核，每个卷积核都会扫描整个图像，在扫描的过程中，卷积核的参数值是固定不变的，即整个图像的所有元素都“共享”了相同的权值。3.1.2权值共享3.1卷积神经网络特性

卷积神经网络中有一种重要的操作：池化操作（通常采用取最大值操作），它将前一层的一个小区域中所有像素值变成了下一层中的一个像素值。这就意味着即使图像经历了一个小的平移或旋转之后，依然会产生相同的特征，这使卷积神经网络对微小的平移和旋转具有不变性。在很多任务中，例如物体检测、语音识别等，我们都更希望得到具有平移和旋转不变性的特征，希望即使图像经过了平移和旋转，图像的标记仍然保持不变。3.1.3不变性02卷积神经网络结构与训练3.2卷积神经网络结构与训练

卷积神经网络由卷积层、池化层和全连接层组成，其训练采用误差反向传播（BP）算法。3.2卷积神经网络结构与训练

3.2.1卷积层图像的像素矩阵1Texthere卷积核填充

在卷积操作过程中，如果不对要进行卷积的图像（隐层的图像称特征图）预先作填充处理，卷积后的图像会变小，卷积层越多，卷积后的特征图会越小。而且输入特征图四个角的边缘像素只被计算一次，而中间像素则被卷积计算多次，意味着丢失图像角落信息。此外，实际应用中有时希望输入和输出在空间上尺寸是一致的。因此，为了解决上述问题，就对输入特征图进行边界填充，即填充像素。常用的边界填充方法包括：零填充、边界复制、镜像、块复制，常用的是零填充。卷积核

在进行图像处理时，给定输入图像，输出图像中的每一个像素就是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数即为卷积核。在卷积神经网络里，通常称之为滤波器。

主要特点：1.卷积核只关注局部特征，局部的程度取决于卷积核的大小；2.卷积核的深度要和输入图片的通道数相同；3.一个卷积核在与输入图片的不同区域做卷积时，它的参数是固定不变的；4.在一个卷积层中，通常会有一整个集合的卷积核组（也称滤波器组），每个卷积核组对应检测一种特征。步长

步长即卷积核在原始图片上做卷积时每次滑动的像素点，步长不同，所得到的输出结果也是不同的。如不加以说明，默认步长为1。3.2卷积神经网络结构与训练步长卷积层填充3.2卷积神经网络结构与训练几种在图像上的卷积过程：单通道卷积多通道卷积3D卷积分组卷积混洗分组卷积3.2.1卷积层多通道+多卷积3D卷积分组卷积混洗分组卷积3.2卷积神经网络结构与训练

在卷积神经网络中，通常会在卷积层之间周期性的插入一个池化层（Pooling），也称下采样层（Downsampling），它的作用有三个：池化层具有特征不变性池化能够对特征进行降维加入池化层能在一定程度上防止过拟合，更方便优化。3.2.2池化层池化过程3.2卷积神经网络结构与训练常用的池化操作有最大池化（Max-pooling）、平均池化（Mean-pooling）。研究人员还提出了针对整个特征图进行的池化操作称为全局池化，也分为全局最大值池化（GMP）和全局平均池化（GAP）。将GMP和GAP的结果并接后用于通道注意力和空间注意力中，提高CNN的性能已成为常用手段。3.2.2池化层3.2卷积神经网络结构与训练卷积层提取的是输入图片的局部特征，全连接层则是把提取到的局部特征重新排列为一维向量。全连接层将局部特征中的每一个点与输出向量中的每一个点都互相连接起来，并且让每个连接都具有独立的权值，所以称为全连接。在卷积神经网络中，全连接层充当着网络的分类器。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。3.2.3全连接层卷积层——全连接层3.2卷积神经网络结构与训练卷积神经网络的训练直接采用第2章介绍的误差反向传播（BP）算法，只需注意各层神经元的连接关系和共享特性。批正则化（BN）针对卷积网络的每个神经元，使数据在进入激活函数之前，沿着通道计算每个批次（Batch）的均值、方差，‘强迫’数据保持均值为0，方差为1的正态分布，避免发生梯度消失。3.2.4卷积神经网络的训练批正则化（BN）过程3.2卷积神经网络结构与训练BatchNormalization的优势与局限：优势极大提升了训练速度，收敛过程大大加快；还能增加分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout也能达到相当的效果；另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等。3.2.4卷积神经网络的训练3.2卷积神经网络结构与训练BatchNormalization的优势与局限：2.局限每次是在一个Batch上计算均值、方差，如果Batchsize太小，则计算的均值、方差不足以代表整个数据分布；Batchsize太大：会超过内存容量；需要跑更多的Epoch，导致总训练时间变长；会直接固定梯度下降的方向，导致很难更新；不适用于动态网络结构，例如，RNN。3.2.4卷积神经网络的训练03卷积神经网络经典模型介绍卷积神经网络经典模型LeNetAlexNetVGGGoogleNetResNetDenseNetSE-Net3.3卷积神经网络经典模型介绍LeNet-5模型是YannLeCun教授于1998年在论文《Gradient-basedlearningappliedtodocumentrecognition》中提出的，它是第一个成功应用于手写数字识别问题的卷积神经网络。LeNet的最大贡献是：它定义了CNN的基本结构，可称为CNN的鼻祖。自那时起，CNN最基本的架构就定下来了：卷积层、池化层、全连接层。LeNet-5模型一共有7层，主要有2个卷积层、2个下采样层（池化层）、3个全连接层。3.3卷积神经网络经典模型介绍LeNet-5网络结构3.3.1LeNet网络AlexNet是由2012年图像识别大赛冠军获得者辛顿和他的学生亚历克斯·克里热夫斯基（AlexKrizhevsky）设计的，AlexNet的出现也使得CNN成为了图像分类的核心算法模型。其官方提供的数据模型，准确率Top-1达到57.1%,Top-5达到80.2%。这相对于传统的机器学习分类算法而言，已经相当出色。因为是采用两台GPU服务器，所以会看到两路网络。AlexNet模型共有八层，其中包括5个卷积层和3个全连接层，每一个卷积层中都包含了ReLU激活函数和局部相应归一化（LocalResponseNormalization，LRN）处理。3.3卷积神经网络经典模型介绍AlexNet网络结构3.3.2AlexNet网络VGGNet是VisualGeometryGroup的缩写，是由牛津大学计算机视觉组合和谷歌DeepMind公司研究员一起研发的深度卷积神经网络。VGGNet和GoogleNet同在2014年参赛，图像分类任务中GoogLeNet第一，VGG第二，它们都是十分有意义的网络结构。VGGNet的提出，证明了用尺寸很小的卷积（3×3）来增加网络深度能够有效提升模型的效果，且此网络对其他数据集有较好的泛化能力，同时证明了增加网络的深度能够在一定程度上提升网络最终的性能。VGGNet有两种结构，分别是VGG16和VGG19，两者除了网络深度不一样，其本质并没有什么区别。其中VGG16是最常用的。3.3卷积神经网络经典模型介绍VGGNet网络结构3.3.3VGGNet网络LeNet-5、AlexNet、VGGNet属于早期的网络结构。它们都是通过加深网络、修改卷积核大小等手段来提升性能。虽然这三个网络模型的性能有所提高，但是网络的结构仍然是卷积-池化串联的方式。通过增加网络层数的方式虽然在一定程度上能够增强模型的性能，但是当网络的层数已经很多时，继续增加网络层数，并不能提高模型性能。因此Inception-block、ResNet-block、DenseNet-block、SE-block等模块的提出在一定程度上避免了这种问题，通过模块与模块的不断堆叠组成了Inception、ResNet、DenseNet等经典网络。本节主要介绍Inception-block、ResNet-block、DenseNet-block、SE-block等模块的基本结构。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构1.Inception-blockInception网络在ILSVRC14中达到了当时最好的分类和检测性能。这个架构的主要特点是能够更好地利用网络内部的计算资源。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构Inception原始模块1.Inception-blockInception网络在ILSVRC14中达到了当时最好的分类和检测性能。这个架构的主要特点是能够更好地利用网络内部的计算资源。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构Inception原始模块实现降维Inception模块1.Inception-blockInceptionv2和Inceptionv3来自同一篇论文《RethinkingtheInceptionArchitectureforComputerVision》，作者提出了一系列能够增加准确度和减少计算复杂度的修正方法。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构InceptionV2模块扩展后的模型1.Inception-blockInceptionv4在2015年被提出，大部分沿用了之前v1、v2的结构，主要是为分片训练考虑。2015年Tensorflow还没有出现，在分片训练时需要考虑各个机器上计算量的平衡来缩短总的训练时间，因此在设计结构时会受到限制。2016年，Tensorflow开始被广泛使用，其在内存的占用上做了优化，所以便不需要采取分片训练，在这一基础上，Inception网络做了优化，于是就有了Iceptionv4。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构InceptionV4模块2.ResNet-blockResNet引入了残差网络结构（ResidualNetwork），通过这种残差网络结构，可以在加深网络层数的同时得到非常不错的分类效果。残差网络借鉴了高速网络（HighwayNetwork）的跨层连接思想，并在此基础上进行改善，残差项原本是带权值的，但是ResNet用恒等映射作为替代。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构残差网络基本结构3.DenseNet-blockDenseNet-block的基本思路与ResNet-block一致，但是它建立的是前面所有层与后面层的密集连接（DenseConnection），它的名称也是由此而来。DenseNet的另一大特色是通过特征在通道上的连接来实现特征重用（FeatureReuse）。这