深度学习-课件-第五章-卷积神经网络

第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of7515.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络5.1卷积神经网络的生物机理第五章卷积神经网络of752卷积神经网络是基于神经科学的“感受野”（receptivefield）这个概念而提出。感受野（receptivefield）具有局部响应的性质，该特性表明生物视觉神经系统中的神经元只对一定范围内的刺激信号产生响应。视觉皮层对于图像信息的处理都是经过这种局部感受野特性（空间局部性、空间方向性、信息选择性）来进行生物响应的。神经网络中卷积层的设计用于模拟视觉皮层中简单细胞的活动。复杂细胞的一系列不变性则启发了卷积神经网络中池化单元、跨通道池化策略（如maxout单元）等的设计。《深度学习》of753第五章卷积神经网络5.2卷积神经网络的原理与结构5.4池化层5.5激活函数5.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络5.2卷积神经网络的生物机理第五章卷积神经网络of7545.2卷积神经网络的原理和结构

图5‑1典型的分类卷积网络结构第五章卷积神经网络of7555.2卷积神经网络的原理和结构卷积神经网络发展历程第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of7565.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of7575.3卷积层

卷积1一维卷积通常用来计算信号处理中信号的延迟累积。此时收到的信号为（卷积）：第五章卷积神经网络of7585.3卷积层

卷积1二维卷积则通常用于数字图像处理中的特征提取，亦称为特征映射（featuremap）。第五章卷积神经网络of7595.3卷积层

卷积1在神经网络应用中，并不将滤波器进行翻转，而是直接将滤波器与图像进行卷积操作。互相关这样的替代方式被称为互相关函数（cross-correlation）或不翻转卷积。还是沿用卷积这个概念。第五章卷积神经网络of75105.3卷积层

卷积的变种2零填充（zeropadding）改变卷积核的宽度和输出的大小。零填充的种类分为三种：

有效（valid）卷积

相同（same）卷积

全（full）卷积。第五章卷积神经网络of75115.3卷积层

卷积的变种2

有效卷积第五章卷积神经网络of75125.3卷积层

卷积的变种2相同卷积的实现是在输入图的边界进行零填充，该种卷积方式使每一层的输出不因为卷积运算而改变尺寸大小，零填充的尺寸视卷积核的大小决定。相同卷积第五章卷积神经网络of75135.3卷积层

卷积的变种2

相同卷积第五章卷积神经网络of75145.3卷积层

卷积的其他形式3非共享卷积（称为局部连接层）：仍然采用局部连接的网络层结构，但是权重并不共享，即并不横跨位置来共享参数。平铺卷积：将一组不同的卷积核循环使用于每次的卷积操作中。每次在图像上移动后，就依照一组核的排列顺序循环使用不同的卷积核进行卷积运算，在遍历完所有卷积核之后，第一个卷积核又将参与下一次的卷积运算，如此循环，直到遍历完整个输入。第五章卷积神经网络of75155.3卷积层

卷积的其他形式3转置卷积（transposedconvolution），也称作反卷积（deconvolution）：将低维特征映射到高维特征的卷积操作。（a）表示步长为1，没有零填充的二维卷积；（b）表示和其对应的转置卷积，且步长为1，零填充为2。(a)卷积，s=1,p=0(b)反卷积，s=1,p=2卷积与反卷积只是形式上的转置关系，并不是互为逆运算。第五章卷积神经网络of75165.3卷积层

卷积的其他形式3

空洞卷积（atrousconvolutions）称作膨胀卷积（dilatedconvolution）：卷积形式在不增加参数数量的条件下，扩大输出单元的感受野。膨胀率d=2，卷积核为5×5膨胀率d=3，卷积核为7×7第五章卷积神经网络of75175.3卷积层

卷积层4卷积层是深度卷积神经网络中重要的组成部分之一，它最主要的作用就是通过卷积操作提取局部区域的图像特征。在每一个卷积层中，往往会有很多个卷积核，不同的卷积核相当于不同的特征提取器，通过该卷积层中的卷积操作，得到输入图像相应的特征映射（featuremap）。

主要特点：局部连接：卷积网络中，后一卷积层中的每一个神经元都只和前一卷积层中某个局部窗口内的神经元相连，构成一个局部连接网络。大幅度减少网络中参数的数量。权重共享：卷积层中的每个卷积核对该层中所有的神经元都是相同的，即卷积过程中神经元共享卷积核中的参数。第五章卷积神经网络of75185.3卷积层

卷积层4

一个卷积层通常的结构：第五章卷积神经网络of75195.3卷积层

第五章卷积神经网络of75205.3卷积层

第五章卷积神经网络of75215.3卷积层

卷积层的映射操作第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of75225.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75235.4池化层池化（poolinglayer）是一种降采样（downsampling）操作，也称作子采样（subsamplinglayer）作用：对输出的特征映射进行特征选择，降低特征维度，从而减少网络中的参数数量，避免网络出现过拟合的问题。

第五章卷积神经网络of75245.4池化层

第五章卷积神经网络of75255.4池化层典型的池化操作是将每个输入特征映射划分为大小为2×2的不重叠子区域，然后采用最大池化的方式进行下采样操作，特征映射的大小由4×4缩减为了2×2：

2×2的最大池化操作池化可以看作是一个特殊的卷积，其卷积核大小为m×m，步长为m，卷积核为max函数或者mean函数。第五章卷积神经网络of75265.4池化层池化层的设计模仿了人类视觉系统对视觉输入对象进行降维（降采样）和抽象的过程，在深度卷积神经网络中，池化层的作用通常有以下三点：

特征不变性（featureinvariant）。池化操作使网络模型更加关注是否存在某些特征而不是特征所在的空间位置，使特征学习能一定程度的容忍特征的微小位移。特征降维。池化操作的降采样作用，使输入的特征映射在空间范围内进行了维度约减（spatiallydimensionreduction），让最终的一个元素对应原输入数据的一个子区域，从而使网络模型可以抽取更加广泛的特征。同时也大大减少了下一层输入的参数数量，减小了网络模型训练的开销。池化操作一定程度上可以防止过拟合（overfitting）。第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of75275.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络第五章卷积神经网络of75285.5激活函数非线性映射层(non-linearitymapping)层又被称作激活函数（activationfunction）层，其引入的目的是为了增强卷积神经网络的非线性刻画能力，提高表征或挖掘数据中高层语义特性的能力。在神经科学中，通常只有当神经元所获得的输入信号累积效果超过了某个阈值，这个神经元才能被激活并处于兴奋状态，否则就处于抑制状态。为了模拟这一生物过程，在激活层中，最常用Sigmoid型函数和ReLU函数来进行非线性映射。

第五章卷积神经网络of75295.5激活函数

ai为定数是LeakyReLU

第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of75305.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75315.6空间批量归一化在深度卷积神经网络中，通常批量读入数据再进行训练，即网络一次性输入多个样本。实际上，低层网络在训练的时候更新了参数，引起了后面层输入数据分布的变化，而该变化会对网络中提取的特征产生负面影响。例如，网络中间某一层提取的特征映射分布在Sigmoid型激活函数的两侧，那么该层学习到的特征值通过激活函数作用后的区分度很小，所以，需要引入了空间批量归一化来减小因数据分布带来的影响。

1.批量归一化(BatchNormalization，BN)的提出第五章卷积神经网络of75325.6空间批量归一化

2.批量归一化模型BN也属于网络的一层。在网络的每一层输入的时候，先插入了一个归一化层，然后再进入网络的下一层。TanhBNFC/CNN第五章卷积神经网络of75335.6空间批量归一化

第五章卷积神经网络of75345.6空间批量归一化

第五章卷积神经网络of75355.6空间批量归一化

第五章卷积神经网络of75365.6空间批量归一化

第五章卷积神经网络of75375.6空间批量归一化

3.BN在CNN中的使用前面介绍的BN操作，是对于一个神经元进行归一化，而不是对一整层网络的神经元进行归一化。那么在CNN中卷积层，我们怎么进行处理呢？

假如某一层卷积层有10个特征图，每个特征图的大小是320

320，这样就相当于这一层网络有10

320

320个神经元，如果直接采用BN，就会有10

320

320个参数γ、β，这样运算量非常大。因此把一整张特征图当做一个神经元进行处理。第五章卷积神经网络of75385.6空间批量归一化

对于卷积神经网络某一层特征图，如果min-batch

的批量大小为m，那么网络该层输入数据可以表示为四维张量Rm

f

p

q，f为特征图个数，p、q分别为特征图的宽和高。

我们可以把每个特征图看成是一个特征处理（一个神经元），因此在使用BN，mini-batch的大小就是m

p

q，于是对于每个特征图都只有一对可学习参数γ与β。

该特征图由原来的z=g(Wu+b)形式变为z=g(BN(Wu))。此处偏置b的作用已被偏移

替代。第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of75395.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75405.7全连接层全连接层（fullyconnectedlayers）通常作为整个卷积神经网络中的“分类器”。卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间，而全连接层的作用是将学习到的特征表示映射到样本的标记空间。

Softmax(0.02,0.81,…,0.35)0.020.810.35第五章卷积神经网络of75415.7全连接层以经典的VGG-16网络模型为例，对于224×224×3的输入图像，最后一层卷积层的输出特征映射大小为7×7×512，则可以用卷积核为7×7×512×4096的全局卷积来得到含有4096个神经元的全连接层。

在实际使用中，常常用张量卷积实现全连接层。对前层是卷积层的全连接而言，可以用尺寸为h×w的卷积核进行全局卷积，其中h和w分别对应前层的高和宽。第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of75425.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75435.8典型的卷积神经网络LeNet51LeNet-5是一个基于卷积神经网络的经典分类模型，根据该模型开发的手写数字识别系统可以识别支票上面的手写数字，该系统在90年代广泛应用于美国的多家银行。

LeNet-5网络结构5×5的卷积核5×5的卷积核5×5的卷积核第五章卷积神经网络of75445.8典型的卷积神经网络LeNet51

实际应用中，卷积层的每一个输出特征映射不是必须依赖于所有的输入特征映射，即不必是全连接的关系。LeNet-5中C3层的连接表输入特征图卷积核选择6个6个3个1个参数共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516第五章卷积神经网络of75455.8典型的卷积神经网络AlexNet2AlexNet是一个经典的深度卷积网络模型，它首次使用了很多现代深度卷积网络的技术方法:利用GPU进行并行训练以ReLU作为非线性激活函数引入Dropout防止过拟合进行数据增强以提高模型准确率

第五章卷积神经网络of75465.8典型的卷积神经网络AlexNet2

AlexNet网络结构零填充p=2切片核3×3；步长s=2（重叠池化）两层合并卷积再分开零填充p=1零填充p=2零填充p=1零填充p=1第五章卷积神经网络of75475.8典型的卷积神经网络

1.AlexNet的数据增强（1）随机裁剪：256

256的图像中提取五个224

224的子块，再做镜像（水平翻转），一张生成10张。（2）对RGB空间做PCA（主成分分析），然后对主成分做一个（0,0.1）的高斯扰动，即对颜色、光照作变换，结果使错误率又下降了1%。第五章卷积神经网络of75485.8典型的卷积神经网络

2.AlexNet局部归一化确保至少一些训练样本对ReLU产生了正输入。第五章卷积神经网络of75495.8典型的卷积神经网络

3.AlexNet的改进

VGG：采用连续的几个3×3的卷积核代替AlexNet网络中较大的卷积核（如11×11，5×5等），VGG16是13个卷积层+3个全连接层叠加而成。2个3×3的卷积核相当于5×5的卷积核VGG16第五章卷积神经网络of75505.8典型的卷积神经网络Inception网络3如果深度卷积神经网络中，卷积层通过增加卷积层的深度来改变网络结构，会带来问题：参数过多出现过拟合、计算复杂度增加、梯度消失等，针对这些缺点，Inception模型被提出来。一个卷积层则包含多个不同大小的卷积操作，这样的卷积层被称作Inception模块。Inception网络是由多个Inception模块和少量的池化层堆叠而成。

第五章卷积神经网络of75515.8典型的卷积神经网络Inception网络3Inceptionv1版本4组平行的特征提取方式；1×1、3×3、5×5等不同大小的卷积核，特征映射在深度上堆叠连接（concatenate）得出最终的输出特征映射组。

Inceptionv1的模块结构目的：减少特征映射的深度，从而提高计算效率，减少训练参数。第五章卷积神经网络of75525.8典型的卷积神经网络Inception网络3采用2个3×3的卷积层替代了Inceptionv1模块中5×5的卷积操作，既保持了感受野范围，又降低了参数数量。

Inceptionv2的模块结构Inceptionv2版本第五章卷积神经网络of75535.8典型的卷积神经网络Inception网络3除了采用2个3×3的卷积层替代5×5的卷积操作，还使用连续的n×1和1×n来替换n×n的卷积，以减少计算量和参数量，并保持感受野不变。

Inceptionv3的模块结构Inceptionv3版本用多层的小卷积核来替代大的卷积核.第五章卷积神经网络of75545.8典型的卷积神经网络Inception网络3

Inceptionv4的模块结构Inceptionv4版本Inceptionv4有三个基本模块第五章卷积神经网络of75555.8典型的卷积神经网络残差网络4

第五章卷积神经网络of75565.8典型的卷积神经网络残差网络4

残差单元结构根据通用近似定理，一个由神经网络构成的非线性单元有足够的能力来逼近原始目标函数或残差函数，但后者更容易学习，并可以从根本上缓解网络梯度弥散（梯度消失）的问题，同时能得到一定的稀疏化。第五章卷积神经网络of75575.8典型的卷积神经网络残差网络4

典型的残差网络第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of75585.6空间批量归一化5.7全连接层5.8典型的卷积神经网络5.3卷积层5.9全卷积神经网络5.10图神经网络第五章卷积神经网络of75595.9全卷积神经网络全卷积神经网络1全卷积神经网络（FullyConvolutionNetworks，FCN）FCN与CNN的核心区别：FCN将CNN末尾的全连接层转化成了卷积层。FCN对输入图像进行像素级分类，解决了语义级别的图像分割问题。全卷积神经网络可以接受任意尺寸的输入图像，并通过反卷积操作对最后一个卷积层上的特征映射进行上采样，使特征映射恢复到与输入图像相同的尺寸，从而可以对每一个像素产生一个预测，同时保留原始输入图像中的空间信息，最后在上采样的特征图上进行逐像素分类。

第五章卷积神经网络of7560SegNet2SegNet网络是由剑桥大学团队提出的一个用于图像分割的全卷积神经网络，该网络用于分割自动驾驶场景中的车、马路、行人等，并且精确到像素级别。其主要由两部分组成：编码器（encoder）和解码器（decoder）。

SegNet网络结构5.9全卷积神经网络第五章卷积神经网络of7561SegNet2

5.9全卷积神经网络在上采样期间，调用相应编码器层处的最大池化索引以进行上采样。decoder将解析后的信息对应成最终的图像形式，即每个像素都用对应其物体信息的颜色（或者是label）来表示。最后，使用K类softmax分类器来预测每个像素的类别。第五章卷积神经网络of7562U-Net3U-Net网络也采用的编码器-解码器（encoder-decoder）的模式。其最大的特点是将编码中的信息合并到了解码过程中，这个操作相当于融合了图像的浅层特征和深层特征，可以有效地保留原图的边缘结构细节，防止过多的边缘信息的丢失。

5.9全卷积神经网络第五章卷积神经网络of7563U-Net3

5.9全卷积神经网络U-Net网络结构第五章卷积神经网络of7564U-Net3

镜像扩充5.9全卷积神经网络在网络做卷积的过程中，由于没有进行零填充（pad），导致输出小于输入。为了使网络的输入与输出的图像一样大，以进行Loss回归。其做法是把输入图像先做镜像操作进行扩大，即四个边做镜像往外翻一下就扩大了图像。第五章卷积神经网络5.1卷积神经网络的生物机理

5.2卷积神经网络的原理和结构5.4池化层5.5激活函数《深度学习》of75655.6空间批量归一化5.7全连接层5.3卷积层5.9全卷积神经网络5.10图卷积神经网络5.8典型的