人工智能之深度学习 第五章 卷积神经网络

1、卷积神经网络卷积神经网络概述第一节 卷积层第二节 池化层第三节目录 content第四节 全连接层第五节 经典网络结构卷积神经网络概述第一节引例图像边界检测假设我们有这样的一张图片，大小88，图的中间两个颜色的分界线就是要检测的边界。怎么检测这个边界呢？设计一个滤波器（filter，也称为kernel），大小33：图片中的数字代表该位置的像素值，像素值越大，颜色越亮，所以为了示意，我们把右边小像素的地方画成深色。引例图像边界检测 “卷积”过程：用filter，往原图片上覆盖，对应元素相乘，然后求和。计算一个区域之后，就向其他区域挪动，接着计算，直到把原图片的每一个角落都覆盖到了为止。引例图像边

2、界检测CNN（convolutional neural network），主要就是通过一个个的filter，不断地提取特征，从局部的特征到总体的特征，从而进行图像识别等等功能；每个filter中的各个数字就是参数，可以通过大量的数据，来让机器自己去“学习”这些参数。这就是CNN的基本原理。卷积神经网络（Convolutional Neural Network） 卷积神经网络（Convolutional Neural Network，CNN）是近年来在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围

3、内的周围单元，对于大型图像处理有出色表现。 卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。 现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。在近些年的机器视觉领域和其他很多问题上，它是最具影响力的创新结果，卷积神经网络取得了当前最好的效果。CNN发展历史1960s1980s1990s 201201030204上世纪60年代， Hu

4、bel 和 Wiesel通过对 猫视觉皮层细胞 的研究，提出了 感受野 这个概念。20世纪 90 年代， Yann LeCun 等人发表论文，确立了 CNN的现代结构，后来又对其进行完善。上世纪80年代，Kunihiko Fukushima在 感受野 概念的基础之上提出了 神经认知机 (neocognitron)的概念，可以看作是卷积神经网络的第一个实现网络。2012年更深层次的 AlexNet网络 取得成功，此后卷积神经网络蓬勃发展，被广泛用于各个领域，在很多问题上都取得了当前最好的性能CNN基本结构 的基本结构由输入层、隐藏层、输出层构成。其中隐藏层又包括卷积层、池化层 、全连接层。 卷积

5、层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程， 也由此而得名。CNN基本结构1. 局部特征提取2. 训练中进行参数学习3. 每个卷积核提取特定模式的特征卷积层1. 降低数据维度，避免过拟合2. 增强局部感受野3. 提高平移不变性池化层1. 特征提取到分类的桥梁全连接层隐藏层CNN应用目前卷积神经网络不仅已经成为语音识别、图像识别及分类、自然语言处理等领域的研究热点，在这些

6、领域有了广泛且成功的应用，而且作为新兴技术已经成功应用于经济预测领域。因此本案例引入卷积神经网络结构对股票时间序列数据进行预测。卷积神经网络因其不同于 BP / RNN/ DBN 等全连 接(Fully Connected)网络的网络结构，可以在各层网络的神经元之间共享权重，使得网络整体的权重数量大为降低，也使得模型避免陷入维度灾难和局部极小。 语音识别自然语言处理图像识别机器视觉经济预测人脸识别应用etc卷积层第二节为什么使用卷积SVM分类步骤：人工提取特征，比如说大小，形状，重量，颜色等；根据上述特征，把每一张图片映射到空间中的一个点，空间的维度和特征的数量相等；相同类别的物体具有类似的特

7、征，所以空间中标记为草莓的点肯定是聚在一起的，香蕉和橘子也是同理图像分类任务的瓶颈出现在特征选择上为什么使用卷积如果不人工提取特征，计算量会非常大，精确度也无法保证。而人工提取特征的方式又会在某些问题下难以进行。为什么使用卷积 卷积的两个主要优势在于：稀疏连接（sparse connectivity）和参数共享(parameter sharing)；稀疏连接：每一个神经元不需要去感受全局图像，只需要感受局部的图像区域参数共享：卷积层中的卷积核正是充当着共享感受野的角色。一个卷积核提取一个特定的图像特征，想要得到图像的多个特征，只需要使用多个卷积核卷积运算 输入数据和对应的卷积核卷积运算卷积运算

8、 彩色图像的卷积卷积核 卷积核卷积核使用两个卷积核进行卷积操作填充（padding）填充后的数据填充填充多少像素，通常有两个选择：valid和samevalid卷积（valid convolutions）：意味着不填充。如果输入是nn的图像，用一个ff的卷积核卷积，那么得到的输出是（n-f+1）（n-f+1）的特征图。same卷积（same convolutions）：意味着填充后输出和输入的大小是相同的。如果输入是nn的图像，当你填充p个像素点后，n就变成了n+2p。根据n+2p-f+1=n便可计算p的值。填充不使用Padding的缺点经过卷积操作后图像会缩小。如果你注意角落边的像素，则此像

9、素点只会被卷积核触碰一次。即只会在第一次卷积操作时被卷积核扫描。这意味着会丢失图像边缘的很多信息。但是对于原始图像中心的像素点，在每次卷积操作时都会被扫描。卷积核的感受野会扫描此位置多次.使用Padding进行维度的填充为了使每次卷积操作后大小不会丢失，使用0填充在原始图像的外围。如果需要使经过卷积后的特征图大小保持不变，则卷积核的边长是奇数，则能保证输出的特征图大小与原图像大小相等。步长步长激活函数在使用卷积核对输入进行卷积运算得到特征图之后，往往需要使用激活函数对特征图进行激活，卷积神经网络激活函数首选为ReLU。ReLU激活函数的优势：反向传播时，可以避免梯度消失Relu会使一部分神经元

10、的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生相对于sigmoid激活函数，tanh激活函数，求导简单。采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用Relu激活函数，整个过程的计算量节省很多池化层第三节池化层 池化层紧跟在卷积层之后，同样由多个特征面组成，它的每一个特征面唯一对应于其上一层的一个特征面，不会改变特征面的个数。卷积层是池化层的输入层，卷积层的一个特征面与池化层中的一个特征面唯一对应，且池化层的神经元也与其输入层的局部接受域相连，不同神经元局部接受域不重叠。池化层旨

11、在通过降低特征面的分辨率来获得具有空间不变性的特征 。池化层起到二次提取特征的作用，它的每个神经元对局部接受域进行池化操作。 上图显示，池化就是对特征图进行特征压缩，池化层也被称为下采样层，常用的池化方法有最大池化即取局部接受域中值最大的点、平均值池化即对局部接受域中的所有值求均值、随机池化。池化层作用4. 增强网络对输入图像中的小变形、扭曲、平移的鲁棒性1. 减少参数数量，提高计算效率2.提高局部平移不变性，大大提高了图像分类的准确性3.降低了数据维度，有效地避免了过拟合池化层池化方法为最大值池化（max pooling）和平均值池化（average pooling）使用时仅需要指定池化方法

12、的类型（max pooling或average pooling等）、池化的核大小（kernel size）和池化的步长（stride）等超参数池化层全连接层第四节全连接层 全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息 。为了提升 CNN 网络性能，全连接层每个神经元的激励函数一般采用 RELU 函数。最后一层全连接层的输出值被传递给一个输出层，可以采用 softmax 逻辑回归进行分类，该层也可称为 softmax 层。 卷积层和池化层的输出代表了输入图像的高级特性，而全连接层的目的就是类别基于训练集用这些特征进行分类, 连

13、接所有的特征，将输出值送给分类器（如 softmax 分类器）。全连接层经典网络结构第五节经典网络结构LeNetAlexNetNINVGGNetGoogLeNet(Inception)ResNetInception ResNetILSVRC图像分类竞赛近年结果。网络结构的改进网络深度的增加深度卷积神经网络发展图AlexNetAlexNet在LeNet基础上进行了更宽更深的网络设计，首次在CNN中引入了ReLU、Dropout和Local Response Norm (LRN)等技巧。网络的技术特点如下：使用ReLU （Rectified Linear Units）作为CNN的激活函数，并验证其

14、效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题，提高了网络的训练速率。为避免过拟合，训练时使用Dropout随机忽略一部分神经元。使用重叠的最大池化(max pooling)。最大池化可以避免平均池化的模糊化效果，而采用重叠技巧可以提升特征的丰富性。提出了LRN层（ReLU后进行归一化处理），对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。利用GPU强大的并行计算能力加速网络训练过程，并采用GPU分块训练的方式解决显存对网络规模的限制。ReLU数据增强。利用随机裁剪和翻转镜像操作增加

15、训练数据量，降低过拟合。Dropoutmax pooling：池化时取最大值AlexNet AlexNet网络结构示意图网络包含5个卷积层和3个全连接层，最后为有1000个类别输出的Softmax层。网络在两块GPU上并行训练AlexNetAlexNet具体参数AlexNetConv 1111+ReLU/96LRNMax pooling 33Conv 55+ReLU/256LRNMax pooling 33Conv 33+ReLU/384Conv 33+ReLU/384Conv 33+ReLU/256Max pooling 33FC+ReLU/4096FC+ReLU/4096FC+ReLU/1

16、000网络结构35K307K884K1.3M442K37M16M4M参数图：AlexNet网络配置和参数数量卷积核大小递减，依次为1111、55和33。 第一层卷积步长为4，之后保持为1。在前两层卷积之后使用了LRN层。与全连接层相比，卷积层包含较少的参数。 因此可通过减少全连接层降低网络参数，提高 训练时间，在Network in Network中利用了这一点。AlexNet在ILSVRC2012图像分类竞赛中将top-5 错误率降至16.4%，掀起了深度卷积神经网络在各个领域的研究热潮。VGGNet VGG Net于2014年被牛津大学的Karen Simonyan 和Andrew Zis

17、serman提出，主要特点是“简洁，深度”。与AlexNet主要有以下不同：* Vgg16有16层网络，AlexNet只有8层；* 在训练和测试时使用了多尺度做数据增强。VGG Net网络模型深度: VGG有19层，远远超过了它的前辈；简洁: 在于它的结构上，一律采用stride为1的33filter，以及stride为2的22MaxPooling。VGGNet图：VGG不同级别的网络结构和相应的参数数量（单位为百万）网络包含5组卷积操作，每组包含14个连续 的卷积层，每两个卷积层之间为ReLU层。 每组内的卷积层具有相同的结构。不同级别的网络层数逐渐加深，网络的表达 能力也逐渐增强。其中，V

18、GGNet-E的网络 深度达到了19层。由于网络参数主要集中在全连接层，因此 不同级别网络的参数数量相差不大。VGGNetVGGNet训练和测试：多尺度策略：训练阶段，将图像缩放到不同尺寸S，并随机裁剪224224的训练样本测试阶段，将图像缩放到尺寸Q，并对网络最后的卷积层使用滑动窗口进行分类预测，对不同窗口的分类结果取平均。图9：VGGNet采用多尺度策略的效果提升，来源于文献 3。上方图像为单尺度分类结果，下方为多尺度结果。多尺度训练在ILSVRC2014图像分类的top-5错误率达到7.5%，通过进一步融合单尺度和多尺度网络，VGGNet将最终结果提升至7.3%。ResNet RestN

19、et（残差网络）于2015年由MSRA何凯明团队提出了Residual Networks。CNN面临的一个问题，随着层数的增加，CNN的效果会遇到瓶颈，甚至会不增反降。这往往是梯度爆炸或者梯度消失引起的。 ResNet就是为了解决这个问题而提出的，因而帮助训练更深的网络，引入了一个residual block（残差块）。ResNet 这个做法相当于把前面的信息提取出来，加入到当前的计算中，论文作者认为，这样的做法，可以使神经网络更容易优化，事实上确实是这样。 通过这种residual block，成功地搭建了一个拥有152层的CNN！深不见底！ResNet RestNet（残差网络）于2015年由MSRA何凯明团队提出了Residual Networks。Inception-ResNet-v2内部结构YOLOYOLO检测物体非常快。人类视觉系统快速且精准，只需瞄一眼（You Only Look Once，YOLO）即可识别图像中物品及