《人工智能技术基础》课件 王科俊 第3、4章 卷积神经网络、循环神经网络

人工智能技术基础卷积神经网络第三章

卷积神经网络（ConvolutionalNeuralNetworks,CNN）是一类包含卷积计算且具有深层结构的前馈神经网络。卷积神经网络的研究始于20世纪80~90年代，LeNet-5是最早出现的卷积神经网络；2012年，AlexKrizhevsky等凭借AlexNet得了当年的视觉图像挑战赛，震惊世界。自此之后，各类采用卷积神经网络的算法纷纷成为大规模视觉识别竞赛的优胜算法。如今，卷积神经网络已经成为计算机视觉领域最具有影响力的技术手段。

3卷积神经网络简介1.了解图像基本特点，并掌握卷积神经网络的基本特性；2.掌握卷积神经网络的基本组成，卷积层、池化层和全连接层的特性；3.学习常用的几种卷积操作、池化操作以及全连接层的卷积操作，掌握卷积层步长的选择和padding的选择会实现图像语义分割中常用的反卷积和空洞卷积；4.了解几种经典的卷积神经网络模型LeNet5、AlexNet、VGG、GoogleNet、ResNet、DenseNet和SE-Net。学习目标3卷积神经网络目录Contents3.1卷积神经网络的特性卷积神经网络结构与训练卷积神经网络经典模型介绍本章小结3.23.33.401卷积神经网络特性3.1卷积神经网络特性

卷积神经网络具有的局部连接、权值共享和不变性与图像的局部性、相同性和不变性相一致，特别适合处理与图像相关的任务，因此在计算机视觉领域发挥了重要作用。特征定义局部性当需要从一张图片中获取某一特征时，该特征通常不是由整张图片决定的，而是仅由图片中的一些局部区域来决定。相同性对于不同的图片，如果它们具有相同特征，即使这些特征位于不同的位置，但是检测所做的操作是一样的。不变性对于一张图片在进行下采样后，图片的性质基本上是保持不变的，改变的仅仅是图片的尺寸。3.1卷积神经网络特性

全连接神经网络中的每个神经元都与它前一层中的所有神经元相连，如果将图像的每一个像素看作一个神经元，使用全连接网络完成与图像相关的任务，无疑对计算机的存储和运算速度有着很高的要求，而且图像越大，要求越高。并且对于图像来说，每个像素和其周围像素的联系是相对比较紧密的，而和离得很远的像素的联系可能就比较小了。如果一个神经元和上一层所有的神经元相连，那么就相当于对于一个像素来说，把图像的所有像素都同等看待了，缺少了位置信息。而卷积神经网络采用局部连接的方法，每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连，这样就减少了很多的参数，加快了学习速度。3.1.1局部连接局部连接全连接3.1卷积神经网络特性

一般神经网络层与层之间的连接是，每个神经元与上一层的全部神经元相连，这些连接权重独立于其他的神经元，所以假设上一层是m个神经元，当前层是n个神经元，那么共有m×n个连接，也就有m×n个权重。权重矩阵就是m×n形状。而在卷积神经网络中，给一张输入图片，通常的做法是用一个卷积核（类似于图像处理中的滤波器，实质为针对一个小区域的一组连接权重）去扫描这张图，卷积核里面的数实质就是神经网络中不同层神经元之间的连接权。权值共享意味着每一个卷积核在遍历整个图像的时候，卷积核的参数(连接权值)是固定不变的，比如有3个卷积核，每个卷积核都会扫描整个图像，在扫描的过程中，卷积核的参数值是固定不变的，即整个图像的所有元素都“共享”了相同的权值。3.1.2权值共享3.1卷积神经网络特性

卷积神经网络中有一种重要的操作：池化操作（通常采用取最大值操作），它将前一层的一个小区域中所有像素值变成了下一层中的一个像素值。这就意味着即使图像经历了一个小的平移或旋转之后，依然会产生相同的特征，这使卷积神经网络对微小的平移和旋转具有不变性。在很多任务中，例如物体检测、语音识别等，我们都更希望得到具有平移和旋转不变性的特征，希望即使图像经过了平移和旋转，图像的标记仍然保持不变。3.1.3不变性02卷积神经网络结构与训练3.2卷积神经网络结构与训练

卷积神经网络由卷积层、池化层和全连接层组成，其训练采用误差反向传播（BP）算法。3.2卷积神经网络结构与训练

3.2.1卷积层图像的像素矩阵1Texthere卷积核填充

在卷积操作过程中，如果不对要进行卷积的图像（隐层的图像称特征图）预先作填充处理，卷积后的图像会变小，卷积层越多，卷积后的特征图会越小。而且输入特征图四个角的边缘像素只被计算一次，而中间像素则被卷积计算多次，意味着丢失图像角落信息。此外，实际应用中有时希望输入和输出在空间上尺寸是一致的。因此，为了解决上述问题，就对输入特征图进行边界填充，即填充像素。常用的边界填充方法包括：零填充、边界复制、镜像、块复制，常用的是零填充。卷积核

在进行图像处理时，给定输入图像，输出图像中的每一个像素就是输入图像中一个小区域中像素的加权平均，其中权值由一个函数定义，这个函数即为卷积核。在卷积神经网络里，通常称之为滤波器。

主要特点：1.卷积核只关注局部特征，局部的程度取决于卷积核的大小；2.卷积核的深度要和输入图片的通道数相同；3.一个卷积核在与输入图片的不同区域做卷积时，它的参数是固定不变的；4.在一个卷积层中，通常会有一整个集合的卷积核组（也称滤波器组），每个卷积核组对应检测一种特征。步长

步长即卷积核在原始图片上做卷积时每次滑动的像素点，步长不同，所得到的输出结果也是不同的。如不加以说明，默认步长为1。3.2卷积神经网络结构与训练步长卷积层填充3.2卷积神经网络结构与训练几种在图像上的卷积过程：单通道卷积多通道卷积3D卷积分组卷积混洗分组卷积3.2.1卷积层多通道+多卷积3D卷积分组卷积混洗分组卷积3.2卷积神经网络结构与训练

在卷积神经网络中，通常会在卷积层之间周期性的插入一个池化层（Pooling），也称下采样层（Downsampling），它的作用有三个：池化层具有特征不变性池化能够对特征进行降维加入池化层能在一定程度上防止过拟合，更方便优化。3.2.2池化层池化过程3.2卷积神经网络结构与训练常用的池化操作有最大池化（Max-pooling）、平均池化（Mean-pooling）。研究人员还提出了针对整个特征图进行的池化操作称为全局池化，也分为全局最大值池化（GMP）和全局平均池化（GAP）。将GMP和GAP的结果并接后用于通道注意力和空间注意力中，提高CNN的性能已成为常用手段。3.2.2池化层3.2卷积神经网络结构与训练卷积层提取的是输入图片的局部特征，全连接层则是把提取到的局部特征重新排列为一维向量。全连接层将局部特征中的每一个点与输出向量中的每一个点都互相连接起来，并且让每个连接都具有独立的权值，所以称为全连接。在卷积神经网络中，全连接层充当着网络的分类器。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。3.2.3全连接层卷积层——全连接层3.2卷积神经网络结构与训练卷积神经网络的训练直接采用第2章介绍的误差反向传播（BP）算法，只需注意各层神经元的连接关系和共享特性。批正则化（BN）针对卷积网络的每个神经元，使数据在进入激活函数之前，沿着通道计算每个批次（Batch）的均值、方差，‘强迫’数据保持均值为0，方差为1的正态分布，避免发生梯度消失。3.2.4卷积神经网络的训练批正则化（BN）过程3.2卷积神经网络结构与训练BatchNormalization的优势与局限：优势极大提升了训练速度，收敛过程大大加快；还能增加分类效果，一种解释是这是类似于Dropout的一种防止过拟合的正则化表达方式，所以不用Dropout也能达到相当的效果；另外调参过程也简单多了，对于初始化要求没那么高，而且可以使用大的学习率等。3.2.4卷积神经网络的训练3.2卷积神经网络结构与训练BatchNormalization的优势与局限：2.局限每次是在一个Batch上计算均值、方差，如果Batchsize太小，则计算的均值、方差不足以代表整个数据分布；Batchsize太大：会超过内存容量；需要跑更多的Epoch，导致总训练时间变长；会直接固定梯度下降的方向，导致很难更新；不适用于动态网络结构，例如，RNN。3.2.4卷积神经网络的训练03卷积神经网络经典模型介绍卷积神经网络经典模型LeNetAlexNetVGGGoogleNetResNetDenseNetSE-Net3.3卷积神经网络经典模型介绍LeNet-5模型是YannLeCun教授于1998年在论文《Gradient-basedlearningappliedtodocumentrecognition》中提出的，它是第一个成功应用于手写数字识别问题的卷积神经网络。LeNet的最大贡献是：它定义了CNN的基本结构，可称为CNN的鼻祖。自那时起，CNN最基本的架构就定下来了：卷积层、池化层、全连接层。LeNet-5模型一共有7层，主要有2个卷积层、2个下采样层（池化层）、3个全连接层。3.3卷积神经网络经典模型介绍LeNet-5网络结构3.3.1LeNet网络AlexNet是由2012年图像识别大赛冠军获得者辛顿和他的学生亚历克斯·克里热夫斯基（AlexKrizhevsky）设计的，AlexNet的出现也使得CNN成为了图像分类的核心算法模型。其官方提供的数据模型，准确率Top-1达到57.1%,Top-5达到80.2%。这相对于传统的机器学习分类算法而言，已经相当出色。因为是采用两台GPU服务器，所以会看到两路网络。AlexNet模型共有八层，其中包括5个卷积层和3个全连接层，每一个卷积层中都包含了ReLU激活函数和局部相应归一化（LocalResponseNormalization，LRN）处理。3.3卷积神经网络经典模型介绍AlexNet网络结构3.3.2AlexNet网络VGGNet是VisualGeometryGroup的缩写，是由牛津大学计算机视觉组合和谷歌DeepMind公司研究员一起研发的深度卷积神经网络。VGGNet和GoogleNet同在2014年参赛，图像分类任务中GoogLeNet第一，VGG第二，它们都是十分有意义的网络结构。VGGNet的提出，证明了用尺寸很小的卷积（3×3）来增加网络深度能够有效提升模型的效果，且此网络对其他数据集有较好的泛化能力，同时证明了增加网络的深度能够在一定程度上提升网络最终的性能。VGGNet有两种结构，分别是VGG16和VGG19，两者除了网络深度不一样，其本质并没有什么区别。其中VGG16是最常用的。3.3卷积神经网络经典模型介绍VGGNet网络结构3.3.3VGGNet网络LeNet-5、AlexNet、VGGNet属于早期的网络结构。它们都是通过加深网络、修改卷积核大小等手段来提升性能。虽然这三个网络模型的性能有所提高，但是网络的结构仍然是卷积-池化串联的方式。通过增加网络层数的方式虽然在一定程度上能够增强模型的性能，但是当网络的层数已经很多时，继续增加网络层数，并不能提高模型性能。因此Inception-block、ResNet-block、DenseNet-block、SE-block等模块的提出在一定程度上避免了这种问题，通过模块与模块的不断堆叠组成了Inception、ResNet、DenseNet等经典网络。本节主要介绍Inception-block、ResNet-block、DenseNet-block、SE-block等模块的基本结构。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构1.Inception-blockInception网络在ILSVRC14中达到了当时最好的分类和检测性能。这个架构的主要特点是能够更好地利用网络内部的计算资源。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构Inception原始模块1.Inception-blockInception网络在ILSVRC14中达到了当时最好的分类和检测性能。这个架构的主要特点是能够更好地利用网络内部的计算资源。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构Inception原始模块实现降维Inception模块1.Inception-blockInceptionv2和Inceptionv3来自同一篇论文《RethinkingtheInceptionArchitectureforComputerVision》，作者提出了一系列能够增加准确度和减少计算复杂度的修正方法。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构InceptionV2模块扩展后的模型1.Inception-blockInceptionv4在2015年被提出，大部分沿用了之前v1、v2的结构，主要是为分片训练考虑。2015年Tensorflow还没有出现，在分片训练时需要考虑各个机器上计算量的平衡来缩短总的训练时间，因此在设计结构时会受到限制。2016年，Tensorflow开始被广泛使用，其在内存的占用上做了优化，所以便不需要采取分片训练，在这一基础上，Inception网络做了优化，于是就有了Iceptionv4。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构InceptionV4模块2.ResNet-blockResNet引入了残差网络结构（ResidualNetwork），通过这种残差网络结构，可以在加深网络层数的同时得到非常不错的分类效果。残差网络借鉴了高速网络（HighwayNetwork）的跨层连接思想，并在此基础上进行改善，残差项原本是带权值的，但是ResNet用恒等映射作为替代。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构残差网络基本结构3.DenseNet-blockDenseNet-block的基本思路与ResNet-block一致，但是它建立的是前面所有层与后面层的密集连接（DenseConnection），它的名称也是由此而来。DenseNet的另一大特色是通过特征在通道上的连接来实现特征重用（FeatureReuse）。这些特点让DenseNet在参数和计算成本更少的情形下实现比ResNet更优的性能，DenseNet也因此斩获CVPR2017的最佳论文奖。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构DenseNet-block的基本结构4.SE-blockSE-Net与ResNext-154相结合以极高的准确率获得了最后一届ImageNet2017竞赛图片分类任务的冠军，有兴趣的读者可以阅读论文《Squeeze-and-ExcitationNetworks》。SE-Net的核心是挤压（Squeeze）和激励（Excitation）两个操作。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构SE-Net基本结构4.SE-blockSE-Net本质是对每个通道的特征图加权，因此人们也把其称作通道注意力，将其加入某种卷积神经网络结构中使用。3.3卷积神经网络经典模型介绍3.3.4其它经典网络的基本结构SE-Net应用04小结3.4本章总结

本章在介绍图像基本特点的基础上，引出了卷积神经网络的基本特性，进而给出了卷积神经网络的基本组成，分别讨论了卷积层、池化层和全连接层的特性，给出了常用的几种卷积操作、池化操作以及全连接层的卷积操作，强调了在卷积层步长的选择和padding的选择会实现图像语义分割中常用的反卷积和空洞卷积。最后介绍了几种经典的卷积神经网络模型LeNet5、AlexNet、VGG、GoogleNet、ResNet、DenseNet和SE-Net。感谢您的观看！人工智能技术基础循环神经网络第四章

循环神经网络（RecurrentNeuralNetwork，RNN）是一类处理序列数据的人工神经网络。相较于卷积神经网络关注的是数据中的局部特征，循环神经网络关注的是序列数据中按照序列顺序的前后依赖关系。它将先前数据的计算结果与之后的数据一同计算产生新的结果，如此循环往复。正是因为循环网络对于不同时间步的数据不是同时计算的，因而可以处理可变长度的序列数据，大大扩大了应用范围。4循环神经网络简介1.了解RNN的基本知识和形式化的数学模型表示；2.掌握循环神经网络的训练方法；3.掌握标准RNN的前向计算和时间反向传播计算过程；4.掌握几种流行的RNN变体结构；5.了解RNN的应用结构。学习目标4循环神经网络目录Contents4.1循环神经网络的基本结构循环神经网络的训练方法循环神经网络拓展模型循环神经网络的应用结构小结4.24.34.44.501循环神经网络的基本结构4.1循环神经网络的基本结构1990年，JeffreyElman将多层前向神经网络隐层的输出引回到输入层作为联系单元与原输入层单元并列与隐层神经元相连接，构成描述动态系统状态的神经网络模型，当时被称为Elman网，也被称为循环神经网络（RNN），主要用于动态系统建模解决复杂系统预测预报问题。1997年JürgenSchmidhuber将RNN中的简单常规神经元替换成具有更多连接权值的复杂记忆单元，提出了长短期记忆（LongShort-TermMemory，LSTM）模型，使RNN的能力大为提高。2003年YoshuaBengio把RNN用于解决传统语言处理模型的“维度诅咒（CurseofDimensionality）”问题，使其在自然语言处理中开始应用。2012年卷积神经网络在物体分类识别上的成功，使RNN返回研究人员的视野，已在机器翻译、语音识别和个性化推荐等众多领域效果显著，成为解决与时序相关联问题的主要深度神经网络模型。4.1循环神经网络的基本结构RNN物理结构图RNN按时序展开结构图4.1循环神经网络的基本结构从RNN按时序展开的结构可以看到，RNN在每一时刻都有外部输入，反馈形成的环（回）路展开后，上一时刻隐层的输出与本时刻的外部输入同时送入本时刻的隐层，展开的网络深度与输入的时序数据的长度一致，数据越长，网络越深，因此RNN本质上也是深度前向神经网络。RNN按时序展开结构不同于常规前向神经网络，其各隐层的神经元数量是相同的，且网络各层中的输入到隐层的连接权、隐层到隐层的反馈连接权和隐层到输出层的连接权是全网络共享不变的。需要注意的是RNN没有强制要求输入序列与输出序列的长度必须相等。RNN的数学模型如下：4.1循环神经网络的基本结构RNN中隐层神经元激活函数通常采用tanh函数，输出神经元的激活函数则依据所解决的问题确定，如果是二分类问题则使用Sigmoid函数，如果是多分类问题则使用Softmax函数。RNN计算单元02循环神经网络的训练方法4.2循环神经网络的训练方法

RNN可以使用误差反向传播算法的思想进行训练。训练RNN的算法为通过时间反向传播BPTT（BackPropagationThroughTime，BPTT）算法，它和传统的反向传播算法BP有类似之处，它们的核心任务都是利用反向传播调整参数，从而使得损失函数最小化。通过时间反向传播算法，也包含前向计算和反向计算两个步骤。4.2循环神经网络的训练方法标准结构RNN的前向传播过程，如下图所示，为了有效区分不同类型的连接权，分别用U、W、V代表输入权、反馈权和输出权。图中各个符号的含义：x是输入，h是隐层节点，o为输出，L为损失函数，y为训练集的标签。这些元素右上角带的t代表t时刻的状态，其中需要注意的是，因为单元h在t时刻的表现不仅由此刻的输入决定，还受t时刻之前时刻的影响。U、W、V是权值，同一类型的连接权值相同。4.2.1循环神经网络的前向输出流程RNN的前向输出流程4.2循环神经网络的训练方法BPTT算法是常用的训练RNN的方法，其实本质还是BP算法，只不过RNN处理的是时间序列数据，所以要基于时间反向传播，故叫随时间反向传播。BPTT的中心思想和BP算法相同，沿着需要优化参数的负梯度方向不断寻找更优的点直至收敛。因此，BPTT算法还是BP算法，本质上还是梯度下降，那么求各个参数的梯度便成了此算法的核心。需要寻优的参数有三个，分别是U、W、V。与BP算法不同的是，三个参数的寻优过程需要追溯之前的历史数据。4.2.2循环神经网络的训练方法——随时间反向传播4.2循环神经网络的训练方法在梯度累乘过程中，如果取Sigmoid函数作为激活函数的话，那么必然是一堆小数在做乘法，结果就是越乘越小。随着时间序列的不断深入，小数的累乘就会导致梯度越来越小直到接近于0，这就是“梯度消失”现象。梯度消失就意味消失那一层的参数再也不更新，那么那一层隐层就变成了单纯的映射层，毫无意义了，所以在深层神经网络中，有时候多增加层的神经元数量可能会比多加层数即深度更好。RNN的特点就是能“追根溯源”利用历史数据，历史数据越长“梯度消失”越严重，因此解决“梯度消失”越是非常必要的。ReLU函数可以解决循环神经网络中的梯度消失问题。4.2.3循环神经网络中梯度消失和爆炸问题及解决方法1.梯度消失的原因与解决办法4.2循环神经网络的训练方法4.2.3循环神经网络中梯度消失和爆炸问题及解决方法1.梯度消失的原因与解决办法Sigmoid函数及其导数图tanh函数及其导数图ReLU函数及其导数图4.2循环神经网络的训练方法使用ReLU解决了RNN的“梯度消失”问题，但也带来了另一个问题—“梯度爆炸”问题。一旦激活函数的导数恒为1，由于网络权W的取值无约束，连乘很容易使损失函数对连接权的偏导数越来越大（时序越长，RNN展开结构的隐层越多，乘积越大），导致“梯度爆炸”现象的发生。深度前向神经网络的激活函数采用ReLU同样存在“梯度爆炸”问题。“梯度爆炸”问题的解决比较简单，只需要给损失函数对三组连接权的梯度的绝对值设定合适的阈值，限制其最大值就可以解决这个问题。对于“梯度消失”和“梯度爆炸”，通过采取将网络初始权值设为接近0的非常小的数值，对网络的输入值做正则化或归一化处理和对网络隐层输出做逐层正则化（LN）处理等措施，也可在网络训练过程中有效减少这两种现象的发生，提高网络的训练效率。4.2.3循环神经网络中梯度消失和爆炸问题及解决方法2.梯度爆炸的原因与解决办法03循环神经网络拓展模型4.3循环神经网络拓展模型简单循环网络是RNN的一种特殊情况，如图所示，SRNN是一个三层网络，与传统RNN网络结构相比，SRNN只是隐层神经元自身有自反馈，这个反馈并不连接到其它隐层神经元，相当于只在隐层增加了上下文信息。SRNN在20世纪90年代被称为对角回归神经网络。图中I1-In为网络的输入，Y1-Yn为网络的隐层，M1-Mn为上下文单元。从图中可以看出Y1-Yn与M1-Mn为一一对应关系，即上下文单元节点与隐层中节点的连接是固定的，而且相应的权值也是固定的。4.3.1简单循环网络SRNN基本结构4.3循环神经网络拓展模型在循环神经网络的输入和输出目标之间添加与输入时序长度相同的暂存单元，存储所有隐层的输出信息，并增加一个具有反馈连接的隐层，该隐层按输入时序相反的方向顺序接收信息，即首先接受时序输入的最后一个信息，再接受倒数第二个信息，最后接受第一个信息，进而将两个信息流动方向相反的隐层输出同时送入网络的输出层神经元中。按上述思想构造的循环神经网络被称为双向循环神经网络（Bi-directionalRecurrentNeuralNetwork，BRNN）。4.3.2双向循环网络BRNN双向网络基本结构4.3循环神经网络拓展模型1997年JürgenSchmidhuber提出的长短期记忆（LongShort-TermMemory，LSTM）模型，将RNN中的简单MP神经元替换成具有更多连接权值的复杂记忆单元，使其记忆能力和处理复杂系统问题的能力大大提高。LSTM是RNN的一种变体，它通过精妙的门控制将RNN中隐层的状态信息（可以看做长期记忆）和当前时刻的输入信息（可以看作短期记忆）结合起来，有效地提高了RNN解决复杂问题的能力。4.3.3长短期记忆网络长短期记忆网络基本结构4.3循环神经网络拓展模型LSTM的关键就是细胞状态，水平线在图上方贯穿运行。细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互，信息在上面流传保持不变会很容易。LSTM拥有三个门，来保护和控制细胞状态，分别为遗忘门、输入门、输出门。4.3.3长短期记忆网络遗忘门输入门输出门4.3循环神经网络拓展模型门控循环单元（GatedRecurrentUnit，GRU）网络是这些LSTM变体中影响最大的变体。它只有两个门，分别为更新门和重置门，它将遗忘门和输入门合成了一个单一的更新门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。4.3.4门控循环单元网络GRU网络基本结构04循环神经网络的应用结构循环神经网络本身的特性使其特别适合处理时序数据，根据实际应用场景的需要，RNN有四种常用的按时序展开结构：同步的序列到序列结构、序列分类结构、向量到序列结构、异步的序列到序列的模式。它们是针对不同类型的输入输出分别设计的。4.4