卷积神经网络CNN原理改进应用

1、卷积神经网络（CNN）一、简介卷积神经网络（ConvolutionalNeuralNetworks，简称CNN）是近来几年发展起来，并惹起宽泛重视的一种高效的鉴识方法。1962年，Hubel和Wiesel在研究猫脑皮层顶用于局部敏感和方向选择的神经元时发现其独到的局部互连网络构造能够有效地降低反馈神经网络的复杂性，既而提出了卷积神经网络1（ConvolutionalNeuralNetworks-简称CNN）7863。此刻，CNN已经成为众多科学领域的研究热门之一，特别是在模式分类领域，因为该网络防范了对图像的复杂先期预办理，能够直接输入原始图像，因此获取了更为宽泛的应用。Fukushima在1

2、980年鉴于神经元间的局部连通性和图像的层次组织变换，为解决模式鉴识问题，提出的新鉴识机（Neocognitron）是卷积神经网络的第一个实现网络2。他指出，当在不一样地点应用拥有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。跟着1986年BP算法以及T-C问题3（即权值共享和池化）9508的提出，LeCun和其合作者依据这一想法，使用偏差梯度（theerrorgradient）设计和训练卷积神经网络，在一些模式鉴识任务中获取了最初进的性能45。在1998年，他们成立了一个多层人工神经网络，被称为LeNet-55，用于手写数字分类,这是第一个正式的卷积神经网络模型3

3、579。近似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。它能够获取原始图像的有效表示，使得直接从原始像素（几乎不经过预办理）中鉴识视觉模式成为可能。可是，因为当时大型训练数据和计算能力的缺少，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不可以表现出优秀的性能。所以，在接下来近十年的时间里，卷积神经网络的有关研究趋于阻滞，原由有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完好不行能实现；二是包含SVM在内的浅层机器学习算法也逐渐开始暂露头脚。直到2006年，Hinton终于一举成名，在科学上发布文章，使得CNN再

4、度觉悟，并获得长足发展。随后，更多的科研工作者对该网络进行了改进。此中，值得注意的是Krizhevsky等人提出的一个经典的CNN架构，有关于图像分类任务以前的方法，在性能方面表现出了明显的改善2674。他们方法的整体架构，即AlexNet9（也叫ImageNet），与LeNet-5相像，但拥有更深的构造。它包含8个学习层（5个卷积与池化层和3个全连结层），前边的几层区分到2个GPU上，（和ImageNet是同一个）而且它在卷积层使用ReLU作为非线性激活函数，在全连结层使用Dropout减少过拟合。该深度网络在ImageNet大赛上夺冠，进一步掀起了CNN学习高潮。一般地，CNN包含两种基本

5、的计算，其一为特色提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特色。一旦该局部特色被提取后，它与其余特色间的地点关系也随之确立下来；其二是特色映照，网络的每个计算层由多个特色映照构成，每个特色映照是一个平面，平面上全部神经元的权值相等。特色映照构造采纳影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特色映照拥有位移不变性。其余，因为一个映照面上的神经元共享权值，因此减少了网络自由参数的个数。这两种操作形成了CNN的卷积层。其余，卷积神经网络中的每一个卷积层都紧跟着一个用来求局部均匀与二次提取的计算层，即池化层，这类独有的两次特色提取构造减小了特色分辨率。CNN主要

6、用来鉴识位移、缩放及其余形式歪曲不变性的二维图形。因为CNN的特色检测层经过训练数据进行学习，所以在使用CNN时，防范了显式地特色抽取，而隐式地从训练数据中进行学习；再者因为同一特色映照面上的神经元权值相同，所以网络能够并行学习，这也是卷积网络有关于神经元相互相连网络的一大优势。卷积神经网络以其局部权值共享的特别构造在语音鉴识和图像办理方面有着独到的优胜性，其布局更凑近于实质的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像能够直接输入网络这一特色防范了特色提取和分类过程中数据重修的复杂度。注：红色数字表示相应文件的引用量。二、卷积神经网络vs神经网络神经网络第一简要介绍下神

7、经网络。神经网络的每个单元以下：其对应的公式以下：此中，该单元也能够被称作是Logistic回归模型。当将多个单元组合起来并拥有分层构造时，就形成了神经网络模型。以下图展现了一个拥有一个隐含层的神经网络。其对应的公式以下：比较近似的，能够拓展到有个隐含层。神经网络的训练方法也同Logistic近似，可是因为其多层性，还需要利用链式求导法例对隐含层的节点进行求导，即梯度降落+链式求导法例，专业名称为反向流传。神经网络的权值调整过程以下（BP算法）：计算偏差函数；偏差函数对权系数偏微分的计算对输出层权系数的微分：（求导链式法例）输出层第个神经元的总输入：令，可得对隐层权系数的微分：隐含层第个神经元

8、的总输入：令，可得权系数的更新依据计算偏差修正权值，最后使得偏差值最小，此时就成立好了神经网络模型。卷积神经网络的权值调整过程也多采纳BP算法。卷积神经网络目前有很多CNN架构的变体，但它们的基本构造特别相像。CNN的基本系统构造平常由三种层构成，分别是卷积层、池化层和全连结层。C1:featuremapC1:featuremapS1:featuremapOutputlayer16(2626)Input6(6060)S1:featuremap16(1313)Classifer64646(3030)ConvolutionSubsamplingConvolutionSubsamplingConvo

9、lutionFull55552222connectionlayer0layer1layer2卷积层旨在学习输入的特色表示。如图，卷积层由几个特色图featuremaps）构成。一个特色图的每个神经元与它前一层的周边神经元相连，这样的一个周边地区叫做该神经元在前一层的局部感知野。为了计算一个新的特色图，输入特色图第一与一个学习好的卷积核（也被称为滤波器、特色检测器）做卷积，而后将结果传达给一个非线性激活函数。经过应用不一样的卷积核获取新的特色图。注意到，生成一个特色图的核是相同的。（也就是权值共享）这样的一个权值共享模式有几个长处，如能够减少模型的复杂度，使网络更易训练等。激活函数描绘CNN的非

10、线性度，对多层网络检测非线性特色十分理想。典型的激活函数有sigmoid、tanh和ReLU。池化层旨在经过降低特色图的分辨率实现空间不变性。它平常位于两个卷积层之间。每个池化层的特色图和它相应的前一卷积层的特征图相连，所以它们的特色图数目相同。典型的池化操作是均匀池化和最大池化。经过叠加几个卷积和池化层，我们能够提取更抽象的特色表示。几个卷积和池化层以后，平常有一个或多个全连结层。它们将前一层全部的神经元与目前层的每个神经元相连结，在全连结层不保留空间信息。下边对各层进行详尽的分析与介绍：在图像办理中，常常把图像表示为像素的向量，比方一个10001000的图像，能够表示为一个1000000的

11、向量。在上一节中提到的神经网络中，假如隐含层数目与输入层相同，即也是1000000时，那么输入层到隐含层的参数数据为，这样就太多了，基本无法训练，所以必需先减少参数加迅速度。卷积层（Theconvolutionallayer）1、局部感知卷积神经网络有两种神器能够降低参数数目，第一种神器叫做局部感知野。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为密切，而距离较远的像素有关性则较弱。因此，每个神经元其实没有必需对全局图像进行感知，只要要对局部进行感知，而后在更高层将局部的信息综合起来就获取了全局的信息。网络部分连通的思想，也是受启迪于生物学里面的视觉系统构造。视

12、觉皮层的神经元就是局部接受信息的（即这些神经元只响应某些特定地区的刺激）。以以下图所示：左图为全连结，右图为局部连结。在上右图中，若是每个神经元只和它前一层周边的1010个像素值相连，那么权值数据为1000000100个参数，减少为本来的万分之一。而那1010个像素值对应的1010个参数，其实就相当于卷积操作。2、权值共享但其实这样的话参数仍旧过多，那么就启动第二级神器，即权值共享。在上边的局部连结中，每个神经元都对应100个参数，一共1000000个神经元，假如这1000000个神经元的100个参数都是相等的，那么参数数目就变成100了。怎么理解权值共享呢我们能够这100个参数（也就是卷积操

13、作）看作是提取特色的方式，该方式与地点没关。这此中隐含的原理则是：图像的一部分的统计特征与其余部分是相同的。这也意味着我们在这一部分学习的特色也能用在另一部分上，所以关于这个图像上的全部地点，我们都能使用相同的学习特色。更直观一些，当从一个大尺寸图像中随机采纳一小块，比方说88作为样本，而且从这个小块样本中学习到了一些特色，这时我们能够把从这个88样本中学习到的特色作为探测器，应用到这个图像的任意地方中去。特别是，我们能够用从88样本中所学习到的特色跟本来的大尺寸图像作卷积，从而对这个大尺寸图像上的任一地点获取一个不一样特色的激活值。以以下图所示，展现了一个33的卷积核在55的图像上做卷积的过

14、程。每个卷积都是一种特色提取方式，就像一个筛子，将图像中切合条件的部分挑选出来。（图片为gif格式）3、多卷积核上边所述只有100个参数时，表示只有1个1010的卷积核，显然，特色提取是不充分的，我们能够增加多个卷积核，比方32个卷积核，能够学习32种特色。在有多个卷积核时，以以下图所示：上图右，不一样颜色表示不一样的卷积核。每个卷积核都会将图像生成为另一幅图像。比方两个卷积核就能够将生成两幅图像，这两幅图像能够看做是一张图像的不一样的通道，以以下图所示。以下图展现了在四个通道上的卷积操作，有两个卷积核，生成两个通道。此中需要注意的是，四个通道上每个通道对应一个卷积核，先将忽视，只看，那么在的

15、某地点处的值，是由四个通道上处周边地区的卷积结果相加而后再取激活函数（假定选择tanh函数）值获取的。所以，在上图由4个通道卷积获取2个通道的过程中，参数的数目为4222个，此中4表示4个通道，第一个2表示生成2个通道，最后的22表示卷积核大小。池化层（Thepoolinglayer）在经过卷积获取了特色(features)以后，下一步我们希望利用这些特色去做分类。理论上讲，人们能够用全部提取获取的特色去训练分类器，比方softmax分类器，但这样做面对计算量的挑战。比方：关于一个9696像素的图像，假定我们已经学习获取了400个定义在88输入上的特色(即：有400个卷积核)，每一个特色和图像

16、卷积都会获取一个(96-8+1)(96-8+1)=7921维的卷积特色，因为有400个特色，所以每个样例(example)都会得到一个7921400=3,168,400维的卷积特色向量。学习一个拥有超出3百万特色输入的分类器十分不便，而且简单出现过拟合(over-fitting)。为认识决这个问题，第一回想一下，我们之所以决定使用卷积后的特色是因为图像拥有一种“静态性”的属性，这也就意味着在一个图像地区实用的特色极有可能在另一个地区相同合用。所以，为了描述大的图像，一个很自然的想法就是对不一样地点的特色进行聚合统计，比方，人们能够计算图像一个地区上的某个特定特色的均匀值(或最大值)。这些纲领统

17、计特色不但拥有低得多的维度(对比使用全部提取获取的特色)，同时还会改良结果(不简单过拟合)。这类聚合的操作就叫做池化(pooling)，有时也称为均匀池化或许最大池化(取决于计算池化的方法)。形式上，在获取到我们前面谈论过的卷积特色后，我们要确立池化地区的大小(假定为)，来池化我们的卷积特色。那么，我们把卷积特色区分到数个大小为的不订交地区上，而后用这些区域的均匀(或最大)特色来获取池化后的卷积特色。这些池化后的特色便能够用来做分类。全连结层（Fully-connectedlayers）几个卷积和池化层以后，平常有一个或多个全连结层，旨在履行对原始图像的高级抽象。它们将前一层全部的神经元与目前

18、层的每个神经元相连结，即与标准神经网络各层之间的连结相同，在全连结层不保留空间信息。最后的全连结层的输出传达到输出层。关于分类任务，softmax回归因为其能够生成输出的well-formed概率分布4而被广泛使用。给定训练集，此中是第个输入图像块，是它的类标签，第个输入属于第类的展望值能够用以下的softmax函数变换：，softmax将展望变换为非负值，并进行正则化办理。至此，卷积神经网络的基本构造和原理已经论述完成。在实质应用中，常常使用多层卷积，而后再使用全连结层进行训练，多层卷积的目的是一层卷积学到的特色常常是局部的，层数越高，学到的特色就越全局化。问题1、预办理步骤利用PCA或ZC

19、A白化矩阵调整权值。白化的目的就是降低输入的冗余性；改正式的说，希望经过白化过程使得学习算法的输入拥有以下性质：(1)特色之间有关性较低；(2)全部特色拥有相同的方差。利用PCA或ZCA白化矩阵后，卷积层输出的特色激活值等于，此中是白化矩阵，是前一层图像块的均值，此时，相当于对图像块做卷积而不是以前的，同时神经元单元的偏置也变成。增补：PCA白化和ZCA白化算法第一，我们需要保证数据的均值（近似）为零。关于自然图像，我们经过减去每个图像块(patch)的均值（近似地）来达到这一目标。为此，我们计算每个图像块的均值，并从每个图像块中减去它的均值；avg=mean(x,1);%分别为每个图像块计算

20、像素强度的均值x=x-repmat(avg,size(x,1),1);其次，计算，假定为一数据构造，此中每列表示一个训练样本（所以是一个的矩阵）；sigma=x*x/size(x,2);接下来，PCA计算的特色向量。可是因为是对称半正定的矩阵，用svd函数在数值计算上更为稳固。矩阵U将包含Sigma的特色向量（一个特色向量一列，从主向量开始排序），矩阵S对角线上的元素将包含对应的特色值（相同降序摆列）。矩阵V等于U的转置，能够忽视。U,S,V=svd(sigma);最后，计算PCA白化后的数据和ZCA白化后的数据：xPCAwhite=diag(1./sqrt(diag(S)+epsilon)*

21、U*x;%diag函数功能：矩阵对角元素的提取和创立对角阵xZCAwhite=U*diag(1./sqrt(diag(S)+epsilon)*U*x;%epsilonMATLAB自己内建的常数，它是一個10的-52次方的小数，能够作为频频运算时比较之用2、如何计算卷积核常用的计算卷积核的方法，一种是BP算法，上边神经网络中已经谈论过：3、窄卷积vs宽卷积在上文中解说卷积运算的时候，忽视了如何使用滤波器的一个小细节。在矩阵的中部使用33的滤波器没有问题，在矩阵的边沿该怎么办呢左上角的元素没有顶部和左边相邻的元素，该如何滤波呢解决的方法是采纳补零法（zero-padding）。全部落在矩阵范围以外

22、的元素值都默认为0。这样就能够对输入矩阵的每一个元素做滤波了，输出一个相同大小或是更大的矩阵。补零法又被称为是宽卷积，不使用补零的方法例被称为窄卷积。以以下图：图中滤波器长度为5，输入长度为7。当滤波器长度相对输入向量的长度较大时，宽卷积很实用，或许说很有必需。在上图中，窄卷积输出的长度是，宽卷积输出的长度是。一般形式为4、步长卷积运算的另一个超参数是步长，即每一次滤波器平移的距离。上边全部例子中的步长都是1，相邻两个滤波器有重叠。步长越大，则用到的滤波器越少，输出的值也越少。以下图来自斯坦福的cs231课程网页4，分别是步长为1和2的状况：三、卷积神经网络在各个领域的应用在过去的十几年间，卷

23、积神经网络被宽泛的应用在了各个领域，包含计算机视觉、语音鉴识、自然语言办理等8。计算机视觉在计算机视觉中的应用包含：图像分类、对象追踪、姿态预计、视觉明显性检测、行为鉴识、场景表记等。图像分类CNN已经被用于图像分类很长时间，对比于其余的方法，CNN因为其特色学习和分类学习的联合能力，在大规模数据集上实现了更高的分类正确率。对大规模图像分类的打破是在2012年，AlexKrizhevsky等人9成立的AlexNet网络，在ILSVRC2012竞赛中实现了最正确的性能。（1）AlexNet网络介绍：ImageNetLSVRC是一个图片分类的竞赛，其训练集包含127W+张图片，考证集有5W张图片，

24、测试集有15W张图片。本文截取2012年AlexKrizhevsky的CNN构造进行说明，该构造在2012年获得冠军，top-5错误率为%。以下图即为Alex的CNN构造图。需要注意的是，该模型采纳了2-GPU并行构造，即全部卷积层都是将模型参数分为2部分进行训练的。在这里，更进一步，并行构造分为数据并行与模型并行。数据并行是指在不一样的GPU上，模型构造相同，但将训练数据进行切分，分别训练获取不一样的模型，而后再将模型进行交融。而模型并行则是，将若干层的模型参数进行切分，不一样的GPU上使用相同的数据进行训练，得到的结果直接连结作为下一层的输入。跟着AlexNet的成功，一些工作对它的性能进

25、行了改良。三个最具代表性的网络是ZFNet、VGGNet和GoogleNet。ZFNet提高AlexNet性能经过减少第一层滤波器的大小从到以及减少卷积层数目从5到2。在这样的设置中，之间卷积层的大小被扩展以便于获取更存心义的特色。VGGNet将网络深度扩展到19层并在每个卷积层使用特别小的滤波器，大小为。结果表示深度是提高性能至关重要的要素。GoogleNet增加了网络的深度和宽度，对比于较浅和较窄的网络，在计算需求的适合增加上实现了明显的质量提高。值得一提的是，在2015年的ImageNetLSVRC竞赛中，获得冠军GoogleNet已经达到了top-5错误率%。可见，深度学习的提高空间还

26、很巨大。（2）DeepID网络介绍：DeepID网络构造是香港中文大学的SunYi开发出来用来学习人脸特色的卷积神经网络13。每张输入的人脸被表示为160维的向量，学习到的向量经过其余模型进行分类，在人脸考证实验上对10000类的分类正确率达到了%，更进一步的，原作者改良了CNN（DeepID214），又达到了%的正确率。以以下图所示，该构造与ImageNet的详尽参数近似：上图模型的基本参数为：输入：3139大小的图片，1通道第一层卷积：44大小的卷积核20个-获取20个2836大小的卷积特色。max-pooling：22的核-池化获取20个1418大小的卷积特色。第二层卷积：33卷积核40

27、个-获取40个1216大小的卷积特色。max-pooling：22的核-池化获取40个68大小的卷积特色。第三层卷积：33的卷积核60个-获取60个46大小的卷积特色max-pooling：22的核-池化获取60个23大小的卷积特色。第四层卷积：22的卷积核80个-获取80个12大小的卷积特色。全连结层以第四层卷积（160维）和第三层max-pooling的输出（6023=360维）作为全连结层的输入，这样能够学习到局部的和全局的特色。Softmax层输出的每一维都是图片属于该类其余概率。对象追踪Objecttracking对象追踪在计算机视觉的应用中起侧重要作用，对象追踪的成功在很大程度上依

28、靠于如何强健的表示目标外观，它面对的挑战如视点改变、光照变化以及遮挡等。Fan等人10使用CNN作为基础学习器，学习一个独立的分类专用网络来追踪对象。在实验中，作者设计了一个拥有移位变体构造的CNN追踪器。在离线训练时期学习特色，与传统追踪器不一样的是，CNN追踪器只提取局部空间构造，经过考虑两个连续帧的图像来提取空间和时间构造。因为时间信息的大规模信号趋势于在挪动对象周边变化，所以时间构造能够供给原始的速度信号，便于对象追踪。姿态预计/行为鉴识近似于其余的视觉鉴识任务，人体姿态的预计任务因为CNN的大规模学习能力以及更全面训练的可扩展性而实现了巨大的性能提高。11DeepPose是CNN在人

29、体姿态预计问题中的第一个应用（2014）。在这个应用中，姿态预计被视为一个鉴于CNN的回归问题来求解人体关节坐标。提出串连7层CNN来构成姿态的整体表示。不一样于以前明确设计图形化模型和部分探测器的工作，DeepPose描绘人体姿态估计的整体视图，经过将整个图像作为最后人体姿态的输入和输出，来获取每一个人体关节的完好内容。场景标志场景标志（也被称为场景分析、场景语义切割）成立了对深度场景理解的桥梁，其目标是将语义类（路、水、大海等）与每个像素关系。一般来说，因为尺度、光照以及姿态变化要素影响，自然图像中的“事物”像素（汽车、人等）是完好不一样的，而“物体”像素（路、大海等）是特别相像的。所以，

30、图像的场景标志拥有挑战性。近来，CNN已经被成功地应用在场景标志任务中。在这个场景中，CNN被用来直接从局部图像块中建模像素的类预计，它们能够学习强大的特色，来区分局部视觉像素奇妙的变化。Farabet等人初次将CNN应用在场景标志任务中30，用不一样尺度的图像块来调整多尺度卷积网络，结果表示CNN网络性能明显优于比采纳手工提取特色的系统。自然语言办理（NLP）1NLP任务的输入不再是像素点了，大部分状况下是以矩阵表示的句子或许文档。矩阵的每一行对应于一个分词元素，一般是一个单词，也能够是一个字符。也就是说每一行是表示一个单词的向量。平常，这些向量都是wordembeddings（一种底维度表

31、示）的形式，如word2vec和GloVe，可是也能够用one-hot向量的形式，也即依据词在词表中的索引。若是用100维的词向量表示一句10个单词的句子，我们将获取一个10 x100维的矩阵作为输入。这个矩阵相当于是一幅“图像”。在计算机视觉的例子里，滤波器每次只对图像的一小块地区运算，但在办理自然语言时滤波器平常覆盖上下几行（几个词）。所以，滤波器的宽度也就和输入矩阵的宽度相等了。尽管高度，或许地区大小能够任意调整，但一般滑动窗口的覆盖范围是25行。综上所述，处理自然语言的卷积神经网络构造是这样的。以句子分类12/文安分类2为例：这里对滤波器设置了三种尺寸：2、3和4行，每种尺寸各有两种滤

32、波器。每个滤波器对句子矩阵做卷积运算，获取（不一样程度的）特色词典。而后对每个特色词典做最大值池化，也就是只记录每个特色词典的最大值。这样，就由六个词典生成了一串单变量特色向量（univariatefeaturevector），而后这六个特色拼接形成一个特色向量，传给网络的倒数第二层。最后的softmax层以这个特色向量作为输入，用其来对句子做分类；我们假定这里是二分类问题，所以获取两个可能的输出状态。地点不变性和局部组合性对图像来说很直观，但对NLP却并不是这样。人们或许会很在乎一个词在句子中出现的地点。相邻的像素点很有可能是有关系的（都是物体的同一部分），但单词其实不老是这样。在很多种语言

33、里，短语之间会被很多其余词所间隔。相同，组合性也不见得明显。单词明显是以某些方式组合的，比方形容词修饰名词，但若是想理解更高级特色真实要表达的含义是什么，其实不像计算机视觉那么明显了。由此看来，卷积神经网络仿佛其实不适合用来办理NLP任务。递归神经网络（RecurrentNeuralNetwork）更直观一些。它们模拟我们人类办理语言的方式（最少是我们自己所认为的方式）：从左到右的次序阅读。有幸的是，这其实不意味着CNNs没有成效。全部的模型都是错的，不过一些能被利用。实质上CNNs对NLP问题的成效特别理想。正如词袋模型（BagofWordsmodel），它明显是鉴于错误假定的过于简化模型，

34、但这不影响它多年来向来被作为NLP的标准方法，而且获得了不错的成效。CNNs的主要特色在于速度快，特其余快。卷积运算是计算机图像的核心部分，在GPU级其余硬件层实现。对比于n-grams，CNNs表征方式的效率也更胜一筹。因为词典宏大，任何超出3-grams的计算开销就会特其余大。即使Google也最多不超出5-grams。卷积滤波器能自动学习好的表示方式，不需要用整个词表来表征。那么用尺寸大5行的滤波器完好知书达礼了。很多在CNN卷积第一层学到的滤波器捕获到的特色与n-grams特别相像（但不限制），可是以更紧凑的方式表征。语音鉴识6利用CNN进行语音办理的一个要点问题是如何将语音特色向量映

35、射成适合CNN办理的特色图。我们能够直观的将输入“图像”考虑成一个拥有静态、delta以及delta-delta特色（即第一和第二时间派生物derivatives）的频谱图，以以下图a，选择15帧长度的内容窗口。自然还有多种选择能够精准地将语音特色转变成特色图，如图b所示，语音特色能够被表示成3个二维的特色图，每个代表MFSC（mel-frequencyspectralcoefficients）特色的信息（即静态、delta以及delta-delta特色）沿着频次和时间轴的分布。在这类情况下，一个二维卷积被履行来同时正规化频次和时间变化，获取个二维特色图，每个特色图有维。其余，能够只考虑正规化

36、频次变化。如图c所示，在这类状况下，相同的MFSC特色被组织作为一维特色图，每一帧的3种特色作为一个特色图，获取个特色图，每个特色图有40维。6中采纳的是如图c所示的一维特色图进行卷积操作。四、对卷积神经网络的改良自从2012年AlexNet的成功以后，出现了各样对CNN的改良，从对下边四个方面（卷积层、池化层、正则化以及激活函数）的改良来看：卷积层CNN的基本卷积滤波器是基层局部图像块（patch）的一个广义的线性模型（GLM）。对隐含看法的线性可分实例的提取成效较好。目前有两种能够提高滤波器特色表示能力的对卷积层的改良工作。Networkinnetwork（NIN）：是由Lin等人15提出

37、的一种网络构造。它用一个微网络（micro-network，如多层感知机卷积mlpconv，使得滤波器能够更为凑近隐含看法的抽象表示）取代了卷积层的线性滤波器。NIN的整体构造就是这些为网络的积聚。卷积层和mlpconv层的差别：（从特色图的计算上来看）形式上，卷积层的特色图计算公式是：此中，是特色图的像素索引，是认为中心的输入块，是特色图的通道索引。而mlpconv层的特色图计算公式是：(每一层特色图之间有连结，近似于循环神经网络构造RNN)此中，是mlpconv层的层数。能够发现，mlpconv层的特色图计算公式相当于在正常卷积层进行级联交织通道参数池化。Inceptionmodule：是

38、由Szegedy等人16提出，能够被看做NIN的逻辑极点（logicalculmination），使用多种滤波器的大小来捕获不一样大小的不一样可视化模式，经过inceptionmodule凑近最理想的稀少构造。特别地，inceptionmodule由一个池化操作和三种卷积操作构成。的卷积被放在和的卷积以前作为维度降落模块，在不增加计算复杂度的状况下增加CNN的深度和宽度。在inceptionmodule作用下，网络参数能够被减少到5百万，远小于AlexNet的6千万和ZFNet的7千5百万。池化层池化是CNN的一个重要看法，它经过减少卷积层的连结数目降低计算负担。目前为止在CNN中使用的典型的

39、池化操作是均匀池化或许最大池化，同时也存在着一些改良的池化操作，如池化、混淆池化、随机池化等。池化：是一个受生物学启迪在复杂细胞上成立的池化过程。Bruna的理论分析表示池化对比于最大池化能供给更好的泛化17。池化公式为：，此中是一组有限的输入节点，当时，池化就相当于均匀池化，当时，是池化，当时，即相当于最大池化。混淆池化：受随机Dropout18和DropConnect19启迪，Yu等人20提出混淆池化方法，即最大池化和均匀池化的联合。混淆池化方法公式化为：，此中是第个特色图相应地点处池化操作的输出，是01之间的随机值，是地点的局部邻域，是第个特色图池化地区内在处的元素。在前向流传过程中，被

40、记录，并在反向流传中被调整。随机池化（Stochasticpooling）21：保证特色图的非线性激活值能够被利用。详尽地，随机池化先对每个地区经过正则化地区内的激活值计算概率，即。而后从鉴于的多项分布中采样来选择地区内的一个地点。池化的激活值，此中。随机池化被证明拥有最大池化的长处，而且能够防范过拟合。（其余，还有频谱池化（Spectralpooling）、立体金字塔状池化Spatialpyramidpooling(SPP)）以及多尺度无序池化（Multi-scaleOrderlessPooling）等。正则化Regularization过拟合是深度CNN一个不行忽视的问题，这一问题能够经过

41、正则化有效地减少。这里介绍两种有效的正则化技术：Dropout和DropConnect。Dropout：也就是在每次训练的时候，让网络某些隐含层神经元以必定的概率不工作。它最初由Hinton等人（在深度学习的推行中起了要点作用）在2012年提出18，它已经被证明对减少过拟合十分有效。在18中，他们将Dropout应用在全连结层，Dropout的输出是，此中是特色提取器的输出，（大小是）是一个全链接的权重矩阵，是一个非线性激活函数，是一个大小为的binarymask，元素遵从伯努利分布（也叫二项分布），即。Dropout能够防范网络过于依靠任何一个神经元，使网络即使在某些信息缺失的状况下也能是正

42、确的。目前存在着几种对Dropout的改良，比方：Wang等人22中提出了一种迅速Dropout方法，经过抽样或整合一个高斯近似值来实现更快的Dropout训练。Ba等人23提出一种自适应Dropout方法，使用一个与深度网络共享参数的二进制置信网络计算每个隐含变量的Dropout概率。在Tompson等人24中发此刻卷积层以前应用标Dropout会增加训练时间但不可以防范过拟合，所以他们提出了一种新的Dropout方法叫做SpatialDropout，在整个特色图上扩展了Dropout的值。这类新的Dropout在训练数据量很小时性能很好。DropConnect19：将Dropout的想法更

43、进一步，取代了其设置神经元的输出为0，而是在前向传导时，输入的时候随机让一些输入神经元以必定的概率不工作，在BP训练时，这些不工作的神经元显然也不会获取偏差贡献。DropConnect的输出，此中。其余，在训练过程中也掩饰了偏差。和Dropout的差别就在于，Dropout一个输出不工作了，那么这个输出作为下一级输入时关于下一级就一点都不工作，可是DropConnect不会，泛化能力更强一点。以下图给出了No-Drop、Dropout和DropConnect网络的差别：对激活函数的改良在某个任务中，一个适合的激活函数能明显改良CNN的性能。为了用连续型的函数表达神经元的非线性变换能力，常采纳S

44、型的sigmoid和tanh函数作为激活函数。此中sigmoid函数，即，是神经元的非线性作用函数。因为BP权值的调整采用梯度降落（GradientDescent）公式，这个公式要求对网络输出值和训练差值求导，所以要求网络输出值到处可导，而Sigmoidsigmoid函数正好满足到处可导，所以神经元的激活函数常用型。tanh函数，与sigmoid函数趋势近似，以以下图所示。除了上述S型的函数外，ReLU（Rectifiedlinearunit(ReLU)）也是常用的激活函数的一种。ReLU激活函数被定义为：，此中是第个通道的输入，所以ReLU是一个分段线性函数，以以下图a所示。ReLU简单的m

45、ax操作使得它的计算速度比sigmoid和tanh函数快，而且同意网络很简单地获取稀少表示。中的实验表示了使用ReLU作为激活函数的深度网络能够被有效地训练。尽管ReLU在0点处的不连续伤害了BP算法的性能，而且它拥有不活跃的零梯度单元，可能会以致鉴于梯度的优化不可以够调整权值。但大批实证研究表示ReLU仍旧比sigmoid和tanh激活函数成效更好。针对这一弊端，以后出现了很多对ReLU激活函数的改良工作：LeakyReLU（LReLU）26或ParametricReLU（PReLU）27：（如图b所示），此中是（0，1）之间的一个预定义的参数。与ReLU对比，LReLU压缩了负轴部分而不是

46、将它一直映照为0，使得函数在不活跃单元也拥有了较小的非零梯度，从而便于权值调整。RandomizedReLU（RReLU）28：在RReLU中，负轴部分的参数是从均匀分布的训练样本中随机抽取的，随后在测试样本中确立。函数被定义为：（如图c所示），此中表示第个样本第个通道的输入，表示对应的样本参数，表示对应的输出。因为该函数的随机性质使得它能够减少过拟合。28同时针对标准图像分类任务对ReLU、LReLU以及RReLU函数进行评估，得出结论：在调整激活单元的负轴部分加入非零梯度能够提高分类性能。ExponentialLinearUnit(ELU)地学习深度神经网络，提高分类正确率。29：指数线性

47、单元能够更快ELU利用了饱和函数作为负轴部分，对噪声拥有鲁棒性。函数被定义为：（如图d所示），此中是预约义的参数用来控制负输入的值。参照文件1HubelDH,WieselTN.Receptivefields,interactionandfunctionalarchitectureinthecatsvisualbinocularcortexJ.JournalofPhysiology,1962,160(1):106154.2FukushimaK.Neocognitron:AnetworkmodelforamechanismofpatternbyshiftinpositionJ.Biological

48、36(4):193-202.self-organizingneuralrecognitionunaffectedCybernetics,1980,3RumelhartDE,HintonGE,WilliamsRJ.LearningInternalRepresentationsbyErrorPropagationC4LcunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognitionJ.ProceedingsoftheIEEE,1998,86(11):2278-2324.5LecunY,BoserB,Denker

49、JS,etal.BackpropagationAppliedtoHandwrittenZipCodeRecognitionJ.NeuralComputation,1989,1(4):541-551.6Abdel-HamidO,MohamedAR,JiangH,etal.ConvolutionalNeuralNetworksforSpeechRecognitionJ.IEEE/ACMTransactionsonAudioSpeech&LanguageProcessing,2015,22(10):1533-1545.7ScienceOpen.VisualizingandComparingConvo

50、lutionalNeuralNetworksJ.2014.GuJ,WangZ,KuenJ,etal.RecentAdvancesinConvolutionalNeuralNetworksJ.ComputerScience,2015.KrizhevskyA,SutskeverI,HintonGE.ImageNetClassificationwithAdvancesinNeural25(2):2012.DeepConvolutionalNeuralNetworksJ.InformationProcessingSystems,2012,10FanJ,XuW,WuY,etal.HumanTrackin

51、gUsingConvolutionalNeuralNetworksJ.IEEETransactionsonNeuralNetworks,2010,21(10):1610-1623.ToshevA,SzegedyC.DeepPose:HumanPoseEstimationviaDeepNeuralNetworksCIEEE,2014:1653-1660.12ZhangY,WallaceB.ASensitivityAnalysisof(andPractitionersGuideto)ConvolutionalNeuralNetworksforSentenceClassificationJ.Comp

52、uterScience,2015.SunY,WangX,TangX.DeepLearningFaceRepresentationfromPredicting10,000ClassesCIEEE,2014:1891-1898.SunY,WangX,TangX.DeepLearningFaceRepresentationbyJointIdentification-VerificationJ.AdvancesinNeuralInformationProcessingSystems,2014,27:1988-1996.LinM,ChenQ,YanS.NetworkInNetworkJ.ComputerScience,2013.SzegedyC,LiuW,JiaY,etal.Goingdeeperwithcon