卷积神经网路概要

1、卷积神经网络卷积神经网络目录1.概述概述2.核心思想核心思想3.文字文字识别系统识别系统LeNet-54.优点优点1.概述卷积神经网络是人工神经网络的一种，已成为当前语音分析和卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点图像识别领域的研究热点。它它的权值共享网络结构使之更类似于生物神经网络，降低了网的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量络模型的复杂度，减少了权值的数量。该该优点在网络的输入是多维图像时表现的更为明显，使图像可优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中

2、复杂的特征提以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程取和数据重建过程。在在CNN中，图像的一小部分（局部感受区域）作为层级结构中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征数字滤波器去获得观测数据的最显著的特征。这个这个方法能够获取对平移、缩放和旋转不变的观测数据的显著方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以特征，因为图像的局部感受区域允许神经元或者处理单元

3、可以访问到最基础的特征，例如定向边缘或者角点。访问到最基础的特征，例如定向边缘或者角点。2.核心思想卷积神经网络卷积神经网络通过以下特性来通过以下特性来保证图像对位移、缩放、扭曲的保证图像对位移、缩放、扭曲的鲁棒性鲁棒性：局部感受野局部感受野权权值共享值共享时间时间/空间亚采样空间亚采样局部感受野BP神经网络神经网络全连接全连接卷积神经网络卷积神经网络局部连接局部连接全连接网络。如果我们有全连接网络。如果我们有1000 x1000像素的图像，有像素的图像，有1百万百万个隐层神经元，每个隐层神经元都个隐层神经元，每个隐层神经元都连接图像的每一个像素点，就有连接图像的每一个像素点，就有1000 x

4、1000 x1000000=1012个连个连接，也就是接，也就是1012个权值参数。个权值参数。局部连接网络，每一个节点与上层节局部连接网络，每一个节点与上层节点同位置附件点同位置附件10 x10的窗口相连接，的窗口相连接，则则1百万个隐层神经元就只有百万个隐层神经元就只有100w乘乘以以100，即，即108个参数。其权值连接个参数。其权值连接个数比原来减少了四个数量级。个数比原来减少了四个数量级。权值共享隐含层的每一个神经元都连接隐含层的每一个神经元都连接10 x10个图像区域，也就是说每个图像区域，也就是说每一个神经元存在一个神经元存在10 x10=100个连接权值参数个连接权值参数。如果

5、设定每个如果设定每个神经元这神经元这100个参数是相同个参数是相同的，也就是说的，也就是说每个神每个神经元用的是同一个卷积核去卷积经元用的是同一个卷积核去卷积图像，参数个数与神经元个数图像，参数个数与神经元个数无关。无关。无论隐无论隐层的神经元个数有多少，两层间的层的神经元个数有多少，两层间的连接只有连接只有100个个参数参数隐层的参数个数和隐层的神经元个数无关，只和滤波器的大小隐层的参数个数和隐层的神经元个数无关，只和滤波器的大小和滤波器种类的多少有关。和滤波器种类的多少有关。Feature Map假如一种滤波器，也就是一种卷积核就是提出图像的一种假如一种滤波器，也就是一种卷积核就是提出图像

6、的一种特征。特征。提取提取不同的特征不同的特征，需要多个滤波器。每，需要多个滤波器。每种滤波器的参数不一样，种滤波器的参数不一样，表示它提出输入图像的不同表示它提出输入图像的不同特征。特征。这样每种滤波器去卷积图像这样每种滤波器去卷积图像就得到对图像的不同特征的放映，我们称之为就得到对图像的不同特征的放映，我们称之为Feature Map。100种卷积核就有种卷积核就有100个个Feature Map。这。这100个个Feature Map就组成了一层神经元就组成了一层神经元。每层参数个数每层参数个数=100种卷积核种卷积核x每种卷积核共享每种卷积核共享100个参数个参数=100 x100=1

7、0K，也就是，也就是1万个参数万个参数。隐层神经元个数隐隐层的神经元层的神经元个数和个数和原图像，也就是输入的大小（神经元个数）、原图像，也就是输入的大小（神经元个数）、滤波器的大小和滤波器在图像中的滑动步长都滤波器的大小和滤波器在图像中的滑动步长都有关有关。例如，图像例如，图像是是1000 x1000像素，而滤波器大小是像素，而滤波器大小是10 x10，假设滤波，假设滤波器没有重叠，也就是步长为器没有重叠，也就是步长为10，这样隐层的神经元个数就是，这样隐层的神经元个数就是(1000 x1000 )/ (10 x10)=100 x100个神经元个神经元了。了。注意：这注意：这只是一种滤波器，

8、也就是一个只是一种滤波器，也就是一个Feature Map的神经元的神经元个数个数如果如果100个个Feature Map就是就是100倍了倍了。由此可见由此可见，图像越大，神经元个数和需要训练的权值参数个数，图像越大，神经元个数和需要训练的权值参数个数的差的差距距就越大就越大网络结构卷积神经网络含多层；卷积神经网络含多层；每每层含多个二维层含多个二维Feature Map；每个每个Feature Map含含多个神经元。多个神经元。C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取后，它

9、与其他特征间的并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来位置关系也随之确定下来；S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等映射为一个平面，平面上所有神经元的权值相等。卷积神经网络中的每一个特征提取层（卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局层）都紧跟着一个用来求局部平均与二次提取的计算层（部平均与二次提取的计算层（S-层）。层）。3.文字识别系统LeNet-51. 输入图像是输入图像是32x32的大小，局部滑动窗

10、的大小是的大小，局部滑动窗的大小是5x5的，由的，由于不考虑对图像的边界进行拓展，则滑动窗将有于不考虑对图像的边界进行拓展，则滑动窗将有28x28个不同个不同的位置，也就是的位置，也就是C1层的大小是层的大小是28x28。 C1层是一个卷积层层是一个卷积层（通过（通过卷积运算，可以使原信号特征增强，卷积运算，可以使原信号特征增强，并且降低噪音），由并且降低噪音），由6个特征图个特征图Feature Map构成。特征图中构成。特征图中每个神经元与输入中每个神经元与输入中5*5的邻域相连的邻域相连。C1有有156个可训练参数（每个滤波器个可训练参数（每个滤波器5*5=25个个unit参数和一个参数

11、和一个bias参数，一共参数，一共6个滤波器，共个滤波器，共(5*5+1)*6=156个参数），共个参数），共156*(28*28)=122,304个连接。个连接。C1C1层：层：输入图片大小：输入图片大小： 3232* *3232卷积窗大小：卷积窗大小：5 5* *5 5卷积窗种类卷积窗种类： 6 6输出特征图输出特征图数量：数量：6 6输出特征图大小：输出特征图大小：2828* *2828(32-5+1)(32-5+1)神经元数量：神经元数量：4707 (284707 (28* *28)28)* *6)6)连接数：连接数：12304 (512304 (5* *5+1)5+1)* *66*

12、*(28(28* *28)28)可训练参数：可训练参数：156 156 (5(5* *5+1)5+1)* *662. S2层是一个下采样层，利用图像局部相关性的原理，对图层是一个下采样层，利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。像进行子抽样，可以减少数据处理量同时保留有用信息。S2层每个单元的层每个单元的4个输入相加，乘以一个可训练参数，再加上个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过一个可训练偏置，结果通过sigmoid函数计算。函数计算。简单简单的说，由的说，由4个点下采样为个点下采样为1个点，也就是个点，也就是4个数的加权平均。

13、个数的加权平均。因此因此S2中每个特征图的大小是中每个特征图的大小是C1中特征图大小的中特征图大小的1/4（行和列（行和列各各1/2），因此有），因此有6个个14*14的特征图的特征图。S2层有（层有（1+1）*6=12个可训练个可训练参数，有（参数，有（2*2+1）*14*14*6=5880个连接。个连接。S2S2层：层：输入图片大小：输入图片大小：(28(28* *28)28)* *6 6卷积窗大小：卷积窗大小：2 2* *2 2卷积窗种类：卷积窗种类：6 6输出下采样图数量：输出下采样图数量：6 6输出下采样图大小：输出下采样图大小：(14(14* *14)14)* *6 6神经元数量：

14、神经元数量：11761176(14(14* *14)14)* *6 6连接数：连接数：58805880(4+1)(4+1)* *(14(14* *14)14)* *6 6可训练参数：可训练参数：1212(6(6* *2)2)卷积和子采样过程卷积和子采样过程卷积过程包括：用一个可训练的卷积过程包括：用一个可训练的滤波器滤波器fx去去卷积一个输入的图卷积一个输入的图像（第一阶段是输入的图像，后面的阶段就是卷积特征像（第一阶段是输入的图像，后面的阶段就是卷积特征map了），然后加一个了），然后加一个偏置偏置bx ，得到卷积得到卷积层层Cx 。子采样过程包括：每邻域四个像素求和变为一个像素，然后通子采

15、样过程包括：每邻域四个像素求和变为一个像素，然后通过标量过标量Wx+1加权，再增加偏置加权，再增加偏置bx+1 ，然后通过一个，然后通过一个sigmoid激激活函数，产生一个大概缩小四倍的特征映射图活函数，产生一个大概缩小四倍的特征映射图Sx+1 。从一个平面到下一个平面的映射可以看作是作卷积运算，从一个平面到下一个平面的映射可以看作是作卷积运算，S-层层可看作是模糊滤波器，起到二次特征提取的作用。可看作是模糊滤波器，起到二次特征提取的作用。隐层与隐层之间空间分辨率递减，而每层所含的平面数递增，隐层与隐层之间空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。这样可用于检测更

16、多的特征信息。3. C3层也是一个卷积层，它同样通过层也是一个卷积层，它同样通过5x5的卷积核去卷积层的卷积核去卷积层S2，然后得到的特征，然后得到的特征map就只有就只有10 x10个神经元，但是它有个神经元，但是它有16种不同的卷积核，所以就存在种不同的卷积核，所以就存在16个特征个特征map了了。注意：注意：C3中的每个特征中的每个特征map是连接到是连接到S2中的所有中的所有6个或者几个或者几个特征个特征map的，表示本层的特征的，表示本层的特征map是上一层提取到的特征是上一层提取到的特征map的不同的不同组合组合C3层：层：输入图片大小：输入图片大小： (14*14)*6卷积窗大小

17、：卷积窗大小：5*5卷积窗种类：卷积窗种类：16输出特征图数量：输出特征图数量：16输出特征图大小：输出特征图大小：10*10(14-5+1)神经元数量：神经元数量：1600 (10*10)*16)连接数：连接数：151600 （部分连接）部分连接）可训练参数：可训练参数：1516 简单的说，例如对于简单的说，例如对于C3层第层第0张特征图，其每一个节点与张特征图，其每一个节点与S2层的第层的第0张特征图，第张特征图，第1张特征图，第张特征图，第2张特征图，总共张特征图，总共3个个5x5个节点相连接。后面依次类推，个节点相连接。后面依次类推，C3层每一张特征映射图的权值层每一张特征映射图的权值

18、是相同的。是相同的。前前6个个feature map与与S2层相连的层相连的3个个feature map相连接，后相连接，后面面6个个feature map与与S2层相连的层相连的4个个feature map相连接，后相连接，后面面3个个feature map与与S2层部分不相连的层部分不相连的4个个feature map相连相连接，最后一个与接，最后一个与S2层的所有层的所有feature map相连相连。卷积卷积核大小依然为核大小依然为5*5，所以总共有，所以总共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516个参数。个参数。而图像

19、大小为而图像大小为10*10，所以共有，所以共有151600个连接。个连接。4. S4层是一个下采样层，由层是一个下采样层，由16个个5*5大小的特征图构成。特征大小的特征图构成。特征图中的每个单元与图中的每个单元与C3中相应特征图的中相应特征图的2*2邻域相连接，跟邻域相连接，跟C1和和S2之间的连接一样之间的连接一样。S4层有层有32个可训练参数（每个特征图个可训练参数（每个特征图1个因子和一个偏置）个因子和一个偏置）和和16*5*5（2*2+1）=2000个连接。个连接。S4S4层：层：输入图片大小：输入图片大小： (10(10* *10)10)* *1616卷积窗大小：卷积窗大小：2

20、2* *2 2卷积窗种类：卷积窗种类：1616输出下采样图数量：输出下采样图数量：1616输出下采样图大小：输出下采样图大小：(5(5* *5)5)* *1616神经元数量：神经元数量：400400(5(5* *5)5)* *1616连接数：连接数：20002000 (4+1)(4+1)* *(5(5* *5)5)* *1616可训练参数：可训练参数：3232(16(16* *2)2)5.C5是卷积层，总共是卷积层，总共120个个feature map，每个，每个feature map与与S4层所有的层所有的feature map相连接，卷积核大小是相连接，卷积核大小是5*5，而，而S4层的层

21、的feature map的大小也是的大小也是5*5，这构成了这构成了S4和和C5之间的全之间的全连接，所以连接，所以C5的的feature map就变成了就变成了1个点，共计有个点，共计有120（25*16+1）=48120个参数个参数。C5层：层：输入图片大小：输入图片大小： (5*5)*16卷积窗大小：卷积窗大小：5*5卷积窗种类：卷积窗种类：120输出特征图数量：输出特征图数量：120输出特征图大小：输出特征图大小：1*1(5-5+1)神经元数量：神经元数量：120 (1*120)连接数：连接数：48120 16*25+1*1*120(全连接）全连接）可训练参数：可训练参数：48120

22、16*25+1*1*1206. F6层有层有84个单元（之所以选这个数字的原因来自于输出层个单元（之所以选这个数字的原因来自于输出层的设计），与的设计），与C5层全相连。有层全相连。有84*（120+1）=10164个可训个可训练参数。练参数。如同经典神经网络，如同经典神经网络，F6层计算输入向量和权重向量之间的点层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给积，再加上一个偏置。然后将其传递给sigmoid函数产生单元函数产生单元i的一个状态。的一个状态。F6层：层：输入图片大小：输入图片大小： (1*1)*120卷积窗大小：卷积窗大小：1*1卷积窗种类：卷积窗种类：84输

23、出特征图数量：输出特征图数量：84输出特征图大小：输出特征图大小：1神经元数量：神经元数量：84 连接数：连接数：10164 120*84（全连接）（全连接）可训练参数：可训练参数：10164 120*84OUTPUT层：层：输入图片大小：输入图片大小： 1*84输出特征图数量：输出特征图数量：1*104.卷积神经网路的优点（1）识别）识别位移、缩放及其他形式扭曲不变性的二维位移、缩放及其他形式扭曲不变性的二维图形图形。由。由于于CNN的特征检测层通过训练数据进行学习，所以在使用的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。络的一大优势。（2）卷积神经网络以其局部权值共享的特殊结构在语音卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近识别和图像