卷积神经网络报告文档资料

1、.1卷积神经网络介绍卷积神经网络介绍 a n n u a l r e p o r t汇报人：龚志雄.2受受hubel和和wiesel对猫视觉皮层电生理研究启发，有人提出卷积神对猫视觉皮层电生理研究启发，有人提出卷积神经网络（经网络（cnn），），yann lecun 最早将最早将cnn用于手写数字识别并用于手写数字识别并一直保持了其在该问题的霸主地位。一直保持了其在该问题的霸主地位。与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层的概念。的概念。单击添加标题，建议您在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容单击添

2、加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容卷积神经网络概述卷积神经网络概述.3传统的传统的bp网络包括输入层、隐藏层、输出网络包括输入层、隐藏层、输出层。层。下面的下面的cnn网络以一张图片作为输入，网络以一张图片作为输入，先经过卷积层得到先经过卷积层得到c1，再经过池化层得，再经过池化层得到到s1，再经过卷积层得到，再经过卷积层得到c2，再经过池，再经过池化层得到化层得到s2。将。将s2的所有图片展开生成的所有图片展开生成x，之后连接上普通的全连接神经网络进行图之后连接上普通的全连接神经网络进行图片的分类。片的分类。需要注意的是需要注意的是s1到到c2的的连接，的的连接

3、，c2层的层的每个神经元只是部分与每个神经元只是部分与s1层的神经元连接，层的神经元连接，而传统的而传统的bp网络中每个神经元会与上一层网络中每个神经元会与上一层的所有神经元进行连接。的所有神经元进行连接。单击添加标题，建议您在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容传统的传统的bp网络和网络和cnn网络的区别网络的区别.4单击添加标题，建议您在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容卷积的过程卷积的过程左边是被卷积图片的像素显

4、示，其中的数左边是被卷积图片的像素显示，其中的数字代表每个像素点的像素值。中间的小图字代表每个像素点的像素值。中间的小图片就是卷积核，卷积核会从图片的左上角片就是卷积核，卷积核会从图片的左上角开始从左到右从上到下的进行卷积操作，开始从左到右从上到下的进行卷积操作，每一次的卷积操作如右图所示：卷积核里每一次的卷积操作如右图所示：卷积核里的每个值与其对应位置的图片像素值相乘，的每个值与其对应位置的图片像素值相乘，再将所有相乘的结果求和就得到了结果。再将所有相乘的结果求和就得到了结果。卷积核中的参数值最开始是随即生成的，卷积核中的参数值最开始是随即生成的，cnn网络训练的目的就是训练卷积核里网络训练

5、的目的就是训练卷积核里的这些参数，这些参数相当于的这些参数，这些参数相当于bp网络中的网络中的权重权重w。.5单击添加标题，建议您在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容卷积的过程卷积的过程右图是一个卷积的动态过程，黄色区域就是卷积右图是一个卷积的动态过程，黄色区域就是卷积核，右下角的小数字是卷积核的参数，这里卷积核，右下角的小数字是卷积核的参数，这里卷积核的移动步长是一个单位。若原图尺寸为核的移动步长是一个单位。若原图尺寸为a*a，卷积核尺寸为卷积核尺寸为b*b，则卷积操作生成的图片尺寸，则卷积操作生成的图

6、片尺寸为为(a-b+1)*(a-b+1)，也就是说生成的图片一般，也就是说生成的图片一般会比原图小一些。会比原图小一些。.6单击添加标题，建议您在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容池化的过程池化的过程一般经过卷积操作后生成的图像尺寸还是一般经过卷积操作后生成的图像尺寸还是太大，为了减少网络计算的复杂度，需要太大，为了减少网络计算的复杂度，需要把卷及操作后的图片进行缩小，也就是进把卷及操作后的图片进行缩小，也就是进行池化行池化(pooling)。池化字面理解就是把。池化字面理解就是把图片分成一个个池子，常用

7、的池化有最大图片分成一个个池子，常用的池化有最大池化和平均池化，右图展示的是最大池化，池化和平均池化，右图展示的是最大池化，把图片分为了四个把图片分为了四个2*2的池子，选取每个的池子，选取每个池子中的最大值作为结果。平均池化就是池子中的最大值作为结果。平均池化就是取每个池子的平均值作为结果。右图中经取每个池子的平均值作为结果。右图中经过池化图片尺寸就缩减为原图的一半。过池化图片尺寸就缩减为原图的一半。.7单击此处编辑内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容cnn网络的执行过程网络的执行过程在这个例子中，在这个例子中，cnn的输入是一张的输入是

8、一张32*32像素的黑白图片，其中每个像素点的像素值的范围在像素的黑白图片，其中每个像素点的像素值的范围在0255。首先它会。首先它会经过第一层卷积层得到经过第一层卷积层得到c1层，这个卷积层有六个神经元，每个神经元包含一个卷积核，每个卷积核对输入图片层，这个卷积层有六个神经元，每个神经元包含一个卷积核，每个卷积核对输入图片进行卷积操作生成一张新的进行卷积操作生成一张新的28*28的图片，这样经过了这层卷积层，就能得到图中的图片，这样经过了这层卷积层，就能得到图中c1层所示的六张图片。层所示的六张图片。.8单击添加标题，建议您在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容单击添加标题

9、，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容cnn网络的执行过程网络的执行过程右图展示了右图展示了input图片经过卷基层的过程，该卷图片经过卷基层的过程，该卷基层有六个神经元，每个神经元有一个卷积核。基层有六个神经元，每个神经元有一个卷积核。.9单击此处编辑内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容cnn网络的执行过程网络的执行过程由由c1到到s2的过程就是池化的过程，对的过程就是池化的过程，对c1层的六张图片进行池化操作，让每张图片的尺寸变为原来的一半。层的六张图片进行池化操作，让每张图片的尺寸变为原来的一半。.10单击此处编辑

10、内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容cnn网络的执行过程网络的执行过程从从s2到到c3的过程是我认为最重要也是最难理解的过程，从的过程是我认为最重要也是最难理解的过程，从s2经过第二层卷积层生成了经过第二层卷积层生成了c3，这个过程和从，这个过程和从input到到c1一样是一个卷积的过程，但从一样是一个卷积的过程，但从input到到c1的过程输入只有一张图片也就是的过程输入只有一张图片也就是input，但，但s2却有六张图片作为输却有六张图片作为输入，下面来说明一下从入，下面来说明一下从s2到到c3的过程。的过程。.11单击添加标题，建议您

11、在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容cnn网络的执行过程网络的执行过程由于由于s2层和层和c3层所涉及的图片太多，不方便说层所涉及的图片太多，不方便说明原理，所以这里假设明原理，所以这里假设s2层有三张图片，层有三张图片，c3层层有两张图片。有两张图片。这里有一个规则：有多少张输出图片，就有多少这里有一个规则：有多少张输出图片，就有多少个神经元；有多少张输入图片，每个神经元就有个神经元；有多少张输入图片，每个神经元就有多少个卷积核。右图中有三张图片的输入，两张多少个卷积核。右图中有三张图片的输入，两张图片的输出，所以卷积层有两个神经元，每个神图片的输出，所以卷积层有两个神经

12、元，每个神经元有三个卷积核。经元有三个卷积核。.12单击添加标题，建议您在展示时采用微软雅黑字体单击此处编辑内容单击此处编辑内容cnn网络的执行过程网络的执行过程右边的动图显示的是上一张图片的动态过程，左右边的动图显示的是上一张图片的动态过程，左边三张蓝色图片对应边三张蓝色图片对应s2层的三张输入图片，中间层的三张输入图片，中间的两列的红色图片对应两个神经元中的卷积核，的两列的红色图片对应两个神经元中的卷积核，右边两个绿色的图片对应右边两个绿色的图片对应c3层的两张输出图片。层的两张输出图片。.13单击此处编辑内容单击此处编辑内容单击添加标题，建议您在展示时采用微软雅黑体单击此处辑内容单击此处辑内容cnn网络的执行过程网络的执行过程由由c3到到s4的过程又是一个池化的过程，对的过程又是一个池化的过程，对c3层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。层的十六张图片进行池化操作，让每张图片的尺寸变为原来的一半。s4之后就是全连接层了，之后就是全连接层了，s4层的十六张图片需要展开成一个向量作为全连接层的输入。层的十六张图片需要展开成一个向量作为全连接层的输入。.1