卷积神经网路概要

卷积神经网路概要卷积神经网路概要第1页目录1.概述2.关键思想3.文字识别系统LeNet-54.优点卷积神经网路概要第2页1.概述卷积神经网络是人工神经网络一个，已成为当前语音分析和图像识别领域研究热点。它权值共享网络结构使之更类似于生物神经网络，降低了网络模型复杂度，降低了权值数量。该优点在网络输入是多维图像时表现更为显著，使图像能够直接作为网络输入，防止了传统识别算法中复杂特征提取和数据重建过程。卷积神经网路概要第3页在CNN中，图像一小个别（局部感受区域）作为层级结构最低层输入，信息再依次传输到不一样层，每层经过一个数字滤波器去取得观察数据最显著特征。这个方法能够获取对平移、缩放和旋转不变观察数据显著特征，因为图像局部感受区域允许神经元或者处理单元能够访问到最基础特征，比如定向边缘或者角点。卷积神经网路概要第4页2.关键思想卷积神经网络经过以下特征来确保图像对位移、缩放、扭曲鲁棒性：局部感受野权值共享时间/空间亚采样卷积神经网路概要第5页局部感受野BP神经网络全连接卷积神经网络局部连接卷积神经网路概要第6页全连接网络。假如咱们有1000x1000像素图像，有1百万个隐层神经元，每个隐层神经元都连接图像每一个像素点，就有1000x1000x1000000=10^12个连接，也就是10^12个权值参数。局部连接网络，每一个节点与上层节点同位置附件10x10窗口相连接，则1百万个隐层神经元就只有100w乘以100，即10^8个参数。其权值连接个数比原来降低了四个数量级。卷积神经网路概要第7页权值共享隐含层每一个神经元都连接10x10个图像区域，也就是说每一个神经元存在10x10=100个连接权值参数。假如设定每个神经元这100个参数是相同，也就是说每个神经元用是同一个卷积核去卷积图像，参数个数与神经元个数无关。不论隐层神经元个数有多少，两层间连接只有100个参数隐层参数个数和隐层神经元个数无关，只和滤波器大小和滤波器种类多少相关。卷积神经网路概要第8页卷积神经网路概要第9页FeatureMap假如一个滤波器，也就是一个卷积核就是提出图像一个特征。提取不一样特征，需要多个滤波器。每种滤波器参数不一样，表示它提出输入图像不一样特征。这么每种滤波器去卷积图像就得到对图像不一样特征放映，咱们称之为FeatureMap。100种卷积核就有100个FeatureMap。这100个FeatureMap就组成了一层神经元。每层参数个数=100种卷积核x每种卷积核共享100个参数=100x100=10K，也就是1万个参数。卷积神经网路概要第10页隐层神经元个数隐层神经元个数和原图像，也就是输入大小（神经元个数）、滤波器大小和滤波器在图像中滑动步长都相关。比如，图像是1000x1000像素，而滤波器大小是10x10，假设滤波器没有重合，也就是步长为10，这么隐层神经元个数就是(1000x1000)/(10x10)=100x100个神经元了。注意：这只是一个滤波器，也就是一个FeatureMap神经元个数假如100个FeatureMap就是100倍了。由此可见，图像越大，神经元个数和需要训练权值参数个数差距就越大卷积神经网路概要第11页网络结构卷积神经网络含多层；每层含多个二维FeatureMap；每个FeatureMap含多个神经元。卷积神经网路概要第12页C层为特征提取层，每个神经元输入与前一层局部感受野相连，并提取该局部特征，一旦该局部特征被提取后，它与其它特征间位置关系也随之确定下来；S层是特征映射层，网络每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上全部神经元权值相等。卷积神经网络中每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提取计算层（S-层）。卷积神经网路概要第13页3.文字识别系统LeNet-5卷积神经网路概要第14页卷积神经网路概要第15页1.输入图像是32x32大小，局部滑动窗大小是5x5，因为不考虑对图像边界进行拓展，则滑动窗将有28x28个不一样位置，也就是C1层大小是28x28。

C1层是一个卷积层（经过卷积运算，能够使原信号特征增强，而且降低噪音），由6个特征图FeatureMap组成。特征图中每个神经元与输入中5*5邻域相连。卷积神经网路概要第16页C1有156个可训练参数（每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数），共156*(28*28)=122,304个连接。卷积神经网路概要第17页C1层：输入图片大小： 32*32卷积窗大小： 5*5卷积窗种类：6输出特征图数量：6输出特征图大小： 28*28 (32-5+1)神经元数量： 4707[(28*28)*6)]连接数： 12304[(5*5+1)*6]*(28*28)可训练参数： 156 [(5*5+1)*6]卷积神经网路概要第18页2.S2层是一个下采样层，利用图像局部相关性原理，对图像进行子抽样，能够降低数据处理量同时保留有用信息。S2层每个单元4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果经过sigmoid函数计算。卷积神经网路概要第19页简单说，由4个点下采样为1个点，也就是4个数加权平均。所以S2中每个特征图大小是C1中特征图大小1/4（行和列各1/2），所以有6个14*14特征图。S2层有（1+1）*6=12个可训练参数，有（2*2+1）*14*14*6=5880个连接。卷积神经网路概要第20页S2层：输入图片大小： (28*28)*6卷积窗大小： 2*2卷积窗种类： 6输出下采样图数量：6输出下采样图大小：(14*14)*6神经元数量： 1176 (14*14)*6连接数： 5880 (4+1)*(14*14)*6可训练参数： 12 (6*2) 卷积神经网路概要第21页卷积和子采样过程卷积神经网路概要第22页卷积过程包含：用一个可训练滤波器fx去卷积一个输入图像（第一阶段是输入图像，后面阶段就是卷积特征map了），然后加一个偏置bx，得到卷积层Cx。卷积神经网路概要第23页卷积神经网路概要第24页子采样过程包含：每邻域四个像素求和变为一个像素，然后经过标量Wx+1加权，再增加偏置bx+1，然后经过一个sigmoid激活函数，产生一个大约缩小四倍特征映射图Sx+1。卷积神经网路概要第25页从一个平面到下一个平面映射能够看作是作卷积运算，S-层可看作是含糊滤波器，起到二次特征提取作用。隐层与隐层之间空间分辨率递减，而每层所含平面数递增，这么可用于检测更多特征信息。卷积神经网路概要第26页3.

C3层也是一个卷积层，它一样经过5x5卷积核去卷积层S2，然后得到特征map就只有10x10个神经元，不过它有16种不一样卷积核，所以就存在16个特征map了。注意：C3中每个特征map是连接到S2中全部6个或者几个特征map，表示本层特征map是上一层提取到特征map不一样组合卷积神经网路概要第27页C3层：输入图片大小： (14*14)*6卷积窗大小： 5*5卷积窗种类： 16输出特征图数量： 16输出特征图大小： 10*10 (14-5+1)神经元数量： 1600[(10*10)*16)]连接数： 151600（个别连接）可训练参数： 1516 卷积神经网路概要第28页简单说，比如对于C3层第0张特征图，其每一个节点与S2层第0张特征图，第1张特征图，第2张特征图，总共3个5x5个节点相连接。后面依次类推，C3层每一张特征映射图权值是相同。卷积神经网路概要第29页前6个featuremap与S2层相连3个featuremap相连接，后面6个featuremap与S2层相连4个featuremap相连接，后面3个featuremap与S2层个别不相连4个featuremap相连接，最终一个与S2层全部featuremap相连。卷积核大小依然为5*5，所以总共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516个参数。而图像大小为10*10，所以共有151600个连接。卷积神经网路概要第30页4.

S4层是一个下采样层，由16个5*5大小特征图组成。特征图中每个单元与C3中对应特征图2*2邻域相连接，跟C1和S2之间连接一样。S4层有32个可训练参数（每个特征图1个因子和一个偏置）和16*5*5（2*2+1）=个连接。卷积神经网路概要第31页S4层：输入图片大小： (10*10)*16卷积窗大小： 2*2卷积窗种类： 16输出下采样图数量：16输出下采样图大小：(5*5)*16神经元数量： 400 (5*5)*16连接数： (4+1)*(5*5)*16可训练参数： 32 (16*2) 卷积神经网路概要第32页5.C5是卷积层，总共120个featuremap，每个featuremap与S4层全部featuremap相连接，卷积核大小是5*5，而S4层featuremap大小也是5*5，这组成了S4和C5之间全连接，所以C5featuremap就变成了1个点，共计有120（25*16+1）=48120个参数。卷积神经网路概要第33页C5层：输入图片大小： (5*5)*16卷积窗大小： 5*5卷积窗种类： 120输出特征图数量： 120输出特征图大小： 1*1 (5-5+1)神经元数量： 120 (1*120)连接数： 48120[16*25+1]*1*120(全连接）可训练参数： 48120[16*25+1]*1*120卷积神经网路概要第34页6.F6层有84个单元（之所以选这个数字原因来自于输出层设计），与C5层全相连。有84*（120+1）=10164个可训练参数。如同经典神经网络，F6层计算输入向量和权重向量之间点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i一个状态。卷积神经网路概要第35页F6层：输入图片大小： (1*1)*120卷积窗大小： 1*1卷积窗种类： 84输出特征图数量： 84输出特征图大小： 1 神经元数量： 84 连接数： 10164120*84（全连接）可训练参数： 10164120*84卷积神经网路概要第36页OUTPUT层：输入图片大小： 1*84输出特征图数量： 1*10卷积神经网路概要第37页4.卷积神经网路优点（1）识别位移、缩放及其它形式扭曲不变性二维图形。因为CNN特征检测层经过训练数据进行学习，所以在使用CNN时，防止了显式特征抽取，而隐式地从训练数据中进行学习；再者因为同一特征映射面上神经元权值相同，所以网络能够并行学习，这也是卷积网络相对于神经元彼此相连网络一大优势。卷积神经网路概要第38页（2）卷积神经网络以其局部权值共享特殊结构在语音识别和图像处理方面有着独特优越性，其布局更靠近于实际生物神经网络，权值共享降低了网络复杂性，尤其是多维输入向量图像能够直接输入网络这一特点防止了特征提取和分类过程中数据重建复杂度。卷积神经网路概要第39页（3）它能够直接处理灰度图片，能够直接用于处理基于图像分类。流分类方式几乎都是基于统计特征，这就意味着在进行分辨前必须提取一些特征。然而，显式特征提取并不轻易，在