深度学习及自动驾驶应用 课件 第3章 卷积神经网络理论及实践

Chapter3卷积神经网络理论及实践第三章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用DeepLearningAndAutonomousDriving深度学习与自动驾驶应用3.4实践斑马线检测3.1深层全连接神经网络的问题3.3卷积神经网络应用示例3.2卷积神经网络详解目录Content第2页全连接神经网络模型回顾问题导入建立模型损失函数参数学习第3页问题导入全连接神经网络(DNN)模型存在哪些不足？思考第4页建立模型损失函数参数学习Step1Step2Step3问题导入模型不足模型架构不够灵活模型参数过多第5页……………………………………y1y2ymx1x2xn…………问题导入16x16=256256个神经元1000个神经元1000个神经元10个神经元假设对16x16的图片进行分类手写字体识别任务，设计了如上所示的网络。那对100*100的图片做相同的任务，只有通过增加每层的神经元个数或者增加网络的层数来完成。模型结构不够灵活网络结构不够灵活第6页……………………………………y1y2ymx1x2xn…………问题导入16x16=256256X103权重参数106权重参数104权重参数256个神经元例如：输入为16x16的图片，输入层为256个神经元，隐藏层每层1000个神经元，输出层10个神经元。假设共5层，则共需要学习（256*103+106+106+104）个w再加（1000+1000+1000+10）个b。模型参数太多1000个神经元1000个神经元10个神经元第7页……………………………………y1y2ymx1x2xn…………16x16=256256X103权重参数106权重参数104权重参数如果输入为100*100的图片或者更大的图片呢？如果网络的层数为十层呢？参数爆炸！！！1000个神经元1000个神经元10个神经元256个神经元问题导入例如：输入为16x16的图片，输入层为256个神经元，隐藏层每层1000个神经元，输出层10个神经元。假设共5层，则共需要学习（256*103+106+106+104）个w再加（1000+1000+1000+10）个b。模型参数太多第8页问题导入如何改进？思考第9页图像模式的特性一

应用一次该方法只能提取一个特征所以对应同一张图片输入，应该应用多次该方法图像模式的特征第一个发现：鸢尾花仅出现在图像局部区域并不是所有具有相似形态特征的鸢尾花都位于图像的同一个位置如何应用这个发现？可能的做法：定义一种提取局部的特征的方法，可有效响应特定局部模式用这种方法遍历整张图片第10页第二个发现：大小改变，鸢尾花仍然可以有效区分如何利用这个特性？可能的做法：在神经网络逐层累加的过程中，可以直接对图像进行缩放;缩放到适当大小后，可以在特征提取过程中得到有效响应。图像模式的特性二图像模式的特征第11页建立模型损失函数参数学习模型改进如何改进？Step1全连接神经网络卷积神经网络第12页目录深层全连接神经网络的问题卷积神经网络详解卷积神经网络应用示例实践：斑马线检测第13页第一个发现对应的可能的做法：定义一种提取局部的特征的方法，可有效响应特定局部模式；用这种方法遍历整张图片。第二个发现对应的可能的做法：在神经网络逐层累加的过程中，可以直接对图像进行缩放。池化：下采样被检测物体不变模式卷积：平移不变模式图像模式的特性——小结卷积和池化那是不是卷积和池化操作就够了？我们是不是还需要更深的模型？第14页卷积层+激活函数+池化层+全连接层

CNN基础结构CNN应用图像模式的一般框架（以分类为例）在最后出现一次或多次，用于做分类出现多次，用于提取特征第15页建立模型卷积神经网络（CNN）卷积层Pooling层损失函数参数学习使用步骤第16页建立模型卷积神经网络结构上的三大特性局部连接权重共享下采样减少网络参数，加快训练速度第17页建立模型局部连接全连接神经元卷积神经网络的神经元在进行图像识别的时候，不需要对整个图像进行处理，只需要关注图像中某些特殊的区域640x480640x480

输入为640x480个像素

输入为16x16个像素16x16第18页640x480建立模型权重共享…………

卷积神经网络的神经元

只依靠局部连接就足以减少参数？每个神经元起作用的只是局部区域，为了使各部分都起作用，就需要增加神经元的个数第19页建立模型下采样下采样对图像像素进行下采样，并不会对物体进行改变。虽然下采样之后的图像尺寸变小了，但是并不影响我们对图像中物体的识别。640x480320x240第20页全连接神经网络卷积神经网络相同颜色的箭头代表相同的权重参数卷积核大小：2X1建立模型对比示例两层卷积第21页建立模型卷积神经网络（CNN）卷积层Pooling层使用步骤损失函数参数学习第22页101010101010101010101010101010101010000000000000000000*=121000-1-2-10建立模型卷积核inputimage(输入图像)kernel(卷积核)featuremap(特征映射层)

注：*为卷积操作第23页101010101010101010101010101010101010000000000000000000*=121000-1-2-100建立模型卷积核

inputimagekernelfeaturemap注：*为卷积操作第24页101010101010101010101010101010101010000000000000000000*=121000-1-2-1000建立模型卷积核

inputimagekernelfeaturemap注：*为卷积操作第25页101010101010101010101010101010101010000000000000000000*=121000-1-2-10000建立模型卷积核

inputimagekernelfeaturemap注：*为卷积操作第26页101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040建立模型卷积核

注：*为卷积操作inputimagekernelfeaturemap第27页建立模型卷积核*=121000-1-2-1404040404040000101010101010101010101010101010101010000000000000000000

00004040inputimagekernelfeaturemap注：*为卷积操作第28页101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040404040404040400000建立模型卷积核

注：*为卷积操作inputimagekernelfeaturemap第29页101010101010101010101010101010101010000000000000000000*=121000-1-2-1000040404040404040400000建立模型卷积核注：*为卷积操作inputimagekernelfeaturemap

卷积核在网络连接里面相当于是神经元，里面的9个值是权重参数值，卷积核中的参数需要在训练的过程学习第30页建立模型卷积层*=ABCDkernelfeature

mapinputimage456789123123456789

权重共享局部连接注：*为卷积操作第31页123456789建立模型卷积层*=456789123

kernelfeature

mapinputimage权重共享局部连接注：*为卷积操作第32页123456789建立模型卷积层*=456789123

kernelfeature

mapinputimage权重共享局部连接注：*为卷积操作第33页建立模型卷积层123456789*=456789123权重共享

kernelfeature

mapinputimage局部连接注：*为卷积操作第34页featuremapinputimage建立模型卷积层123456789*=456789123全连接output

kernelfeature

mapinputimage权重共享局部连接注：*为卷积操作第35页建立模型卷积层123456789*=456789123一次卷积，只需学习kernel

size大小的参数个数，如上所示的例子，从input

image到feature

map只需要学习4个参数。全连接

kernelfeature

mapinputimagefeaturemapinputimageoutput卷积大大减少了模型所需学习的参数量！！！权重共享局部连接注：*为卷积操作,未考虑bias.第36页建立模型卷积层123456789*=456789123全连接单个卷积核相当于只能提取单一特征，如何利用卷积核提取更复杂的特征？注：*为卷积操作

kernelfeature

mapinputimagefeaturemapinputimageoutput权重共享局部连接第37页

建立模型卷积层123456789*=456789123一个卷积核可以提取图像的一种特征==多个卷积核提取多种特征。同一kernel权重共享注：*为卷积操作

3

kernels

3

feature

mapsinputimage

3

featuremapsinputimage全连接

output局部连接第38页

建立模型卷积层123456789*=456789123==同一kernel权重共享全连接

对于如上size为3*3的image，如需提取3个特征，卷积层需要3个卷积核，假设卷积核大小为4，则共需4*3=12个参数。

3

feature

mapsinputimage

3

featuremapsinputimageoutput局部连接

3

kernels如何对feature

maps继续进行卷积操作？第39页建立模型多通道卷积*=注：*为卷积操作

kernel

feature

map

feature

maps假设上一个卷积层已得到3个3x3的feature

maps,可表示为具有三个通道的feature

map，大小为3x3x33个2x2的卷积核，可表示为具有三个通道卷积核立方体，大小为3x2x2生成一个2x2大小的feature

map卷积核通常表示为一个立方体

第40页建立模型多通道卷积*=注：*为卷积操作

kernel

feature

map

feature

maps卷积核通常表示为一个立方体卷积核通常表示为一个立方体输出为对应通道在滑动窗口内的卷积的和3个3X3的feature

maps

3个2x2的卷积核生成一个2X2大小的feature

map

第41页建立模型多通道卷积*=注：*为卷积操作

kernel

feature

map

feature

maps卷积核通常表示为一个立方体输出为对应通道在滑动窗口内的卷积的和3个3X3的feature

maps3个2x2的卷积核生成一个2X2大小的feature

map

第42页建立模型多通道卷积*=注：*为卷积操作

kernel

feature

map

feature

maps卷积核通常表示为一个立方体输出为对应通道在滑动窗口内的卷积的和3个3X3的feature

maps3个2x2的卷积核生成一个2X2大小的feature

map

第43页建立模型多通道卷积*=注：*为卷积操作

kernel

feature

map

feature

maps卷积核通常表示为一个立方体输出为对应通道在滑动窗口内的卷积的和3个3X3的feature

maps

3个2x2的卷积核生成一个2X2大小的feature

map

第44页建立模型多通道多核卷积*=注：*为卷积操作

n

kernels

n

feature

maps

feature

mapsn个卷积核立方体生成n个feature

maps==……n个2X2的feature

maps…3个3X3的feature

maps第45页建立模型卷积神经网络（CNN）卷积层Pooling层使用步骤损失函数参数学习第46页10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Poolinginputimagekernelfeaturemap通过下采样缩减feature

map尺度。常用max

pooling和average

pooling.Max

pooling下采样后的featuremap下采样注：*为卷积操作640x480320x240建立模型池化层又叫下采样层，目的是压缩数据，降低数据维度第47页10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Poolinginputimagekernelfeaturemap通过下采样缩减feature

map尺度。常用max

pooling和average

pooling.Max

pooling40下采样后的featuremap下采样注：*为卷积操作640x480320x240建立模型第48页10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通过下采样缩减feature

map尺度。常用max

pooling和average

pooling.Max

pooling4030下采样注：*为卷积操作inputimagekernelfeaturemap下采样后的featuremap640x480320x240建立模型第49页10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通过下采样缩减feature

map尺度。常用max

pooling和average

pooling.Max

pooling403040下采样注：*为卷积操作inputimagekernelfeaturemap下采样后的featuremap640x480320x240建立模型第50页10101081091010101010101010101071000010000001000000000*=121000-1-2-10-2-1540302030403017240102010Pooling通过下采样缩减feature

map尺度。常用max

pooling和average

pooling.Max

pooling40304024下采样增大感受野:经过pooling后，一个数字的感受野增大了，前一层每一个数字感受的信息范围比较窄，下一层放大数字的感受范围，每一层的语义信息的力度都不一样。注：*为卷积操作inputimagekernelfeaturemap下采样后的featuremap640x480320x240建立模型第51页1.卷积层+激活函数+池化层的组合多次出现提取特征2.多个全连接层或特殊的CNN结构做为输出层

做分类器/检测器/分割器CNN网络搭建小结卷积神经网络的一般结构第52页建立模型卷积神经网络（CNN）卷积层Pooling层使用步骤损失函数参数学习第53页建立模型卷积神经网络（CNN）卷积层Pooling层使用步骤损失函数参数学习第54页损失函数分类损失回归损失损失函数的设计依赖于具体的任务常用：交叉熵损失函数常用：平方损失函数第55页损失函数多分类损失CarscoreTrunkscoreMotorscoref(w•x+b)1.随机赋值w,b的情形下，模型的初始计算结果必然和对应的标签不一致；2.如何定义损失函数，衡量网络计算结果与标签值的差异？+B:一般初始赋值为0，待优化label第56页损失函数多分类损失交叉熵损失函数&SoftMax概率归一化normalize交叉熵用来衡量两个分布间的差异性：根据网络输出结果和标签(p(x)代表标签的真实概率分布，q(x)代表模型概率分布如何根据损失函数对网络的权重参数w和b进行更新?label1.7960.1990.452q(x)log(q(x))p(x)交叉熵explog第57页建立模型卷积神经网络（CNN）卷积层Pooling层使用步骤损失函数参数学习第58页梯度下降法选择一个初始值w，Random,RBMpre-train

η

是“学习率”迭代参数学习

第59页梯度下降法

η

是“学习率”参数学习每一步都沿着损失下降就快的方向进行；一步一步走下去，直到所在的位置非常接近最低点；学习率(超参数)：每次更新的步幅大小。第60页梯度下降法使用样本方式的变种参数学习第61页梯度下降方式的优化参数学习

第62页反向传播算法参数学习第63页目录卷积神经网络详解卷积神经网络应用示例深层全连接神经网络的问题实践：斑马线检测第64页经典模型(LeNet-5)应用示例LeNet-5由LeCun等人提出于1998年提出，主要用于手写数字识别和英文字母识别的经典卷积神经网络，LeNet虽小，各模块齐全，是学习CNN的基础。在MNIST上的准确率达到约99%。参考：/exdb/lenet/第65页MNIST数据集：计算机视觉领域的一个经典案例，0~9的手写数字识别数据集，输入的原始图像是28x28x1的灰度图像，要从中识别出图片是0~9这10个数字中哪一个。MNIST一般会被当着深度学习中的基本练习，类似于学习编程时的“HelloWorld”。MNIST数据集应用示例第66页经典模型(LeNet-5)应用示例用字母C代表卷积层（Convolutional

layer),用字母S代表下采样层（Sub-samplinglayer），整个网络中共有C1、S2、C3、S4、C5共5个卷积加池化层构成了特征提取的主干部分，因此把该网联称为LeNet-5。第67页C1层（卷积层）：6个卷积核，卷积核大小为5×5,步长为1，featuremap的大小为

32-5+1=28，得到6个大小为32-5+1=28的特征图，也就是神经元的个数为6×28×28=4704；6个卷积核，卷积核大小为5×5，共有6×25+6=156个参数（加了6个偏置）。应用示例经典模型(LeNet-5)第68页S2层（pooling层）：池化核大小选择2∗2，每个下采样节点的4个输入节点求和后乘上一个权重参数，再加上一个偏置参数作为激活函数的输入，激活函数的输出即是节点的值，得到6个14×14大小的feature

map；每个feature

map的权值和偏置值都是一样的，则共有6×2=12个参数。经典模型(LeNet-5)应用示例第69页C3层(卷积层)：C3层有16个10x10的特征图，

共有60个卷积核，C3跟S2并不是全连接的，具体连接方式如右上表所示，每个卷积核大小为5×5；则共有60×25+16=1516个参数（加16个偏置）。经典模型(LeNet-5)应用示例第70页C3层(卷积层)：

C3与S2中前3个图相连的卷积结构。经典模型(LeNet-5)应用示例第71页S4层(下采样层)：对C3的16张10×10特征图进行最大池化，池化核大小为2×2，得到16张大小为5×5的特征图，神经元个数已经减少为:16×5×5=400；每个下采样节点的4个输入节点求和后乘上一个权重参数加上一个偏置参数作为sigmoid激活函数的输入，激活函数的输出即是节点的值，每个特征图的权值和偏置值都是一样的，则共有16×2=32个参数。经典模型(LeNet-5)应用示例第72页C5层(卷积层)：用5×5的卷积核进行卷积，然后我们希望得到120个特征图，特征图大小为5-5+1=1，神经元个数为120（这里实际上用卷积实现了全连接）；由S4中的16个5×5大小的特征图变为120个1×1的特征图，S4和C5的所有特征图之间全部相连，有120×16=1920个卷积核，每个卷积核大小为5×5；则共有1920×25+120=48120个参数。经典模型(LeNet-5)应用示例第73页F6层(全连接层)：有84个节点，该层的训练参数和连接数都(120+1)×84=10164。Output层(输出层)：共有10个节点，分别代表数字0到9，该层的训练参数和连接数都(84+1)×10=850。采用的是径向基函数(RBF)的网络连接方式（现在已经变为softmax）。经典模型(LeNet-5)应用示例第74页一般池化操作是没有参数的，LeNet-5中在池化层整体增加了权重参数和偏置；卷积层的参数相对较少，大量的参数都存在于全连接层；随着神经网络的加深，激活值尺寸会逐渐变小，但是，如果激活值尺寸下降太快，会影响神经网络的性能。经典模型(LeNet-5)应用示例ActivationShapeActivationUnitSizeParameters输入层（32，32，1）1024C1层（28，28，6）4704(5x5x1+1)x6=156S2层（14，14，6）11762x6=12C3层（10，10，16）1600

60×25+16=1516S4层（5，5，16）4002x16=32C5层（120，1）120（400+1）x120=48120F6层（84，1）84（120+1）x84=10164输出层（10，1）10（84+1）x10=850第75页在卷积神经网络中，卷积核大小、卷积核个数(特征图需要多少个)、池化核大小(采样率多少)这些参数都是变化的，这就是所谓的CNN调参，需要学会根据需要进行不同的选择。经典模型(LeNet-5)应用示例ActivationShapeActivationUnitSizeParameters输入层（32，32，1）1024C1层（28，28，6）4704(5x5x1+1)x6=156S2层（14，14，6）11762x6=12C3层（10，10，16）160016×(6×(5×5)+1)=2416S4层（5，5，16）4002x16=32C5层（120，1）120（400+1）x120=48120F6层（84，1）84（120+1）x84=10164输出层（10，1）10（84+1）x10=850第76页LeNet-5网络要求的输入图像的尺寸是32x32x1,需要对原始尺寸为28x28x1的MNIST数据集中的图像进行一些预处理，比如在原始图像周边填充上足量的0，或者对原始图像使用插值法来调整尺寸。LeNet-5用于MNIST数据集应用示例第77页经典模型(AlexNet)应用示例1、AlexNet由多伦多大学的AlexKrizhevsky等人与2012年在ImageNet图像分类竞赛中提出的用于图像识别的卷积神经网络，并取得了当年的ImageNet大规模视觉识别竞赛冠军。2、AlexNet是用于ImageNet图像分类竞赛的，而ImageNet是由李飞飞团队创建的一个用于图像识别的大型图像数据库，包含了超过1400万张带标签的图像。3、相较于LeNet用于处理的手写数字识别问题，ImageNet图像分类很明显数据量更加庞大，任务难度提升巨大，因此要求神经网络的性能也就更加强大。第78页经典模型(AlexNet)应用示例AlexNet的网络结构，包括1个输入层、5个卷积层、2个全连接层以及1个输出层。此外，AlexNet的网络训练也与之前的神经网络有所不同，由于参数量相较之前极为庞大，为了提升训练速度，作者使用2块GPU并行训练网络模型。第79页经典模型(AlexNet)应用示例相较于LeNet，AlexNet结构明显变得更加复杂，需要计算的参数量也更加庞大。共有大约65万个神经元以及6千万个参数。第80页经典模型(AlexNet)应用示例AlexNet相较于之前的其他网络的创新之处在于：1）使用了两种数据增强方法，分别是镜像加随机剪裁和改变训练样本RGB通道的强度值，通过使用数据增强方法能够从数据集方面增加多样性，从而增强网络的泛化能力；2）激活函数使用ReLU，相较于tanh等饱和的非线性函数，ReLU在梯度下降计算的时候会比它们速度更快。而且ReLU函数会使部分神经元的输出为0，可以提高网络的稀疏性，并且减少参数之间的相关性，也可以一定程度上减少网络的过拟合；3）使用局部响应归一化对局部神经元创建竞争机制，使得响应较大的值更大，响应较小的神经元受到抑制，增强模型泛化能力；4）引入dropout，对于一层的神经元，按照定义的概率将部分神经元输出置零，即该神经元不参与前向及后向传播，同时也保证输入层与输出层的神经元个数不变。从另一种角度看，dropout由于是随机置零部分神经元，因此也可以看成是不同模型之间的组合，可以有效的防止模型过拟合。第81页经典模型(AlexNet)应用示例模型代码示例：/projectdetail/5422835第82页经典模型(VGGNet)应用示例VGG是2014年ILSVRC分类任务比赛的亚军，由Simonyan等人在AlexNet的基础上针对卷积神经网络的深度进行改进提出的卷积神经网络。VGG的结构与AlexNet的结构及其相似，区别在于其网络深度更深，并且基本采用3×3的卷积核，因此从形式上看更加简单。第83页经典模型(VGGNet)应用示例原作者通过对比不同深度的网络在图像分类中的性能证明了卷积神经网络的深度提升有利于提高图像分类的准确率，但是深度加深并非是没有限制的，当神经网络的深度加深到一定程度后继续加深网络会导致网络性能的退化，因此，经过对比，VGG网络的深度最终被确定在了16~19层之间。第84页经典模型(VGGNet)应用示例第85页InputImageAA-LRNBCDE11layers11layers13layers16layers16layers19layersInput(224×224×3RGBimage)Conv3-64Conv3-64LRNConv3-64Conv3-64Conv3-64Conv3-64Conv3-64Conv3-64Conv3-64Conv3-64MaxpoolConv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128Conv3-128MaxpoolConv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv1-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256Conv3-256MaxpoolConv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv1-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512MaxpoolConv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv1-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512Conv3-512MaxpoolFC-4096FC-4096FC-4096softmax经典模型(VGGNet)应用示例第86页以上六种网络结构相似，都是由5层卷积层加上3层全连接层组成，区别在于每层卷积的子卷积层数量和卷积核大小不一样，由A到E网络层数由11层逐渐增加至19层。表格中conv3-64表示64个卷积核大小为3×3的卷积层，大卷积层之间由最大池化maxpool隔开，FC-4096表示由4096个神经元构成的全连接层，最终输出层为softmax层。在这六种网络中，D为著名的VGG16，E为VGG19。经典模型(VGGNet)应用示例第87页图为最经典的VGG16网络结构，VGG16总共包含16个子层，VGG16的输入层为224×224×3的三通道RGB图像，第1层卷积层由2个conv3-64组成，第2层卷积层由2个conv3-128组成，第3层卷积层由3个conv3-256组成，第4层卷积层由3个conv3-512组成，第5层卷积层由3个conv3-512组成，然后是2个FC4096的全连接层，1个FC1000的全连接层，总共16层。经典模型(VGGNet)应用示例第88页VGG模型示例：/projectdetail/2799241?contributionType=1经典模型(GoogleNet)应用示例第89页VGGNet获得了2014年的ILSVRC分类比赛的亚军，而获得当年分类任务比赛冠军的则是GoogleNet。与VGGNet模型相比较，GoogleNet模型的网络深度已经达到了22层，如果只计算有参数的网络层，GoogleNet网络有22层，如果加上池化层的话则有27层，并且在网络架构中引入了Inception单元，从而进一步地提升了模型整体的性能。虽然GoogleNet的深度达到了22层，但参数量却比AlexNet和VGGNet小得多，GoogleNet参数总量约为500万个，而VGG16参数约为138million个，是GoogleNet的27倍多，是AlexNet的两倍多。经典模型(GoogleNet)应用示例第90页如图为Inception模块最初的版本，其基本组成结构包含4个部分：1×1卷积、3×3卷积、5×5卷积以及3×3最大池化，分别经过这四个部分计算之后的结果再进通道上的组合就得到最终的输出。经典模型(GoogleNet)应用示例第91页NaiveInception模块有两个问题：1、所有卷积层直接和前一层输入的数据对接会造成卷积层中的计算量很大；2、在这个模块中使用的最大池化层保留了输入数据的特征图的深度，所以在最后进行合并时，总的输出的特征图的深度只会增加，这样就增加了该模块之后的网络结构的计算量。因此，为了