计算机视觉与应用 课件 10.2 卷积神经网络VIP

10.2卷积神经网络CONTENTS目录神经元模型01基本网络结构02激活函数03损失函数04CONTENTS目录神经元模型01基本网络结构02激活函数03损失函数041.神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。这是T．Kohonen1988年在NeuralNetworks创刊号上给“神经网络”的定义。这里的“简单单元”就是“神经元”。1943年美国心理学家McCulloch和数学家Pitts提出的MP神经元模型，如图10-2-1所示。神经元模型该模型是可以看到一个神经元模型由输入信号、权值、偏置、加法器和激活函数共同构成，而且每个神经元都是一个多输入单输出的信息处理单元。输入与输出之间的关系为：f被称为激活函数(ActivationFunction)或转移函数(TransferFunction)，用以提供非线性表达能力。f的参数其实就是机器学习中的逻辑回归。若将阈值看成是神经元j的一个输入X0的权重W0j，则上面的式子可以简化为：神经元模型若用X表示输入向量，用W表示权重向量，即：则神经元的输出可以表示为向量相乘的形式：CONTENTS目录神经元模型01基本网络结构02激活函数03损失函数04一个神经网络最简单的结构包括输入层、隐含层和输出层，每一层网络有多个神经元，上一层的神经元通过激活函数映射到下一层神经元，每个神经元之间有相对应的权值，输出即为分类类别。多个神经元之间相互连接，即构成了神经网络，常规神经网络由三部分组成：输入层、（一个或多个）隐藏层、输出层。如图10-2-2所示：基本网络结构CONTENTS目录神经元模型01基本网络结构02激活函数03损失函数043、常用的激活函数（1）sigmoid函数在逻辑回归中使用sigmoid函数，该函数是将取值为(−∞,+∞)的数映射到(0,1)之间。sigmoid函数的公式以及图形如图10-2-3所示。激活函数1)当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为零。在神经网络反向传播的过程中，我们都是通过微分的链式法则来计算各个权重w的微分的。当反向传播经过了sigmoid函数，这个链条上的微分就很小了，况且还可能经过很多个sigmoid函数，最后会导致权重w对损失函数几乎没影响，这样不利于权重的优化，这个问题叫做梯度饱和，也可以叫梯度弥散。2)函数输出不是以0为中心的，这样会使权重更新效率降低。对于这个缺陷，在斯坦福的课程里面有详细的解释。3)sigmoid函数要进行指数运算，这个对于计算机来说是比较慢的。激活函数1)当输入稍微远离了坐标原点，函数的梯度就变得很小了，几乎为零。在神经网络反向传播的过程中，我们都是通过微分的链式法则来计算各个权重w的微分的。当反向传播经过了sigmoid函数，这个链条上的微分就很小了，况且还可能经过很多个sigmoid函数，最后会导致权重w对损失函数几乎没影响，这样不利于权重的优化，这个问题叫做梯度饱和，也可以叫梯度弥散。2)函数输出不是以0为中心的，这样会使权重更新效率降低。对于这个缺陷，在斯坦福的课程里面有详细的解释。3)sigmoid函数要进行指数运算，这个对于计算机来说是比较慢的。激活函数(2)tanh函数tanh函数相较于sigmoid函数要常见一些，该函数是将取值为(−∞,+∞)的数映射到(−1,1)之间，其公式与图形如图10-2-4所示。激活函数tanh函数在0附近很短一段区域内可看做线性的。由于tanh函数均值为0，因此弥补了sigmoid函数均值为0.5的缺点。tanh函数的缺点同sigmoid函数的第一个缺点一样，当x很大或很小时，g′(x)接近于0，会导致梯度很小，权重更新非常缓慢，即梯度消失问题。一般二分类问题中，隐藏层用tanh函数，输出层用sigmoid函数。不过这些也都不是一成不变的，具体使用什么激活函数，还是要根据具体的问题来具体分析，还是要靠调试的。激活函数(3)ReLU函数ReLU函数又称为修正线性单元（RectifiedLinearUnit），是一种分段线性函数，其弥补sigmoid函数以及tanh函数的梯度消失问题。ReLU函数的公式以及图形如图10-2-5所示。激活函数ReLU(RectifiedLinearUnit)函数是目前比较火的一个激活函数，相比于sigmoid函数和tanh函数，它有以下几个优点：1)在输入为正数的时候，不存在梯度饱和问题。2)计算速度要快很多。ReLU函数只有线性关系，不管是前向传播还是反向传播，都比sigmoid和tanh要快很多。（sigmoid和tanh要计算指数，计算速度会比较慢）当然，缺点也是有的：1)当输入是负数的时候，ReLU是完全不被激活的，这就表明一旦输入到了负数，ReLU就会死掉。这样在前向传播过程中，还不算什么问题，有的区域是敏感的，有的是不敏感的。但是到了反向传播过程中，输入负数，梯度就会完全到0，这个和sigmoid函数、tanh函数有一样的问题。2)我们发现ReLU函数的输出要么是0，要么是正数，这也就是说，ReLU函数也不是以0为中心的函数。激活函数 4.ELU函数激活函数 ELU函数公式和曲线如图10-2-6所示。ELU函数是针对ReLU函数的一个改进型，相比于ReLU函数，在输入为负数的情况下，是有一定的输出的，而且这部分输出还具有一定的抗干扰能力。这样可以消除ReLU死掉的问题，不过还是有梯度饱和和指数运算的问题。激活函数CONTENTS目录神经元模型01基本网络结构02激活函数03损失函数044.损失函数在深度学习中，损失函数扮演着至关重要的角色。通过对最小化损失函数，使模型达到收敛状态，减少模型预测值的误差。因此，不同的损失函数，对模型的影响是重大的。接下来，总结一下，在工作中经常用到的下列损失函数：图像分类：交叉熵目标检测：Focalloss，L1/L2损失函数，IOULoss，GIOU，DIOU，CIOU图像识别：TripletLoss，CenterLoss，Sphereface，Cosface，Arcface损失函数下面主要介绍交叉熵、L1，L2，smoothL1几种损失函数。（1）交叉熵交叉熵损失函数经常用于分类问题中，特别是在神经网络做分类问题时，也经常使用交叉熵作为损失函数，交叉熵涉及到计算每个类别的概率，因此交叉熵几乎每次都和sigmoid(或softmax)函数一起出现。在图像分类中，经常使用softmax+交叉熵作为损失函数，交叉熵损失函数定义如下:损失函数其中，p(x)表示真实概率分布，q(x)表示预测概率分布。交叉熵损失函数通过缩小两个概率分布的差异，来使预测概率分布尽可能达到真实概率分布。(2)L1、L2、smoothL1损失函数利用L1、L2或者smoothL1损失函数，来对4个坐标值进行回归。smoothL1损失函数是在FastR-CNN中提出的。L1范数损失函数，也被称为最小绝对值偏差（LAD），最小绝对值误差（LAE）。它是把目标值（Yi)与估计值（f(xi))的绝对差值的总和S)最小化，定义如下：损失函数L2范数损失函数，也被称为最小平方误差（LSE）。它是把目标值(Yi)与估计值(f(xi))的差值的平方和(S)最小化，定义如下：smoothL1损失函数,smoothL1说的是光滑之后的L1，改善L1的有折点，不光滑，导致不稳定等缺点，smoothL1损失函数为，定义如下：从损失函数对x的导数可知：L1损失函数对x的导数为常数，在训练后期，x很小时，如果learningrate不变，