《计算机视觉》教学课件-第08章1-神经网络和深度学习1

人工智能视觉课程

神经网络和深度学习01引言02神经网络和深度学习简史03神经网络基本概念04深度学习基本概念05使用和训练神经网络引言2024/11/53图像分类图像分割目标检测我们已经学过了很多传统方法2024/11/54SVM自适应阈值Otsu分水岭KNNK-MeansSIFT深度学习方法2024/11/55自2012年以来，深度学习在各个方面的任务中，效果逐步超越了传统算法人脸检测人脸识别医疗图像识别核磁共振成像和X射线检测癌症部分任务的准确度超过了人类水平自动驾驶成为可能......01引言02神经网络和深度学习简史03神经网络基本概念04深度学习基本概念05使用和训练神经网络深度学习基础2024/11/57神经网络和深度学习简史2024/11/58前面我们讲了计算机视觉简史跟神经网络和深度学习简史有部分重叠但显然不完全一样1943年心里学家WarrenMacCulloch和数学逻辑学家WalterPitts发表论文《神经活动中内在思想的逻辑演算》提出了MP（W.S.McCulloch和W.Pitts）模型神经网络和深度学习简史2024/11/59MP模型模仿神经元的结构和工作原理，构建出一个基于神经网络的数学模型本质上是一种“模拟人类大脑”的神经元模型没有训练的概念作为人工神经网络的起源，开创了人工神经网络的新时代，也奠定了神经网络模型的基础神经网络和深度学习简史2024/11/5101949年加拿大著名心理学家DonaldHebb在《行为的组织》中提出了一种基于无监督学习的规则——Hebb学习规则神经网络和深度学习简史2024/11/511Hebb学习规则模仿人类认知世界的过程建立一种“网络模型”该网络模型针对训练集进行大量的训练并提取训练集的统计特征然后按照样本的相似程度进行分类把相互之间联系密切的样本分为一类Hebb学习规则与“条件反射”机理一致为以后的神经网络学习算法奠定了基础，具有重大的历史意义神经网络和深度学习简史2024/11/512巴普洛夫的条件反射实验2024/11/513Hebb的理论认为在同一时间被激发的神经元间的联系会被强化比如，铃声响时一个神经元被激发在同一时间食物的出现会激发附近的另一个神经元那么这两个神经元间的联系就会强化，从而记住这两个事物之间存在着联系相反，如果两个神经元总是不能同步激发，那么它们间的联系将会越来越弱神经网络和深度学习简史2024/11/5141957年FrankRosenblatt感知机神经网络和深度学习简史2024/11/5151969年MarvinMinsky和SeymourPapert共同编写了一本书籍《Perceptrons》在书中他们证明了单层感知器无法解决线性不可分问题（例如：异或问题）并且认为即使是多层感知机网络也无法解决异或问题（这一观点不正确）对神经网络的发展产生了巨大消极影响直到80年代反向传播算法的提出，才得以消除1987年《Perceptrons》被修订新书名叫《Perceptrons-ExpandedEdition》神经网络和深度学习简史2024/11/5161982年著名物理学家JohnHopfield发明了Hopfield神经网络神经网络和深度学习简史2024/11/517Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络可以模拟人类的记忆根据激活函数的选取不同，有连续型和离散型两种类型，分别用于优化计算和联想记忆容易陷入局部最小值的缺陷，该算法并未在当时引起很大的轰动神经网络和深度学习简史2024/11/5181986年深度学习之父GeoffreyHinton提出了一种适用于多层感知器的反向传播算法Backpropation算法BP算法神经网络和深度学习简史2024/11/519BP算法在传统神经网络正向传播的基础上，增加了误差的反向传播过程反向传播过程不断地调整神经元之间的权值和阈值直到输出的误差达到减小到允许的范围之内，或达到预先设定的训练次数为止BP算法完美的解决了非线性分类问题，让人工神经网络再次的引起了人们广泛的关注神经网络和深度学习简史2024/11/520GeoffreyHinton的困境八十年代计算机的硬件水平有限当神经网络的规模增大时，使用BP算法会出现“梯度消失”的问题九十年代中期，以SVM为代表的其它浅层机器学习算法被提出，并在分类、回归问题上均取得了很好的效果神经网络和深度学习简史2024/11/5212006年GeoffreyHinton以及他的学生RuslanSalakhutdinov（苹果首任AI总监）正式提出了深度学习的概念他们在《Science》发表的一篇文章中详细的给出了“梯度消失”问题的解决方案通过无监督学习逐层训练，再使用有监督的反向传播进行调优神经网络和深度学习简史2024/11/5222009年ImageNet图像分类、目标检测1400万+幅图像21841个类别比赛（子集，100万+图像）神经网络和深度学习简史2024/11/5232012年ImageNet比赛SuperVision,UniversityofTorontoGeoffreyHinton领导AlexNet神经网络和深度学习简史2024/11/524神经网络和深度学习简史2024/11/525ImageNet比赛里程碑2014年UniversityofMontrealGAN网络生成器判别器神经网络和深度学习简史2024/11/5262014年Facebook人脸识别准确率：97.25%达到人类水平神经网络和深度学习简史2024/11/5272016-2017年Google的AlphaGo4:1的比分战胜了国际顶尖围棋高手李世石随后战胜了一众高手AlphaGo升级版AlphaGoZero“从零开始”、“无师自通”的学习模式以100:0的比分轻而易举打败了之前的AlphaGo神经网络和深度学习简史2024/11/52801引言02神经网络和深度学习简史03神经网络基本概念04深度学习基本概念05使用和训练神经网络深度学习之前2024/11/530在讲深度学习之前神经网络基本概念–生物神经网络2024/11/531生物神经网络一般指生物的大脑神经元、细胞、触点等组成的网络用于产生生物的意识帮助生物进行思考和行动神经网络基本概念–人工神经网络2024/11/532人工神经网络ArtificialNeuralNetworks（ANNs）神经网络（NNs）连接模型（ConnectionModel）类神经网络一般都是一回事神经网络基本概念–人工神经网络2024/11/533人工神经网络是一种模仿动物神经网络行为特征（类似于大脑神经突触联接的结构），进行信息处理的数学模型这种网络通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的神经网络基本概念–神经网络中的层2024/11/534层输入层隐藏层输出层每层由并行的节点组成通常同一层不具有连接两个相邻层完全连接(每一层的每一个神经元到另一层的每个神经元)神经网络基本概念–神经网络中的其他构件2024/11/535节点类似于生物神经网络神经元的概念位于层中神经网络基本概念–神经网络中的其他构件2024/11/536权重表示每个神经网络层与其下方的层之间的关系下方的层可能是另一个神经网络层，也可能是其他类型的层神经网络基本概念–神经网络中的其他构件2024/11/537偏差每个节点一个偏差神经网络基本概念–神经网络中的其他构件2024/11/538激活函数对层中每个节点的输出进行转换不同的层可能拥有不同的激活函数神经网络基本概念–线性模型2024/11/539蓝色圆圈输入特征绿色圆圈各个输入的加权和神经网络基本概念–线性模型2024/11/540蓝色圆圈输入特征添加了一个表示中间值的“隐藏层”隐藏层中的每个黄色节点均是蓝色输入节点值的加权和绿色圆圈黄色节点的加权和仍然是一个线性模型神经网络基本概念–线性模型2024/11/541蓝色圆圈输入特征添加了两个表示中间值的“隐藏层”将输出表示为输入的函数并进行简化时只是获得输入的另一个加权和仍然是一个线性模型无法解决非线性问题神经网络基本概念–非线性问题2024/11/542“非线性”意味着无法使用形式为“b+w1x1+w2x2”的模型准确预测标签“决策面”不是直线一种解决方案：特征组合神经网络基本概念–非线性模型2024/11/543对非线性问题进行建模可以直接引入非线性函数用非线性函数将每个隐藏层节点像管道一样连接起来在隐藏层1中的各个节点的值传递到下一层进行加权求和之前，采用一个非线性函数对其进行了转换这种非线性函数称为激活函数神经网络基本概念–激活函数2024/11/544神经网络基本概念–激活函数2024/11/545所有数学函数均可作为激活函数假设σ表示我们的激活函数ReLU、S型函数等等网络中节点的值为：σ(w*x+b)神经网络基本概念–激活函数2024/11/546Sigmoid函数适用于网络可能输出多个正确答案的分类问题多标签分类神经网络基本概念–Sigmoid函数2024/11/547Sigmoid函数是一个阈值函数不管x取什么值，对应的Sigmoid函数值总是0<sigmoid(x)<1Sigmoid函数严格单调递增而且其反函数也单调递增Sigmoid函数连续Sigmoid函数光滑Sigmoid函数关于点(0,0.5)对称Sigmoid函数的导数是以它本身为因变量的函数f(x)'=F(f(x))神经网络基本概念–Sigmoid函数2024/11/548对于二分类问题y=b*1+θ1x1+θ2x2+...+θnxn

=θ0x0+θ1x1+θ2x2+...+θnxn

=θTxy∈{0,1}1表示正例0表示负例在线性函数θTx输出预测实际值的基础上，寻找一个假设函数hθ(x)=g(θTx)，将实际值映射到0，1之间神经网络基本概念–Sigmoid函数2024/11/549使用Sigmoid函数，则可以使用0.5作为决策边界Sigmoid函数关于点(0,0.5)对称hθ(x)=g(θTx)如果hθ(x)>=0.5，则预测y=1，即y属于正例如果hθ(x)<0.5，则预测y=0，即y属于负例神经网络基本概念–激活函数2024/11/550Softmax函数适用于网络只输出一个正确答案的分类问题多类别分类神经网络基本概念–梯度爆炸2024/11/551如果网络中的权重过大，则较低层的梯度会涉及许多大项的乘积在这种情况下，梯度就会爆炸梯度过大导致难以收敛批标准化可以降低学习速率，因而有助于防止梯度爆炸基于反向传播2024/11/552总结：从深层网络角度来讲，不同的层学习的速度差异很大，表现为网络中靠近输出的层学习的情况很好，靠近输入的层学习的很慢，有时甚至训练了很久，前几层的权值和刚开始随机初始化的值差不多。因此，梯度消失、爆炸，其根本原因在于反向传播训练法则，本质在于方法问题，另外对于人来说，在大脑的思考机制里是没有反向传播的。Hinton提出capsule的原因就是为了彻底抛弃目前基于反向传播的深度学习算法，如果真能大范围普及，那真是一个革命。神经网络基本概念–梯度消失2024/11/553深度学习中，较低层（更接近输入）的梯度可能会变得非常小在深度网络中，计算这些梯度时，可能涉及许多小项的乘积当较低层的梯度逐渐消失到0时，这些层的训练速度会非常缓慢，甚至不再训练如果我们的网络太过深入，信噪比随着越来越深入模型而变差，那么学习速度可能会变得非常慢这种情况下，ReLU函数可能会有用一般来讲，需要考虑尽量将模型的深度限制为最小的有效深度神经网络基本概念–激活函数2024/11/554线性整流函数RectifiedLinearUnit（ReLU）max(0,x)计算速度快收敛速度快神经网络基本概念–ReLU单元消失2024/11/555一旦ReLU单元的加权和低于0它会输出对网络输出没有任何贡献的0激活ReLU单元就可能会停滞而梯度在反向传播算法期间将无法再从中流过由于梯度的来源被切断，ReLU的输入可能无法作出足够的改变来使加权和恢复到0以上降低学习速率有助于防止ReLU单元消失另外一个办法就是使用LeakyReLU神经网络基本概念–激活函数2024/11/556LeakyRectifiedLinearUnit（LeakyReLU）f(x)=max(0.01x,x)解决ReLU单元停滞的问题神经网络基本概念–激活函数2024/11/557双曲正切函数HyperbolicTangent（Tanh）输出值向下移动，外观上与sigmoid函数相似神经网络基本概念–反向传播算法2024/11/558反向传播算法是最常见的一种神经网络训练算法借助这种算法，梯度下降法在多层神经网络中将成为可行方法反向传播算法的前提事物必须是可微的，这样我们才能够进行学习我们需要可微函数，从而能够使用神经网络进行学习各种函数中存在一两个小的间断点没关系知识问答2024/11/559右图中的神经网络有几个输入节点、输出节点、隐藏层？神经网络基本概念–反向传播算法2024/11/560假设有如图所示的神经网络一个输入节点一个输出节点两个隐藏层（每个隐藏层分别有两个节点）相邻的层中，节点通过权重wij相关联这些权重是神经网络的参数神经网络基本概念–反向传播算法2024/11/561每个节点都有一个总输入x一个激活函数f(x)一个输出y=f(x)f(x)必须是非线性函数，否则神经网络就只能学习线性模型比如Sigmoid函数神经网络基本概念–反向传播算法2024/11/562目标根据数据自动学习网络的权重以便让所有输入xinput的预测输出youtput接近目标ytarget为了衡量与该目标的差距，使用一个误差函数E也叫损失函数例如E(youtput,ytarget)=1/2(youtput−ytarget)2神经网络基本概念–反向传播算法2024/11/563首先进行正向传播取一个输入样本(xinput,ytarget)并更新网络的输入层为保持一致性将输入视为与其他任何节点相同但不具有激活函数以便让其输出与输入相等即y1=xinput神经网络基本概念–反向传播算法2024/11/564更新第一个隐藏层取上一层节点的输出y使用权重来计算下一层节点的输入x神经网络基本概念–反向传播算法2024/11/565更新第一个隐藏层中节点的输出使用激活函数f(x)y=f(x)使用上述两个公式可以传播到网络的其余内容并获得网络的最终输出神经网络基本概念–反向传播算法2024/11/566反向传播算法会对特定样本的预测输出和理想输出比较然后确定网络每个权重的更新幅度基于梯度下降的思想需要计算误差相对于每个权重（dE/dwij）的变化情况注意回顾导数、偏导数、梯度的知识点链式法则（自行查资料）神经网络基本概念–反向传播算法2024/11/567更新权重的方法α是一个常数，也就是学习速率（学习率）α是我们调参的热门选项如果权重提高后误差降低了（dE/dwij<0），则提高权重如果权重提高后误差提高了（dE/dwij>0），则降低权重神经网络基本概念–反向传播算法2024/11/568为了计算dE/dwij需要计算节点的总输入，dE/dx需要计算节点的输出，dE/dy即误差随上述两项的变化情况神经网络基本概念–反向传播算法2024/11/569终于可以开始反向传播了反向传播的是误差导数输入样本的预测输出已知（已经正向传播过了）计算误差随该预测输出的变化情况假设误差函数为E=1/2(youtput-ytarget)2可以得到神经网络基本概念–反向传播算法2024/11/570根据链式法则计算dE/dxdE/dy刚才已求出神经网络基本概念–反向传播算法2024/11/571得到相对于某节点总输入的误差导数之后可以计算相对于进入该节点权重的误差导数神经网络基本概念–反向传播算法2024/11/572根据链式法则计算上一层的dE/dy形成了一个完整循环神经网络基本概念–反向传播算法2024/11/573重复上述步骤直到完成整个网络所有节点的计算神经网络基本概念–神经网络的黑盒特性2024/11/574神经网络像是黑盒我们可以训练它们，得到结果，增强它们但实际的决定路径大多数我们都是不可见的结束了吗?2024/11/575神经网络基本概念–神经网络的种类2024/11/576神经网络基本概念–神经网络的种类2024/11/577神经网络基本概念–神经网络的类型2024/11/578感知机Perceptron最简单和最古老的神经元模型接收一些输入，把它们加起来，通过激活函数传递到输出层神经网络基本概念–神经网络的类型2024/11/579前馈神经网络Feedforwardneuralnetworks，FF或FFNN起源于50年代所有节点都完全连接激活从输入层流向输出，无回环输入和输出之间有一层隐藏层往往使用反向传播方法进行训练神经网络基本概念–神经网络的类型2024/11/580RBF神经网络激活函数是径向基函数的FF前馈神经网络逻辑函数将某个任意值映射到[0,...1]范围内来，回答“是或否”问题逻辑函数适用于分类决策系统，不适用于连续变量径向基函数能显示“我们距离目标有多远”径向基函数适用于函数逼近和机器控制（例如作为PID控制器的替代）神经网络基本概念–神经网络的类型2024/11/581深度前馈神经网络不止一个隐藏层在训练传统的前馈神经网络时，我们只向上一层传递了少量的误差信息堆叠更多的层次导致训练时间的指数增长，使得深度前馈神经网络非常不实用00年代初开发了一系列有效的训练深度前馈神经网络的方法现在它们构成了现代机器学习系统的核心神经网络基本概念–神经网络的类型2024/11/582全连接层上层的任意一个节点，都和当前层的所有节点连接全连接网络所有层都是全连接层的神经网络神经网络基本概念–神经网络的类型2024/11/583RNN递归神经网络递归神经元这种类型的第一个网络被称为约旦网络（JordanNetwork）每个隐含神经元会收到它自己的在固定延迟（一次或多次迭代）后的输出与普通的模糊神经网络非常相似区别在于如传递状态到输入节点、可变延迟等神经网络基本概念–神经网络的类型2024/11/584RNN递归神经网络用在上下文很重要的时候即过去的迭代结果和样本产生的决策会对当前产生影响最常见的上下文的例子是文本一个单词只能在前面的单词或句子的上下文中进行分析神经网络基本概念–神经网络的类型2024/11/585长短时记忆网络引入了一个存储单元这个特殊的单元当数据有时间间隔（或滞后）时可以处理数据递归神经网络可以通过“记住”前十个词来处理文本LSTM可以通过“记住”许多帧之前发生的事情处理视频帧广泛用于写作和语音识别神经网络基本概念–神经网络的类型2024/11/586长短时记忆网络存储单元实际上由一些元素组成，称为门它们是递归性的，并控制信息如何被记住和遗忘神经网络基本概念–神经网络的类型2024/11/587长短时记忆网络下图中，“x”是门，拥有自己的权重，有时也有激活函数在每个样本上，门决定是否传递数据，擦除记忆等输入门决定上一个样本有多少信息将保存在内存中输出门调节传输到下一层的数据量遗忘门控制存储记忆的损失率神经网络基本概念–神经网络的类型2024/11/588门控循环单元LSTM的一种变体没有输入门、输出门、遗忘门只有更新门和复位门神经网络基本概念–神经网络的类型2024/11/589门控循环单元更新门确定从上一个状态保留多少信息以及有多少来自上一层的信息得以保留复位门的功能很像LSTM的遗忘门，但位置略有不同复位门总是发出全部状态在大多数情况下，它们与LSTM的功能非常相似最大的区别在于GRU稍快，运行容易(但表达能力更差)神经网络基本概念–神经网络的类型2024/11/590自动编码器无监督学习反向传播目标值等于输入值用于分类、聚类和特征压缩神经网络基本概念–神经网络的类型2024/11/591自动编码器假设某个自编码神经网络的输入x是一张10×10图像（共100个像素）的像素灰度值其隐藏层中有50个隐藏神经元输出也是100维迫使自编码神经网络去学习输入数据的压缩表示（只有50个隐藏神经元）它必须从50维的隐藏神经元激活度向量中重构出100维的像素灰度值输入x神经网络基本概念–神经网络的类型2024/11/592变分自编码器与一般自编码器相比，它压缩的是概率，而不是特征一般自编码器只能回答当“我们如何归纳数据？变分自编码器回答了“两件事情之间的联系有多强大？我们应该在两件事情之间分配误差还是它们完全独立的？”的问题神经网络基本概念–神经网络的类型2024/11/593降噪自动编码器自动编码器有时找不到最鲁棒的特征，而只是适应输入数据（过拟合）DAE在输入单元上增加了一些噪声通过随机位来改变数据，随机切换输入中的位等一个强制DAE从一个有点嘈杂的输入重构输出，使其更加通用，强制选择更常见的特征神经网络基本概念–神经网络的类型2024/11/594稀疏自编码器有时候可以抽离出数据中一些隐藏分组样式的自动编码的形式结构和AE一样隐藏单元的数量大于输入或输出单元的数量神经网络基本概念–神经网络的类型2024/11/595马尔可夫链每一个端点都存在一种可能性搭建像“在单词hello之后有0.0053％的概率会出现dear，有0.03551%的概率出现you”这样的文本结构可以被用作基于概率的分类（像贝叶斯过滤）、聚类（对某些类别而言）、有限状态机不是典型的神经网络神经网络基本概念–神经网络的类型2024/11/596霍普菲尔得网络离散型、连续型对一套有限的样本进行训练它们用相同的样本对已知样本作出反应神经网络基本概念–神经网络的类型2024/11/597霍普菲尔得网络在训练前，每一个样本都作为输入样本在训练中作为隐藏样本使用过之后被用作输出样本在HN试着重构受训样本的时候，他们可以用于给输入值降噪和修复输入如果给出一半图片或数列用来学习，它们可以反馈全部样本神经网络基本概念–神经网络的类型2024/11/598波尔滋曼机和HN类似有些单元被标记为输入同时也是隐藏单元在隐藏单元更新其状态时，输入单元就变成了输出单元在训练时，BM和HN一个一个的更新单元，而非并行神经网络基本概念–神经网络的类型2024/11/599波尔滋曼机这是第一个成功保留模拟退火方法的网络拓扑多层叠的波尔滋曼机可以用于深度信念网络深度信念网络可以用作特征检测和抽取神经网络基本概念–神经网络的类型2024/11/5100限制型波尔滋曼机在结构上，限制型波尔滋曼机和BM很相似受限RBM被允许像前馈神经网络一样用反向传播来训练唯一的不同的是在反向传播经过数据之前RBM会经过一次输入层神经网络基本概念–神经网络的类型2024/11/5101深度信念网络实际上是许多波尔滋曼机（被变分自动编码器包围）他们能被连在一起（在一个神经网络训练另一个的时候）并且可以用已经学习过的样式来生成数据神经网络基本概念–神经网络的类型2024/11/5102深度卷积网络具有卷积单元（或者池化层）和内核卷积核用来处理输入的数据池化层用来简化它们，来减少不必要的特征池化层大多数情况是用非线性方程，比如max神经网络基本概念–神经网络的类型2024/11/5103深度卷积网络它们在图片的一小部分上运行输入窗口一个像素一个像素的沿着图像滑动然后数据流向卷积层卷积层形成一个漏斗（压缩被识别的特征）深度前馈神经网络（全连接层）通常被接在卷积层的末端方便未来的数据处理神经网络基本概念–神经网络的类型2024/11/5104深度卷积网络DCN通常被用来做图像识别从图像识别来讲，第一层识别梯度，第二层识别线，第三层识别形状以此类推，直到特定的物体那一级神经网络基本概念–神经网络的类型2024/11/5105包含卷积层的神经网络神经网络基本概念–神经网络的类型2024/11/5106卷积层每一层的每张特征图都通过上一层的特征图进行卷积操作得到图像卷积神经网络基本概念–神经网络的类型2024/11/5107卷积层三维卷积第一个三维卷积核神经网络基本概念–神经网络的类型2024/11/5108池化（pooling）压缩特征图的长和宽，以减少网络中参数的数量和计算量最大池化（max

pooling），平均池化（average

pooling）最大池化神经网络基本概念–神经网络的类型2024/11/5109去卷积网络将卷积网络颠倒过来DN能在获取猫的图片之后生成向量例如（狗：0，蜥蜴：0，马：0，猫：1）DCN能在得到这个向量之后，能画出一只猫神经网络基本概念–神经网络的类型2024/11/5110深度卷积反转图像网络是一个自动编码器DCN和DN并不是作为两个分开的网络，而是承载网络输入和输出的间隔区神经网络基本概念–神经网络的类型2024/11/5111深度卷积反转图像网络可以被用作图像处理，并且可以处理他们以前没有被训练过的图像由于其抽象化的水平很高，可以用于将某个事物从一张图片中移除、重画，或者将一匹马换成一个斑马神经网