深度学习应用开发 课件 cha4 9-经典的卷积神经网络_第1页
深度学习应用开发 课件 cha4 9-经典的卷积神经网络_第2页
深度学习应用开发 课件 cha4 9-经典的卷积神经网络_第3页
深度学习应用开发 课件 cha4 9-经典的卷积神经网络_第4页
深度学习应用开发 课件 cha4 9-经典的卷积神经网络_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

目录1ResNet介绍01任务残差网络结构02任务ResNet创新点04任务BatchNormalization03任务1ResNet介绍1ResNet介绍ResNet网络残差网络是由来自MicrosoftResearch的4位学者提出的卷积神经网络，在2015年的ILSVRC中获得了图像分类和物体识别的冠军。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。2残差网络结构2残差网络结构ResNet提出的动机：加深网络的深度能够提高分类和识别的精度，自然地，我们会认为网络设计的越深越好，但是事实上却不是这样，常规的网络的堆叠(plainnetwork)在网络很深的时候，效果却越来越差了。这里其中的原因之一即是网络越深，梯度消失的现象就越来越明显，网络的训练效果也不会很好。但是现在浅层的网络又无法明显提升网络的识别效果了，所以现在要解决的问题就是怎样在加深网络的情况下又解决梯度消失的问题。2残差网络结构ResNet引入了残差网络结构(residualnetwork)，残差网络堆叠形成的深层网络可以很好地解决梯度消失问题，使更深的网络训练效果也更好。目前网络的深度达到了1000多层，最终的网络分类的效果也是非常好，2残差网络结构残差网络的作用：普通的直连的卷积网络和ResNet的最大区别在于，ResNet有很多旁路的支线将输入直接连接到后面的层，使得后面的层可以直接学习残差，这种结构也被称为shortcut或者skipconnections。传统的卷积层或全连接层在传递信息时，或多或少会存在信息的丢失，损耗等问题。ResNet在某种程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入，输出差别的那一部分，简化了学习目标和难度。残差网络结构3BatchNormalization3BatchNormalizationBatchNormalization（BN），批标准化，是谷歌于2015年提出的深度学习领域经典算法，该算法目前已经被大量的应用。BN和普通的数据标准化类似，是将分散的数据统一的一种做法，也是优化神经网络的一种方法。BN的优点是：可以选择比较大的初始学习率，加快网络的收敛。减少正则化参数的Dropout、L2正则项参数的选择问题，BN具有提高网络泛化能力的特性。不需要使用局部响应归一化层局部响应归一化是Alexnet网络用到的方法。可以把训练数据彻

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论