网络正则化实现_第1页
网络正则化实现_第2页
网络正则化实现_第3页
网络正则化实现_第4页
网络正则化实现_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

正则化实现主讲：胡林网络01网络正则化实现02网络正则化实现代码目录网络正则化实现1网络正则化实现一、基于tensorflow的网络正则化实现

在tensorflow中，计算图通过集合来管理包括张量、变量和资源tf.add_to_collection：将资源添加到特定的集合中tf.get_collection:从特定集合中取出对应的资源

代码片段示例实验的软件环境：TensorFlow版本大于等于1.14.0实验的硬件环境：GTX2060代码验证：这里实验了三种方式计算L2正则化，前两种为TensorFlow接口，其中第一种为底层接口，第二种为更高级的接口，第三种为根据公式自定义的实现接口，代码如下网络正则化实现可以看出运行结果理论推导一致，接下来就是如何在网络中加入L2正则化并完成训练二、在网络中引入L2正则化步骤：计算权重的L2损失并添加到集合中分别取出集合中所有权重的L2损失值并相加L2正则化损失函数与原始代价损失函数相加得到总的损失函数网络正则化实现三、三种方式收集权重损失函数1.使用f.nn.l2_loss()接口与自定义collection接口

分为两步：

计算正则化损失将正则化损失添加到特定集合中（这里直接添加到TensorFlow内置集合，也可以添加到自定义集合）网络正则化实现使用tf.contrib.layers.l2_regularizer与tf.get_variable接口2.从集合中获取权重损失步骤：从特定集合中获取收集的全部权重损失使用tf.add_n()接口，遍历并相加所有权重损失项，并返回权重损失之和通过tf.get_collection()接口，支持所有的集合遍历，包括内置集合和自定义集合3.获取总的损失

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论