深度学习案例教程 教案7.4注意力机制-Attention介绍_第1页
深度学习案例教程 教案7.4注意力机制-Attention介绍_第2页
深度学习案例教程 教案7.4注意力机制-Attention介绍_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

04注意力机制_Attention介绍（p25）我们来学习注意力机制attention。它是一种在序列到序列模型中使用的机制。用于处理长句子的信息衰减问题。它允许解码器在生成每个单词时，对输入序列的不同部分进行不同程度的关注，以便我们更好的翻译长句子或处理句子中的歧义。比如说，我们人眼看这张图，这样图有很多的像素点，并不是所有的像素点都会引起我们的关注，大部分人第一眼的关注点会在中间这个招牌上。或者以后面的文章为例，我们也不会把关注点放到每一个单词上，而是会重点关注其中重要的几个单词，这样就能快速掌握文章的大致内容。这就是注意力机制比较形象的理解。神经网络利用这种原理来处理长句子，能够更好的提取其中信息。（p26）注意力机制是seq2seq模型中的关键技术，它能够提升模型在文本翻译任务中的性能，特别是对于处理长句子和复杂结构语言的时候，提升效果比较明显。传统的编码-解码结构有两个主要的缺陷。首先便是编码器必须将所有的输入信息压缩成固定长度的向量。使用这种简单的定长编码来表示更长和更复杂的输入往往会造成输入信息的丢失。其次，这样的结构不能对输入序列和输出序列的对应关系进行建模，而这种对应在机器翻译和文本摘要等任务中十分重要。直观上来说，在序列任务中，输出序列的每个位置可能会受到输入序列的特定位置的影响。然而，经典的解码结构在产生输出时并不会考虑这种对应关系通过根据输入序列的不同部分计算注意力权重，模型可以更好的关注关键的信息，从而改善翻译质量。在实际的应用中，不同的注意力机制实现方式可以根据具体任务和数据集的特点进行选择和调整。（p27）我们来看一下注意力机制的原理。它的核心思想是在解码器的每个时间步骤中，根据输入序列的不同部分对目标序列进行加权关注，以便更准确的去生成目标序列的单词。第二个原理是通过计算注意力权重，解码器可以确定在生成当前单词时对输入序列的哪些部分更重点关注，以便捕捉关键信息。那其次啊，它的作用是改善模型对长句子的处理能力，减轻信息衰减问题，并提高翻译质量和准确性。（p28）常见的注意力机制实现方式有多种，包括点积注意力(DotProductAttention)、加性注意力(AdditiveAttention)和缩放点积注意力(ScaledDotProductAttention)等。这些实现方式的核心是通过计算注意力权重，将输入序列中与解码器当前状

人人文库> 全部分类> 教育资料 > 备课教案

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论