注意力机制介绍

Attention机制1

什么是注意力机制?

注意力机制，本质上说就是实现信息处理资源的高效分配。当一个场景进入人类视野时，往往会先关注场景中的一些重点，如动态的点或者突兀的颜色，剩下的静态场景可能会被暂时性地忽略。例如当我们一看到这张猫的图片时，主要会将目光停留在猫的脸部，以及留意猫的躯干，而后面的草地则会被当成背景忽略掉，也就是说我们在每一处空间位置上的注意力分布是不一样的。1

什么是注意力机制?

通过这种方式，在需要重点关注的目标区域，会投入更多的注意力资源，以获取更多的细节信息，而抑制其它区域信息，这样能够利用有限的注意力资源从大量信息中快速获取到高价值的信息，极大地提升了处理信息的效率。深度学习中的注意力机制（AttentionMechanism）能够以高权重去聚焦重要信息，以低权重去忽略不相关的信息，并且还可以不断调整权重，使得在不同的情况下也可以选取重要的信息，因此具有更高的可扩展性和鲁棒性。1

什么是注意力机制?

左图是注意力机制基本的网络架构此外，它还能通过共享重要信息（即选定的重要信息）与其他人进行信息交换，从而实现重要信息的传递。2

注意力机制的优点?✔它关注相关的信息而忽略不相关的信息，不通过循环而直接建立输入与输出之间的依赖关系，并行化程度增强，运行速度有了很大提高。✔它克服了传统神经网络中的一些局限，如随着输入长度增加系统的性能下降、输入顺序不合理导致系统的计算效率低下、系统缺乏对特征的提取和强化等。但是注意力机制能够很好地建模具有可变长度的序列数据，进一步增强了其捕获远程依赖信息的能力，减少层次深度的同时有效提高精度。3RESEARCHSIGNIFICANCE

注意力机制在图像领域的应用1）

1995年，注意力机制第一次在视觉领域中提出。注意力的作用就是将之前传统的视觉搜索方法进行优化，可选择地调整视觉对网络的处理，减少了需要处理的样本数据并且增加了样本间的特征匹配。2）

视觉注意模型结构比较简单，能够对接收到的信息进行特征提取并且快速检测出各种形状和颜色，但是因为结构的简单，无法检测到特征间的相关性，并且没有任何循环机制，所以在整个视觉识别过程中，无法重现图像轮廓，因此将注意力机制与具有循环机制的循环神经网络（RNN）结合。

3RESEARCHSIGNIFICANCE

注意力机制在图像领域的应用3）

RNN下一时刻的输出与前面多个时刻的输入和自己当前状态有关，因此能够保留特征间的相关性，但是由于每一步状态的记录也会导致误差累积，从而有可能造成梯度爆炸；并且如果输入过多的序列信息，梯度的传递性不是很高，也会出现梯度消失的现象。

3RESEARCHSIGNIFICANCE

注意力机制在图像领域的应用4）2014年，Google团队将RNN与Attention结合，利用注意力机制对图片特定的区域进行处理。将注意力机制与RNN结合，很好地解决了单纯使用RNN在图像处理中的局限，如处理繁琐的特征信息往往会因为层数过深而梯度爆炸。注意力机制巧妙地提取图像中的关键信息同时忽略无关信息，为数据处理提供了更多的便利，网络层数也不会过深，梯度爆炸的问题也得到了很好的解决。

4RESEARCHSIGNIFICANCE

常用的注意力模型1）

编解码框架

目前大多数的注意力模型附着在Encoder-Decoder框架下。给定输入X，通过Encoder-Decoder框架生成目标Y。其中Encoder就是对输入X进行编码，通过非线性变换转化为中间语义表示C；Decoder根据输入X的语义表示C和之前已生成的历史信息生成目标信息。Encoder-Decoder框架是个通用框架，有很多的场景，在文本处理、图像处理、语音识别等各领域经常使用，Encoder、Decoder可使用各种模型组合，例如CNN/RNN/LSTM等。4RESEARCHSIGNIFICANCE

常用的注意力模型2）

编解码框架

如何体现出注意力Encoder-Decoder框架将输入X都编码转化为语义表示C，这样就会导致所有输入的处理权重都一样，没有体现出注意力。为了能体现注意力机制，将语义表示C进行扩展，用不同的C来表示不同注意力的集中程度，每个C的权重不一样。5RESEARCHSIGNIFICANCE通道注意力和空间注意力1）

通道注意力、空间注意力目的是选择细粒度的重要像素点，它们是pixel级。2）

这里的通道指的是特征通道。不同于RGB图片的红黄蓝3通道。一张输入H×W×C

的特征图经多个卷积核提取特征后，特征图会有多个特征通道。

5RESEARCHSIGNIFICANCE通道注意力3）如图这是对特征图的不同特征通道提取的特征。

那么这里如何表示出注意力呢？比如1,2特征通道的图像特征比较明显,3，4特征通道的图像特征不明显，这里就需要对特征通道1,2赋予较大权重；特征通道3,4赋予较小权重。这样既关注关键信息，又关注边界信息。5RESEARCHSIGNIFICANCE空间注意力4）什么是图像的空间？如图我们从整