注意力的概念
注意力的概念是因神经机器翻译的seq2seq模型使用而被广泛传播。由于编码器传递到解码器的信息量有限会导致模型的性能面临瓶颈，而注意力概念可以克服这个瓶颈。
简单来讲，除了将最终隐藏状态作为初始隐藏状态馈送到解码器之外，模型在解码阶段每次生成新元素时都利用编码器的所有隐藏状态（所有潜在有用信息）。这样一来，模型不仅在解码过程中有更多的信息可以使用，还能在生成输出序列的不同部分时学会“注意”输入序列的最相关部分。
注意力的一般框架思路
尽管注意力用于不同的体系结构并且具有不同的实现细节，但有一些共同点。考虑想要通过具有某种架构的神经网络进行预测的场景，我们得到了一个包含一些编码信息的向量。现在可以使用这个向量进行预测，例如，将其馈送到全连接层，然后是softmax层等。
然而，事实证明它并没有给出一个令人满意的预测结果。它表现不佳可能有很多可能的原因，但一种思路如下：
1.使用的这个向量不包含对实现良好预测有用的所有信息。
通常，做出良好预测所需的信息会分布在许多向量中，比如在NLP任务的情况下，有一个被标记编码的向量序列。尽管已经考虑了所有分布式信息，但随着它在神经网络中更深入地流动，一些信息将不可避免地丢失。
2.有用的不仅是这些向量中包含的各个信息片段，还有它们与当前向量之间的关系。
当前向量可能需要与其他向量进行交互和通信，并帮助确定要传递哪些信息。因此，需要一种更加聪明的方法来组合拥有的所有潜在有用的向量，并让模型能够学习要注意什么，以便做出更好的预测。
考虑到这两点后，假设现在有这么一个向量以及其他符合条件的向量，这些向量对于做出预测很重要，而处理这些信息的方法，即是注意力的一般框架。
在这个框架中接受查询并让它与键一一交互：
1、查询和每个键之间的特定交互，它可以是内积或加法或连接的组合以及馈送到小型神经网络等。使用从反向传播训练的具有相同参数的相同操作来处理查询每个不同的键。此外，要求这些操作后的最终输出是单个值。这些输出值被称为能量。在查询和所有关键向量上重复这个过程后，将得到一系列的能量。
2、使用softmax层对所有能量进行归一化。
3、对值向量进行加权求和，权重为归一化能量。这会产生一个上下文向量，其维度与一个值向量相同，其中包含以智能方式组合的所有元素的信息。
4、可以一起使用上下文向量和查询向量来进行预测，例如，将它们连接起来，根据需要提供给神经网络，然后是softmax层。
以上即为注意力的一般框架的流程，下面就来看看这个框架是如何应用到不同任务中的。
情绪分析任务
情感分析类型的任务是一种分类任务，输入是一段文本，输出是对应于其中一种可能情感的标签。在将文本输入神经网络之前，需要对其进行清理、格式化、标记化并转换为基于词汇表的一系列索引。虽然这不是seq2seq而是seq2one，但注意机制仍然适用并有助于提高性能。
普通的单向或双向基于LSTM的网络可用于执行此任务。在这种情况下，只有最后一层的最终隐藏状态（单向）或两个最终隐藏状态（双向，一个来自前向，一个来自后向）用于通过传递给分类头进行预测，例如全连接层和softmax。仅由最终隐藏状态携带的有限信息为模型的性能设置了瓶颈。
日期翻译任务
日期翻译是字符级seq2seq任务的一个例子。此任务的目标是将人类可读的日期作为输入，例如“2022年12月27日”，并输出表示与输入相同日期的机器可读日期，例如“2022-12-27”。
基于注意力的模型在解码器中的LSTM单元之前有一个注意力块。在每个循环步骤中，注意块的输出上下文向量和最后一步的输出被连接起来，然后馈送到LSTM单元。注意力的另一种实现是在LSTM单元和输出上下文向量之后将注意力块与当前步骤的输出向量连接起来，然后再馈送到全连接层以预测下一个标记。这里的注意力块遵循通用框架，键和值向量是同一组向量，即编码器最后一层的隐藏状态，查询和每个键之间的交互是一个小型神经网络。
在解码阶段，单向LSTM一次预测一个标记，因此每个步骤的输入有两种选择：从上一步输出的当前步骤预测的标记或基本事实。这里可以定义一个超参数，以控制训练期间使用的输入标记中有多少百分比是基本事实，并可以对其进行实验以优化模型性能。
