Attentionisnotnotexplanation

原文标题:Attention is not not explanation

原文作者：Sarah Wiegreffe     Yuval Pinter

中文摘要:注意机制在NLP系统中起着核心作用，特别是在递归神经网络（RNN）模型中。最近，人们越来越关注这些模块提供的中间表示是否可以用来解释模型预测的推理，从而获得关于模型决策过程的见解。最近的一份报告称，“注意力不是解释”（Jainand Wallace，2019）。我们质疑这项工作背后的许多假设，认为这种说法取决于一个人对解释的定义，并且测试它需要用严格的实验设计考虑模型的所有元素。我们提出了四种不同的测试方法来确定何时/是否可以使用注意力作为解释：一个简单的统一权重基线；基于多次随机种子运行的方差校准；一个使用来自预训练模型的固定权重的诊断框架；以及一个端到端的对抗性注意力训练协议。每一种方法都允许对RNN模型中的注意机制进行有意义的解释，我们表明，即使可以找到可靠的对抗分布，它们在简单的诊断上也不能很好地发挥作用，这表明先前的研究并不能反驳注意机制对解释性的有用性。

论文总结：