seq2seq和attention：编码译码器与注意力机制

seq2seq简介

Seq2seq将输入序列转换为输出序列。它通过利用循环神经网络&＃xff08;递归神经网络&＃xff09;或更常用的LSTM、GRU 网络来避免梯度消失问题。当前项的内容总来源于前一步的输出。Seq2seq主要由一个编码器和一个解码器。 编码器将输入转换为一个隐藏状态向量&＃xff0c;其中包含输入项的内容。 解码器进行相反的过程&＃xff0c;将向量转换成输出序列&＃xff0c;并使用前一步的输出作为下一步的输入。

维基百科&＃xff1a;https://zh.wikipedia.org/zh-hans/Seq2seq

通过最简单的seq2seq图看以看出&＃xff0c;seq2seq的基本原理在于将模型分为encode和decode两部分&＃xff0c;encode用来输入生成语义编码&＃xff0c;传入语义编码到decoder中&＃xff0c;输出预测值&＃xff0c;encoder和Dcoder通常用lstm或者gru来构建。往往在进行神将网络翻译&＃xff08;NMT&＃xff09;和对答系统中常常用到&＃xff0c;而这只是最简单的seq2seq模型。

seq2seq基本模型

基本流程&＃xff1a;

如图所示为seq2seq的训练过程&＃xff0c;首先将输入的句子放入encoder中&＃xff0c;通过一些列lstm和线性变化可以得出一个内容context。然后将context放入decoder进行训练&＃xff0c;decoder的训练过程是逐步进行的&＃xff0c;前一个词的输出作为后一个词的输入&＃xff0c;最后得出一个完整的句子。

缺点即改进&＃xff1a;

• 由于后一个预测值受前一个的影响&＃xff0c;所以很容易发生蝴蝶效应&＃xff0c;从而导致一长串的预测值全部失效&＃xff0c;所以很难训练下去。&＃xff08;这就好比学生在学完部分单词后直接去蒙其他生词&＃xff0c;这样学习的效率极低&＃xff09;

改进方法&＃xff1a;scheduled sampling&＃xff08;计划采样&＃xff09;

计划采样的主要过程就是在decoder训练过程中并不是完全的将输入等于前一个输出&＃xff0c;而是适当的将真实值放入输入当中。即随机使用模型真实label来作为下一个时刻的输入&＃xff0c;而不像原先那样只会使用预测输出。&＃xff08;这就好比学生在蒙其他单词的过程中老师会时不时的给他几个提示&＃xff0c;让他不至于往一个方向一直错下去&＃xff09;

• 输入与输出长度不等&＃xff0c;在翻译过程中这样情况经常发生&＃xff0c;无法预测翻译的长度到底是多少。

改进方法&＃xff1a;存入桶&＃xff1a;通过填补0&＃xff0c;这可以控制的输入和输出的长度。 而且如果的序列长度为100和输入只有3的长度时、昂贵的空间被浪费。 桶可以不同规模和指定的输入和输出的长度。

• 在原seq2seq中decoder之根据encoder中最后得出的一个context进行译码&＃xff0c;这样肯定是不好的&＃xff0c;比如在机器翻译的过程中汉语的某个词和英语的某个单词是对应的&＃xff0c;而普通的seq2seq模型并没有考虑这一点。

改进方法&＃xff1a;Attention机制

Attention机制

基本简介&＃xff1a;

在Attention机制中decoder不在只被encoder最后输出的一个context影响&＃xff0c;而是encoder中每个单词共同赋予权重来生成一个context&＃xff0c;而在decoder的过程中&＃xff0c;每次输入的计算都会与encoder所有单词进行权重计算&＃xff0c;导致每一个decoder的输入所获得的context都是不同的。

Attention计算方法&＃xff08;Soft Attention&＃xff09;&＃xff1a;

通过当前decoder输入与encoder个输入进行相识度计算得出权重&＃xff0c;将权重进行softmax&＃xff08;概率化&＃xff0c;所有概率加起来等于1&＃xff09;&＃xff1b;然后进行与encode输入进行乘法运算得出一个attention。

Attention分类&＃xff1a;

• Spatial Attention&＃xff1a;空间注意力&＃xff08;图像处理&＃xff09;
• Temporal Attention&＃xff1a;时间注意力 &＃xff08;自然语言&＃xff09;
• Hard Attention&＃xff1a;会在生成注意力权重后筛选掉一部分不符合条件的注意力
• Soft Attention&＃xff1a;所有的数据都会注意&＃xff0c;都会计算出相应的注意力权值&＃xff0c;不会设置筛选条件。

总结&＃xff1a;

上面所说的Attention的计算方法只是一个常规的方法&＃xff0c;其实还有很多不同的方法&＃xff0c;如transfrom中的self-attention等等&＃xff0c;之后后慢慢详解。