无监督关键短语的生成问题博客06model.py的分析

训练模型&＃xff1a;

def train(model, iterator, optimizer, criterion, clip):model.train()epoch_loss &＃61; 0for i, batch in enumerate(iterator):# 从批处理中后去源句子和目标句子X,Ysrc &＃61; batch.srctrg &＃61; batch.trg# 将最后一批计算出的梯度归零optimizer.zero_grad()# 将源和目标放入模型中输出下一个youtput &＃61; model(src, trg)#trg &＃61; [trg len, batch size]#output &＃61; [trg len, batch size, output dim]output_dim &＃61; output.shape[-1]# 由于损失函数是仅适用于具有1d目标的2d输入&＃xff0c;因此我们用view将其展平输入# 将输出张量和目标张量的第一列切开output &＃61; output[1:].view(-1, output_dim)trg &＃61; trg[1:].view(-1)#trg &＃61; [(trg len - 1) * batch size]#output &＃61; [(trg len - 1) * batch size, output dim]loss &＃61; criterion(output, trg)# 用此函数计算梯度loss.backward()# clip the gradients 防止其梯度爆炸torch.nn.utils.clip_grad_norm_(model.parameters(), clip)# 执行优化程序步骤来更新模型的参数optimizer.step()# 损失值求和epoch_loss &＃43;&＃61; loss.item()# 返回所有批次的平均损失 return epoch_loss / len(iterator)


从批处理中后去源句子和目标句子X,Y&＃xff0c;将最后一批计算出的梯度归零&＃xff0c;将源和目标放入模型中输出下一个y&＃xff0c;计算梯度同时要防止梯度爆炸&＃xff0c;损失值求和最后返回所有批次的平均损失。

评估部分代码&＃xff1a;

def evaluate(model, iterator, criterion):# 设置为评估模式&＃xff0c;关闭Dropout(弱使用批处理规范化&＃xff0c;则也关闭)model.eval()epoch_loss &＃61; 0with torch.no_grad():# 确保该模块内不计算梯度for i, batch in enumerate(iterator):src &＃61; batch.srctrg &＃61; batch.trg# 必须确保关闭teacher_forcing 参数output &＃61; model(src, trg, 0) #turn off teacher forcing#trg &＃61; [trg len, batch size]#output &＃61; [trg len, batch size, output dim]output_dim &＃61; output.shape[-1]output &＃61; output[1:].view(-1, output_dim)trg &＃61; trg[1:].view(-1)#trg &＃61; [(trg len - 1) * batch size]#output &＃61; [(trg len - 1) * batch size, output dim]loss &＃61; criterion(output, trg)epoch_loss &＃43;&＃61; loss.item()return epoch_loss / len(iterator)

计算运行时间&＃xff1a;

def epoch_time(start_time, end_time):elapsed_time &＃61; end_time - start_timeelapsed_mins &＃61; int(elapsed_time / 60)elapsed_secs &＃61; int(elapsed_time - (elapsed_mins * 60))return elapsed_mins, elapsed_secsN_EPOCHS &＃61; 10
CLIP &＃61; 1best_valid_loss &＃61; float(&＃39;inf&＃39;)for epoch in range(N_EPOCHS):start_time &＃61; time.time()train_loss &＃61; train(model, train_iterator, optimizer, criterion, CLIP)valid_loss &＃61; evaluate(model, valid_iterator, criterion)end_time &＃61; time.time()epoch_mins, epoch_secs &＃61; epoch_time(start_time, end_time)if valid_loss model.load_state_dict(torch.load(&＃39;tut1-model.pt&＃39;))test_loss &＃61; evaluate(model, test_iterator, criterion)print(f&＃39;| Test Loss: {test_loss:.3f} | Test PPL: {math.exp(test_loss):7.3f} |&＃39;)


四、Attention模型

传统的Encoder-Decoder是有很多弊端的&＃xff0c;后来又提出了Attention模型&＃xff0c;这种模型在产生输出的时候&＃xff0c;还会产生一个“注意力范围”表示接下来输出的时候要重点关注输入序列中的哪些部分&＃xff0c;然后根据关注的区域来产生下一个输出&＃xff0c;如此往复。模型的大概示意图如下所示。

目前的attention模型可大致分为两类&＃xff1a;

• 聚焦式&＃xff08;focus&＃xff09;注意力&＃xff1a;自上而下的有意识的注意力&＃xff0c;主动注意——是指有预定目的、依赖任务的、主动有意识地聚焦于某一对象的注意力&＃xff1b;
• 显著性&＃xff08;saliency-based&＃xff09;注意力&＃xff1a;自下而上的有意识的注意力&＃xff0c;被动注意——基于显著性的注意力是由外界刺激驱动的注意&＃xff0c;不需要主动干预&＃xff0c;也和任务无关&＃xff1b;