论文解读：SentiPrompt:SentimentKnowledgeEnhancedPromptTuningforAspectBasedSentimentAnalysis

简要信息&＃xff1a;

核心要点&＃xff1a;

• 首次将prompt用于方面级情感分析任务&＃xff08;ABSA&＃xff09;&＃xff1b;
• 提出SentiPrompt-tuning&＃xff0c;给定已知的aspect和opinion&＃xff0c;构建continous template预测对应的sentiment polarity类别&＃xff1b;
• 使用BART预测aspect和opinion在句子中的索引;

一、任务背景

  方面级情感分析&＃xff08;Aspect-based Sentiment Analysis, ABSA&＃xff09;任务是一种较为细粒度的情感分析任务&＃xff0c;其旨在需要抽取aspect、对比polarities以及寻找opinion&＃xff1b;整个任务目的寻找每个成分的情感取向及原因&＃xff0c;并判断整个情感取向。

  例如如图所示&＃xff1a;

给定一个句子&＃xff0c;先前的方法则通过若干sub-task解决ABSA任务&＃xff1a;

• Aspect Term Extraction & Sentiment Classification&＃xff1a;抽取相应的aspect&＃xff08;例如owners、beer selection等“主人公”&＃xff09;以及他们的情感取向&＃xff08;分类任务&＃xff0c;例如positive&＃xff09;&＃xff1b;

Aspect Term Extraction and Sentiment Classification (AESC) requires extracting the aspect terms and classifying the sentiment polarities about them

• Pair Extraction&＃xff1a;抽取aspect的同时&＃xff0c;抽取相应的观点描述&＃xff08;例如great fun、worth staying for&＃xff09;

Pair Extraction (Pair) extracts the aspect terms as well as the corresponding opinion terms simultaneously

• Sentiment Triplet Extraction (Triplet)&＃xff1a;同时抽取aspect、sentiment以及opinion&＃xff0c;例如(owners, great fun, positive)

  因此本质上ABSA是一个信息抽取的任务&＃xff0c;即给定一个文本&＃xff0c;其需要抽取的aspect&＃xff08;$a$&＃xff09;和opinion&＃xff08;$o$&＃xff09;属于文本中的某个区间span text&＃xff0c;抽取的sentiment polarity&＃xff08;$s$&＃xff09;则是最终的感情取向&＃xff08;positive、negative和neutral&＃xff09;

二、动机

• 先前工作解决ABSA的sub-task采用pipeline方法&＃xff0c;非端到端的方法容易造成误差传播问题。后来端到端的神经网络用于解决ABSA任务&＃xff0c;因此可以联合抽取aspect、opinon和polarities。
• 现如今常用预训练语言模型&＃xff0c;但其pre-training的目标与fine-tuning存在差异&＃xff0c;限制了先验知识的利用潜能&＃xff1b;
• Prompt-tuning提出很好的解决了pre-training和fine-tuning之间的gap&＃xff0c;其根据设计的prompt实现下游任务的预测。目前人工构建的prompt成本较高&＃xff1b;

三、方法

3.1 任务描述

  给定一个文本 X&＃61;[x1,x2,⋯,xn]X&＃61;[x_1, x_2, \cdots, x_n]X&＃61;[x1​,x2​,⋯,xn​]&＃xff0c;三个sub-task的输出分别表示为&＃xff1a;

本文提出模型如下图&＃xff1a;

其主要包括两个部分&＃xff1a;

• SentiPrompt tuning&＃xff1a;在给定输入句子以及aspect以及opinion的前提下&＃xff0c;设计continuous template实现对sentiment polarity的分类预测&＃xff1b;
• Generation&＃xff1a;用来生成aspect和opinion的在句子中的索引&＃xff1b;

3.2 SentiPrompt Tuning

Sentiment Knowledge Enhanced Prompt Construction

  给定一个文本“Good Sushi High Price”&＃xff0c;采用continous方法构建template $T$&＃xff0c;其包含pseudo token PkP_kPk​&＃xff08;什么是pseudo token&＃xff1f;可参考P-tuning&＃xff09;以及随机挑选的groud truth aspect&＃xff08;记作 $A$&＃xff0c;例如Sushi、Price&＃xff09;和opinion&＃xff08;记作 $O$&＃xff0c;例如Good、High&＃xff09;&＃xff1a;

  当已知aspect以及opinon组成的pair时&＃xff08;例如已知一个groud truth&＃xff08;Sushi&＃xff0c;Good&＃xff09;&＃xff09;&＃xff0c;则直接在上面构建的template后缀添加额外的template&＃xff0c;表示预测这个pair的sentiment polarity&＃xff1a;

因此两者结合可以表示为&＃xff1a;

例如template可以设计为&＃xff1a;

第一个[MASK]位置的label word为 {“yes”, “no”}&＃xff0c;第二个[MASK]位置的label word为 {POS, NEG, NEU}。

  下图中给出了示例“Good Sushi High Price”对应的template&＃xff1a;

任务目标则为传统的交叉信息熵&＃xff1a;

Prompt Encoder
  该部分直接利用P-tuning&＃xff0c;对所有普通的token以及pseudo token先使用BART的embedding进行初始化&＃xff1a;

其次将所有pseudo token喂入LSTM和MLP后得到隐状态向量&＃xff1a;

最后将所有pseudo token替换掉原始的BART embedding&＃xff0c;而aspect、opinion 以及[MASK] token保持原来的embedding&＃xff0c;最终得到新的embedding&＃xff1a;

  将新的embedding喂入BART模型中&＃xff0c;根据Masked Language Model&＃xff0c;可以预测每个[MASK]位置的词。

3.3 Generation Framework for ABSA

  BART模型主要分为Encoder和Decoder。Encoder部分为原始的非自回归Transformer模块&＃xff0c;用于对句子进行表征&＃xff0c;Decoder为自回归模块&＃xff0c;本文扩展BART并应用到ABSA任务熵&＃xff0c;具体设计如下&＃xff1a;
Encoder
  Encoder用于表征输入句子&＃xff0c;并获得隐状态向量&＃xff1a;

Decoder
  在第 $t$ 时刻&＃xff0c;输入Encoder的隐状态向量 HeH^eHe&＃xff0c;以及前 $t-1$ 个已经生成的结果&＃xff08;token word&＃xff09;&＃xff0c;输出当前时刻预测的token索引。
  因为自回归模型是将上一次的输出作为下一次的输入&＃xff0c;而BART输出的是索引&＃xff0c;输入的是token&＃xff0c;因此需要进行index convert&＃xff1a;

因为输出的label中&＃xff0c;除了原始句子中的token外&＃xff0c;还有额外的polarity class&＃xff1a;POS、NEG和NEU&＃xff0c;因此如果生成的索引属于原始句子&＃xff0c;则取句子中的token&＃xff0c;否则取polarity class。

  因此BART的decoder自回归模型输出可表示为&＃xff1a;

  最后在训练时&＃xff0c;SentPrompt-tuning和Generation两个部分的目标进行加权求和&＃xff1a;