请选择 进入手机版 | 继续访问电脑版

Effective Inter-Clause Modeling for End-to-End Emotion-Cause Pair Extr

[复制链接]
小小海 发表于 2021-1-2 18:59:22 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
文章目次



摘要

情感-原因对提取的目标是从给定的文档中提取出所有的情感子句及其原因子句。之前的研究接纳了两步方法,第一步分别提取情感子句和原因子句,第二步训练分类器过滤负面对。然而,这种管道式的情感-原因对提取系统由于存在误差流传问题,且两者之间的相互适应本事不强,是次优的。本文从排序的角度来处置处罚情感-原因对的抽取,即对文档中的子句对候选项举行排序,并提出了一种强调子句间建模的一步神经方法来举行端到端抽取。它对文档中子句之间的相互关系举行建模,通过图注意学习子句体现,并通过基于核的相对位置嵌入增强子句对体现,从而实现有效排序。实验效果表明,该方法显着优于现有的两步算法,特别是在一个文档中提取多个对的情况下。
先容

比年来,情感原因分析在情感分析和文本挖掘范畴引起了越来越多的研究关注(Lee et al., 2010a;
Russo等人,2011;Neviarouskaya和Aono, 2013年;Ghazi等人,2015年;桂等,2016)。它的目标是检测文本中所表达的某种情感的原因或刺激。明确情绪产生的原因具有广泛的应用,比如消费者批评挖掘和舆论监测。
以往的研究主要会合在情绪成因提取任务上,旨在识别特定情绪的成因。Xia和Ding(2019)指出,这种设置忽略了情绪和原因的相互指示,情绪提前标注的需求限制了应用范围。为了降服这种范围性,他们提出了一项新的研究任务,名为情感-原因对提取,旨在从给定的文献中提取所有的情绪表达子句及其原因。如下例所示,一个情感子句c3和它对应的原因子句c2构成了一个情感-原因对(c3, c2):
Example. He told us that since his illness (c1),his classmates and advisors have given him much help about the schoolwork (c2). He has been touched (c3), and said that he will repay them (c4).
与情感原因提取相比,情感原因对提取是一项更具挑战性的任务,因为我们需要对文档的内容和布局举行全面的明确,才气举行情感原因对的共提取,并将情感原因对从消极的小句对中区分出来。Xia和Ding(2019)提出了一种两步法来办理情感原因对的提取问题。首先,多任务LSTM网络分别提取情感子句和原因子句。第二步,使用二分类器从所有大概的负对中过滤出负对。只管两步法具有一定的有效性,但由于存在误差流传的问题,且两步法之间的相互适应本事不强,流水线式的情感-原因对提取并不理想。
连贯的文档具有潜在的布局(Mann and Thompson, 1988;Marcu, 2000),而且一个情感-原因对的两个子句之间存在因果关系,这区别于文件中其他非情感-原因对。因此,相识文档中各子句之间的相互关系有助于提取潜在的情感-原因对。别的,根据话语的凝聚力和连贯性(De Beaugrande and Dressler,1981),两个遥远的分句包罗因果关系的概率相对较小。因此,子句对中两个子句之间的相对位置信息可以作为提取情感-原因对的有效特征。
基于以上两点,本文从排序的角度来处置处罚情感-原因对的抽取,即对给定文档中的子句对候选项举行排序,并提出了一种强调子句间建模的一步法举行端到端抽取。我们的方法首先通过使用图注意学习子句体现来建模子句间的关系,通过捕获两个子句之间的潜在关系来促进对的提取。然后,它学习子句对体现,并对这些子句对举行排序,以提取情感-原因对。提出了一种基于核的相对位置嵌入方案,对相对位置之间的相互影响举行建模,增强子句对体现,从而实现有效排序。我们将这两个组件集成到一个统一的神经网络中,这个神经网络是端到端优化的。与前面的两步办理方案差别,我们的方法可以直接从文档中提取情感-原因对。
这项工作的主要贡献总结如下:


  • 据我们所知,我们提出了第一个端到端提取情感-原因对的方法,这是一个统一的模子,从排序的角度来处置处罚这一任务。
  • 我们的方法通过集成子句间关系建模和基于核的相对位置增强子句对排序来强调子句间建模。
  • 实验效果表明,我们的一步法显着优于现有的最佳性能系统,特别是在一个文档中提取多个对的情况下。
问题界说

给定一个文档D = (c1, c2,…c|D|),|D|是子句的个数,第i个子句ci = (wi1, wi2……, w|ici|)是一个单词序列,我们的目标是提取D中所有的情感-原因对:

此中(cemoj,ccauj)为第j对,cemoj∈D为情感子句,cauj∈D为对应的原因子句。需要注意的是,一个情绪大概有多个原因,同一个原因也大概成为多个情绪的刺激。
提出的方法

我们提出了一种名为RANKCP的一步方法,它对文档中的子句对候选项举行排序,以提取情感-原因对。整体架构如图1所示,由三个部门组成。第一个组件学习给定文档中子句的向量体现。第二个组件对子句之间的关系举行建模,以得到更好的子句体现。第三部门学习基于相对位置建模的子句对体现,并对子句对候选项举行排序以提取情感-原因对。

文档编码

给定一个文档D = (c1, c2,…c|D|)我们使用条理递归神经网络(hierarchical RNN)对文本内容举行编码,学习子句体现。
对于每个子句ci我们使用词级双向RNN对其内容信息举行编码,得到子句的隐藏状态序列。然后对每个子句ci使用注意力层来团结它们,然后文档D的子句状态序列(h1, h2……, h|D|)被送入一个子句子级双向RNN,产生子句体现,记为(c1, c2,…C|D|)。
用图形注意网络建模子句间关系

句子间关系的知识对于提取情感-原因对很有资助。在学习了文档的句子表征后,为了增强文档中句子间的交互,我们将文档布局视为一个全毗连的句子图,接纳图关注网络(Veliˇckovi´c等,2018)对句间关系举行建模。
详细来说,全毗连图中的每个节点都是文档中的一个子句,每两个节点都有一条边。我们还为每个节点添加了一个自循环边,因为情感子句的原因子句大概是自己。图注意网络通过叠加多个图注意层来在子句之间流传信息,每个图注意层通过使用自我注意聚合相邻子句的信息来学习一个更新的子句体现(Vaswani et al., 2017)。图注意力机制通过以下聚合方案对文档中的每个子句ci举行利用:

此中h(t) i是输出体现,W(t)和b(t)是可学习的参数,N (i)是ci的直接相邻子句(在我们的例子中包罗了文档中的所有子句)。注意权重α(t) ij反映子句ci和子句cj之间的聚集水平,由w(t)参数化的MLP学习得到:

下面的矩阵形式可以形貌第t个图的注意层:


第一层的输入H(0)是文档编码器的输出。通过堆叠T层来建模子句间的关系,最后一层的输出是更新后的子句体现。我们进一步接纳多头注意力,每个头都可以基于图注意力的顺序生存属性捕获一个全局模式(Qiu等,2018)。在实际应用中,我们在每两个相邻层之间增加一个高速公路毗连。
使用由多个图注意层组成的图注意网络对子句之间的交互举行建模,通过自适应融合其他子句信息生成每个子句表征hi,从而充实学习文档中的子句间关系。
在得到更新的子句表征{hi}|D| i=1后,我们将其送入两个预输出层,以预测一个子句是否是情感/原因子句。详细来说,使用一个具有逻辑函数σ(-)的MLP(参数化的wemo和bemo)来预测一个子句ci是情感子句的概率(体现为yˆi emo)。

同理,一个分句ci为原因分句的概率(yˆi cau)由另一层得到。
基于内核的相对位置嵌入的句子对排序方法

为了以端到端的方式提取情感-原因对,我们的方法进一步学习子句对表征,并对这些对子举行排序,以得到情感-原因对。
两句之间的相对位置是表达情感-原因对的关键。因此,我们通过相对位置嵌入学习将相对位置信息注入到子句对体现学习过程中。
我们假设,如果两个子句的相对位置过大,则它们形成情感-原因对的概率很小。因此,给定文档D = (c1,…(c |D|),我们思量每个子句对(ci, cj),两个子句的相对位置(绝对值)|j - i|小于即是某一个值M,作为情绪-原因对的候选项。我们从文档D构造了一组子句对候选项:

学习子句对体现

对于每个子句对候选pij = (ci,cj)∈P’,其初始化体现是通过毗连三个向量得到的:子句ci的体现hi,子句cj体现hj,它们的相对位置j - i嵌入rj-i。我们使用一个单层MLP来学习它的体现:

具有可学习的Wp和bp。接下来我们先容如何构建相对位置嵌入。
Vanilla相对位置嵌入

对于每个相对位置m∈{−M,…,;1 0 + 1,…,+M},通过匀称分布抽样随机初始化嵌入rm。然后团结模子训练过程学习各个相对位置的嵌入。
基于核的相对位置嵌入

除了上述每个相对位置嵌入都是部门独立的Vanilla方案外,我们的目标是对差别相对位置之间的相互影响举行建模,以进一步提高相对位置嵌入。为此,对于每个相对位置m∈{−M,…, +M},我们使用RBF核函数Km(·)来建模M与其他相对位置的影响:

此中j∈{−M,…, +M}是大概的相对位置值之一,σK限制了核函数的形状。然后,我们通过整合其他相对位置的影响来增强vanilla嵌入rm:

其背后的直觉是,如果j靠近m,rj对rm的影响将比其他远处的相对位置更大。图2显示了m = -1的说明。当σK 趋于0时,基于内核的嵌入会退化为vanilla嵌入。因此,我们基于内核的嵌入方案可以被视为vanilla嵌入的正则化版本。

分列句对

接纳具有激活函数fact(-)的排名层(参数化为wr和br),为每个子句对候选者pij∈P’产生排名得分yˆij:

优化

我们的网络RANKCP是端到端的优化。输入文档D的损失函数由以下两部门组成。
第一部门度量子句对的排名分数。逐点排序损失界说为:

此中,yij∈{0,1}是句子对pij的ground-truth(yij=1体现pij是情感原因对),fact(-)设为对数函数.也可以通过对数排序损失来盘算,边际超参数为γ:

此中,分句对p+的ground-truth值为1,而分句对p-的ground-truth值为0(因此p+的得分y+应该比p-的得分y-高),fact(-)设为tanh函数。损失函数的第二部门权衡图注意力网络的预输出yˆi emo和yˆi cau。根据分句对的ground-truth,我们知道一个分句是否是情感/原因分句,因此我们使用两个交错熵损失函数Lemo和Lcau来监视两个预输出预测。我们使用上述两部门之和作为文件D的最终损失函数L:

这就形成了对子句体现学习和子句对排序的两级监视。
基于词库的提取

在测试时,一个关键的问题是如何根据所有对候选者的排名得分,提取潜在的情绪-原因对。需要注意的是,要确定一个总体的阈值分数,并不是一件容易的事情,这个分数可以被所有的文档接纳,用于将候选者分别为情绪-原因对和负面的情绪-原因对。
我们接纳基于辞书的抽取方案,从top-N排行表{p1中获取情感-原因对{p1, p2,……, pN}的测试文档。我们首先提取最上面的一对p1(得分最高的)作为情感引起的一对。然后,对于每个剩余的子句对pi = (c i,1
, ci,2)∈{p2……, pN},我们使用一个情感辞书来确定子句ci,1是否包罗情感词。如果是,我们提取一对pi作为一个情感-原因对。因此,我们的模子可以大概从给定的文档中提取多个情感-原因对。
实验



情感原因对提取的效果
可以观察到,上述优势主要泉源于召回率R的显著提升,与INTEREC相比,RANKCP在情感-原因对提取和原因句提取上分别实现了8.43%和6.60%的提升,这说明我们的一步到位方案可以有效地提取出更多正确的情感-原因对,而不伤害精度P。
结论和未来工作

在本文中,我们提出了第一个一步神经方法RANKCP来办理情感-原因对的提取问题,该方法强调从排序的角度举行子句间建模。我们的方法有效地建模了子句间的关系来学习子句体现,并将相对位置增强子句对排序集成到一个统一的神经网络中,以端到端方式提取情感原因对。在基准数据集上的实验效果表明RANKCP的性能显着优于以往的系统,进一步的分析验证了该方法的有效性。
在以后的工作中,我们将探索以下几个方向。首先,现在的情感原因分析研究主要会合在小句级的提取,其粒度相对较粗,进一步设计可以大概提取跨级或短语级情感表达和原因的细粒度方法是有须要的。其次,设计有效的方法将适当的语言知识注入神经模子对情绪分析任务很有代价(Ke et al., 2019;钟等,2019)。最后,研究情绪的语义脚色将是一件有趣的事情(Bostan et al., 2020),它思量了情绪表达的完整布局,更具挑战性。

来源:https://blog.csdn.net/u013010473/article/details/112067335
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发布主题

专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )