实体关系抽取-6-灵析社区

算法无限

UniRel: Unified Representation and Interaction for Joint Relational Triple Extraction

  • 解决实体和关系异构表示问题
  • 解决实体-实体交互和实体-关系交互异构建模问题
  • 通过一个串联的自然语言序列联合编码统一实体和关系的表示，同时使用一个交互映射系统来统一交互

    过去（如CasRel、PRGC）都在==关注于捕捉实体的上下文信息，但是忽略了同样重要的关系语义==。文中例子：由is_capital_of可以得出，主语应该是城市，宾语应该是国家。上图的这个三元组中，也可以从【longdon-is_capital_of】和【Uk-is_capital_of】得出Uk和london是相关的。
我认为作者想表达的意思是过去把实体和关系分开来看了，但是实际上实体和关系本质上是有关联的，可以通过实体推断关系，通过关系推断实体，所以只捕捉实体的上下文是不够的。

由此文章提出统一表示和交互的UniRel模型来解决上述问题。

•将关系和实体都编码成序列来构造统一的表示，即联合编码

•基于语义，首先将候选关系转换成文本，与输入句子构成一个连续的序列

•使用BERT作为PLM预训练模型编码，并捕捉他们的信息相关性

•通过Transformer的自注意力机制，在单个交互映射中对实体-实体、实体-关系建模

•基于WebNLG和NYT创建了一个新的数据集

UniRel方法：

Problem Formulation

给出X，识别出T

Unified Reperesentation

即对实体和关系进行联合编码

在这一步之中，解决了实体和关系之间的异构表示问题

Unified Interaction

使用实体-实体、实体-关系之间的内在联系直接提取三元组。

Entity-Entity Interaction

实体-实体：标注那些可以形成三元组的实体对（因为存在关系才能有内在联系）。==进而（A，R，B）和（B，R，A）都可以识别出来，解决实体对重叠的问题。

Entity-Relation Interaction

对于关系R，∃\exists∃E为主/宾语R为关系的三元组时，E-R有内在联系。==但关系是具有方向性的，所以需要不对称的定义E-R关联以区分主语、宾语

Interaction Discrimination

解决了体-实体交互和实体-关系交互异构建模问题

交互映射的可视化

Training and Decoding

  1. 首先从每个实体-关系的内在联系中识别出所有有效的主语和宾语

2.然后枚举所有的候选实体对（存在于实体-实体之中的）

这种解码，可以解决EPO和SEO的情况，SEO：(Homes,Lives_In,UK)，EPO:（Uk,Contains,London）

Experiments


WebNLG的准确率超过了人类的新能。

Effect of the Unified Representation

UniRelunusedUniRel_{unused}UniRelunused​：在微调阶段，对那些被标记成[unused]的词向量随机初始化【目的为了将词无意义化，[unused]是Bert的占位符】，可以看出准确率在下降，进而得出==有意义的信息的重要性==。由于WebNLG数据少关系多，所有性能下降的更多。

  • 在WebNLG上不同数量样本进行训练

Effect of the Unified Interaction

UniRelseparateUniRel_{separate}UniRelseparate​：以单独的方式对提取到的关系序列（E-R、R-E）这两种关系进行建模。
方式：

  1. 由同一个BERT获得句子的向量矩阵序列和自然文本。
  2. 然后使用两个转换层获得两个向量矩阵的Q、K。
  3. 最后Interaction Map由Q、K的点生成出来
    因为对实体-关系作为独立输出，因此深层的Transformer只能独立的对实体对和关系的内部联系进行建模、可以看出性能下降。下图为F1指数

Computational Efficiencyy

  • L：三元组的个数


在复杂的情况上，也超过了其他的基线模型，尤其是在SEO和EPO方面

阅读量：1220

点赞量：0

收藏量:0