ACL2020 | 基于正交关系转换与图上下文建模的知识图嵌入

今天给大家介绍京东AI研究院的研究人员发表在ACL2020上的一篇文章。文章提出了一种新的基于距离的知识图谱链接预测方法，正交变换嵌入法（orthogonal transform embedding ，OTE），可以提高在1-N ，N-1和N-N的复杂链接预测情况下的精度，实验表明其可以在FB15k-237和WNRR-18两种常用数据集中取得较好的效果。

1

研究背景

知识图谱是一种多关系图，节点表示实体，边表示实体之间的关系。知识图谱嵌入表示了连续向量空间中的实体和关系，可以用于链接预测等方面，大致可以分为基于距离和语义匹配模型两类。基于距离的模型又称加性模型，因为它将头尾实体投影到相同的嵌入空间中，利用两个实体嵌入之间的距离评分来衡量给定三元组的相似性，比如TransE（2013），TransR（2015）和RotatE（2019）等。语义匹配模型通常采用乘法分数函数来计算给定三组的可信性，比如DistMult（2014），ComplEx（2016），ConvE（2018）和CapsE（2019）等。以上模型取得了很大的进展，但是对于1-N ，N-1和N-N的复杂链接的预测仍然具有挑战性，如下图为一个N-N的示例，相关的边用绿色表示。并且，上述知识图嵌入方法主要针对单个三元组的建模，但是它们忽略了知识图谱的结构，没有充分利用邻近节点和边的上下文，由此有研究者引入了图神经网络对知识图谱结构进行学习，该研究团队提出了一种可以直接集成图的上下文来计算距离评分函数的方法。

2

主要贡献

（1）提出了一种新的方法，正交变换嵌入法（OTE），将旋转从二维空间扩展到高维空间，并针对 对称/反对称、反演和合成关系模式进行了建模;

（2）提出了一种有向图上下文建模方法，将知识图谱上下文（包括相邻实体节点和关系边）集成到距离评分函数中;

（3）OTE在FB15k-237和WN18RR数据集上的实验结果表明，相对于基于距离的RotatE模型，OTE有一定的改进，特别是在具有许多高入度节点的FB15k-237数据集上。在WN18RR上，OTE的结果达到了目前最高的性能。

3

方法

3.1 OTE法

OTE方法受RotatE启发。RotatE是一种简单有效的知识图谱链接预测方法，其将每个关系定义为在复矢量空间中从源实体到目标实体的旋转。但由于其定义在二维复杂域，建模能力有限，可以将类似的操作拓展到更高维度的空间。

研究者使用，

表示头实体、关系和尾实体的嵌入，对于每个尾实体的嵌入，即将和到的投影定义为：

其中，用于分别对每组嵌入的正则化进行衡量。定义对应的距离评分函数为：

从尾部到头部的逆向节点只是简单地调换了一下和的符号，则对于每个头实体的嵌入定义为：

定义对应的距离评分函数为：

其中为施密特正交化，将一个线性变换正交化变化为一个正交变换。

3.2 有向图上下文

研究者对于每个实体，考虑了以下两个上下文设置：

1. 如果是一个尾实体，则将训练三元组中尾实体为的所有（head, relation）对定义为头-关系对上下文。

2. 如果是一个头实体，则训练三元组中所有头实体为的（relation, tail）对都定义为关系-尾对上下文。

头-关系对上下文：

对于一个给定的尾结点，其上下文为头-关系对，记为。首先通过计算中所有这些对的平均值，作为头-关系对的上下文表示，如下公式：

此公式可以看作是上下文表示计算的一种附加平滑。接着，计算t的头-关系上下文和相应的基于正交变换的三元组的距离，如下公式：

同理，可以得到关系-尾对上下文的表示。

3.3 得分函数

我们进一步合并以上所有距离分数作为训练和推理的图形上下文正交变换嵌入（GC-OTE）的最终距离得分：

完整的GC-OTE模型可以看作是K个局部GC-OTE模型的集合，本工作采用了自对抗负采样损失函数对嵌入进行优化：

4

实验

4.1数据库以及评估方案

该研究团队使用FB15k-237和WN18RR两个基准数据集来评估链路预测的性能，下表为实验数据集的统计信息。

实验中使用Top 1、Top 3、Top 10 （Hits@1、Hits@3和Hits@10），以及MRR指标进行评估。模型使用PyTorch实现，运行在NVIDIA Tesla P40 GPU上，模型训练中有两个步骤:1)使用OTE或RotatE模型来训练模型；2)基于图上下文的模型在这些预先训练的模型上进行微调。

4.2链接预测实验

实验比较了提出的模型（基于OTE和基于图上下文的GC-OTE）和几种最新的模型的链接预测的效果，模型包括基于平移距离的TransE、RotatE；基于语义匹配的DistMult、ComplEx、ConvE、TuckER和QuatE，以及基于图上下文信息的R-GCN+、SACN和A2N。实验结果如下表，可见GC-OTE在所有指标上都优于所有其他模型。

4.3消融实验

该研究团队做了相应的消融实验，并且比较了在FB15k-237验证集上旋转时模型参数的数量，如下表显示。在下嵌入的维度，正交变换的影响以及图上下文的影响三个方面进行实验，结果可以看到OTE的模型尺寸比RotatE-L尺寸的三分之一还小，但具有更好的性能，显示了OTE的有效性。

4.4误差分析实验

该研究团队在FB15k-237上对所提出模型的1-N ，N-1和N-N关系预测进行了误差分析，如下表，可以看出与RotatE-L模型相比，GC-OTE模型在这些情况下都可以得到更好的Hist@10。

5

总结

该研究团队提出了一种基于距离的链接预测知识图谱嵌入方法。它包括两方面：首先，通过正交关系变换将二维空间的旋转建模扩展到高维空间。其次，提出图上下文将图谱的结构信息集成到距离评分函数中，用于在训练和推理过程中度量三元组的似然性。该方法有效地提高了1-N ，N-1和N-N链路预测的准确性。

参考资料

https://arxiv.org/abs/1911.04910