FewRel：一个大规模监督少样本关系分类数据集及其最先进的评估

摘要

我们提出了一个少样本关系分类数据集 (FewRel)，它包含了 $70,000$ 个句子，这些句子涉及从维基百科中提取的 $100$ 个关系，并由众包工作者进行标注。 每个句子的关系首先通过远程监督方法识别，然后由众包工作者进行过滤。 我们调整了最新的最先进的少样本学习方法，用于关系分类，并对这些方法进行了彻底的评估。 实验结果表明，即使是最具竞争力的少样本学习模型在该任务上也难以取得成功，特别是与人类相比。 我们还表明，解决我们的任务需要一系列不同的推理技能。 这些结果表明，少样本关系分类仍然是一个开放性的问题，需要进一步的研究。 我们详细的分析指出了未来研究的多个方向。 数据集和基线的全部细节和资源已发布在 http://zhuhao.me/fewrel 上。

1 引言

关系分类 (RC) 是 NLP 中一项重要的任务，旨在确定给定句子中两个实体之间的正确关系。 许多工作被提议用于这项任务，包括核方法 Zelenko 等人 (2002)；Mooney 和 Bunescu (2006)，嵌入方法 Gormley 等人 (2015)，以及神经方法 Zeng 等人 (2014)。 这些传统模型的性能高度依赖于耗时且劳动密集型的标注数据，这使得它们难以很好地泛化。 采用远程监督是解决关系分类（RC）问题的主要方法 Mintz 等人；Riedel 等人；Hoffmann 等人（2011）；Surdeanu 等人（2012）；Zeng 等人（2015）；Lin 等人（2016），它通过启发式地对齐知识库 (KB) 和文本来自动标注足够量的训练实例。 我们评估了 Lin 等人（2016）提出的模型，该模型被最近的最新方法 Zeng 等人（2017）；Ji 等人（2017）；Huang 和 Wang（2017）；Wu 等人（2017）；Liu 等人（2017）；Feng 等人（2018）；Zeng 等人（2018） 遵循，用于基准数据集 NYT-10 Riedel 等人。 . 尽管它在常见关系上取得了有希望的结果，但在训练实例数量减少时，关系的性能会急剧下降。 在 NYT-10 中，大约 $58\%$ 的关系是长尾关系，其实例少于 $100$ 个。 此外，远程监督存在错误标注问题，这使得对长尾关系进行分类更加困难。 因此，有必要研究如何训练具有不足训练实例的 RC 模型。

Supporting Set
(A) capital_of	(1) London is the capital of the U.K.
	(2) Washington is the capital of the U.S.A.
(B) member_of	(1) Newton served as the president of the Royal Society.
	(2) Leibniz was a member of the Prussian Academy of Sciences.
(C) birth_name	(1) Samuel Langhorne Clemens, better known by his pen name Mark Twain, was an American writer.
	(2) Alexei Maximovich Peshkov, primarily known as Maxim Gorky, was a Russian and Soviet writer.
Test Instance
(A) or (B) or (C)	Euler was elected a foreign member of the Royal Swedish Academy of Sciences.

表 1： 3 种 2 样本场景的示例。 不同的颜色表示不同的实体，蓝色 表示头实体，红色 表示尾实体。

在本文中，我们将 RC 形式化为一项少样本学习任务，这需要模型能够处理只有少量训练实例的分类任务，如表 1 所示。 许多努力致力于少样本学习。 早期的工作 Caruana（1995）；Bengio（2012）；Donahue 等人（2014） 应用迁移学习方法来微调从包含足够实例的通用类别到仅包含少量实例的非通用类别的预训练模型。 然后，提出了度量学习方法 Koch 等人（2015）；Vinyals 等人（2016）；Snell 等人（2017） 来学习类别之间的距离分布。 相似的类别在距离空间中是相邻的。 度量方法还利用非参数估计来使模型高效且通用。 最近，提出了元学习的想法，它鼓励模型从以前的经验中学习快速学习的能力，并迅速推广到新的概念。 许多元学习模型 Ravi 和 Larochelle (2017); Santoro 等人 (2016); Finn 等人 (2017); Munkhdalai 和 Yu (2017) 在多个少样本基准测试中取得了最先进的结果。

尽管元学习方法发展迅速，但大多数这些工作都评估了两个流行的数据集，Omniglot Lake 等人 (2015) 和 mini-ImageNet Vinyals 等人 (2016)。 这两个数据集都集中在图像分类上。 自然语言处理领域的许多工作主要集中在零样本/半监督场景 Xie 等人 (2016); Ma 等人 (2016); Carlson 等人 (2009) 上，这些工作整合了额外的信息来对训练集中从未出现过的对象进行分类。 然而，少样本场景需要模型在没有任何额外信息的情况下对只有少量实例的对象进行分类。 最近，Yu 等人 (2018) 提出了一种用于少样本文本分类的多度量方法。 然而，缺乏对采用少样本学习进行自然语言处理任务的系统研究。 我们提出了 FewRel：一个新的，大规模的监督 Few-shot Relation 分类数据集。 为了解决大多数远程监督关系分类数据集中错误标记的问题，我们应用众包来手动去除噪声。

除了构建数据集外，我们还系统地实施了最新的最先进的少样本学习方法，并将它们应用于关系分类。 我们对所有这些模型在我们数据集上进行了详细的评估。 尽管最先进的少样本学习方法在我们具有挑战性的数据集上的结果远低于人类，但它们明显优于原始关系分类模型，这表明将少样本学习纳入关系分类是有前景的，需要进一步研究。 总之，我们的贡献有三方面：

(1) 我们将关系分类表述为一个少样本学习任务，并提出一个新的，大规模的监督少样本关系分类数据集。

(2) 我们系统地改进了最新的最先进的少样本学习方法，用于 RC，这可能会进一步有利于其他 NLP 任务。

(3) 我们对我们的数据集上少样本学习方法进行了全面的评估，这表明了 RC 的一些有希望的研究方向。

2 FewRel 数据集

在本节中，我们将详细描述创建 FewRel 的过程。 整个过程可以分为两个步骤：(1) 我们通过远程监督创建了一个与关系对齐的大型候选句子集。 (2) 我们要求人工标注者过滤掉每个关系中标记错误的句子，最终获得一个干净的 RC 数据集。

2.1 远程监督

对于第一步，我们使用维基百科作为语料库 并使用 Wikidata 作为 KB。 Wikidata 是一个大型 KB，其中许多实体已经链接到维基百科文章。 维基百科中的文章也包含互相链接的锚点。 因此，将维基百科文章中的句子与 Wikidata 中的 KB 事实对齐非常方便。 我们还采用实体链接技术来提取文章中更多未锚定的实体。 我们首先通过 spaCy 采用命名实体识别来查找可能的实体提及，然后将每个提及与 KB 中实体的名称匹配，如果成功匹配，则将提及链接到实体。

对于维基百科文章中包含头实体 $e_1$ 和尾实体 $e_2$ 的每个句子 $s$，如果存在一个 Wikidata 语句 $(e_1,e_2,r)$ 表示 $e_1$ 和 $e_2$ 具有关系 $r$，我们将 $(s,e_1,e_2,r)$ 元组标记为一个实例，并将其添加到候选集中。 从经验上看，给定关系的许多实例包含相同的实体对。 对于这种关系，分类器可能更倾向于记忆训练实例中的实体对，而不是理解句子语义。 因此，在每个关系的候选集中，我们只保留每个唯一实体对的 $1$ 个实例。 最后，我们删除实例少于 $1000$ 个的关系，并随机保留其余关系的 $1000$ 个实例。 因此，我们获得了 $122$ 个关系和 $122,000$ 个实例的候选集。

2.2 人工标注

接下来，我们邀请一些受过良好教育的标注者在类似于我们自己开发的 Amazon MTurk 的平台上过滤原始数据。 该平台每次向每个标注者展示一个实例，通过展示句子、句子中的两个实体以及由远程监督标记的相应关系。 该平台还提供实体和关系在 Wikidata 中的名称，并附带该关系的详细描述。 然后要求标注者判断该关系是否仅能从句子语义中推断出来。 我们还要求标注者如果句子不完整，或者提及与实体的链接错误，则将实例标记为负面。

关系从候选集中随机分配给标注者，每个标注者将在切换到下一个关系之前连续标注 $20$ 个相同关系的实例。 为了确保标注质量，每个实例至少由两个标注者标注。 如果两个标注者对该实例有分歧，则会将其分配给第三个标注者。 因此，每个实例至少有两个相同的标注，这将是最终的决定。 在进行标注后，我们删除了具有少于 $700$ 个正例的关联。 对于剩余的 $105$ 个关联，我们使用自由边际多评价者卡帕 Randolph (2005) 计算每个关联的标注者间一致性，并保留前 $100$ 个关联。

2.3 数据集统计

最终的 FewRel 数据集包含 $100$ 个关联，每个关联有 $700$ 个实例。 所有关联的完整列表，包括其名称和描述，在附录 A.2 中提供。 每个句子中标记的平均数量是 $24.99$，总共有 $124,577$ 个唯一标记。 遵循最近的元学习任务 Vinyals et al. (2016)，该任务使用独立的类别集进行训练和测试，我们使用 $64$、$16$ 和 $20$ 个关联分别进行训练、验证和测试。 表 2 将我们的 FewRel 数据集与另外两个流行的少样本分类数据集 Omniglot 和 mini-ImageNet 进行了比较。 表 3 将 FewRel 与之前的 RC 数据集进行了比较，包括 SemEval-2010 任务 8 数据集 (Hendrickx et al., 2009)、ACE 2003-2004 数据集 (Strassel et al., 2008)、TACRED 数据集 (Zhang et al., 2017) 和 NYT-10 数据集 (Riedel et al., 2010)。 虽然某些 RC 数据集包含没有关联的实例（负例），但我们忽略了这些实例以进行比较。

Dataset	#cls.	#inst./cls	#insts.
Omniglot	$1,623$	$20$	$32,460$
mini-ImageNet	$100$	$600$	$60,000$
FewRel	$100$	$700$	$70,000$

表 2： FewRel 与 Omniglot 和 mini-ImageNet 的比较。

Dataset	#cls.	#insts.
SemEval-2010 Task 8	$9$	$6,674$
ACE 2003-2004	$24$	$16,771$
TACRED	$42$	$21,784$
NYT-10	$57$	$143,391$
FewRel	$100$	$70,000$

表 3： FewRel 与现有 RC 数据集的比较。 请注意，某些数据集中的负例（无关联）实例被忽略。

3 实验

Model	5 Way 1 Shot	5 Way 5 Shot	10 Way 1 Shot	10 Way 5 Shot
Finetune (CNN)	$44.21\pm 0.44$	$68.66\pm 0.41$	$27.30\pm 0.28$	$55.04\pm 0.31$
Finetune (PCNN)	$45.64\pm 0.62$	$57.86\pm 0.61$	$29.65\pm 0.40$	$37.43\pm 0.42$
kNN (CNN)	$54.67\pm 0.44$	$68.77\pm 0.41$	$41.24\pm 0.31$	$55.87\pm 0.31$
kNN (PCNN)	$60.28\pm 0.43$	$72.41\pm 0.39$	$46.15\pm 0.31$	$59.11\pm 0.30$
Meta Network (CNN)	$64.46\pm 0.54$	$80.57\pm 0.48$	$53.96\pm 0.56$	$69.23\pm 0.52$
GNN (CNN)	$66.23\pm 0.75$	$81.28\pm 0.62$	$46.27\pm 0.80$	$64.02\pm 0.77$
SNAIL (CNN)	$67.29\pm 0.26$	$79.40\pm 0.22$	$53.28\pm 0.27$	$68.33\pm 0.25$
Prototypical Network (CNN)	$69.20\pm 0.20$	$84.79\pm 0.16$	$56.44\pm 0.22$	$75.55\pm 0.19$
Human performance	$92.22\pm 5.53$	-	$85.88\pm 7.40$	-

表 4： 所有模型在 FewRel 上四种不同设置下的准确率 (%)。

我们对带有简单策略（如微调或 kNN）的普通 RC 模型进行了全面评估，这些策略应用于我们的新数据集。 我们还评估了最近的少样本学习方法。

3.1 任务制定

在少样本关系分类中，我们希望获得一个函数 $F:(ℛ,𝒮,x)\mapsto y$。 其中 $ℛ=\{r_1,\mathrm{\dots },r_m\}$ 定义了实例分类到的关系。 $𝒮$ 是一个支持集

$𝒮=\{$ $(x_1^1,r_1),(x_1^2,r_1),\mathrm{\dots },(x_1^{n_1},r_1),$ (1)

$\mathrm{\dots },$

$(x_m^1,r_m),(x_m^2,r_m),\mathrm{\dots },(x_m^{n_m},r_m)\}$

包括 $n_i$ 个实例，用于每个关系 $r_i\in ℛ$。 对于关系分类，一个数据实例 $x_i^j$ 是一个句子，伴随着一对实体。 查询数据 $x$ 是一个要分类的未标记实例，而 $y\in ℛ$ 是由 $F$ 给出的 $x$ 的预测。

在最近的少样本学习研究中，$N$ 路 $K$ 样本设置被广泛采用。 我们遵循这种设置来解决少样本关系分类问题。 确切地说，对于 $N$ 路 $K$ 样本学习

$$N=m=|ℛ|,K=n_1=\mathrm{\dots }=n_m$$ (2)

3.2 实验设置

在我们的实验中，我们考虑了四种类型的少样本任务：5 路 1 样本，5 路 5 样本，10 路 1 样本，10 路 5 样本。 在这种设置下，我们评估了不同的少样本训练策略以及建立在两个广泛使用的实例编码器 CNN Zeng 等人（2014） 和 PCNN Zeng 等人（2015） 之上的最先进的少样本学习方法。

对于 CNN 和 PCNN，句子首先通过将每个词转换为词嵌入和位置嵌入的串联来表示为输入向量。 在 CNN 中，输入向量通过卷积层、最大池化层和非线性激活层来获得最终的输出句子嵌入。 PCNN 是 CNN 的变体，它用分段最大池化操作代替最大池化操作。

为了评估这两个朴素模型在少样本 RC 任务中的表现，我们首先考虑两种训练策略，即微调和 kNN。 对于微调基线，它学习使用 CNN/PCNN 对训练集中的所有关系进行分类，并在支持集上调整参数。 我们只调整输出层的参数，并将其他参数保持不变。 对于 kNN 基线，它还在训练期间联合分类所有关系，而在测试时，它使用神经网络嵌入所有实例，然后采用 k 近邻 (kNN) 对测试实例进行分类。

通过将它们适应于关系分类，我们还评估了四种最近提出的少样本学习方法，包括元网络 Munkhdalai 和 Yu (2017)、GNN Satorras 和 Estrach (2018)、SNAIL Mishra 等人 (2018) 和原型网络 Snell 等人 (2017)。 我们在第 3.3 节中简要介绍了这些基线。 如果你熟悉这些方法，你可以安全地跳过该小节。 每个模型的超参数都是通过网格搜索针对验证集选择的。

人类表现也分别在 5 路 1 样本设置和 10 路 1 样本设置下进行了评估。 给一个人工标注者提供了 $5/10$ 来自不同关系的实例和一个额外的测试实例。 人工标注者被要求决定测试实例属于哪个关系。 请注意，这些标注者没有提供关系名称和任何额外信息。 由于 5 类 5 样本和 10 类 5 样本设置更容易，我们只评估 5 类 1 样本和 10 类 1 样本的性能。

3.3 少样本学习模型的基线

元网络

元网络 Munkhdalai 和 Yu (2017) 是一种元学习算法，它在传统的分类模型（或 基础学习器）之上利用一个高级 元学习器 来监督训练过程。 基础学习器的权重分为两组，快权重和慢权重。 快权重由元学习器生成，而慢权重则通过最小化分类损失进行更新。 预计快权重将有助于模型在训练实例很少的情况下泛化到新任务。

图神经网络 (GNN)

GNN Satorras 和 Estrach (2018) 通过将每个支持实例或查询实例视为图中的节点来解决少样本学习问题。 对于支持集中的那些实例，标签信息也被嵌入到相应的节点表示中。 然后使用图神经网络在节点之间传播信息。 预计查询实例将从支持集中接收信息，以便进行分类。 在我们的适应中，虽然实例由 CNN 编码，但标签由独热编码表示。

SNAIL

SNAIL Mishra 等人 (2018) 是一种元学习模型，它利用时态卷积神经网络和注意力模块从过去的经验中快速学习。 SNAIL 将所有支持实例-标签对排列成一个序列，并将查询实例附加到它们后面。 这种顺序与学习过程的时间顺序一致，在对未标记的实例进行预测之前，我们通过阅读支持实例来学习信息。 然后，沿序列执行时间卷积（一维卷积）以聚合不同时间步长的信息，并且在序列上使用因果掩蔽注意模型以聚合来自前一个实例的有用信息到后面的实例。

原型网络

原型网络 Snell et al. (2017) 是一种少样本分类模型，其基于每个类别都存在一个原型的假设。 该模型试图从支持实例中找到类别的原型，并在某个距离度量下比较查询实例与每个原型之间的距离。 Prototypical network learns a embedding function $u$ to embed each class’s instances, and computes each prototype by averaging over all the output embeddings of instances in the support set $𝒮$ that are labeled with the corresponding class.

4 结果分析与未来工作

我们在表 4 中报告了评估结果。 从我们的初步实验中，带有少样本学习方法的 PCNN 的性能比 CNN 差 3-10 个百分点，因此在我们的实验结果中仅显示了 CNN 的结果。 从结果来看，我们观察到将少样本学习方法集成到 CNN 中，其性能明显优于使用微调或 kNN 的 CNN/PCNN，这意味着为 RC 适应少样本学习方法很有前景。 然而，它们的表现与人类之间仍然存在巨大的差距，这意味着我们的数据集对于关系分类和少样本学习来说都是一个具有挑战性的测试平台。

Sentence	Reasoning
Chris Bohjalian graduated from Amherst College Summa Cum Laude, where he was a member of the Phi Beta Kappa Society.	Simple Pattern
James Alty obtained a 1st class honours (Physics) at Liverpool University.	Common-sense Reasoning
He was a professor at Reed College, where he taught Steve Jobs, and replaced Lloyd J. Reynolds as the head of the calligraphy program.	Logical Reasoning
He and Cesare Borgia were thought to be close friends since childhood, going on to accompany one another during their studies at the University of Pisa.	Co-reference Reasoning

表 5： 来自关系“educated_at”的示例。 不同的颜色表示不同的实体，蓝色 表示头部实体，红色 表示尾部实体。

在本文中，我们提出了一种新的、大型且高质量的数据集 FewRel，用于少样本关系分类任务。 该数据集为 RC 提供了一个新的视角，也为少样本学习提供了一个新的基准。 通过对不同少样本学习方法的评估，我们发现即使是最好的模型也比人类表现差很多，这表明少样本学习方法还有很大的改进空间。

我们数据集最具挑战性的特点是表达相同关系的多样性。 我们在表 5 中提供了一些 FewRel 的例子，展示了对某些实例进行分类所需的不同的推理模式。 未来研究可以考虑整合常识知识或改进因果模块。

致谢

本工作得到国家自然科学基金（NSFC，项目编号： 61572273, 61532010）的支持。 本工作还得到国家自然科学基金（NSFC）和德国研究基金会（DFG）在项目跨模态学习中的资助，项目编号为 NSFC 61621136008 / DFC TRR-169。 朱浩得到清华大学“科学研究计划”的支持。 感谢所有标注员的辛勤工作。 我们也感谢清华大学自然语言处理实验室的所有成员在标注员招募方面给予的大力支持。