大型语言模型（LLM）很聪明，但很健忘。最近的研究（例如 ...
检索增强生成（RAG）系统是大型语言模型（LLM）在业界的广泛应用。虽然存在许多工具使开发人员能够构建自己的系统，但使用反映系统用例的数据集在本地测量其性能是一项技术挑战。该问题的解决方案范围从非特定且廉价（大多数公共数据集）到特定且昂贵（从本地文档生成数据） ...
尽管最近的语言模型在各种任务上取得了巨大成功，但在可用训练数据有限的资源匮乏环境中，它们的性能严重下降。许多现有的工作通过从训练数据生成合成数据，然后在其上训练模型来解决这个问题，最近使用了大型语言模型（LLM）。然而，在资源匮乏的环境中，用于数据增强的种子数据样本量非常小，这使得生成的样本不是最优的且多样性较差 ...
检索增强方法通过利用外部资源的有用信息来支持下游任务，受到越来越多的关注。最近的研究主要集中在探索检索来解决知识密集型（KI）任务。然而，大多数非知识密集型（NKI）任务的检索潜力仍未得到充分开发 ...
给定文本段落和答案，人类能够用各种表达方式提出问题，但这种能力对于大多数问题生成（QG）系统来说仍然具有挑战性。现有的解决方案主要关注给定段落内的内部知识或语义词空间，以进行多样化的内容规划。然而，这些方法没有考虑外部知识对于表达多样性的潜力 ...
词汇和语义匹配通常用作信息检索的相关性度量。他们一起估计查询和候选之间的语义等价性。然而，语义等价并不是检索多跳问题的证据时需要考虑的唯一相关性信号 ...
密集检索已成为在开放域 NLP 任务中获取相关上下文或世界知识的重要方法。当我们在推理时在检索语料库上使用学习的密集检索器时，经常被忽视的设计选择是对语料库进行索引的检索单元，例如 ...
检索增强生成（RAG）旨在增强大型语言模型（LLM），借助从外部知识源检索到的上下文生成更准确、更可靠的答案，从而减少幻觉的发生率。尽管取得了进步，但由于以下问题，评估这些系统仍然是一个重要的研究领域：（1）数据多样性有限：知识源和查询类型的多样性不足限制了 RAG 系统的适用性； (2)问题定位模糊：现有评估方法难以定位RAG管道中出现问题的阶段； (3)检索评估不稳定：这些方法往往无法有效评估检索性能，特别是当分块策略发生变化时。为了应对这些挑战，我们提出了一个综合全链评估（CoFE-RAG）框架，以促进对整个 RAG 管道的彻底评估，包括分块、检索、重新排名和生成 ...
标准语言模型通过从固定、有限和独立的词汇表中选择标记来生成文本。我们引入了一种新颖的方法，可以从支持文档集合中选择上下文感知短语。这种范式转变最重大的挑战之一是确定训练预言，因为可以以各种方式对文本字符串进行分段，并且可以从许多可能的文档中检索每个分段 ...
检索增强生成（RAG）框架通过引用外部知识在开放域问答任务上展示了最先进的性能。然而，当 RAG 系统被提供低相关性的上下文或输入上下文之间的相对相关性评估不准确时，它会面临性能下降的挑战。在这项工作中，我们提出了一个 RE-RAG 框架，它将显式上下文相关性估计器 (RE) 注入到 RAG 系统中 ...