数据增强是一系列通过操纵现有数据样本生成高质量人工数据的技术。通过利用数据增强技术，人工智能模型可以显着提高涉及稀缺或不平衡数据集的任务的适用性，从而大幅增强人工智能模型的泛化能力。现有文献调查仅关注某类特定模态数据，并从特定模态和以操作为中心的角度对这些方法进行分类，缺乏对跨多种模态的数据增强方法的一致总结，限制了对现有数据样本如何服务的理解数据增强过程 ...
检索增强生成（RAG）已成为自然语言处理领域的一项关键创新，通过结合外部信息检索来增强生成模型。然而，由于 RAG 系统的混合结构和对动态知识源的依赖，评估 RAG 系统带来了明显的挑战。因此，我们加强了广泛的调查，并提出了 RAG 系统基准的分析框架，RAGR（检索、生成、附加要求），旨在通过关注可测量的输出和既定事实来系统地分析 RAG 基准 ...
向量是通用的数学对象，可以表示文本、图像、语音或这些数据模式的混合。无论数据是由手工制作的特征还是学习的嵌入表示，这种情况都会发生。收集足够多的此类向量，检索问题就变得紧迫相关：查找与查询向量更相似的向量 ...
基于双编码器或交叉编码器架构的监督排序方法在多阶段文本排序任务中取得了成功，但它们需要大量的相关性判断作为训练数据。在这项工作中，我们提出了具有大型语言模型（LRL）的Listwise Reranker，它在不使用任何特定于任务的训练数据的情况下实现了强大的重新排序有效性。与现有的逐点排序方法不同，LRL 直接对给定的候选文档生成一个重新排序的文档标识符列表 ...
模型算法的进步、可扩展的基础模型架构以及充足的高质量数据集的可用性促进了人工智能生成内容（AIGC）的发展。尽管 AIGC 取得了令人瞩目的表现，但它仍然面临着挑战，例如难以维护最新的长尾知识、数据泄露的风险以及与训练和推理相关的高成本。检索增强生成（RAG）最近成为解决此类挑战的范例 ...
检索增强大语言模型（LLM）利用信息检索系统检索到的相关内容来生成正确的响应，旨在缓解幻觉问题。然而，现有的检索器-响应器方法通常将相关文档附加到 LLM 的提示中以执行文本生成任务，而没有考虑检索到的文档与 LLM 之间细粒度结构语义的交互。这个问题对于准确生成响应尤其重要，因为 LLM 在处理用冗长文档增强的输入提示时往往会“中途失败” ...
信息分块是检索增强生成 (RAG) 的关键步骤。目前的研究主要集中在段落级分块上。这种方法将所有文本视为平等，并忽略了文档结构中包含的信息 ...
FinanceBench 是首创的测试套件，用于评估 LLM 在开卷财务问答 (QA) 方面的表现。它包含 10,231 个有关上市公司的问题，以及相应的答案和证明字符串。 FinanceBench 中的问题在生态上是有效的的，并且讲述了多个场景... ...
检索增强生成（RAG）系统已被积极研究并部署在各个行业中，以查询特定领域的知识库。然而，由于缺乏特定领域的查询和相应的基本事实，以及缺乏诊断失败案例原因的系统方法（无论它们是源于知识缺陷还是与系统相关的问题），评估这些系统提出了独特的挑战鲁棒性。为了应对这些挑战，我们引入了 GRAMMAR（RAG 评估的基础模块化方法），这是一个评估框架，包含两个关键要素：1）利用关系数据库和 LLM 有效生成可扩展查询-答案对的数据生成过程 ...
在本文中，我们演示了大型语言模型 (LLM) 如何有效地学习使用现成的信息检索 (IR) 系统，特别是当需要额外的上下文来回答给定问题时。考虑到 IR 系统的性能，问答的最佳策略并不总是需要外部信息检索；相反，它通常涉及利用 LLM 本身的参数记忆。先前的研究已经在 PopQA 数据集中发现了这种现象，其中最流行的问题可以使用 LLM 的参数内存来有效解决，而不太流行的问题则需要使用 IR 系统 ...