动态检索增强生成（RAG）范式主动决定在大型语言模型（LLM）的文本生成过程中检索何时以及检索什么。该范例有两个关键要素：确定激活检索模块的最佳时刻（决定何时检索）以及在触发检索后制定适当的查询（确定检索什么）。然而，当前的动态 RAG 方法在这两方面都存在不足。首先，决定何时检索的策略通常依赖于静态规则。此外，决定检索内容的策略通常仅限于 LLM 最近的句子或最后几个标记，而 LLM 的实时信息需求可能跨越整个上下文。为了克服这些限制，我们引入了一个新的框架，DRAGIN，即基于 LLM 实时信息需求的动态检索增强生成。我们的框架专门设计用于根据 LLM 在文本生成过程中的实时信息需求来决定检索的时间和内容。我们在 4 个知识密集型生成数据集上全面评估 DRAGIN 以及现有方法。实验结果表明，DRAGIN 在所有任务上都取得了优异的性能，证明了我们方法的有效性。我们已经开源了 GitHub 中的所有代码、数据和模型：这个 https URL ...
尽管大型语言模型 (LM) 具有非凡的理解和生成语言的能力，但它们容易产生幻觉并产生与事实不准确的输出。通过从外部知识资源检索信息来增强语言模型是一种有前景的解决方案。大多数现有的检索增强型语言模型都采用检索并生成设置，仅根据输入检索信息一次。然而，在涉及长文本生成的更一般场景中，这是有限的，在整个生成过程中不断收集信息至关重要。在这项工作中，我们提供了主动检索增强生成的概括视图，即在生成过程中主动决定何时检索以及检索什么内容的方法。我们提出了前瞻性主动检索增强生成（FLARE），这是一种通用方法，它迭代地使用对即将到来的句子的预测来预测未来的内容，然后将其用作查询来检索相关文档以重新生成句子（如果它包含低置信度标记）。我们在 4 个长篇知识密集型生成任务/数据集上全面测试 FLARE 和基线。 FLARE 在所有任务上都取得了优异或有竞争力的表现，证明了我们方法的有效性。代码和数据集可从此 https URL 获取 ...
最近对KGS建立基础模型的兴趣强调了一个基本挑战：知识图数据相对稀缺。最著名的kg主要是人体标记，通过图案匹配或使用早期NLP技术提取。尽管人类生成的公斤供应不足，但自动提取的kg质量值得怀疑 ...
现有的信息检索系统在很大程度上受到依赖向量内积来评估查询文档相关性的限制，这自然限制了它们可以产生的相关性得分的表达能力。我们提出了一个新的范式；我们没有将查询表示为向量，而是使用一个小型神经网络来充当学习的特定于查询的相关性函数。这个小型神经网络将文档表示作为输入（在这项工作中我们使用单个向量）并生成标量相关性得分 ...
这项工作探讨了超网络：一种使用一个网络（也称为超网络）来生成另一个网络权重的方法。超网络提供了类似于自然界中的抽象概念：基因型（超网络）和表型（主网络）之间的关系。尽管它们也让人想起进化中的 HyperNEAT，但我们的超网络是通过反向传播进行端到端训练的，因此通常速度更快 ...
检索增强生成（RAG）已成为为大型语言模型（LLM）配备外部知识的基础范例，在信息检索和知识密集型应用中发挥着关键作用。然而，传统的 RAG 系统通常采用静态检索然后生成管道，并依赖于上下文知识注入，这对于需要多跳推理、自适应信息访问和外部知识更深入集成的复杂任务来说可能不是最佳选择。受这些限制的推动，研究界已经超越了静态检索和上下文知识注入 ...
广义知识图（GKG）的构建，包括知识图，事件知识图和常识知识图，对于各种自然语言处理任务至关重要。当前的研究通常分别构建这些类型的图形，忽略了整体见解和潜在统一，这可能对计算资源和使用观点有益。但是，开发GKG统一框架的主要挑战是特定于任务的差异引起的障碍 ...
大语言模型（LLM）中的多模式推理与不完整的知识和幻觉伪像斗争，挑战文本知识图（kgs）仅由于其模态隔离而部分缓解。尽管多模式知识图（MMKGS）有望增强跨模式的理解，但它们的实际结构受到了手动文本注释和视觉声音实体链接中固有噪声的语义狭窄的影响。在本文中，我们提出了视觉对语言对语言的综合知识图（Valik），这是一种构建MMKGS的新方法，可通过补充跨模式信息来增强LLMS推理 ...
医学文献的迅速扩展提出了越来越多的挑战，可以大规模构建和整合领域知识。知识图（KGS）通过实现有效的检索，自动推理和知识发现提供了有希望的解决方案。但是，当前的KG施工方法通常依靠有限的可推广性或来自大型语言模型（LLM）的综合产量的监督管道，将生物医学语料库视为静态的，而忽略了不断发展的知识的时间动态和上下文不确定性 ...
图形学习的最新进展为利用图形数据中固有的关系结构的创新检索生成（RAG）系统铺平了道路。但是，许多现有的方法都遭受了严格的，固定的设置和大量的工程开销，从而限制了它们的适应性和可扩展性。此外，RAG社区在很大程度上忽略了图数据库社区中有关大规模图上有趣的子结构的有效检索的数十年研究 ...