我们提出了一种轻量级方法来检测检索增强生成（RAG）的非事实输出。给定上下文和假定的输出，我们计算一个事实分数，可以对其进行阈值化以产生二元决策，以检查基于 LLM 的问答、摘要或其他系统的结果。与本身依赖于 LLM 的事实检查器不同，我们使用紧凑的开源自然语言推理 (NLI) 模型，该模型可生成可自由访问的解决方案，在运行时具有低延迟和低成本，并且无需 LLM 微调 ...
尽管大型语言模型 (LLM) 取得了成功，但它们也表现出明显的缺点，特别是在处理长上下文时。它们的推理成本与序列长度呈二次方关系，这使得在某些现实世界的文本处理应用程序（例如检索增强生成（RAG））中部署成本高昂。此外， LLM 还表现出“分心现象”，即提示中不相关的上下文会降低输出质量 ...
在检索增强生成（RAG）中，检索并不总是有帮助，并且将其应用于每条指令也不是最优的。因此，决定是否检索对于RAG来说至关重要，这通常称为Active Retrieval。然而，现有的主动检索方法面临两个挑战：1. ...
大型语言模型的快速发展导致了检索增强生成（RAG）的广泛采用，它整合外部知识来缓解知识瓶颈并减轻幻觉。然而，现有的RAG范式不可避免地受到检索阶段引入的有缺陷信息的影响，从而降低了生成结果的可靠性和正确性。在本文中，我们提出了可信度感知生成（CAG），这是一个普遍适用的框架，旨在减轻 RAG 中缺陷信息的影响 ...
大型语言模型 (LLM) 展示了人类水平的对话、推理和知识保留能力。然而，即使是最先进的 LLM 也面临着幻觉和知识实时更新等挑战。目前的研究通过为 LLM 配备外部知识来解决这一瓶颈，这种技术称为检索增强生成（RAG） ...
用于基于检索的任务的大型语言模型（LLM）的扩展，特别是在检索增强生成（RAG）中，面临着显着的内存限制，特别是在微调大量提示序列时。当前的开源库支持跨多个 GPU 的全模型推理和微调，但无法满足检索上下文所需的有效参数分布。为了解决这一差距，我们引入了一种新颖的框架，利用分布式训练对 Llama-2 模型进行与 PEFT 兼容的微调 ...
随着检索增强生成（RAG）的进步，大型语言模型（LLM）在生物医学领域显示出巨大的潜力。然而，现有的检索增强方法在处理不同的查询和文档方面面临挑战，特别是对于医学知识查询，导致性能不佳。为了解决这些限制，我们提出了一种基于 LLM 的新型即插即用检索方法，称为基于蒙特卡罗树搜索 (MCTS) 和自我奖励范式的自我奖励树搜索 (SeRTS) ...
检索增强生成（RAG）正在成为一种灵活而强大的技术，无需训练即可使模型适应私人用户数据，处理信用归因，并允许大规模高效的机器取消学习。然而，用于图像生成的 RAG 技术可能会导致部分检索到的样本被复制到模型的输出中。为了降低泄露检索到的集合中包含的私人信息的风险，我们引入了带有检索的复制保护生成（CPR），这是一种 RAG 的新方法，在混合私有设置中具有强大的版权保护保证，以便传播此 http URL 允许条件在一组检索到的图像上输出扩散模型，同时还保证有关这些示例的唯一可识别信息不会在生成的输出中暴露 ...
考虑到内部参数知识有限，检索增强生成（RAG）已被广泛用于扩展大型语言模型（LLM）的知识范围。尽管在RAG研究上做出了广泛的努力，但在现有方法中， LLM 无法精确评估检索到的文档的相关性，因此可能导致外部知识（即外部知识）的误导甚至不正确的利用 ...
检索增强生成（RAG）作为补偿大型语言模型（LLM）参数知识的一种手段，在开放域问答（ODQA）任务中受到了广泛关注。虽然以前的方法侧重于处理检索到的段落以删除不相关的上下文，但它们仍然严重依赖检索到的段落的质量，如果问题不明确或复杂，检索到的段落的质量可能会降低。在本文中，我们提出了一种简单而有效的方法，称为通过 LLM 进行问题和段落增强，用于开放域 QA ...