考虑到内部参数知识有限，检索增强生成（RAG）已被广泛用于扩展大型语言模型（LLM）的知识范围。尽管在RAG研究上做出了广泛的努力，但在现有方法中， LLM 无法精确评估检索到的文档的相关性，因此可能导致外部知识（即外部知识）的误导甚至不正确的利用 ...
检索增强生成（RAG）作为补偿大型语言模型（LLM）参数知识的一种手段，在开放域问答（ODQA）任务中受到了广泛关注。虽然以前的方法侧重于处理检索到的段落以删除不相关的上下文，但它们仍然严重依赖检索到的段落的质量，如果问题不明确或复杂，检索到的段落的质量可能会降低。在本文中，我们提出了一种简单而有效的方法，称为通过 LLM 进行问题和段落增强，用于开放域 QA ...
最近出现的医学大视觉语言模型（Med-LVLM）增强了医学诊断。然而，当前的 Med-LVLM 经常遇到事实问题，常常产生与既定医学事实不符的反应。利用外部知识的检索增强生成（RAG）可以提高这些模型的事实准确性，但带来了两个主要挑战 ...
检索增强生成（RAG）显着提高了大型语言模型（LLM）解决知识密集型任务的能力。虽然现有研究试图通过检索更高质量的文档或设计 RAG 特定的 LLM 来提高 RAG 性能，但 LLM 内有助于 RAG 系统有效性的内部机制仍未得到充分探索。在本文中，我们的目标是研究流行的基于专家混合 (MoE) 的 LLM 中的这些内部机制，并演示如何通过检查这些 LLM 中的专家激活来改进 RAG ...
检索增强生成（RAG）在利用与用户查询相关的检索文档提升大型语言模型（LLM）的知识能力方面表现出出色的性能。然而，RAG只关注通过不加区别地利用检索到的信息增强查询来提高LLM的响应质量，而很少关注LLM真正需要什么类型的知识来更准确地回答原始查询。在本文中，我们认为长尾知识对于 RAG 至关重要，因为 LLM 在大规模预训练期间已经记住了常见的世界知识 ...
在计算广告领域，将广告集成到大型语言模型 (LLM) 的输出中提供了在不损害内容完整性的情况下支持这些服务的机会。本文介绍了利用检索增强生成（RAG）在 LLM 文本输出中进行广告分配和定价的新颖拍卖机制。我们提出了分段拍卖，其中根据其出价和相关性，遵循 RAG 框架，为每个话语分段（段落、部分或整个输出）概率检索广告，并根据竞争出价定价 ...
检索增强生成（RAG）已在许多场景中应用，以利用检索器提供的外部文档来增强大型语言模型（LLM）。然而，由于训练目标和架构的差异， LLM 和检索器之间存在语义差距。这种不一致迫使 LLM 被动接受检索者提供的文档，导致生成过程中的不理解， LLM 肩负着利用其固有知识区分这些文档的任务 ...
尽管大型语言模型 (LLM) 在不同的应用程序中具有令人印象深刻的功能，但它们仍然存在可信度问题，例如幻觉和错位。检索增强语言模型（RAG）已被提出来通过基于外部知识来提高世代的可信度，但对其世代风险的理论理解仍有待探索。在本文中，我们回答：1）RAG 是否确实可以降低发电风险，2）如何为 RAG 和普通 LLM 的发电风险提供可证明的保证，3）什么充分条件使 RAG 模型能够降低发电风险 ...
随着预训练技术的快速发展，多种语言模型已经在大规模代码语料库上进行了预训练，并且在代码生成方面表现良好。在本文中，我们研究如何为预训练的语言模型配备私有库的代码生成能力。在实践中，程序员使用私有库编写代码是很常见的 ...
通过利用外部数据库，对具有检索功能的自回归大型语言模型（LLM）进行预训练展示了更好的困惑度和事实准确性。然而，现有的预训练检索增强 LLM 的规模仍然有限（例如 ...