考虑到内部参数知识有限,检索增强生成(RAG)已被广泛用于扩展大型语言模型(LLM)的知识范围。尽管在RAG研究上做出了广泛的努力,但在现有方法中, LLM 无法精确评估检索到的文档的相关性,因此可能导致外部知识(即外部知识)的误导甚至不正确的利用 ...

0 0 0 0 2025/01/09 arXiv:2402.17497v2 15966829631

检索增强生成(RAG)作为补偿大型语言模型(LLM)参数知识的一种手段,在开放域问答(ODQA)任务中受到了广泛关注。虽然以前的方法侧重于处理检索到的段落以删除不相关的上下文,但它们仍然严重依赖检索到的段落的质量,如果问题不明确或复杂,检索到的段落的质量可能会降低。在本文中,我们提出了一种简单而有效的方法,称为通过 LLM 进行问​​题和段落增强,用于开放域 QA ...

0 0 0 0 2025/01/09 arXiv:2406.14277v2 15966829631

最近出现的医学大视觉语言模型(Med-LVLM)增强了医学诊断。然而,当前的 Med-LVLM 经常遇到事实问题,常常产生与既定医学事实不符的反应。利用外部知识的检索增强生成(RAG)可以提高这些模型的事实准确性,但带来了两个主要挑战 ...

0 0 0 0 2025/01/09 arXiv:2407.05131v2 15966829631

检索增强生成(RAG)显着提高了大型语言模型(LLM)解决知识密集型任务的能力。虽然现有研究试图通过检索更高质量的文档或设计 RAG 特定的 LLM 来提高 RAG 性能,但 LLM 内有助于 RAG 系统有效性的内部机制仍未得到充分探索。在本文中,我们的目标是研究流行的基于专家混合 (MoE) 的 LLM 中的这些内部机制,并演示如何通过检查这些 LLM 中的专家激活来改进 RAG ...

0 0 0 0 2025/01/09 arXiv:2410.15438v1 15966829631

检索增强生成(RAG)在利用与用户查询相关的检索文档提升大型语言模型(LLM)的知识能力方面表现出出色的性能。然而,RAG只关注通过不加区别地利用检索到的信息增强查询来提高LLM的响应质量,而很少关注LLM真正需要什么类型的知识来更准确地回答原始查询。在本文中,我们认为长尾知识对于 RAG 至关重要,因为 LLM 在大规模预训练期间已经记住了常见的世界知识 ...

0 0 0 0 2025/01/09 arXiv:2406.16367v1 15966829631

在计算广告领域,将广告集成到大型语言模型 (LLM) 的输出中提供了在不损害内容完整性的情况下支持这些服务的机会。本文介绍了利用检索增强生成(RAG)在 LLM 文本输出中进行广告分配和定价的新颖拍卖机制。我们提出了分段拍卖,其中根据其出价和相关性,遵循 RAG 框架,为每个话语分段(段落、部分或整个输出)概率检索广告,并根据竞争出价定价 ...

0 0 0 0 2025/01/09 arXiv:2406.09459v1 15966829631

检索增强生成(RAG)已在许多场景中应用,以利用检索器提供的外部文档来增强大型语言模型(LLM)。然而,由于训练目标和架构的差异, LLM 和检索器之间存在语义差距。这种不一致迫使 LLM 被动接受检索者提供的文档,导致生成过程中的不理解, LLM 肩负着利用其固有知识区分这些文档的任务 ...

0 0 0 0 2025/01/08 arXiv:2406.13249v2 15966829631

尽管大型语言模型 (LLM) 在不同的应用程序中具有令人印象深刻的功能,但它们仍然存在可信度问题,例如幻觉和错位。检索增强语言模型(RAG)已被提出来通过基于外部知识来提高世代的可信度,但对其世代风险的理论理解仍有待探索。在本文中,我们回答:1)RAG 是否确实可以降低发电风险,2)如何为 RAG 和普通 LLM 的发电风险提供可证明的保证,3)什么充分条件使 RAG 模型能够降低发电风险 ...

0 0 0 0 2025/01/08 arXiv:2402.03181v5 15966829631

随着预训练技术的快速发展,多种语言模型已经在大规模代码语料库上进行了预训练,并且在代码生成方面表现良好。在本文中,我们研究如何为预训练的语言模型配备私有库的代码生成能力。在实践中,程序员使用私有库编写代码是很常见的 ...

0 0 0 0 2025/01/07 arXiv:2210.17236v1 15966829631

通过利用外部数据库,对具有检索功能的自回归大型语言模型(LLM)进行预训练展示了更好的困惑度和事实准确性。然而,现有的预训练检索增强 LLM 的规模仍然有限(例如 ...

0 0 0 0 2025/01/06 arXiv:2310.07713v3 15966829631

来一起翻译吧!


为了您和其他读者获得更好的阅读体验,请您在阅读时勇敢地改正翻译,特别是一些显而易见的机器翻译错误。


虽然我们追求卓越,但我们并不要求翻译十全十美,因此请不要担心您翻译有误 —— 我们的服务器已经记录所有的翻译,您不必担心会因为您的失误导致无法挽回的破坏。(改编自维基百科)