大型语言模型 (LLM) 在许多自然语言理解和生成任务中表现出了卓越的能力。然而，个性化问题仍然是一个令人垂涎的属性，特别是当涉及对话系统中涉及的多个来源时。为了更好地规划和整合多个来源的使用来生成个性化响应，我们首先将其分解为三个子任务：知识源选择、知识检索和响应生成 ...
尽管大型语言模型已经实现了令人印象深刻的零样本能力，但巨大的模型尺寸通常会带来高昂的成本。最近，半参数语言模型通过外部检索器增强了较小的语言模型，已经展示了有前途的语言建模能力。然而，目前尚不清楚这种半参数语言模型在下游任务的零样本泛化方面是否能够与全参数语言模型相比表现得更好 ...
检索问答（ReQA）任务采用检索增强框架，由检索器和生成器组成。生成器根据检索器检索到的文档制定答案。将大型语言模型 (LLM) 合并为生成器是有益的，因为它们具有先进的 QA 功能，但它们通常太大，无法在预算限制下进行微调，而其中一些只能通过 API 访问 ...
虽然大型语言模型（LLM）在文本生成和问答方面表现出色，但它们在人工智能法律和政策方面的有效性受到过时的知识、幻觉和复杂环境中推理不足的限制。检索增强生成（RAG）系统通过集成外部知识来提高响应准确性，但面临检索错误、上下文集成不良和成本高昂的问题，特别是在解释定性和定量人工智能法律文本时。本文介绍了一种专为人工智能法律和政策量身定制的混合参数自适应 RAG (HyPA-RAG) 系统，以纽约市地方法 144 (LL144) 为例 ...
大型语言模型 (LLM) 可以很好地泛化各种语言任务，但会出现幻觉和不可解释性，因此在没有事实依据的情况下很难评估其准确性。人们提出了检索增强生成（RAG）模型来减少幻觉并为答案的生成方式提供依据。将此类模型应用于科学文献可以实现科学知识的大规模、系统化处理 ...
Fusion-in-Decoder (FiD) 是一种有效的检索增强语言模型，适用于各种开放域任务，例如问答、事实检查等。在 FiD 中，首先检索支持段落，然后使用生成模型进行处理模型（Reader），这可能会导致解码时间的严重瓶颈，特别是在长输出的情况下。在这项工作中，我们分析了所有检索到的段落对阅读器模型性能的贡献和必要性，并建议在标记级别消除一些检索到的信息，这些信息可能不会为答案生成过程提供重要信息 ...
大型语言模型 (LLM) 在广泛的任务中表现出了卓越的结果，而检索增强生成 (RAG) 是通过定位相关信息并将其放入 LLM 的上下文窗口来提高性能的有效方法。然而，RAG 中的猎犬和 LLM 之间的关系仍未得到充分研究。大多数现有工作将检索器和 LLM 视为独立的组件，并在检索人类“友好”信息和组装 LLM “友好”上下文之间留下了差距 ...
检索增强语言模型（RALM）代表了大型语言模型功能的重大进步，特别是在通过利用外部知识源减少事实幻觉方面。然而，检索到的信息的可靠性并不总是得到保证。检索不相关的数据可能会导致错误的响应，并可能导致模型忽视其固有知识，即使它拥有足够的信息来解决查询 ...
我们提出了一项关于长格式问答的检索增强语言模型（LM）的研究。我们通过比较使用相同证据文档时模型生成的答案来分析检索增强如何影响不同的 LM，以及不同质量的检索文档集如何影响同一 LM 生成的答案。我们研究生成答案的各种属性（例如 ...
检索增强生成 (RAG) 是开放域问答 (ODQA) 的最新进展。 RAG 仅使用基于维基百科的外部知识库进行了培训和探索，并未针对医疗保健和新闻等其他专业领域的使用进行优化。在本文中，我们评估了 RAG 的检索器和生成器组件联合训练对 ODQA 中域适应任务的影响 ...