20世纪90年代，恒定误差轮播和门控作为长短期记忆（LSTM）的中心思想被引入。从那时起，LSTM 经受住了时间的考验，并为许多深度学习的成功案例做出了贡献，特别是它们构成了第一个大型语言模型 (LLM)。然而，以并行自注意力为核心的 Transformer 技术的出现标志着一个新时代的到来，其规模超过了 LSTM ...
机器学习研究前所未有的步伐带来了令人难以置信的进步，但也带来了严峻的挑战。目前，该领域缺乏强有力的理论基础，许多重要成就源于临时设计选择，这些设计选择在原则上很难证明其合理性，其有效性往往无法解释。研究债务不断增加，许多论文被发现无法重现 ...
大型语言模型（LLM）在各种任务中表现出了卓越的能力，但它们在复杂逻辑推理任务中的表现仍然不能令人满意。虽然一些提示方法，例如Chain-of-Thought，可以在一定程度上提高LLM的推理能力，但它们存在不忠实的问题，即得出的结论可能与生成的推理链不一致。为了解决这个问题，一些研究采用命题逻辑的方法来进一步增强 LLM 的逻辑推理能力 ...
检索增强生成（RAG）是一种将外部上下文信息与大型语言模型（LLM）集成以提高事实准确性和相关性的范式，已成为生成人工智能的关键领域。 RAG申请中使用的 LLM 需要忠实、完整地理解所提供的上下文和用户的问题，避免产生幻觉，处理无法回答、反事实或其他低质量和不相关的上下文，执行复杂的多跳推理并产生可靠的引文。在本文中，我们介绍了 SFR-RAG，这是一种小型 LLM ，经过指令调整，重点是基于上下文的生成和幻觉最小化 ...
LLM 是检索增强生成（RAG）系统的组成部分。虽然许多研究侧重于评估端到端 RAG 系统的质量，但缺乏了解 LLM 对于 RAG 任务的适当性的研究。因此，我们引入了一个新的指标——信任评分，它可以对 RAG 框架中 LLM 的可信度进行整体评估 ...
搜索增强生成（RAG）是一种用于在不改变底层模型参数的情况下使用上下文相关、时间关键或特定领域信息来增强大型语言模型（LLM）的技术。然而，构建能够从大量且有效地进行多样化的文档中合成信息的RAG系统仍然是一个重大挑战。我们为LLM引入了一种新颖的以数据为中心的RAG工作流程，将传统的检索和读取系统转变为更先进的准备和重整写作然后搜索然后读取框架，以实现更高领域专家级的理解知识库... ...
大型语言模型（LLM）为自适应智能代理的发展做出了巨大贡献，并被定位为实现通用人工智能（AGI）的重要途径。然而， LLM 很容易产生事实上不正确的信息，并且经常产生破坏其可靠性的“幻影”内容，这对其在现实场景中的部署构成了严峻的挑战。通过结合外部数据库和信息检索机制来增强 LLM 是一条有效的途径 ...
自2022年底ChatGPT上线以来，以ChatGPT为代表的生成对话模型迅速成为日常生活中必不可少的工具。随着用户期望的提高，增强生成对话模型解决复杂问题的能力已成为当前研究的重点。本文深入研究了 RAFT（检索增强微调）方法在提高生成对话模型性能方面的有效性 ...
在语言建模领域，使用检索组件增强的模型已成为解决自然语言处理 (NLP) 领域面临的若干挑战的有前景的解决方案，包括知识基础、可解释性和可扩展性。尽管主要关注 NLP，但我们认为检索增强的范式可以扩展到更广泛的机器学习 (ML) 领域，例如计算机视觉、时间序列预测和计算生物学。因此，这项工作通过综合 ML 各个领域的文献以及当前文献中缺少的一致符号，引入了这种范式的正式框架，即检索增强机器学习 (REML) ...
近年来，自然语言处理（NLP）在聊天机器人、文本生成和语言翻译等各种人工智能（AI）应用中发挥了重要作用。大型语言模型（LLM）的出现极大地提高了这些应用程序的性能，在语言理解和生成方面显示出惊人的结果。然而，它们仍然表现出一些缺点，例如幻觉和缺乏特定领域的知识，影响了它们在现实世界任务中的表现 ...