我们为多功能代理提出了一个直观的 LLM 提示框架（AgentKit）。 AgentKit 提供了一个统一的框架，用于根据简单的自然语言提示显式构建复杂的“思维过程”。 AgentKit 中的基本构建块是一个节点，其中包含特定子任务的自然语言提示 ...
近年来，随着大型语言模型（LLM）的实力不断增强，人们对将其用作自主代理的基础模型也产生了兴趣。尽管 LLM 展示了跨自然语言领域的新兴能力和广泛的专业知识，但其固有的不可预测性使得 LLM 代理的实施具有挑战性，导致相关研究与此类系统的实际实施之间存在差距。为了弥合这一差距，本文在已建立的应用范例的背景下框架了研究界的可行见解和考虑因素，以实现强大的 LLM 代理的构建和促进明智的部署 ...
本文对当前复制 OpenAI 的 O1 模型功能的方法进行了严格的审查，特别关注广泛但往往未公开的知识蒸馏技术的使用。虽然我们之前的工作探索了 O1 复制的基本技术路径，但这项研究揭示了 O1 API 的简单提炼，与监督微调相结合，如何能够在复杂的数学推理任务上实现卓越的性能。通过大量的实验，我们表明，在美国数学邀请赛 (AIME) 上，仅对数万个样本 O1 蒸馏的长思维链进行微调的基本模型就优于 O1 预览，且技术复杂性最低 ...
近年来，自然语言处理 (NLP) 领域取得了重大进展，特别关注通过创新的提示技术提高大型语言模型 (LLM) 的性能。其中，与结构相结合的即时工程已成为一种有前途的范式，其设计包括思想链、思想树或思想图，其中整体 LLM 推理是由图等结构引导的。正如许多例子所示，这种范式显着增强了 LLM 解决众多任务的能力，从逻辑或数学推理到规划或创意写作 ...
人类拥有创造和利用工具的非凡能力，使他们能够克服身体限制并探索新领域。随着基础模型的出现，人工智能系统有可能像人类一样熟练地使用工具。这个范式，i ...
大型语言模型 (LLM) 预计能够准确响应，但通常会表现出推理缺陷或生成幻觉内容。为了解决这些问题，人们开始进行以“自我”为前缀的研究，例如自我一致性、自我改进和自我完善。它们有一个共同点： LLM 需要自我评估和更新以缓解问题 ...
检索增强生成（RAG）利用检索工具访问外部数据库，从而通过优化上下文来提高大语言模型（LLM）的生成质量。然而，现有的检索方法存在固有的局限性，因为它们只能在明确陈述的查询和格式良好的知识之间进行相关性匹配，而无法处理涉及模糊信息需求或非结构化知识的任务。因此，现有的 RAG 系统主要适用于简单的问答任务 ...
大型语言模型在自然语言处理中无处不在，因为它们无需重新训练即可适应新任务。然而，其庞大的规模和复杂性带来了独特的挑战和机遇，促使研究人员和从业者探索新颖的模型训练、优化和部署方法。本文献综述重点关注减少资源需求和压缩大型语言模型的各种技术，包括量化、剪枝、知识蒸馏和架构优化 ...
检索增强生成（RAG）显着增强了大型语言模型（LLM）处理知识密集型任务的能力。应用场景需求的不断增长推动了RAG的演进，导致高级检索器、LLM等互补技术的集成，这反过来又放大了RAG系统的复杂性。然而，快速的进步超过了基本的RAG范式，许多方法在“搜索然后生成”的过程中难以统一...... ...
深度学习提供了强大的方法来从大规模非结构化文本和图像数据集中推断结构化信息。例如，经济学家可能希望检测卫星图像中经济活动的存在，或者衡量社交媒体、国会记录或公司文件中提到的主题或实体。这篇综述介绍了深度神经网络，涵盖了分类器、回归模型、生成式人工智能和嵌入模型等方法 ...