交互式数字代理(IDAS)利用了状态数字环境的API来响应用户请求执行任务。尽管由指导调整的大型语言模型(LLM)提供支持的IDA可以对多步交流中接口调用的反馈做出反应,但尚未在各自的数字环境中接受过培训。先前的方法在复杂的基准(例如AppWorld)中完成了不到一半的任务 ...
当前的大多数AI模型几乎无法存储并以后检索其所做工作的记录或表示形式。在人类的认知中,情节记忆在过去的回忆中都起着重要的作用,并为未来计划。形成和使用情节记忆的能力同样可以使与世界上互动并采取行动的AI代理中的广泛提高能力 ...
人工智能(AI)的快速演变已从静态,数据驱动的模型转变为能够感知和与现实环境互动的动态系统。尽管在模式识别和象征性推理方面取得了进步,但当前的AI系统(例如大型语言模型)仍然被忽视,无法与世界物理互动。这种局限性驱动了体现AI的兴起,在这种情况下,诸如人形机器人之类的自主代理必须用类似人类的适应性来浏览和操纵非结构化环境 ...
预先训练和冷冻的大型语言模型(LLMS)可以通过适当的少量示例提示有效地将简单的场景重排指令映射到机器人的视觉运动功能上的程序。要解析开放域的自然语言并适应用户的特质程序,在及时的工程时间内未知,固定提示不足。在本文中,我们介绍了一个具有语言编程对的外部记忆的体现的代理人,通过检索授权的LLM提示,将自由形式的人类机器人对话解析为动作程序:根据当前的对话,指导,校正,校正或VLM描述,并用作内部内 ...
由大语言模型(LLM)授权的体现的代理在家庭对象重新安排任务中表现出很强的表现。但是,这些任务主要集中于与简化说明的单转交互,这并不能真正反映出向用户提供有意义帮助的挑战。为了提供个性化的帮助,具体的代理必须了解用户将用户分配给物理世界的独特语义(e ...
化合物AI系统的快速上升(又名 ...
随着大语言模型(LLM)的推理能力继续推进,基于LLM的代理系统在灵活性和可解释性方面具有比传统系统的优势,从而吸引了越来越多的关注。但是,尽管代理系统的研究兴趣和工业应用普遍存在,但这些系统(如传统的同行)经常遇到异常。这些异常导致不稳定和不安全感,阻碍了他们的进一步发展 ...
自动化程序维修已成为一种强大的技术,可以减轻软件错误对系统可靠性和用户体验的影响。本文介绍了修复程序,这是通过基于大语言模型(LLM)的自主代理来应对计划维修挑战的第一项工作。与现有的基于深度学习的方法不同,该方法促使具有固定提示或固定反馈循环的模型,我们的工作将LLM视为能够自主计划和执行操作以通过调用合适工具来修复错误的代理 ...