为了有效的人类机器人互动,机器人需要理解,计划和执行由自然语言描述的复杂,长途任务。大型语言模型(LLM)的最新进展已显示出将自然语言转化为复杂任务的机器人动作序列的希望。但是,现有方法要么将自然语言直接转化为机器人轨迹,要么通过将语言分解为任务子目标并依靠运动计划者来执行每个子目标来考虑推理过程 ...
利用大型语言模型(LLM),自主代理人已显着提高,从而获得了处理各种任务的能力。在开放式设置中,优化协作提高效率和有效性需要灵活的调整。尽管如此,目前的研究主要强调固定的,面向任务的工作流程,并忽略了以代理为中心的组织结构 ...
在本文中,我们调查了体现多代理合作的问题,在这个世界上只有以自我为中心的观点,分散的代理人必须合作。为了在这种情况下有效地计划,与在单一代理方案中学习世界动态相比,我们必须模拟以任意数量的代理行动为条件的世界动力学,仅在只有部分中心的世界视觉观察到世界上。为了解决该部分可观察性问题,我们首先训练生成模型,以估计以部分自我为中心的观察结果 ...
异质的多机器人系统(HMR)已成为解决单个机器人无法单独管理的复杂任务的强大方法。当前的基于大型模型的多代理系统(基于LLM的MAS)在软件开发和操作系统等领域表现出了成功,但是将这些系统应用于机器人控制提出了独特的挑战。特别是,多机器人系统中每个代理的功能与机器人的物理组成固有地息息相关,而不是预定义的角色 ...
基于聊天的提示以详细的线性序列文本做出响应,使探索和完善模棱两可的意图,备份和重新诠释或移动方向在创意AI辅助设计工作中。而是通过三个关键原则体现“提示”作为接口对象的“提示”:(1)将用户大量的重新介绍为可重复使用的直接操作仪器; (2)反映模棱两可的用户体内的多种解释(体重反射)以及AI模型响应的范围(反应反应反应),以告知设计“移动”到所需的结果; (3)接地以直接从另一个乐器中实例化仪器, ...
由于雨条带和现场雨水积累效应引入的背景降解,雨天场景中的光流估计是具有挑战性的。降雨积累效果是指由于强烈的降雨,远程物体的可见性不佳。当应用于雨序列时,大多数现有的光流方法是错误的,因为在这种情况下,常规的亮度构成约束(BCC)和梯度恒定限制(GCC)通常会分解 ...
由大型语言模型提供动力的AI代理越来越能够使用外部工具自主完成复杂的多步骤任务。然而,它们在大多数领域的人类水平表现仍然不足,包括计算机使用,软件开发和研究。他们日益增长的自主权和与外界互动的能力,还引入了安全和保障风险,包括潜在的行动和对抗性操纵 ...
在最近的研究中,已证明与较大的对称性相对的特征已被证明具有更大的歧视性和功能。但是,高阶模棱两可的功能通常具有成倍增长的计算成本。此外,它仍然相对较少探讨如何利用旋转等值功能来解决3D形状对准任务 ...