我们专注于人与人之间的交互任务（可选地与对象交互）。我们提出了一项名为在线全身运动反应合成的新任务，它根据人类演员的动作生成人形反应。之前的工作只关注没有物体的人机交互，并在没有手的情况下产生身体反应 ...
本文提出了一种使用最多 70 亿个参数的轻量级大型语言模型 (LLM) 为机器人生成行为树的新颖方法。该研究表明，在特定数据集上进行微调时，紧凑的 LLM 可以获得令人满意的结果。这项研究的主要贡献包括使用 GPT-3 基于现有行为树创建微调数据集 ...
大型语言模型（LLM）已被广泛用于执行复杂的机器人任务。然而，处理任务期间的外部干扰仍然是一个公开的挑战。本文提出了一种基于 LLM 和行为树（BT）来实现机器人机器人任务的新方法... ...
Anglican 是一个概率编程系统，旨在与 Clojure 和其他 JVM 语言进行互操作。我们介绍了 Anglican 编程语言，概述了我们的设计选择，并深入讨论了 Anglican 语言和运行时的实现，包括基于宏的编译、基于扩展 CPS 的评估模型以及概率范式的函数表示，例如分布、随机过程和推理算法。我们证明，概率函数式语言可以有效地实现，并与传统函数式语言紧密集成，只需适度的计算开销 ...
本文解决了预测 3D 人机交互 (HOI) 的新任务。大多数现有的 HOI 合成研究缺乏与动态物体（例如物体）的全面全身交互 ...
由于形态相似，人形机器人非常适合人类栖息地，但为它们开发控制器是一项具有挑战性的任务，涉及多个子问题，例如控制、规划和感知。在本文中，我们介绍了一种简化控制器设计的方法，使用户能够使用自然语言命令训练和微调机器人控制策略。我们首先学习一种神经网络策略，通过结合大型语言模型 (LLM)、运动重定向和运动模仿，在给定自然语言命令的情况下生成行为，例如“向前走” ...
基础模型在监督和自监督学习问题中表现出了令人印象深刻的适应性和可扩展性，但到目前为止，这些成功尚未完全转化为强化学习（RL）。在这项工作中，我们证明了大规模训练 RL 代理会产生一种通用的上下文学习算法，该算法可以像人类一样快速地适应开放式新颖的具体 3D 问题。在广阔的环境动态空间中，我们的自适应代理（AdA）展示了即时假设驱动的探索，有效利用所获得的知识，并且可以成功地通过第一人称演示进行提示 ...
3d场景理解因其广泛的应用而受到广泛关注。然而，现有的，3d场景理解方法仅限于特定的下游任务，这阻碍了它们在实际应用中的实用性。本文提出了chat-3d，它结合了预训练的3d表示的3d视觉感知能力和高级llm令人印象深刻的推理和对话能力，实现了第一个3d3d场景的通用对话系统... ...
当今人工智能产品的一个主要驱动力是，当语言模型的参数集和训练语料库扩大时，新的技能就会出现。人们对这种现象知之甚少，并且通过基于梯度的训练的数学分析来进行机械解释似乎很困难。当前的论文采用了不同的方法，使用著名的（和经验的） LLM 缩放定律和简单的统计框架来分析涌现 ...
在本文中，我们感兴趣的是对典型家庭中发生的复杂活动进行建模。我们建议使用程序，即 ...