事实证明，结合语言和低级控制的分层策略可以通过利用预训练语言和视觉语言模型（LLM/VLM）等零样本高级规划器或在带注释的模型上训练的模型来执行令人印象深刻的长期机器人任务。机器人演示。然而，对于复杂而灵巧的技能来说，在长期任务中获得高成功率仍然是一个重大挑战——任务越长，某些阶段失败的可能性就越大。人类能否通过直观、自然的反馈帮助机器人不断提高其长期任务表现？在本文中，我们做出以下观察：索引到足够丰富和富有表现力的低级语言条件技能的高级策略可以很容易地通过语言纠正形式的人类反馈进行监督 ...
我们提出了 CAJun，一种新颖的分层学习和控制框架，使腿式机器人能够以自适应跳跃距离连续跳跃。 CAJun 由高级质心策略和低级支路控制器组成。特别是，我们使用强化学习（RL）来训练质心策略，该策略指定腿部控制器的步态计时、基本速度和摆动脚位置 ...
从人类演示中进行的模仿学习在机器人技术中表现出了令人印象深刻的表现。然而，大多数结果都集中在桌面操作上，缺乏一般有用任务所需的移动性和灵活性。在这项工作中，我们开发了一种用于模仿双手且需要全身控制的移动操纵任务的系统 ...
现实世界中可扩展的机器人学习受到真实机器人的成本和安全问题的限制。此外，在现实世界中推出机器人轨迹可能既耗时又费力。在本文中，我们建议学习交互式真实机器人动作模拟器作为替代方案 ...
在这项工作中，我们提出了一种基于学习的人形机器人盒子局部操纵方法。这是一个特别具有挑战性的问题，因为需要全身协调才能举起不同重量、位置和方向的箱子，同时保持平衡。为了应对这一挑战，我们提出了一种模拟到真实的强化学习方法，用于训练双足机器人 Digit 的一般盒子拾取和搬运技能 ...
制作一个单一的、多功能的基于物理的控制器，可以为各种场景中的交互式角色注入生命力，代表了角色动画中令人兴奋的前沿。理想的控制器应该支持多种控制模式，例如稀疏目标关键帧、文本指令和场景信息。虽然以前的工作提出了物理模拟、场景感知控制模型，但这些系统主要集中于开发控制器，每个控制器专门负责一组狭窄的任务和控制模式 ...
通过模仿人类数据来学习人形机器人与 3D 场景交互的通用技能是一项关键的研究挑战，对机器人技术和现实世界的应用具有重大影响。然而，现有的方法和基准受到小规模、手动收集的演示的限制，缺乏有效探索场景几何泛化所需的通用数据集和基准支持。为了解决这一差距，我们引入了 Mimicking-Bench，这是第一个综合基准测试，旨在通过模仿大规模人类动画参考来进行通用人形场景交互学习 ...
涉及顺序接触的人形活动对于现实世界中复杂的机器人交互和操作至关重要，传统上通过基于模型的运动规划来解决，该运动规划非常耗时并且通常依赖于简化的动力学模型。尽管无模型强化学习（RL）已成为多功能且强大的全身人形控制的强大工具，但它仍然需要繁琐的特定任务调整和状态机设计，并且在涉及接触序列的任务中遇到长期探索问题。在这项工作中，我们提出了 WoCoCo（具有顺序接触的全身控制），这是一个统一的框架，通过自然地将任务分解为单独的接触阶段来学习具有顺序接触的全身人形控制 ...
本文使现实世界的人形机器人能够在像人类一样执行富有表现力的动作的同时保持稳定性。我们提出了 ExBody2，一个通用的全身跟踪框架，可以接受任何参考运动输入并控制人形机器人模仿运动。该模型通过强化学习进行模拟训练，然后转移到现实世界 ...