基本信息

大规模数据推动了机器人技术的突破，从语言模型到双手操作中的视觉-语言-动作模型。然而，人形机器人缺乏同样有效的数据收集框架。现有的人形远程操作系统要么使用解耦控制，要么依赖昂贵的动作捕捉设置。我们推出了 TWIST2，这是一种便携式、无动作捕捉的人形远程操作和数据收集系统，可保留完整的全身控制，同时提高可扩展性。我们的系统利用 PICO4U VR 来获取实时的全身人体运动，并配有定制的 2-DoF 机器人颈部（成本约为 250 美元）以实现以自我为中心的视觉，从而实现整体的人机控制。我们展示了远视灵巧和移动的人形技能，我们可以在 15 分钟内收集 100 个演示，成功率几乎 100%。在此基础上，我们提出了一个分层视觉运动政策框架，该框架基于自我中心视觉自主控制整个人形身体。我们的视觉运动策略成功地展示了全身灵巧操作和动态踢腿任务。整个系统在 https URL 上是完全可复制和开源的。我们收集的数据集也在 https URL 上开源 ...