- 名称
- HDMI: Learning Interactive Humanoid Whole-Body Control from Human Videos
- 描述
由于运动数据稀缺性和接触性丰富的性质,启用可靠的全身人形对象相互作用(HOI)仍然具有挑战性。我们提出了HDMI(类人类的互动模仿),这是一个简单而通用的框架,直接从单眼RGB视频中学习全身人形对象的相互作用技能。我们的管道(i)提取和重新定位从不受限制的视频中提取和对象轨迹,以构建结构化的运动数据集,(ii)训练增强性学习(RL)政策,以共同轨道机器人和对象状态具有三个关键设计:统一对象的设计:一个统一的对象表示,一个残留的行动空间,一个一般的互动奖励,以及(IIIIIII II)机器人的零派零零件 ...