基于模型的人体姿势估计目前通过两种不同的范例来实现。基于优化的方法以迭代方式将参数化人体模型拟合到二维观察,从而实现准确的图像模型对齐,但通常速度缓慢且对初始化敏感。相比之下,基于回归的方法使用深度网络直接从像素估计模型参数,往往会提供合理的结果,但像素精度不高,同时需要大量的监督 ...
OpenAI Gym 是一个用于强化学习研究的工具包。它包括越来越多的基准问题集合,这些问题公开了一个通用界面,以及一个人们可以分享结果并比较算法性能的网站。本白皮书讨论了 OpenAI Gym 的组件以及该软件的设计决策 ...
用身体训练机器人需要开发新的方法和动作表示,使学习代理能够有效地探索策略空间。这项工作研究了机器人乒乓球背景下复杂策略的样本有效学习。它将学习融入到分层控制框架中,使用无模型策略层(这需要对对手进行复杂的推理,这很难以基于模型的方式完成)、基于模型的外部对象预测(很难直接控制)分析控制方法,但受可学习且相对简单的物理定律控制),以及机器人本身的分析控制器 ...
代理的功能很大程度上取决于其设计,即骨骼结构和关节属性(例如,关节属性) ...
理解和建模人类行为是几乎所有涉及人类的计算机视觉和机器人应用的基础。在本论文中,我们采用整体方法来进行人类行为建模,并解决其三个基本方面——模拟、感知和生成。在整篇论文中,我们展示了这三个方面如何紧密相连,以及利用和改进一个方面如何能够极大地造福于其他方面 ...
我们提出了一种基于物理的人形控制器,可以在存在噪声输入(例如,来自视频或由语言生成的姿势估计)和意外跌倒的情况下实现高保真运动模型和内容错误行为... ...
我们介绍 SABR-CLIMB,这是一种使用虚拟化身模拟攀岩环境中人体运动的新颖视频模型。我们的扩散 Transformer 在每个扩散步骤中预测样本而不是噪声,并摄取整个视频以输出完整的运动序列。通过利用大型专有数据集 NAV-22M 和大量计算资源,我们展示了一个系统的概念验证,该系统可训练通用虚拟化身以执行机器人、体育和医疗保健领域的复杂任务 ...
我们提出了一种通用运动表示,其中包含基于物理的人形控制的全面运动技能。由于类人机器人的高维性和强化学习固有的困难,先前的方法主要集中于学习小范围运动风格的技能嵌入(例如,运动风格)... ...
深度强化学习(DRL)的发展受益于各种类型游戏环境的出现,这些游戏环境提出了新的挑战性问题,并且可以安全快速地测试新算法,例如棋盘游戏、RTS、FPS和MOBA游戏。然而,许多现有环境缺乏复杂性和灵活性,并假设操作在多代理设置中同步执行,这变得不那么有价值。我们介绍了“狂热篮球”游戏,这是一种新颖的强化学习环境,其中智能体被训练来打篮球游戏 ...
我们展示了 SMPLOlympics,这是一系列物理模拟环境,允许类人机器人参加各种奥林匹克运动项目。由于体育活动的多样性和体力要求,运动模拟为评估和提高学习算法的能力提供了丰富且标准化的测试平台。由于人类多年来一直在这些运动中竞争,因此对于实现更好表现的首选策略也有大量的现有知识 ...