通用智能需要解决跨领域的任务。当前的强化学习算法具有潜力，但要适应这种新任务所需的资源和知识的限制。我们提出了DreamerV3，这是一个基于世界的模型的通用且可扩展的算法，它在具有固定超参数的广泛领域中符合以前的方法...... ...
强化学习通过从动作捕捉数据中学习人形控制策略，在合成现实人类行为方面展现出了巨大的前景。然而，再现芭蕾舞等复杂的人类技能，或者稳定地模仿具有复杂转变的长期人类行为仍然非常具有挑战性。主要困难在于人形模型与真人之间的动力学不匹配 ...
为了便于分析人类行为、交互和情感，我们根据单个单眼图像计算人体姿势、手部姿势和面部表情的 3D 模型。为了实现这一目标，我们使用数千个 3D 扫描来训练一个新的、统一的人体 3D 模型 SMPL-X，该模型通过完全铰接的手和富有表现力的面部扩展了 SMPL。如果没有配对图像和 3D 地面实况，学习直接从图像回归 SMPL-X 参数是一项挑战 ...
基于模型的人体姿势估计目前通过两种不同的范例来实现。基于优化的方法以迭代方式将参数化人体模型拟合到二维观察，从而实现准确的图像模型对齐，但通常速度缓慢且对初始化敏感。相比之下，基于回归的方法使用深度网络直接从像素估计模型参数，往往会提供合理的结果，但像素精度不高，同时需要大量的监督 ...
OpenAI Gym 是一个用于强化学习研究的工具包。它包括越来越多的基准问题集合，这些问题公开了一个通用界面，以及一个人们可以分享结果并比较算法性能的网站。本白皮书讨论了 OpenAI Gym 的组件以及该软件的设计决策 ...
用身体训练机器人需要开发新的方法和动作表示，使学习代理能够有效地探索策略空间。这项工作研究了机器人乒乓球背景下复杂策略的样本有效学习。它将学习融入到分层控制框架中，使用无模型策略层（这需要对对手进行复杂的推理，这很难以基于模型的方式完成）、基于模型的外部对象预测（很难直接控制）分析控制方法，但受可学习且相对简单的物理定律控制），以及机器人本身的分析控制器 ...
代理的功能很大程度上取决于其设计，即骨骼结构和关节属性（例如，关节属性） ...
理解和建模人类行为是几乎所有涉及人类的计算机视觉和机器人应用的基础。在本论文中，我们采用整体方法来进行人类行为建模，并解决其三个基本方面——模拟、感知和生成。在整篇论文中，我们展示了这三个方面如何紧密相连，以及利用和改进一个方面如何能够极大地造福于其他方面 ...
我们提出了一种基于物理的人形控制器，可以在存在噪声输入（例如，来自视频或由语言生成的姿势估计）和意外跌倒的情况下实现高保真运动模型和内容错误行为... ...
我们介绍 SABR-CLIMB，这是一种使用虚拟化身模拟攀岩环境中人体运动的新颖视频模型。我们的扩散 Transformer 在每个扩散步骤中预测样本而不是噪声，并摄取整个视频以输出完整的运动序列。通过利用大型专有数据集 NAV-22M 和大量计算资源，我们展示了一个系统的概念验证，该系统可训练通用虚拟化身以执行机器人、体育和医疗保健领域的复杂任务 ...