Prompt, Plan, Perform: LLM-based Humanoid Control via Quantized Imitation Learning

近年来，强化学习和模仿学习在控制人形机器人运动方面表现出了巨大的潜力。然而，这些方法通常为特定任务创建模拟环境和奖励，导致需要多种策略和有限的能力来处理复杂和未知的任务。为了克服这些问题，我们提出了一种将对抗性模仿学习与大型语言模型（LLM）相结合的新颖方法 ...

LLCoach: Generating Robot Soccer Plans using Multi-Role Large Language Models

将机器人部署到人类场景中需要先进的规划策略，特别是当我们要求机器人在动态、非结构化环境中运行时。RoboCup 提供了在其中一个场景中部署机器人的机会，即进行足球比赛代表人形比赛。在这种情况下，机器人必须使用预定义的行为进行操作，这些行为可能会在不可预测的条件下失败... ...

Prompt a Robot to Walk with Large Language Models

在大量互联网规模数据上预先训练的大型语言模型 (LLM) 在不同领域展示了卓越的能力。最近，人们对部署机器人学 LLM 的兴趣日益浓厚，旨在在现实环境中利用基础模型的力量。然而，这种方法面临着重大挑战，特别是在将这些模型建立在物理世界中以及生成动态机器人运动方面 ...

The CMA Evolution Strategy: A Tutorial

CMA进化策略（ES），其中CMA代表协方差矩阵适应。CMA-ES是一种随机方法，用于非线性、非凸函数的实参数（连续域）优化。我们尝试从直观概念和连续域中非线性、非凸搜索的要求中激发和推导该算法 ... ...

MotionChain: Conversational Motion Controllers via Multimodal Prompts

语言模型的最新进展证明了它们在进行多轮对话和保留对话上下文方面的能力。然而，这种熟练程度在其他多模态生成模型中仍然很大程度上未被探索，特别是在人体运动模型中。通过将多轮对话集成到控制连续虚拟人体运动中，生成人体运动模型可以为人形机器人、游戏代理或其他实体系统实现直观且逐步的人类任务执行过程 ...

RITA: A Real-time Interactive Talking Avatars Framework

RITA 提供了一个基于生成模型的高质量实时交互框架，其设计考虑到了实际应用。我们的框架能够将用户上传的照片转换为可以进行实时对话交互的数字化身。通过利用生成建模的最新进展，我们开发了一个多功能平台，不仅通过动态对话化身增强用户体验，而且还为虚拟现实、在线教育和互动游戏中的应用开辟了新途径 ...

Learning Agile Robotic Locomotion Skills by Imitating Animals

再现动物、敏捷的运动技能一直是机器人技术领域的一个长期挑战。虽然手动设计的控制器已经能够模拟许多复杂的行为，但构建此类控制器涉及一个运行且困难的开发过程，通常需要通过丰富的专业知识对最大化技能的降低成本。强化学习为控制器开发中涉及的手动工作的自动化提供了一种替代方案... ...

Efficient Hyperparameter Optimization for Physics-based Character Animation

近年来，随着深度强化学习 (DRL) 的采用，基于物理的角色动画取得了重大进展。然而，基于 DRL 的学习方法通​​常计算成本昂贵，并且其性能很大程度上取决于超参数的选择。调整这些方法的超参数通常需要对控制策略进行重复训练，这在计算上更加令人望而却步 ...

Data-Driven Reinforcement Learning for Virtual Character Animation Control

虚拟角色动画控制是一个可以通过强化学习（RL）来解决的问题。虽然当前的工作已经有效地应用强化学习来描绘基于物理的技能，但由于社会行为缺乏与世界的物理交互，因此设计奖励函数具有挑战性。另一方面，这些技能的数据驱动实施仅限于监督学习方法，这些方法需要大量的训练数据，并且对通用性有限制 ...

Control of Magnetic Microrobot Teams for Temporal Micromanipulation Tasks

在本文中，我们提出了一个控制框架，允许磁性微型机器人团队完成由全局线性时序逻辑（LTL）公式捕获的复杂微操作任务。为了解决这个问题，我们提出了一种最优控制综合方法，该方法为机器人构建离散计划，以满足分配的任务以及由于问题的物理原因而导致机器人之间的邻近约束。我们提出的算法依赖于现有的最优控制综合方法，并结合新颖的基于采样的技术来减少与 LTL 规范相关的产品自动机的状态空间 ...