我们解决了从文本描述生成不同3d：从文本中理解和提取有用的以人为中心的信息，然后生成合理且真实的人体姿势序列。与之前大多数专注于从文本描述生成单个确定性运动的工作相比，我们设计了一种可以产生多种不同人类运动的变分方法... ...
我们研究具有挑战性的任务，即条件人体运动生成，它根据各种条件输入（例如动作类或文本总线）生成合理的人体运动序列。态（例如自然语言中的文本转换器）完全不同的分布特性，因这很难学习从所需的条件模态到人体运动序列的概率映射。此外，来自运动捕捉系统的原始运动数据可能存在序列且包含噪声；直接对原始运动序列和条件模态的联合分配进行建模需要大量的计算开销，并且可能会导致捕获的噪声引入伪影... ...
在本研究中，我们介绍了 T2M-HiFiGPT，这是一种新颖的条件生成框架，用于从文本描述合成人体运动。该框架以残差矢量量化变分自动编码器 (RVQ-VAE) 和双层生成预训练变换器 (GPT) 架构为基础。我们证明了基于 CNN 的 RVQ-VAE 能够生成高精度的 2D 时间残差离散运动表示 ...
人体运动理解是一项具有多种实际应用的基本任务，大规模运动捕捉数据集的可用性促进了这一任务。最近的研究重点是文本运动任务，例如基于文本的运动生成、编辑和问题回答。在这项研究中，我们介绍了基于文本的人体运动基础（THMG）的新任务，旨在精确定位与未修剪的运动序列中给定文本描述相对应的时间段 ...
本文提出了 MotionScript，一种运动到文本的转换算法和人体运动的自然语言表示。 MotionScript 旨在比以前的自然语言方法更详细、更准确地描述运动。许多运动数据集描述相对客观和简单的动作，其表达方式几乎没有变化（例如，动作） ...
本文提出了新的方法来处理从文本描述生成动态人机交互（Text2HOI）这一具有挑战性的任务。虽然大多数现有作品假设与有限的身体部位或静态物体进行交互，但我们的任务涉及同时解决人体运动的变化、物体形状的多样性以及物体运动的语义模糊性。为了解决这个问题，我们提出了一种具有关系干预（THOR）的新颖的文本引导的人机交互扩散模型 ...
文本到动作模型擅长高效地生成人体动作，但现有方法缺乏对生成过程的细粒度可控性。因此，修改动作中的微妙姿势或在特定时刻插入新动作仍然是一个挑战，限制了这些方法在不同场景中的适用性。鉴于这些挑战，我们引入了 CoMo，一种可控运动生成模型，擅长利用大型语言模型 (LLM) 的知识先验来准确生成和编辑运动 ...
我们引入高效运动扩散模型（EMDM）来快速生成高质量的人体运动。目前最先进的生成快速扩散模型已经产生了令人印象深刻的成果，但很难在不牺牲质量的情况下实现生成。方面，之前的工作，如运动潜在空间，在潜在空间内进行扩散以提高效率，但学习这样的潜在空间可能是一项艰巨的工作…… ...
运动理解的目标是在运动和动作语义之间建立可靠的映射，同时它是一个具有挑战性的多对多问题。抽象的动作语义（即 ...
通过在广泛的运动捕捉数据和相应的文本注释上训练的扩散模型，文本条件的人体运动生成经历了显着的进步。然而，将这种成功扩展到3d动态人机交互（HOI）生成面临着显着的挑战 ...