综合语义感知、长期的人与物体交互对于模拟现实的人类行为至关重要。在这项工作中，我们解决了在 3D 场景中由语言描述引导生成同步对象运动和人体运动的挑战性问题。我们提出了可控人与物体交互综合（CHOIS），这是一种使用给定语言描述、初始物体和人类状态以及稀疏物体路径点的条件扩散模型同时生成物体运动和人体运动的方法 ...
在情境环境中对人类行为进行建模在角色动画、具体人工智能、 vr/ar和机器人领域有着广泛的应用。在现实场景中，人类经常与环境交互并操纵各种物体来完成日常任务。在这项工作中，我们研究了用于操纵大型物体的全身人体运动合成问题... ...
我们正在见证从文本生成 3D 对象的技术的重大突破。现有方法要么利用大型文本到图像模型来优化 3D 表示，要么在以对象为中心的数据集上训练 3D 生成器。然而，生成整个场景仍然非常具有挑战性，因为场景包含多个多样化且分散的 3D 对象 ...
我们推出 WonderJourney，一个用于永久 3D 场景生成的定制框架。之前开始专注于单一类型场景的视图生成工作不同，我们从用户提供的任何位置（通过文本描述或）图像，并通过一系列不同的但连贯的3D场景生成一个旅程。我们利用LLM生成这个旅程中场景的文本描述，利用文本驱动的点云生成管道来制作引人注目且连贯的3D场景序列，并利用大型VLM来验证生成的场景... ...
近来，文本驱动的 3D 场景生成技术取得了快速进展。他们的成功主要是使用现有的生成模型迭代来执行图像变形和修复以生成 3D 场景。然而，这些方法严重依赖于现有的输出模型，导致几何和外观方面的托盘堆积，从而阻止模型在各个场景中的使用（例如，... ...
我们介绍 RealmDreamer，这是一种根据文本生成通用前向 3D 场景的技术。我们的技术优化了 3D 高斯泼溅表示以匹配复杂的文本提示。我们通过利用最先进的描述到图像生成器来初始化这些图，将它们的样本提升为3D，并计算隐藏体积... ...
物理世界中的智能行为表现出多个空间和时间尺度的结构。尽管运动最终是在瞬时肌肉张力或关节扭矩的水平上执行的，但它们必须被选择来服务于在更长的时间尺度上定义的目标，并且就远远超出身体本身的关系而言，最终涉及与其他代理的协调。人工智能的最新研究表明，基于学习的方法有望解决复杂运动、长期规划和多智能体协调等各自的问题 ...
我们提出了 UniSeg3D，一个统一的 3D 分割框架，可在单个模型中实现全景、语义、实例、交互、引用和开放词汇语义分割任务。以前的大多数 3D 分割方法都是专门针对特定任务的，因此将它们对 3D 场景的理解限制在特定于任务的角度。相比之下，所提出的方法将六个任务统一为由同一 Transformer 处理的统一表示 ...
本文介绍了LLM-MARS，这是第一个利用基于大型语言模型的人工智能来实现多智能体机器人系统的技术。LLM-MARS支持人类和机器人之间的动态对话，使夜晚能够根据操作员命令生成行为，并为有关其行为的问题提供信息丰富的答案。 LLM-MARS建立在基于Transformer的大型语言上部模型上，并根据Falcon 7B模型进行了力矩... ...
近年来，大型语言模型 (LLM) 的研究以及随之而来的公众对该主题的参与呈爆炸式增长。虽然法学硕士最初是自然语言处理中的一个利基领域，但它在包括游戏在内的广泛应用和领域中表现出了巨大的潜力。本文调查了法学硕士在游戏中的各种应用的最新技术水平，并确定了法学硕士在游戏中可以扮演的不同角色 ...