通用的操作技能可以用来解决长期和复杂的日常琐事，是体现人工智能的基石之一。然而，现有的基准大多由一套可模拟环境组成，不足以推动前沿研究工作，因为它们缺乏对象级拓扑和几何变化，不基于完全动态模拟，或者缺乏对多个模型的本机支持。操纵任务的类型。为此，我们推出了下一代 SAPIEN ManiSkill 基准测试 ManiSkill2，以解决研究人员在使用通用操作技能基准测试时经常遇到的关键痛点 ...
设计奖励函数是强化学习（RL）中长期存在的挑战；它需要专业知识或领域数据，导致开发成本高昂。为了解决这个问题，我们引入了 Text2Reward，这是一个无数据框架，可自动生成和塑造基于大型语言模型 (LLM) 的密集奖励函数。给定一个用自然语言描述的目标，Text2Reward 会生成成形的密集奖励函数，作为基于环境的紧凑表示的可执行程序 ...
具有复杂物理技能的实体代理可以提高生产力、提高生活质量并重塑人机协作。我们的目标是对主要涉及大型基础模型的各种任务进行实体代理的自主训练。人们相信这些模型可以充当实体主体的大脑。然而，现有方法严重依赖人类进行任务建议和场景定制，限制了学习的自主性、训练效率和学习策略的泛化 ...
流形学习是机器学习的一个流行且快速发展的子领域，它基于这样的假设：观察到的数据位于嵌入在高维空间中的低维流形上。本论文提出了流形学习的数学视角，深入研究了核学习、谱图论和微分几何的交叉点。重点放在图和流形之间的显着相互作用，这构成了广泛使用的流形正则化技术的基础 ...
使用动作捕捉 (mocap) 数据为新设计的角色制作动画是计算机动画中长期存在的问题。一个关键的考虑因素是骨骼结构应与可用的动作捕捉数据相对应，以及关节区域的形状变形，这通常需要量身定制、特定于姿势的细化。在这项工作中，我们开发了一种神经技术，用于使用预定义的骨骼结构进行包络来表达 3D 角色，从而产生高质量的姿势相关变形 ...
近年来，从音乐中合成人体动作，即从音乐到舞蹈，很有吸引力并引起了许多研究兴趣 ...
人体3D头像是虚拟世界的重要元素之一，建模效果直接影响人们的视觉体验。然而，人体具有复杂的拓扑结构和多样的细节，因此建立令人满意的模型往往是昂贵、费时、费力的。最近的研究提出了一种新的方法——隐式神经表示，它是一种连续表示方法，可以以任意分辨率描述任意拓扑的对象 ...
我们研究仅通过文本描述创建高保真且可动画的 3D 头像的问题。现有的文本到头像方法要么仅限于无法动画化的静态头像，要么难以生成具有良好质量和精确姿势控制的可动画头像。为了解决这些限制，我们提出了 AvatarStudio，这是一种从粗到细的生成模型，可为可动画化的人类头像生成显式纹理 3D 网格 ...
近年来，深度学习技术在通用目标检测领域取得了显着突破，SGG），是指将图像自动映射到语义结构场景图的任务，这需要正确标记检测到的对象及其关系... ...
图像是场景的构成表示，可以清晰表达场景中的物体、属性以及物体之间的。随着计算机视觉技术的不断发展，人们不再满足于简单地检测和识别图像中的物体；相反，人们期待对视觉场景有更高层次的理解和推理。例如，给定一张图像，我们不仅要检测和识别图像中的对象，还要知道对象之间的关系（关系检测），并根据图像内容生成文本描述（图像字幕）... ...