Boximator: Generating Rich and Controllable Motions for Video Synthesis

生成丰富且可控的运动是视频合成中的关键挑战。我们提出了 Boximator，一种细粒度运动控制的新方法。 Boximator 引入了两种约束类型：硬盒和软盒 ...

DragNUWA: Fine-grained Control in Video Generation by Integrating Text, Image, and Trajectory

近年来，可控视频生成受到了广泛关注。然而，仍然存在两个主要局限性：首先，大多数现有工作集中于文本、图像或基于轨迹的控制，导致无法实现视频的细粒度控制。其次，轨迹控制研究仍处于早期阶段，大多数实验都是在 Human3 等简单数据集上进行的 ...

OpenFlamingo: An Open-Source Framework for Training Large Autoregressive Vision-Language Models

我们介绍 OpenFlamingo，这是一系列参数范围从 3B 到 9B 的自回归视觉语言模型。 OpenFlamingo 是一项持续努力，旨在生成 DeepMind Flamingo 模型的开源复制品。在七个视觉语言数据集上，OpenFlamingo 模型的平均性能为相应 Flamingo 性能的 80 - 89% ...