基本信息

我们提出了一个能够解决广泛的 3D 任务的统一框架。我们的方法具有一个有状态的循环模型，该模型会根据每个新的观察不断更新其状态表示。给定图像流，这种不断发展的状态可用于以在线方式为每个新输入生成公制尺度点图（每像素 3D 点）。这些点图驻留在一个公共坐标系中，并且可以累积成连贯的、密集的场景重建，并随着新图像的到达而更新。我们的模型称为 CUT3R（用于 3D 重建的连续更新 Transformer ），捕获了现实世界场景的丰富先验：它不仅可以根据图像观察预测准确的点图，而且还可以通过探测虚拟的、未观察到的视图来推断场景中未见的区域。我们的方法简单但高度灵活，自然接受不同长度的图像，这些图像可以是视频流或无序照片集，包含静态和动态内容。我们在各种 3D/4D 任务上评估我们的方法，并在每个任务中展示有竞争力或最先进的性能。项目页面：此 https URL ...