基本信息

尽管最近使用 3D 高斯分布 (3DGS) 在新颖的视图合成方面取得了成功，但使用稀疏输入进行场景建模仍然是一个挑战。在这项工作中，我们解决了现实世界稀疏输入建模中两个关键但被忽视的问题：外推和遮挡。为了解决这些问题，我们建议使用通过生成管道进行重建，该管道利用从视频扩散模型中学习到的先验知识为视场外或遮挡的区域提供合理的解释。然而，生成的序列表现出不一致，不能完全有利于后续的 3DGS 建模。为了解决不一致的挑战，我们引入了一种新颖的场景基础指导，该指导基于优化的 3DGS 渲染序列，它驯服扩散模型以生成一致的序列。该指南无需培训，不需要对扩散模型进行任何微调。为了促进整体场景建模，我们还提出了轨迹初始化方法。它可以有效地识别视野之外和被遮挡的区域。我们进一步设计了一个针对生成序列进行 3DGS 优化的方案。实验表明，我们的方法显着改进了基线，并在具有挑战性的基准上实现了最先进的性能 ...