在没有预先计算相机姿势的情况下训练神经辐射场 (NeRF) 具有挑战性。这个方向的最新进展证明了在前向场景中联合优化 NeRF 和相机姿势的可能性。然而,这些方法在摄像机剧烈移动时仍然面临困难 ...
由于 Shadow NeRF 和 Sat-NeRF,可以在基于 NeRF 的框架中考虑太阳角,以便使用卫星图像进行训练,从新的视角渲染场景。我们的工作扩展了这些贡献,并展示了如何使效果图适合特定季节。我们的主要挑战是创建一个神经辐射场 (NeRF),它可以独立于视角和太阳角渲染季节特征,同时仍然能够渲染阴影 ...
最近大量研究表明,多视图立体(MVS)匹配可以通过深度学习方法来解决。然而,这些努力都集中在近距离物体上,并且由于缺乏多视点航空图像基准,只有极少数基于深度学习的方法是专门为大规模3D城市重建而设计的。在本文中,我们提出了一个合成航空数据集,称为 WHU 数据集,是我们为 MVS 任务创建的,据我们所知,这是第一个大规模多视图航空数据集 ...
我们提出了一种端到端深度学习架构,用于从多视图图像进行深度图推理。在网络中,我们首先提取深度视觉图像特征,然后通过可微单应性扭曲在参考相机平截头体上构建 3D 成本体积。接下来,我们应用 3D 卷积对初始深度图进行正则化和回归,然后使用参考图像进行细化以生成最终输出 ...
我们提出了 Surf-NeRF,这是最近引入的阴影神经辐射场 (S-NeRF) 模型的修改实现。该方法能够从场景的一组稀疏卫星图像中合成新颖的视图,同时考虑到图片中存在的照明变化。经过训练的模型还可用于准确估计场景的表面高程,这通常是卫星观测应用所需的量 ...
本文提出了一种稀疏 3D 重建的新方法,利用神经辐射场 (NeRF) 的表达能力及其特征的快速传输来学习准确的占用场。现有的基于稀疏输入的 3D 重建方法仍然难以捕获复杂的几何细节,并且在处理遮挡区域方面可能会受到限制。另一方面,NeRF 擅长对复杂场景进行建模,但不提供提取有意义的几何图形的方法 ...
我们提出了 GeoNeRF,一种基于神经辐射场的通用真实感新颖视图合成方法。我们的方法由两个主要阶段组成:几何推理器和渲染器。为了渲染新颖的视图,几何推理器首先为每个附近的源视图构建级联成本量 ...
卫星多视图立体 (MVS) 图像特别适合大规模地球表面重建。与近景相机和航空相机常用的透视相机模型(针孔模型)不同,三次有理多项式相机(RPC)模型是推扫式线阵卫星相机的主流模型。然而,流行的基于学习的 MVS 方法中使用的单应性变形仅适用于针孔相机 ...
使用传统多视图立体匹配(MVS)生成的数字表面模型在非朗伯表面、异步采集或不连续处表现不佳。神经辐射场(NeRF)提供了连续使用体积表示重建表面几何形状的新范例。 NeRF 是自我监督的,不需要地面实况几何进行训练,并提供了一种优雅的方式来将场景的物理参数包含在其表示中,从而有可能弥补 MVS 失败的遇到场景... ...
我们提出了一种新的通用方法,用于地球观测场景的阴影感知多视图卫星摄影测量。我们提出的方法阴影神经辐射场(S-NeRF)遵循隐式体积表示学习的最新进展。对于每个场景,我们使用从已知视角拍摄的非常高空间分辨率的光学图像来训练 S-NeRF ...