Geo-Neus：用于多视图重建的几何一致神经隐式曲面学习

摘要

最近，通过体积渲染进行的神经隐式表面学习在多视图重建中变得很流行。 然而，一个关键挑战仍然存在：现有方法缺乏明确的多视图几何约束，因此通常无法生成几何一致的表面重建。 为了应对这一挑战，我们提出了用于多视图重建的几何一致神经隐式表面学习。 我们从理论上分析体绘制积分与基于点的符号距离函数（SDF）建模之间存在差距。 为了弥补这一差距，我们直接定位 SDF 网络的零级集，并通过利用运动结构 (SFM) 的稀疏几何和多视图立体中的光度一致性来显式执行多视图几何优化。 这使得我们的 SDF 优化不偏不倚，并允许多视图几何约束专注于真正的表面优化。 大量的实验表明，我们提出的方法在复杂的薄结构和大的光滑区域中实现了高质量的表面重建，从而大大优于最先进的方法。

1简介

从校准的多视图图像重建表面是计算机视觉和图形学中长期存在的问题。 在过去的几年中，传统方法[28,34,13,15]采用多步管道来取得令人印象深刻的重建结果。 这样的管道需要深度图或点云来生成表面网格。 这些中间表示不可避免地会为最终的重建几何引入累积误差。 最近，从图像[23,40,33,39,24]直接重建表面因其减少累积误差和产生高质量重建的潜力而引起了人们的极大兴趣。 为了实现这一目标，现有方法将表面表示为神经隐式表示，并利用体积渲染[19]来优化它们。

受到同时从输入图像中学习体积密度和辐射场的神经体积渲染 [21, 42] 的启发，最近的作品 [33, 39] 使用有符号距离函数 (SDF) [25] 用于表面表示，并引入 SDF 诱导的密度函数，使体渲染能够学习隐式 SDF 表示。 本质上，这些工作仍然侧重于通过体积渲染积分进行直接色场建模，而不是显式的多视图几何优化。 因此，现有方法通常无法生成几何一致的表面重建。 直观地说，体渲染沿每条射线对多个点进行采样，并将输出像素颜色表示为辐射场的积分，或沿射线采样颜色的加权和（参见图1(a)） ）。 这意味着体绘制积分直接优化几何体的积分，而不是沿射线的单个表面相交。 这显然会引入几何建模的偏差，从而阻碍真正的表面优化。 在图1(b)中，我们展示了NeuS [33]的重建案例，其中可以直观地观察渲染颜色和物体几何形状之间的偏差。 渲染颜色由颜色网络通过体渲染获得。 表面颜色由 SDF 值为零的表面的预测颜色形成。 很容易看出渲染颜色和表面颜色之间存在差距。 因此，尽管渲染图像质量很高，但重建的表面并不精确，这表明颜色渲染和隐式几何之间存在偏差。 （后面会详细阐述理论分析）。

图1： (a) 体绘制的图示。 (b) 一个直观的例子。 NeuS 中的体积渲染使用积分颜色来隐式监督表面建模。 虽然其渲染颜色取得了良好的效果，但估计表面的颜色未能保留物体的几何信息。 这显示了渲染颜色和几何形状之间的偏差。 相比之下，我们的方法实现了估计表面的结构保留颜色并产生几何一致的表面重建。

为了解决上述问题，我们提出 Geo-Neus 设计了一种明确且准确的神经几何优化模型，用于通过体积渲染进行几何一致的神经隐式表面学习，从而实现更好的多视图 3D 重建。 具体来说，我们直接定位 SDF 网络的零级集，并通过利用运动结构（SFM）的稀疏几何和多视图立体中的光度一致性来显式执行多视图几何优化。 这种模式有几个好处。 首先，直接定位 SDF 网络的零级集保证了我们的几何建模是无偏的。 这使我们的方法能够专注于真正的表面优化。 其次，我们表明，在 SDF 网络的定位零级集上显式实施多视图几何约束允许我们的方法生成几何一致的表面重建。 之前的神经隐式表面学习主要利用渲染损失来隐式优化SDF网络。 这会导致训练优化期间几何形状模糊。 我们引入了两种类型的显式多视图约束，鼓励我们的 SDF 网络推理出正确的几何形状，包括复杂的薄结构和大的平滑区域。

总之，我们的贡献是： 1) 我们从理论上分析体绘制积分和基于点的 SDF 建模之间存在差距。 这表明有必要直接监督 SDF 网络来促进神经隐式表面学习。 2) 基于我们的理论分析，我们建议直接定位 SDF 网络的零级集，并利用多视图几何约束来显式监督 SDF 网络的训练。 通过这种方式，鼓励 SDF 网络专注于真正的表面优化。 大量的实验进一步验证了我们的理论分析和所提出的 SDF 网络直接优化的有效性。 我们表明，我们提出的 Geo-Neus 能够重建复杂的薄结构和大的平滑区域。 因此，它大大优于最先进的表面重建方法，包括传统方法和神经隐式表面学习方法。

2相关工作

传统的多视图 3D 重建。

传统的多视图 3D 重建是多视图图像表面重建的经典流程。 给定多视图输入图像，传统的多视图 3D 重建使用运动结构（SFM）[31, 27]来提取和匹配相邻视图的特征，并估计相机参数和稀疏 3D 点。 之后，应用多视图立体（MVS）[28,8,34,35]来估计每个视图的密集深度图，然后将所有深度图融合成密集点云。 最后，表面重建方法[13,15,6]，例如筛选泊松表面重建[13]用于从点云重建表面。 传统方法在各种场合取得了巨大成功，但在某些情况下存在表面不完整性，因为它们的多个中间步骤没有形成一个整体。 随着深度学习的发展，人们对基于学习的多视图重建进行了许多尝试[12,37,36,25,20]，但问题仍然存在。

表面的隐式表示。

根据表面的表示形式，表面重建方法一般可分为显式方法和隐式方法。 显式表示包括体素[5, 29]和三角网格[3,4,14]，它们受到分辨率的限制。 隐式表示使用隐式函数来表示表面，因此是连续的。 可以在任何分辨率下使用隐式函数提取表面。 传统的重构方法，例如筛选泊松曲面重构[13]，使用基本函数来形成隐函数。 对于基于学习的方法，最常用的形式是网络表示的占用函数[20, 26]和符号距离函数（SDF）[25] 。

神经隐式表面重建。

神经隐式场是一种表示物体几何形状的新方法。 随着 NeRF [21] 首次将多层感知器（MLP）为代表的神经辐射场用于新颖的视图合成，大量的工作[30,16,18]已经使用神经网络来表示场景的兴起。 IDR [40] 通过将几何图形表示为被视为 SDF 的 MLP 的零水平集，使用神经网络重建表面。 MVSDF [41] 从 MVS 网络导入信息以获得更多几何先验。 VolSDF [39] 和 NeuS [33] 在渲染过程中使用涉及 SDF 的权重函数，使颜色和几何更加接近。 UNISURF [24]探索表面渲染和体渲染之间的平衡。 与传统的多视图重建方法相比，神经网络重建的表面显示出更好的完整性，特别是在处理非朗伯情况时。 然而，复杂的结构却不能很好地处理。 同时，平面和尖角也无法保证。

图2： Geo-Neus 概述。 以前的神经隐式表面学习方法主要依靠颜色损失来隐式监督SDF网络。 我们提出的 Geo-Neus 通过引入稀疏 3D 点的 SDF 损失和多视图立体的光度一致性损失来明确监督 SDF 网络。

3方法

给定一个物体的多视图图像，我们的目标是在没有掩模监督的情况下通过神经体积渲染重建表面。 物体的空间场由有符号距离函数（SDF）表示，并使用SDF的零水平集提取相应的表面。 在体绘制过程中，我们的目标是优化符号距离函数。 在本节中，我们首先分析颜色渲染中固有的偏差，它导致渲染颜色与隐式几何之间的不一致。 然后我们引入显式 SDF 优化来实现几何一致性。 我们的方法的概述如图2所示。

3.1 显色偏差

在体积渲染过程中，渲染的颜色和对象的几何形状之间存在间隙。 渲染的颜色与表面的真实颜色不一致。

对于不透明实体$\mathrm{\Omega }\in {ℝ}^3$，不透明度可以用指示函数$𝒪(\text{p})$来表示：

$$𝒪(\text{p})=\{\begin{array}{c}1,\text{p}\in \mathrm{\Omega }\hfill \\ 0,\text{p}\notin \mathrm{\Omega }\hfill \end{array}.$$ (1)

当我们看到某些颜色或用相机捕捉到某些颜色时，这些颜色就是沿着光线传输到我们的眼睛或相机中的光。 基于不透明固体物体固有的光学特性，我们近似地假设图像集$\left\{I_i\right\}$的颜色$C$是与不透明固体物体相交的物体的颜色$c$。来自相应相机位置o的光线v：

$$C\left(\text{o, v}\right)=c\left(\text{o}+t^{\ast }\text{v}\right),$$ (2)

其中$t^{\ast }=\text{argmin}\left\{t\right|\text{o}+t\text{v}=\text{p},\text{p}\in \partial \mathrm{\Omega },t\in (0,\mathrm{\infty })\}$。 $\partial \mathrm{\Omega }$表示几何表面。 该假设是适当的，因为穿过不透明物体的光可以被忽略。 当光穿过不透明物体的表面时，光的强度急剧衰减到大约零。 让我们用带符号的距离函数以数学方式表示物体的表面。 有符号距离函数$sdf(\text{p})$是空间点p与表面$\partial \mathrm{\Omega }$之间的有符号距离。 这样，表面$\partial \mathrm{\Omega }$可以表示为：

$$\partial \mathrm{\Omega }=\left\{\text{p}\right|\mathrm{s}\mathrm{d}\mathrm{f}\left(\text{p}\right)=0\}.$$ (3)

通过神经体积渲染，我们用多层感知器 (MLP) 网络 $F_{\mathrm{\Theta }}$ 和 $G_{\mathrm{\Phi }}$ 估算符号距离函数 $\widehat{sdf}$ 和色场 $\widehat{c}$：

$$\widehat{sdf}\left(\text{p}\right)=F_{\mathrm{\Theta }}\left(\text{p}\right),$$ (4)

$$\widehat{c}(\text{o, v},t)=G_{\mathrm{\Phi }}(\text{o, v},t).$$ (5)

因此，相机位置 o 的图像的估计颜色可以表示为：

$$\widehat{C}={\int }_0^{+\mathrm{\infty }}w\left(t\right)\widehat{c}\left(t\right)𝑑t,$$ (6)

其中 $t$ 是沿来自 o 且方向为 v 的光线的深度，$w(t)$ 是该点的权重在$t$。为了简单起见，注释o和v被省略。 为了获得 $w$ 和 $\widehat{c}$ 的离散对应项，我们还沿射线离散采样 $t_i$ 并使用黎曼和：

$$\widehat{C}=\sum _{i=1}^{n}w\left(t_i\right)\widehat{c}\left(t_i\right).$$ (7)

值得注意的是，新颖视图合成的目标是对颜色 $\widehat{C}$ 进行准确预测，并努力将地面实况图像 $C$ 与预测 $\widehat{C}$ 之间的颜色差异最小化：

$$C=\widehat{C}=\sum _{i=1}^{n}w\left(t_i\right)\widehat{c}\left(t_i\right).$$ (8)

在表面重建任务中，我们更关注的是物体的表面而不是颜色。 这样，上式就可以改写为：

$C$ $={\displaystyle \sum _{i=1}^{j-1}}w\left(t_i\right)\widehat{c}\left(t_i\right)+w\left(t_j\right)\widehat{c}\left(\widehat{t^{\ast }}\right)+w\left(t_j\right)(\widehat{c}\left(t_j\right)-\widehat{c}\left(\widehat{t^{\ast }}\right))+{\displaystyle \sum _{i=j+1}^n}w\left(t_i\right)\widehat{c}\left(t_i\right)$ (9)

$=w\left(t_j\right)\widehat{c}\left(\widehat{t^{\ast }}\right)+{\epsilon }_{sample}+{\displaystyle \sum _{\begin{array}{c}i=1\\ i\ne j\end{array}}^n}w\left(t_i\right)\widehat{c}\left(t_i\right)$

$=w\left(t_j\right)\widehat{c}\left(\widehat{t^{\ast }}\right)+{\epsilon }_{sample}+{\epsilon }_{weight},$

其中$\widehat{sdf}(\widehat{t^{\ast }})=0$,$t_j$表示距$\widehat{t^{\ast }}$最近的采样点，${\epsilon }_{sample}$表示采样操作引起的偏差，${\epsilon }_{weight}$表示体绘制的加权和运算引起的偏差。 有了公式(2)，就可以改写为：

$$w\left(t_j\right)\widehat{c}\left(\widehat{t^{\ast }}\right)+{\epsilon }_{sample}+{\epsilon }_{weight}=c\left(t^{\ast }\right),$$ (10)

$$\widehat{c}\left(\widehat{t^{\ast }}\right)=\frac{c\left(t^{\ast }\right)-{\epsilon }_{sample}-{\epsilon }_{weight}}{w\left(t_j\right)}.$$ (11)

物体表面颜色与估计表面颜色之间的总偏差为：

$$\mathrm{\Delta }c=\widehat{c}\left(\widehat{t^{\ast }}\right)-c\left(t^{\ast }\right)=\frac{(1-w\left(t_j\right))c\left(t^{\ast }\right)-{\epsilon }_{sample}-{\epsilon }_{weight}}{w\left(t_j\right)}.$$ (12)

相对偏差为：

$$\delta c=\frac{\mathrm{\Delta }c}{c\left(t^{\ast }\right)}=\frac{1}{w\left(t_j\right)}-1-\frac{{\epsilon }_{sample}+{\epsilon }_{weight}}{w\left(t_j\right)c\left(t^{\ast }\right)}.$$ (13)

（一） 单机

(b) 多平面

图3： 神经重建方法显色过程中的模拟权重。

当$w\left(t_j\right)$逼近$1$时，${\epsilon }_{weight}$逼近$0$,$\delta c$逼近${\epsilon }_{sample}/c\left(t^{\ast }\right)$。 在这种情况下，总偏差仅由离散采样引起，该偏差很小（但仍然存在）。 一些现有神经重构方法的模拟权重如图3所示。 可以看出，在实践中几乎不可能做到这一点，尤其是在没有任何几何约束的情况下。 此外，当处理遮挡情况时，问题变得更加棘手。 因此，体绘制积分的加权方式引入了对隐式几何建模的偏差。 由于整个网络的监督几乎完全取决于渲染颜色和地面真实颜色之间的差异，因此偏差会导致很难监督表面和 SDF 网络的颜色，从而导致颜色和几何图形之间出现差距。

一个简单的解决方案是直接监督对象的几何形状。 通过这种方式，我们设计了对 SDF 网络的显式监督和具有多视图约束的几何一致监督。

3.2对SDF网络的显式监管

SDF网络估计任意空间点到物体表面的有符号距离，是我们需要优化的关键网络。 因此，我们在 SDF 网络上提出了一种显式监督方法，以直接使用 3D 空间中的点来确保其准确性。

为了减少额外成本，我们使用运动结构（SFM）[27, 31]生成的点来监督 SDF 网络。 事实上，SFM 是计算输入图像的相机参数的规范解决方案，其中 2D 特征与 X 匹配，稀疏 3D 点 P 也会作为副产品生成。 因此，这些稀疏的 3D 点可以用作“自由”的显式几何信息。 近似地，我们假设这些稀疏点位于物体的表面上。 也就是说，稀疏点的SDF值为零：$sdf\left({\text{p}}_i\right)=0,\text{where}{\text{p}}_i\in \text{P}$。 实际上，在获得稀疏3D点后，应用半径滤波器来排除一些异常值[43]。

遮挡处理。

因为我们关注的是不透明的物体，所以从某个相机位置的角度来看，物体的某些部分是不可见的。 因此，每个视图中只有一些稀疏点可见。 对于相机位置${\text{o}}_i$的图像$I_i$，可见点${\text{P}}_i$与$I_i$的特征点${\text{X}}_i$一致>：

$${\text{X}}_i={\text{K}}_i\left[{\text{R}}_i|{\text{t}}_i\right]{\text{P}}_i,$$ (14)

其中 ${\text{K}}_i$ 是内部校准矩阵，${\text{R}}_i$ 是旋转矩阵，${\text{t}}_i$ 是图像 $I_i$ 的平移向量。 ${\text{X}}_i$和${\text{P}}_i$的坐标都是齐次坐标。 为了简单起见，省略了${\text{X}}_i$之前的比例索引。 根据每个图像的特征点，我们得到每个视图的可见点，并使用它们来监督 SDF 网络，同时从相应的视图渲染图像。

视图感知的 SDF 损失。

当从视图 $V_i$ 渲染图像 $I_i$ 时，我们使用 SDF 网络来估计 $V_i$ 的可见点 ${\text{P}}_i$ 的 SDF 值。 基于稀疏点的SDF值为零的近似，我们提出了视图感知的SDF损失：

$${ℒ}_{SDF}=\sum _{{\text{p}}_j\in {\text{P}}_i}\frac{1}{N_i}|\widehat{sdf}\left({\text{p}}_j\right)-sdf\left({\text{p}}_j\right)|=\sum _{{\text{p}}_j\in {\text{P}}_i}\frac{1}{N_i}|\widehat{sdf}\left({\text{p}}_j\right)|,$$ (15)

其中 $N_i$ 是 ${\text{P}}_i$ 中的点数，$|\cdot |$ 表示 $L_1$ 距离。 值得注意的是，我们用来监督 SDF 网络的损失根据渲染的视图而变化。 这样引入的SDF损失与显色过程是一致的。

通过对 SDF 网络的显式监督，由于几何先验的使用，我们的网络可以更快地收敛。 此外，由于具有强纹理的复杂几何结构是稀疏点的集中分布区域，因此我们的方法可以捕获更细致的几何结构。

3.3 具有多视图约束的几何一致监督

通过 SDF 损失，我们的网络可以捕获具有强纹理的复杂几何细节。 由于稀疏的 3D 点主要为纹理丰富的区域提供显式约束，因此大的平滑区域仍然缺乏显式的几何约束。 为了更进一步，我们在具有多视图立体约束的隐式表面上设计了几何一致的监督。

遮挡感知隐式表面捕获。

我们使用曲面的隐式表示，并用隐函数的零级集来提取曲面。 所以问题是：我们的隐式表面在哪里？ 根据公式(3)，估计表面积为：

$$\widehat{\partial \mathrm{\Omega }}=\left\{\text{p}\right|\widehat{sdf}(\text{p})=0\}.$$ (16)

我们的目标是在不同视图之间使用几何一致的约束来优化$\widehat{\partial \mathrm{\Omega }}$。 由于曲面上的点的数量是无限的，因此实际中我们需要从$\widehat{\partial \mathrm{\Omega }}$中采样点。 为了保持与使用视图光线的颜色渲染过程的一致性，我们对这些光线上的表面点进行采样。 正如3.1中提到的，我们沿着视图光线离散地采样$t$并使用黎曼和来获得渲染的颜色。 基于采样点，我们使用线性插值来获得表面点。

射线上的采样点$t$，对应的3D点为$\text{p}=\text{o}+t\text{v}$，预测的SDF值为$\widehat{sdf}(\text{p})$。 为了简单起见，我们进一步将$\widehat{sdf}(\text{p})$表示为$\widehat{sdf}(t)$，它是$t$的函数。我们找到样本点$t_i$，其SDF值的符号与下一个样本点$t_{i+1}$不同。 $t_i$构成的样本点集合$T$为：

(17)

在这种情况下，线$t_i{t}_{i+1}$与表面$\widehat{\partial \mathrm{\Omega }}$相交。 交点集合$\widehat{T^{\ast }}$为：

$$\widehat{T^{\ast }}=\left\{t\right|t=\frac{\widehat{sdf}(t_i)t_{i+1}-\widehat{sdf}(t_{i+1})t_i}{\widehat{sdf}(t_i)-\widehat{sdf}(t_{i+1})},t_i\in T\}.$$ (18)

与物体相互作用的射线可能与表面有多个相交。 具体来说，可以有至少两个交点。 与SDF监督机制类似，考虑到遮挡问题，我们只使用沿射线的第一个交点：

$$t^{\ast }=\text{argmin}\left\{t\right|t\in \widehat{T^{\ast }}\}.$$ (19)

$t^{\ast }$的选择保证了隐式表面的采样点对于相应的视图都是可见的，并且使得监督与颜色渲染的过程一致。

多视图光度一致性约束。

我们捕获了估计的隐式表面，其几何结构在不同视图之间应该是一致的。 基于这种直觉，我们使用多视图立体（MVS）[8,34,9]中的光度一致性约束来监督我们提取的隐式表面。

对于表面上的小区域$s$,$s$在图像上的投影是一个小像素块$q$。 除了遮挡情况外，与 $s$ 对应的补丁在不同视图之间应该是几何一致的。 与传统 MVS 方法中的面片变形类似，我们使用中心点及其法线来表示 $s$。为了方便起见，我们将$s$的平面方程表示在参考图像$I_r$的相机坐标中：

$${\text{n}}^T\text{p}+d=0,$$ (20)

其中 p 是通过公式（19）计算出的交点，${\text{n}}^T$ 是在 p 处通过 SDF 网络自动微分计算出的法线。然后，参考图像 $I_r$ 的像素斑块 $q_i$ 中的图像点 x 与源图像 $I_s$ 的像素斑块 $q_{is}$ 中的相应点 ${\text{x}}^{\prime }$ 通过平面诱导同构 H [11] 相互关联：

$$\text{x}={\text{H}\text{x}}^{\prime },\text{H}={\text{K}}_s({\text{R}}_s{\text{R}}_r^T-\frac{{\text{R}}_s({\text{R}}_s^T{\text{t}}_s-{\text{R}}_r^T{\text{t}}_r){\text{n}}^T}{d}){\text{K}}_r^{-1},$$ (21)

其中K提供内部校准矩阵，R提供旋转矩阵，t提供平移向量。 该索引指示捐赠属于哪个图像。 为了专注于几何信息，我们将彩色图像 $\left\{I_i\right\}$ 转换为灰度图像 $\left\{I_i^{\prime }\right\}$，并通过 $\left\{I_i^{\prime }\right\}$ 中斑块之间的光度一致性来监督我们的隐式表面。

光度一致性损失。

为了测量光度一致性，我们使用参考灰度图像$\left\{I_r^{\prime }\right\}$和源灰度图像$\left\{I_s^{\prime }\right\}$中的块的归一化互相关（NCC）：

$$NCC(I_r^{\prime }(q_i),I_s^{\prime }(q_{is}))=\frac{Cov(I_r^{\prime }(q_i),I_s^{\prime }(q_{is}))}{\sqrt{Var(I_r^{\prime }(q_i))Var(I_s^{\prime }(q_{is}))}},$$ (22)

其中 $Cov$ 表示协方差，$Var$ 表示方差。 在渲染图像颜色时，我们使用以要渲染的像素为中心的补丁，补丁大小为$11\times 11$。 我们将渲染图像作为参考图像，并计算其采样补丁与所有源图像上相应补丁之间的 NCC 分数。 为了处理遮挡，我们为 [9] 之后的每个采样补丁找到计算出的最佳 NCC 分数中的四个，并使用它们来计算相应视图的光度一致性损失：

$${ℒ}_{photo}=\frac{{\sum }_{i=1}^N{\sum }_{s=1}^{4}1-NCC(I_r^{\prime }(q_i),I_s^{\prime }(q_{is}))}{4N},$$ (23)

其中 $N$ 是渲染图像上采样的像素数。 通过光度一致性损失，保证了多个视图间隐式曲面的几何一致性。

3.4损失函数

在从特定视图渲染颜色期间，我们的总损失是：

$$ℒ={ℒ}_{color}+\alpha {ℒ}_{reg}+\beta {ℒ}_{SDF}+\gamma {ℒ}_{photo}.$$ (24)

${ℒ}_{color}$ 是地面真实颜色和渲染颜色之间的差异：

$${ℒ}_{color}=\frac{1}{N}\sum _{i=1}^N|C_i-\widehat{C_i}|.$$ (25)

${ℒ}_{reg}$是一个对应项[10]，用于正则化SDF网络的梯度：

$${ℒ}_{reg}=\frac{1}{N}\sum _{i=1}^N{(|\nabla \widehat{sdf}({\text{p}}_i)|-1)}^2.$$ (26)

在我们的实验中，我们选择$\alpha$、$\beta$和$\gamma$分别为0.3、1.0和0.5。

4实验

4.1 实验设置

数据集。

遵循之前的实践[40,33,39]，我们从 DTU 数据集 [1] 的 15 次扫描中重建表面以评估我们的方法。 DTU数据集包含各种类别的对象，这些对象在外观和几何形状方面差异很大。 每次扫描有 49 或 64 张分辨率为 1200 × 1600 的图像以及相机参数。 我们还对来自 BlendedMVS 数据集 [38]（CC-4 许可证）的低分辨率集的 7 个具有挑战性的场景进行了测试。 BlendedMVS 中的场景具有不同数量的视图和相机参数。 场景由分辨率为768×576的图像捕获，视图数量从31到143不等。 我们使用 DTU 评估指标 [1] 提供的倒角距离来评估 DTU 数据集上的重建曲面。 对于 BlendedMVS 数据集，我们展示了重建表面的视觉效果。

基线。

为了更好地评估我们的方法，我们将其与最先进的基于学习的方法和传统的重建方法 colmap [28] 进行比较。 对于基于学习的方法，我们与 IDR [40]、VolSDF [39]、NeuS [33] 和 NeuralWarp [ 7]。 对于 colmap，我们使用修剪参数为 7 的重建表面（最佳性能）。

实施细节。

与[40,33,39]类似，SDF网络由具有256个隐藏单元和中间的跳跃连接的8层MLP建模。 它由 [2] 中的几何初始化来初始化。 辐射网络由具有 256 个隐藏单元的 4 层 MLP 参数化。 位置编码[18]应用于6个频率的3D位置和4个频率的观看方向。 我们每批次采样 512 条光线，并遵循 NeuS [33] 中的分层采样策略对每条光线进行采样点。 我们在单个 NVIDIA RTX2080Ti GPU 上对模型进行约 16 小时的 30 万次迭代训练。 网络训练后，可以通过体积大小为 512³ 的 Marching Cube [17] 从预定义边界框中的 SDF 中提取网格。

4.2比较

	with mask		without mask
Scan	IDR	NeuS	VolSDF	NeuS	NeuralWarp	colmap	Ours
24	1.63	1.15	1.14	1.37	0.49	0.45	0.375
37	1.87	0.95	1.26	1.21	0.71	0.91	0.537
40	0.63	0.80	0.81	0.73	0.38	0.37	0.336
55	0.48	0.39	0.49	0.40	0.38	0.37	0.357
63	1.04	1.26	1.25	1.20	0.79	0.90	0.800
65	0.79	0.72	0.70	0.70	0.81	1.00	0.454
69	0.77	0.69	0.72	0.72	0.82	0.54	0.408
83	1.33	0.94	1.29	1.01	1.20	1.22	1.032
97	1.16	1.14	1.18	1.16	1.06	1.08	0.843
105	0.76	0.77	0.70	0.82	0.68	0.64	0.548
106	0.67	0.66	0.66	0.66	0.66	0.48	0.460
110	0.90	1.35	1.08	1.69	0.74	0.59	0.473
114	0.42	0.39	0.42	0.39	0.41	0.32	0.294
118	0.51	0.51	0.61	0.49	0.63	0.45	0.355
122	0.53	0.52	0.55	0.51	0.51	0.43	0.345
mean	0.90	0.82	0.86	0.87	0.68	0.65	0.508

表格1： DTU 场景的结果。 colmap 生成的曲面使用修剪值 7 进行修剪。

图4： 在 DTU 和 BlendedMVS 上重建的表面。 我们使用经过掩模监督训练的 NueS 和修剪值为 7 的 colmap。

我们比较了我们的方法和 DTU 数据集上的基线的重建质量。 表1显示了定量结果。 值得注意的是，我们的方法大大优于基线。 具体来说，它比最先进的神经隐式表面学习方法高出 25$\%$ 以上，比传统方法 colmap 高出 22$\%$。 如图4定性所示，我们的方法在复杂的薄结构和大的平滑区域中实现了高质量的表面重建。 例如，我们的方法可以恢复扫描 37 中的突然深度变化，并重建扫描 24 和 40 中的平面结构。 为了测试处理各种场景的能力，我们对 BlendedMVS 数据集的 7 个具有挑战性的场景进行了测试。 图 4 中的定性结果表明，我们的方法比其他方法产生更光滑和一致的表面质量。

4.3分析

消融研究。

为了评估我们提出的贡献的效果，我们对 DTU 数据集进行了消融研究。 采用 NeuS 作为我们的基线。 不同的模块逐渐添加到基线中以研究其功效。 结果报告于表2中。 我们看到，由于 SDF 网络上的 3D 监督非常稀疏，模型 A 已经开始优于 colmap（0.62 与 0.65）。 这表明显式 SDF 优化对于改善几何形状非常有益。 通过所提出的光度一致性损失，Model-B 可以更完全地优化 SDF 网络，从而带来更多的性能提升。 图5显示了所提出的损失函数如何提高表面质量。 Model-A很好地重建了苹果茎，但表面不够光滑。 Model-B 重建了光滑的表面，但苹果茎丢失了。 也就是说，SDF损失更适合改善复杂薄结构的重建，而光度损失更适合大平滑区域的重建。 而且，我们的完整模型Geo-Neus吸收了他们各自的优点并达到了最佳性能。

图5： 烧蚀模型的表面质量。

Method	${ℒ}_{color}$	${ℒ}_{SDF}$	${ℒ}_{photo}$	mean
Baseline	✓			0.87
Model-A	✓	✓		0.62
Model-B	✓		✓	0.54
Geo-Neus	✓	✓	✓	0.51

表2： DTU 场景的消融研究。

Constraint	Setting	mean
Sparse 3D points	Depth integral	0.85
	SDF location	0.62
Photometric consistency	Depth integral	1.08
	SDF location	0.57

表3： 深度积分与SDF定位的比较结果。

体积积分的几何偏差。

为了进一步研究体积积分的几何偏差，我们以与渲染 RGB 像素 [18] 类似的方式渲染特定姿势的深度图像，然后使用深度图像构建稀疏 3D 点和光度一致性约束。 NeuS 也用作基线。 比较结果如表3所示。 可以看出，与基线（0.87）相比，带有深度积分的多视图几何约束带来的性能提升甚微，甚至有所下降。 值得注意的是，由于初始的巨大偏差，深度积分表面定位的光度一致性监督无法收敛，而 SDF 定位模型则顺利收敛。 作为替代方案，我们基于经过 20 万次迭代预训练的基线模型来训练这两个模型。 与基线相比，深度积分模型的结果仍然下降。 这验证了体积积分中几何偏差的存在。 通过我们提出的面向 SDF 的优化，可以显着提高表面重建质量。

图6： 收敛速度。

收敛速度。

我们进一步研究了我们提出的方法 Geo-Neus 和基线 NeuS 的收敛速度。 如图6所示，我们的方法从头开始快速收敛，并在 200k 次迭代后变得稳定。 相比之下，NeuS 一开始无法从 SDF 网络中提取合理的表面，并在 250k 次迭代后开始变得稳定。 这表明我们提出的显式 SDF 优化还提高了通过体积渲染进行神经表面学习的效率，将训练时间从约 16 小时减少到约 10 小时。

5结论

我们提出了 Geo-Neus，这是一种通过执行显式 SDF 优化来执行神经隐式表面学习的新方法。 在我们的论文中，我们首先提供了体积渲染集成和神经 SDF 学习之间存在差距的理论分析。 有了这个理论支持，我们建议通过引入两个多视图几何约束来显式优化神经 SDF 学习：来自运动的结构中的稀疏 3D 点和多视图立体中的光度一致性。 通过这种方式，Geo-Neus 可以在复杂的薄结构和大的光滑区域中产生高质量的表面重建。 因此，它大大优于最先进的技术，包括传统的和神经隐式表面学习方法。 我们注意到，尽管我们的方法极大地提高了重建质量，但其效率仍然有限。 未来，通过超快速的每场景辐射场优化方法[32, 22]探索通过体积渲染加速神经隐式表面学习将会很有趣。 我们没有看到我们的工作立即产生负面社会影响，但准确的 3D 模型可能会被恶意使用。

6致谢

这项工作得到了国家自然科学基金委 62176096 和 61991412 的支持。