从 NeRF 到高斯 Splats 以及返回

从 NeRF 到高斯 Splats 以及返回
何思明*、Zach Osman*、Pratik Chaudhari

图1： NeRF 比高斯训练泼溅 (GS) 更好地概括了与数据中的视图非常不同的视图。 NeRF-SH（左）和 Splatfacto（右），均总结于 选项卡。 1，在来自 Nerfstudio 数据集 [1] 的 Aspen（上）和 Giannini Hall（下）上进行训练。 在这两个数据集中，NeRF-SH 和 Splatfacto 都具有相对较好的训练和验证 PSNR，因为验证视图与训练视图类似（参见图 2 顶部）。 对于与训练视图差异较大的新颖视图（如上图所示），NeRF-SH 比 Splatfacto 渲染更好的 RGB 和深度图像。 Aspen 新颖视图中的红色框说明了 RGB 和深度视图中的区域，其中 NeRF-SH 比 Splatfacto 具有明显更好的深度几何形状和更少的伪影。 对于 Giannini Hall 的新颖视图，NeRF-SH 显然比 Splatfacto 更好地保留了深度结构。

图2： 上图：Nerfstudio [1] 中的 Aspen 和 Giannini Hall 场景包含与训练视图类似的验证视图。 尽管 Splatfacto 在这些数据上具有良好的渲染质量 选项卡。 2，它无法准确渲染 Figure 2 中的不同视图。 底部：我们创建了两个新场景，名为 Wissahickon 和 Locust Walk，其中验证视图与训练视图有很大不同。 对于这些新场景，Splatfacto 的验证 PSNR 比 NeRF 差很多；看 选项卡。 2. 以上所有图像均使用从 NeRF-SH 获得的高斯图进行渲染，无需进行微调；这称为 NeRFGS，零迭代 选项卡。 2.

辐射基于现场的场景表示在机器人技术中非常有用，可用于定位和绘图 [2, 3, 4, 5, 6, 7, 8]、规划和控制 [9, 10, 11, 12 , 13]，场景理解[14, 15]，以及模拟[16, 17, 18]。 通常，这些应用中的关键问题是是否使用隐式表示（如神经辐射场 (NeRF) [19, 20])或显式表示（如 3D 高斯分布 (GS) ) [21, 22]。 两者都有优点和缺点。

图3： NeRFGS 比 GS 具有更好的泛化能力，同时具有实时渲染功能。 NeRFGS 将经过训练的 NeRF-SH 转换为 GS，同时与图2中的 Splatfacto 保持良好的泛化性。 在 GeForce RTX 4090 上，转换大约需要 10 秒：提取球谐函数需要 7 秒，微调需要 3 秒。 因此，它的速度足够快，可以在机器人上定期完成。 如有必要，如果仅在机器人周围进行 NERF-SH 到 GS 的转换，则可以减少此时间；或者如果天空（与许多地面机器人任务无关）被忽略。

Nerfacto	NeRF-based approach in Nerfstudio
NeRF-SH	Our modified Nerfacto that predicts spherical harmonics for the color instead of the RGB intensity
Splatfacto	Gaussian Splatting approach in Nerfstudio
NeRFGS	Gaussian splats obtained from NeRF-SH, with or without further fine-tuning
GSNeRF	NeRF-SH converted from NeRFGS
RadGS	Gaussian Splatting trained using the pointcloud obtained from NeRF [23]

Table 1: Different approaches for scene representations.

图4： GSNeRF 可用于节省内存和编辑 NeRF。 我们将 NeRFGS 模型（如图图4)转换回 NeRF-SH 以获得 GSNeRF（左）。 GSNeRF 将内存密集型 GS 模型存储为更紧凑的 NeRF。 此外，带有 NeRFGS 的 GSNeRF 通过转换为 GS、修改高斯并将其转换回来，可以轻松修改 NeRF 表示的场景。 例如，我们通过 GSNeRF 编辑了图2中 Giannini Hall 的灯柱，并使用 NeRF 渲染了图像（右） SH。

	Iterations	Aspen			Giannini Hall			Wissahickon			Locust Walk
	($\times {10}^2$)	PSNR (Val)	SSIM	LPIPS	PSNR (Val)	SSIM	LPIPS	PSNR (Train/Val)	SSIM	LPIPS	PSNR (Train/Val)	SSIM	LPIPS
Nerfacto-big [1]	300	17.75	0.5	0.43	20.11	0.68	0.3	22.17 / 20.75	0.75	0.26	22.29 / 21.49	0.8	0.3
Splatfacto [1]	300	17.63	0.5	0.39	20.87	0.7	0.33	23.46 / 14.62	0.55	0.45	24.04 / 17.72	0.7	0.31
NeRF-SH	300	17.73	0.48	0.45	19.89	0.65	0.32	22.41 / 17.46	0.61	0.39	21.73 / 18.74	0.7	0.33
RadGS [23]	1	11.65	0.28	0.74	12.37	0.49	0.61	12.4 / 15.17	0.62	0.46	10.84 / 11.85	0.6	0.46
RadGS [23]	10	17.85	0.51	0.44	20.84	0.72	0.3	20.7 / 20.73	0.76	0.29	21.15 / 21.04	0.8	0.25
NeRFGS	0	13.96	0.3	0.58	16.19	0.47	0.49	- / 14.40	0.47	0.51	- / 14.87	0.51	0.47
NeRFGS	1	14.06	0.34	0.57	15.73	0.53	0.46	16.62 / 17.07	0.63	0.4	15.7 / 17.22	0.65	0.37
NeRFGS	10	17.7	0.51	0.4	21.05	0.73	0.26	20.67 / 20.64	0.75	0.27	21.11 / 21.14	0.8	0.24
GSNeRF	50	18.1	0.44	0.44	21.22	0.69	0.31	- / 17.65	0.63	0.39	- / 19.32	0.71	0.33
GSNeRF	300	18.58	0.51	0.36	23.71	0.82	0.17	- / 17.59	0.64	0.37	- / 19.32	0.72	0.31

表2： 定量结果。 我们计算不同模型和场景的PSNR、SSIM、LPIPS。 对于 Wissahickon 和 Locust Walk，验证视图与训练视图不同，我们还显示了训练 PSNR，因为我们注意到与其他方法相比，Splatfacto 的训练和验证 PSNR 之间存在更大差距。 相比之下，经过 100 次微调迭代后，NeRFGS 的验证视图渲染质量已经合理。 经过 1000 次迭代训练后，NeRFGS 的质量优于 Splatfacto 和 NeRF-SH。 与RadGS相比，收敛速度更快，即经过100次迭代后，结果更好，如图5所示。 GSNeRF 的训练速度也更快，质量也更好，请参见图 5。 所有基于 GS 的方法都可以在 GeForce RTX 4090 上以超过 40 FPS 的速度渲染。 对于基于 NeRF 和基于 GS 的方法，训练 100 次迭代分别需要大约 6 秒和 3 秒。 GSNeRF 使用从 NeRFGS 获得的高斯函数进行 5000 次迭代的监督。

想象一个四足机器人沿着道路行走。 重要的是要确保从以自我为中心的视图构建的场景表示能够推广到道路另一边的新视图。 当训练量充足并且测试视图与训练视图[19, 24]类似时，非参数 GS 模型表现良好。 当训练和测试视图彼此不同时，像 NeRF 这样的参数模型会工作得更好。 参见图2。 对于具有曝光变化和运动模糊的野外数据，在 GS 中移动、合并和分割高斯的启发式方法很脆弱[23]。 NeRF 的训练更加稳定，并且可以在有限的视图下恢复更好的几何形状。 NeRF 也是一种更紧凑的表示形式，并且比 GS 需要更少的内存。 这对于资源受限的机器人来说非常重要。 对于提取的特征字段来说，差异相当明显。 基于NeRF的方法[14, 25]可以有效地存储高维特征。 基于 GS 的方法[26,27,28]需要额外的步骤来压缩特征。

显式表示可以比隐式表示实现更快的渲染。 高速渲染对于机器人定位（需要检查许多视图以确定与当前观察的视觉重叠）、规划（需要沿着假定轨迹合成新视图）等非常重要。 显式表示也可以轻松修改，例如通过更新高斯函数。 这对于在动态环境中运行的机器人非常有用。 修改隐式表示需要昂贵的重新训练或复杂的建模[29,30,31,32,33]。

我们开发了一个在隐式和显式表示之间来回切换的程序。 我们使用许多现有数据集评估这种方法的质量和效率。 我们研究了这种方法，在评估视图与训练视图不同的情况下，从以自我为中心的相机沿着远足小径记录的视图。 我们表明，我们的方法实现了 NeRF（不同视图上的卓越 PSNR、SSIM 和 LPIPS，以及紧凑的表示）和 GS（实时渲染和轻松修改表示的能力）的最佳性能。 与从头开始训练相比，在这些表示之间进行转换的计算成本很小。

结果

选项卡。 1 提供了不同方法的简要总结。 我们修改 Nerfacto 以预测每个 RGB 通道的球谐函数（3 次，即 16 个系数）。 体积渲染方程保持不变：我们使用观察方向根据球谐函数计算 RGB 颜色，然后沿光线进行积分。

给定这样一个经过训练的“NeRF-SH”，我们使用从训练视图渲染的 2$\times {10}^6$ 条光线的中值深度来计算场景的点云。 我们确保这些光线具有高不透明度并且不对应于天空。 使用 NeRF-SH 预测的密度和球谐函数在每个点处初始化各向同性高斯。 每个高斯的尺度是每个点与其三个最近邻居之间的平均距离的一半。 无需任何进一步的优化，这个“NeRFGS”就已经很好地捕捉了场景的几何和光度特性；参见图2和2。 我们可以使用训练视图进一步模拟它；参见图4和2。

对于 GSNeRF，我们使用训练视图中的 NeRFGS 渲染图像，并拟合或更新 NeRF-SH。 我们注意到，与使用原始图像相比，使用 GS 渲染视图训练 NeRF 可以提供更好的 PSNR、SSIM 和 LPIPS；参见图5和 选项卡。 2. 这可能是由于 GS 渲染视图中缺少高频结构。 人们可能还对将显式表示转换回隐式表示感兴趣。 我们在图4中展示了一个示例，其中我们通过在NeRFGS中选择相应的splats并通过GSNeRF更新NeRF来手动编辑灯柱4.8 秒后

图5： NeRF 可以有效地转换为高质量的高斯图。 我们将验证数据的 PSNR、SSIM 和 LPIPS 报告为 Aspen 进度的函数。 经过 1000 次迭代微调后，NeRFGS 的性能与 NeRF-SH 和 Splatfacto 相当或更好。

讨论

我们演示了一个简单的过程，可以在场景的隐式表示（例如 NeRF）和显式表示（例如高斯泼溅 (GS)）之间进行转换。 这些想法对于处理机器人技术中常见的稀疏视图的情况很有用。 人们可以通过多种方式来构建这项工作。 请注意，在 选项卡。 2 未经微调的 NeRFGS 的 PSNR 低于 NeRF-SH。 这表明我们将 NeRF-SH 转换为显式表示的方式存在很大程度的低效率。