Vidu4D：使用动态高斯面元进行单个生成视频的高保真 4D 重建

摘要

视频生成模型因其生成真实且富有想象力的帧的能力而受到特别关注。 此外，这些模型还表现出很强的 3D 一致性，显着增强了它们作为世界模拟器的潜力。 在这项工作中，我们提出了 Vidu4D，这是一种新型重建模型，能从单个生成的视频中准确重建 4D（即，连续 3D 表示），解决了与非刚性和帧失真相关的难题。 此功能对于创建保持空间和时间一致性的高保真虚拟内容至关重要。 Vidu4D 的核心是我们提出的动态高斯面元 (DGS) 技术。 DGS 优化时变扭曲函数，将高斯面元（表面元素）从静态转换为动态扭曲状态。 这种变换可以精确描述随时间变化的运动和变形。 为了保持表面对齐高斯面元的结构完整性，我们设计了基于连续扭曲场的扭曲状态几何正则化来估计法线。 此外，我们还学习了高斯面元的旋转和缩放参数的改进，这极大地减轻了扭曲过程中的纹理闪烁，并增强了细粒度外观细节的捕获。 Vidu4D 还包含一个新颖的初始化状态，为 DGS 中的扭曲场提供正确的启动。 为 Vidu4D 配备现有的视频生成模型，整个框架在外观和几何方面展示了高保真文本到 4D 的生成。 项目页面：https://vidu4d-dgs.github.io。

1简介

多模式生成领域展现了显着的进步，并为各种应用带来了巨大的希望。 最近，视频生成模型因其制作沉浸式且逼真的帧的卓越能力而受到关注[8, 4]。 这些模型产生视觉上令人惊叹的内容，同时还表现出强大的 3D 一致性[15, 80]，大大提高了它们模拟现实环境的潜力。

与这些发展并行的是，高质量 4D 重建也取得了长足的进步[62,19,57,99,93]。 该技术涉及捕获和渲染详细的空间和时间信息。 当与生成视频技术集成时，4D 重建可能能够创建捕捉静态场景和随时间变化的动态序列的模型。 这种综合提供了对现实的更全面的表示，这对于虚拟现实、科学可视化和具体人工智能等应用至关重要。

(a) Prompt: A portrait captures the dignified presence of an orange cat with striking blue eyes. The cat wears a single pearl earring. Her head tilts in contemplation, reminiscent of a Dutch cap.

(b) Prompt: A dragon with its hair blown by a strong wind. Devil enters the soul with ethereal landscapes.

(c) Prompt: Light painting photo of a cheetah, cinematic.

(d) Prompt: A goldfish seemingly swimming through the air.

(e) Prompt: A small, fluffy creature with an appearance reminiscent of a mythical being. The creature’s fur texture is rendered in high detail. The monster’s large eyes and open mouth express wonder and curiosity.

(f) Prompt: An isolated coloured abstract sculpture with a dali shape.

图1： 通过为 Vidu4D 配备预训练视频扩散模型 [4] 生成文本（到视频）到 4D 样本。 对于每个样本，我们展示了新颖视图颜色、法线和面元特征的每帧 3D 渲染。 我们观察到 Vidu4D 可以重建精确详细且逼真的 4D 表示。 请参阅项目页面中的随附视频，以获得更好的视觉质量。

然而，从生成的视频中实现高保真 4D 重建面临着巨大的挑战。 非刚性和帧失真是普遍存在的问题，可能会破坏重建内容的时间和空间连贯性，从而使动态主题的无缝和连贯描述的创建变得复杂。

在这项工作中，我们介绍了 Vidu4D，这是一种新颖的重建管道，旨在从单个生成的视频中准确重建 4D 表示，从而促进创建具有高精度空间和时间一致性的 4D 内容。 Vidu4D 包含两个新颖的阶段，即非刚性扭曲场的初始化和动态高斯面元 (DGS)，共同实现了具有高保真外观和精确几何形状的高保真 4D 内容的重建。

具体来说，所提出的 DGS 优化了非刚性扭曲函数，将高斯面元从静态变换为动态扭曲状态。 这种动态变换准确地表示随时间变化的运动和变形，这对于捕捉真实的 4D 表示至关重要。 此外，DGS 由于其他两个关键方面而表现出卓越的 4D 重建性能。 首先，在几何方面，DGS遵循高斯面元原理[28, 16]来实现精确的几何表示。 与现有方法不同，DGS 结合了扭曲状态正态一致性正则化，将面元与具有可学习连续场的实际表面对齐(w.r.t. 空间坐标和时间）以确保估计法线时平滑变形。 其次，对于外观，DGS 通过双分支结构学习高斯面元的旋转和缩放参数的额外细化。 这种改进减少了变形过程中的闪烁伪影，并允许精确渲染外观细节，从而产生高质量的重建 4D 表示。

通过将 Vidu4D 与名为 Vidu [4] 的现有强大视频生成模型集成，整体框架展示了文本到 4D 生成的卓越功能。 我们在图 1 中提供了 4D 可视化结果。 基于生成的视频的大量实验验证了我们的方法与当前最先进的方法相比的有效性。

2相关作品

3D 表示。 将 2D 图像转换为 3D 表示长期以来一直是该领域的核心挑战。 最初，三角形网格因其紧凑性和与渲染管道的兼容性而受到青睐[9,17,81,92,66,77]。 然而，由于基于表面的方法的局限性，向更复杂的体积方法的过渡是不可避免的。 早期的体积表示包括体素网格[71,47,60,35]和多平面图像[104,20,53,74,73,79]，其中，尽管它们很简单，但需要复杂的优化策略。 神经辐射场 (NeRF) [54] 的引入标志着一项重大进步，它提供了隐式体积神经表示，可以存储和查询每个点的密度和颜色，从而实现高度逼真的重建。 此后，NeRF 范例在重建质量 [5, 6, 33, 52, 91] 和渲染 [65, 25, 101, 64, 44, 63, 41 、23、27、12、84、48]。 为了解决 NeRF 的局限性，例如渲染速度和内存使用，最近被称为 3D 高斯分布 (3DGS) [33] 的工作提出了具有 GPU 优化的基于图块的光栅化的各向异性高斯表示。 这为表面提取[28, 24]、生成[14,76,95]和大规模场景重建[45, 69, 34]，3DGS 逐渐成为 3D 场景和对象的通用表示。 高斯面元方法[28, 16]在精确几何建模方面进一步展现出优势。 虽然这些方法极大地推进了静态 3D 表示领域的发展，但通过非刚性运动和变形捕获现实世界场景的动态方面带来了一系列独特的挑战，需要创新的解决方案。

动态重建和生成。 视频捕获场景的动态重建比静态重建提出了更复杂的挑战，需要捕获随时间变化的非刚性运动和变形[37,59,75,30,87]。 传统方法探索使用同步多视图视频[47,36,88,1,72,11,83,85,3,58,82]进行动态重建，或者专注于特定的动态元素，例如人类或动物。 最近，人们开始转向从单目视频重建非刚性物体，这是一个更实用但更具挑战性的场景。 一种方法是将时间作为神经辐射场的附加输入[38,67,11,97]，从而允许显式查询时空信息。 另一条研究路线将时空辐射场分解为规范空间和变形场，表示空间属性及其时间变化[62, 19, 57, 22, 56, 19, 68, 46, 43, 103, 78 、31、18、21、39、94]。 随着 3DGS 的进步，已开发出可变形 GS [99] 和 4DGS [93]，分别利用具有多层感知 (MLP) 和三平面的神经变形场。 SCGS [29] 和动态 3D 高斯 [51] 也通过对时变场景进行建模来推进该领域的发展。 基于这些进展，我们的工作引入了动态高斯面元，这是高斯表示的一种新颖扩展，可以提高动态场景下外观和表面重建的质量。 在 3D 或 4D 生成领域，我们的方法与基于优化的 [61, 89, 40, 13, 14, 87, 70, 42, 2] 的最新进展不同，前馈 [26,105,90]，以及利用视频生成模型实现生成能力的多视图重建方法[15,49,50]。 我们的主要重点是保留生成视频的高质量外观和几何完整性。 这样的生成过程不仅可以捕捉运动和变形的细微差别，而且可以保持高标准的真实感和细节，这对于创建身临其境且栩栩如生的虚拟 3D 表示至关重要。

3方法

在本节中，我们首先介绍4D重建的基本问题定义（参见第3.1节）。 然后，我们提出了称为动态高斯面元 (DGS) 的方法，用于在具有较大非刚性的 4D 重建过程中精确建模外观和几何形状（参见第 3.2 节）。 最后，我们介绍 Vidu4D 作为重建管道和执行生成任务的整体框架（参见第 3.3 节）。

3.1问题定义

当给定具有 $T$ 帧的单个 RGB 视频序列时，4D 重建的目标是确定可以渲染以尽可能适合每个视频帧的连续 3D 表示。 具体来说，假设第 $t$ 帧（称为时间 $t$)的 3D 表示由 ${\theta }_t$ 参数化，其中 $t=1,\mathrm{\cdots },T$。 给定一个可微的渲染映射$𝒈$，我们可以获得帧像素${\overline{𝐱}}^t\in {ℝ}^2$处的渲染颜色。 我们选择 NeRF [54]、Gaussian Splatting [33] 和 Gaussian Surfels [28, 16] 中常用的体渲染。 4D 重建的优化可以通过最小化经验损失来实现：

$$\underset{\theta }{\min }\frac{1}{T}\sum _{t=1}^T\sum _{{\overline{𝐱}}^t}ℒ\left(𝐜({\overline{𝐱}}^t)=𝒈({\theta }_t,{\{{𝐱}_i^t\}}_{i=1,\mathrm{\cdots },N}),\widehat{𝐜}({\overline{𝐱}}^t)\right),$$ (1)

其中 ${𝐱}_i^t\in {ℝ}^3$ 是沿从帧像素 ${\overline{𝐱}}^t$ 发出的光线与高斯基元采样或相交的第 $i$ 3D 点； $N$是每条光线的采样点或相交点的数量； $𝐜({\overline{𝐱}}^t)$和$\widehat{𝐜}({\overline{𝐱}}^t)$分别是${\overline{𝐱}}^t$处的渲染颜色和观察到的颜色。

3.2 动态高斯面元

通过优化方程。 (1)，本质上我们的目标是构建一个可以变形以与每个 2D 帧保持一致的顺序 3D 表示。 我们首先考虑一个理想的视频，该视频展示同一静态对象的不同视图，而没有对象变形、移动或视频失真。 为了以高外观保真度和几何精度对 3D 表示进行建模，我们遵循最新高斯曲面进展[28, 16]提出的使用可微分 2D 高斯基元的方法。 具体来说，第 $k$ 个高斯面元（总共 $K$)的特征是中心点 ${𝐩}_k^{\ast }\in {ℝ}^3$ 和以 ${𝐩}_k^{\ast }$ 具有两个主切向矢量 ${𝐭}_u^{\ast }\in {ℝ}^{3\times 1}$、${𝐭}_v^{\ast }\in {ℝ}^{3\times 1}$ 和缩放因子 $s_u^{\ast }\in ℝ$、$s_v^{\ast }\in ℝ$。 这里，我们使用符号“$\ast$”来表示静态参数。 高斯面元被计算为在世界空间中的局部切平面中定义的二维高斯。 在[28]之后，对于位于以${𝐩}_k^{\ast }$为中心的$uv$坐标系上的任意点$𝐮=(u,v)$，其在世界空间中的坐标，表示为 $P_k^{\ast }(𝐮)\in {ℝ}^{3\times 1}$，计算公式为

(2)

其中${𝐑}_k^{\ast }=[{𝐭}_u^{\ast },{𝐭}_v^{\ast },{𝐭}_u^{\ast }\times {𝐭}_v^{\ast }]\in \mathrm{SO}(3)$表示旋转矩阵，对角矩阵${𝐒}_k^{\ast }=\mathrm{diag}(s_u^{\ast },s_v^{\ast },0)\in {ℝ}^{3\times 3}$表示缩放矩阵。

在这项工作中，我们的重点是从单个生成的视频进行 4D 重建，这可能会表现出明显的非刚性、扭曲或照明变化。 我们引入动态高斯面元 (DGS)，这是一种旨在实现精确 4D 重建同时适应非刚性和其他时变效应的方法。

受非刚性重建方法最新进展[56,97,87]的推动，我们的目标是确保目标对象在不同帧之间保持一致的静态状态，从而减轻非刚性和畸变效应。 为了实现这一点，我们对 $P_k^{\ast }(𝐮)$ 表示的每个高斯面元采用扭曲技术，将它们在时间 $t$ 处转换为相应的高斯面元 $P_k^t(𝐮)$，其中心位于${𝐩}_k^t\in {ℝ}^3$ 带有旋转矩阵 ${𝐑}_k^t\in \mathrm{SO}(3)$ 和缩放矩阵 ${𝐒}_k^t\in {ℝ}^{3\times 3}$。

高斯面元的非刚性扭曲。 我们现在构建从静态到扭曲状态的扭曲过程。 我们利用 $B$ 骨骼作为关键点来定义时变非刚性变形函数，以简化变形训练。 在静态下，$b$-th骨骼由三维高斯椭圆体[96]表示，其中心为${𝐜}_b^{\ast }\in {ℝ}^{3\times 1}$，旋转矩阵为${𝐕}_b^{\ast }\in {ℝ}^{3\times 3}$，对角缩放矩阵为${𝚲}_b^{\ast }\in {ℝ}^{3\times 3}$。 我们让 ${𝐉}_b^t\in \mathrm{SE}(3)$ 表示一个刚性变换，将第 $b$ 骨骼在 $t$ 时刻从静态状态移动到扭曲状态。对于 3D 点 $P_k^{\ast }(𝐮)$，时间 $t$ 的蒙皮权重向量 ${𝐰}^t\in {ℝ}^{B\times 1}$ 通过遵循 [97] 的归一化马哈拉诺比斯距离计算

$$m_b^t={(P_k^{\ast }(𝐮)-{𝐜}_b^t)}^{\top }{𝐐}_b^t((P_k^{\ast }(𝐮)-{𝐜}_b^t),{𝐰}^t={\sigma }_{\mathrm{softmax}}{(m_1^t,m_2^t,\mathrm{\cdots },m_B^t)}^{\top },$$ (3)

其中 $m_b^t$ 表示 $P_k^{\ast }(𝐮)$ 和第 $b$ 骨骼之间的平方距离； ${𝐜}_b^t\in {ℝ}^{3\times 1}$是$t$时刻第$b$骨骼的中心，${𝐐}_b^t=𝐕_b^t{}_{}{}^{\top }{𝚲}_b^{\ast }{𝐕}_b^t$是骨骼方向矩阵组成的精度矩阵${𝐕}_b^t\in {ℝ}^{3\times 3}$ 时间 $t$ 和 ${𝚲}_b^{\ast }$。 具体来说，有 $({𝐕}_b^t|{𝐜}^t)={𝐉}_b^t({𝐕}_b^{\ast }|{𝐜}^{\ast })$，其中 ${𝐜}_b^{\ast }$、${𝐕}_b^{\ast }$ 和 ${𝚲}_b^{\ast }$ 是可学习参数。 ${\sigma }_{\mathrm{softmax}}$ 是 $\mathrm{softmax}$ 函数。

实际上，${𝐉}_b^t$ 是通过使用多层感知 (MLP) 并保证 $\mathrm{SE}(3)$ 的非线性映射来实现的，如稍后在等式 1 中给出的。 (6)。 非刚性扭曲函数可以写为${𝐉}_b^t\in \mathrm{SE}(3)$的加权组合，其中我们应用双四元数混合蒙皮（DQB）[32]来确保有效$\mathrm{SE}(3)$ 组合后，

${𝐉}^t=ℛ\left({\displaystyle \sum _{b=1}^B}{w}_b^t𝒬({𝐉}_b^t)\right),$ (4)

其中 $w_b^t$ 是 ${𝐰}^t$ 的第 $b$ 元素； $𝒬$和$ℛ$分别表示四元数过程和逆四元数过程。 在本例中为${𝐉}^t\in \mathrm{SE}(3)$。

图2： 整体框架和 DGS 的详细说明。 对于 DGS，通过学习以时间 $t$ 和坐标 $𝐮$ 为条件的非刚性扭曲函数，将静态高斯面元转换为扭曲状态。 我们结合了扭曲状态法线正则化来实现精确的几何形状，并结合高斯面元的精细旋转和缩放矩阵来实现详细的外观。 处于扭曲状态的两个分支，包括有细化和没有细化的情况，共享相同的高斯面元中心和相同的扭曲函数。 “字段初始化。”代表第 2 节中介绍的字段初始化。 3.3。

因此，我们将扭曲重写为 ${𝐉}^t=[{\widetilde{𝐑}}^t,{\widetilde{𝐓}}^t]$，其中包含旋转 ${\widetilde{𝐑}}^t\in \mathrm{SO}(3)$ 和平移 ${\widetilde{𝐓}}^t\in {ℝ}^3$，并将相应的变换应用于等式： (2) 通过

(5)

请注意等式。 (5) 对于任何给定点 $P_k^{\ast }(𝐮)$ 成立，包括第 $k$ 个高斯面元的中心点(即,${𝐩}_k^{\ast }$)当$𝐮=(0,0)$时。 通过推导方程。 (5)，我们启用扭曲函数w.r.t.的连接 到以 ${𝐩}_k^{\ast }$ 为中心的局部坐标系上的任意点 $𝐮=(u,v)$，稍后在等式中需要用到该点。 (9)，其中 $𝐮$ 是高斯面元和从帧像素发出的射线的交集。

扭曲状态正则化。 为了准确捕获几何表示，我们遵循高斯面元[28, 16]中的类似方法来添加法线一致性正则化，这鼓励所有高斯面元与实际表面局部对齐。 不同的是，与静态场景的3D重建不同，4D重建通常面临非刚性和扭曲。 因此，像以前的方法一样简单地执行正则化以促进表面对齐的高斯面元会由于非刚性扭曲而损害结构完整性。

因此，我们设计了一种扭曲状态正则化。 如前所述，在时间 $t$ 时处于扭曲状态的每个点 $P_k^t(𝐮)$ 都是基于等式 1 中的扭曲函数从其相应的静态点 $P_k^{\ast }(𝐮)$ 转换而来。 (5)，即$P_k^t(𝐮)={𝐉}^t{P}_k^{\ast }(𝐮)$和${𝐉}^t$由${𝐉}_b^t$组成。 为了在正则化法线时在很大程度上保持结构完整性，我们将 ${𝐉}_b^t$ 设计为连续字段，它同时采用点 $P_k^{\ast }(𝐮)$ （或等效地，$𝐮$局部坐标系）和时间$t$作为条件。 通过此设置，${𝐉}_b^t$预计会随着$𝐮$或$t$的变化而不断变化。我们通过使用 NeRF 式 MLP 来实现连续场，直接输出 6 维对偶四元数，并依靠逆四元数过程 $ℛ$ 来保证 $\mathrm{SE}(3)$,即，

$${𝐉}_b^t=ℛ\left(\mathrm{𝐌𝐋𝐏}({𝜸}_b^t;𝐮,t)\right),$$ (6)

其中 ${𝜸}_b^t$ 是可学习的潜在代码，用于在 $t$ 时间对第 $b$ 块骨骼进行编码； $𝐮$和$t$都被发送到MLP作为获取${𝐉}_b^t$的条件。 因此 ${𝐉}^t$ 也预计是连续的 w.r.t. $𝐮$ 和 $t$。

基于上述设计，得到$t$时刻的正态一致性损失，类似于[28]，

$${ℒ}_n=\sum _{k=1}^K{\omega }_k(1-{𝐧}_k^{\top }{𝐍}^t),{𝐍}^t(x,y)=\frac{{\nabla }_x{𝐩}^t\times {\nabla }_y{𝐩}^t}{|{\nabla }_x{𝐩}^t\times {\nabla }_y{𝐩}^t|},$$ (7)

其中 $k$ 沿从帧像素 $\overline{𝐱}$ 发出的光线对相交面元进行索引； ${\omega }_k={\alpha }_k{𝒢}_k(𝐮(\overline{𝐱})){\prod }_{j=1}^{k-1}(1-{\alpha }_j{𝒢}_j(𝐮(\overline{𝐱})))$表示交点的混合权重； ${𝐧}_k$ 表示面向相机的面元法线； ${𝐍}^t$ 通过有限差分计算，是在扭曲状态时间 $t$ 附近深度点 ${𝐩}^t$ 估计的表面法线。

总之，通过学习连续的扭曲场并将面元法线与扭曲状态下的估计表面法线对齐，我们确保所有高斯面元局部逼近实际物体表面，而不会受到非刚性扭曲的明显损害。

细化的双分支结构。 为了进一步实现细粒度的外观并减少扭曲期间的纹理闪烁，我们建议学习用于调整旋转矩阵 ${𝐑}_k^{\ast }$ 和缩放矩阵 ${𝐒}_k^{\ast }$ 的细化项（在等式中定义）(2)) 在静态下。 我们假设细化项分别为 $\mathrm{\Delta }{𝐑}_k^{\ast }\in \mathrm{SO}(3)$ 和 $\mathrm{\Delta }{𝐒}_k^{\ast }\in {ℝ}^{3\times 3}$。 请注意，$\mathrm{\Delta }{𝐒}_k^{\ast }$ 的第三轴不再一定是 $0$。 在细化过程中，我们保留中心点${𝐩}_k^{\ast }$和扭曲${𝐉}^t$(即，包括${\widetilde{𝐑}}^t$和${\widetilde{𝐓}}^t$) 保持不变。 新的扭曲过程被表述为：

(8)

在DGS的训练过程中，我们维护两个分支，一个是经过细化的，一个是没有细化的。 在扭曲状态下，两个分支都通过共享扭曲函数和高斯基元中心进行联合训练. 由于$\mathrm{\Delta }{𝐑}_k^{\ast }$和$\mathrm{\Delta }{𝐒}_k^{\ast }$的参与，两个分支都有不同的高斯基元旋转和缩放矩阵。

光栅化。 给定帧像素 $\overline{𝐱}$ 和从 $\overline{𝐱}$ 发出的相机光线，按照静态方法计算沿光线 与高斯基元的交点坐标[33, 28] ，我们可以根据式（1）获得扭曲状态交点坐标。 (5) 和等式。 (8)。 然后，我们执行体积渲染过程 [28]，该过程沿着光线集成 alpha 加权外观：

$$𝐜(\overline{𝐱})=\sum _k{𝐜}_k{\alpha }_k{𝒢}_k\left(𝐮(\overline{𝐱})\right)\prod _{j=1}^{k-1}\left(1-{\alpha }_j{𝒢}_j\left(𝐮(\overline{𝐱})\right)\right),$$ (9)

其中 $k$ 沿着从帧像素 $\overline{𝐱}$ 发出的光线对相交的高斯基元进行索引； ${\alpha }_k$和${𝐜}_k$分别表示用第$k$高斯面元的球谐函数参数化的不透明度和与视图相关的外观； ${𝒢}_k(𝐮(\overline{𝐱}))=\exp \left(-\frac{u^2+v^2}{2}\right)$对应第$k$个交点$𝐮(\overline{𝐱})$，给定$P_k^t(𝐮)$或$P_k^{\prime t}(𝐮)$即可直接计算以及相应的局部坐标系。 在实现过程中，${𝒢}_k(𝐮(\overline{𝐱})))$在[7, 28]之后进一步应用低通滤波器。

图3： Vidu4D的流程示意图，包括初始化阶段和DGS阶段。

DGS的详细架构如图2所示。 表2总结了重要的符号。

3.3Vidu4D

鉴于生成视频的摄像机轨迹未知，COLMAP 等 SfM 方法由于违反刚性而难以收敛。 此外，由于生成视频的背景似乎表现出软变形或闪烁的颜色，因此阻碍了通过背景 SfM 对相机/身体姿势的正确估计。 正如之前的单目 4D 重建任务[97]所证明的那样，这些挑战通常会导致很少的成功配准。

在这一部分中，我们到达 Vidu4D，这是一个重建管道，包括两个关键阶段，如图 3 所示，包括字段初始化阶段和 DGS 阶段。 具体来说，我们建议将字段初始化作为我们管道的另一个关键组成部分，以初始化方程式中的字段。 (6) DGS 实现快速稳定的收敛。 我们首先使用与我们的 DGS 中使用的相同的基于骨骼的扭曲结构来训练神经 SDF [86]。 与将高斯面元从静态扭曲到扭曲状态以进行光栅化的 DGS 不同，神经 SDF 将相机光线上的采样点从扭曲状态扭曲回静态。 对于神经 SDF 部分，受 [10, 97] 的启发，我们通过使用循环损失来优化后向扭曲并学习前向扭曲作为后向扭曲的反转。 然后我们初始化 MLP，通过神经 SDF 部分学习的 MLP 来获得扭曲函数 ${𝐉}_b^t$。 我们在附录中提供了更多详细信息。

通过 DGS 之前的现场初始化，我们的 Vidu4D 能够通过集成现有的视频扩散模型来执行文本（到视频）到 4D 的生成任务。

图4： 与 SOTA 方法（包括基于 NeRF 的方法（BANMo [97] 和 D-NeRF [62])和基于 Gaussian splatting 的方法（Deformable- GS [99] 和 SCGS [29])。 我们还提供了我们学习到的相机姿势与基线方法，以进行公平的比较。 这些变体被表示为“w. 姿势”。 最佳颜色视图和放大视图。

4实验

在本节中，我们对我们的方法 DGS 进行了广泛的评估，并在第 2 节中进行了初始化。 3.3，将外观和几何形状与以前最先进的方法进行比较。 此外，我们还详细分析了每个提议组件的贡献。

4.1实施

对于所有定性和定量实验，我们遵循动态重建的标准流程[57]，通过选择每第四帧作为训练帧并指定每对之间的中间帧来构建我们的评估设置帧作为验证帧。

我们的模型配置涉及几个关键参数来平衡重建和正则化损失。 对于场初始化阶段，我们使用与 NeRF [54] 中类似的具有 $8$ 层的体系结构进行体积渲染，并初始化 MLP 以将 SDF 预测为近似单位球体 [100]。 在这个阶段之后，我们获得了神经 SDF、扭曲场和相机姿势。 对于 DGS 阶段，我们使用从神经 SDF 中提取的采样表面点来初始化高斯面元的中心，并通过第一阶段的前向场来初始化扭曲场。 隐藏代码嵌入${𝜸}_b^t$的维度被设置为$128$。 遵循BANMo [97]，我们采用25根骨骼来优化蒙皮权重。 对于每次重建，在 A800 GPU 上的总体训练需要超过 1 小时。

4.2定性评估

在定性评估中，我们将 DGS 生成的新颖视图重建与其他最先进模型生成的新颖视图重建进行直观比较，如图 4 所示。 我们的评估侧重于几个关键方面，包括细节保留、纹理质量和几何精度。 与基于隐式场的方法相比，我们的方法中高斯的集成有助于渲染高度详细的纹理。 此外，得益于更加几何感知的表示，与那些纯粹基于高斯的方法相比，我们的方法产生了更好的法线贴图。 这也增强了我们的方法针对生成视频的伪像（例如遮挡）的鲁棒性。 例如，在该系列的第三个片段中，一条龙笼罩在雾中，SCGS 和 Deformable-GS 方法都倾向于过度拟合，从而导致性能下降。 相比之下，我们的方法始终能提供卓越的结果。

表格1： 生成视频的小说视图定量结果。 评估指标包括 PSNR、SSIM 和 LPIPS。 我们报告三个单个视频的结果以及 30 个单个视频的平均结果。

	Cat			Cheetah			Dragon			Average over 30 videos
	PSNR $\uparrow$	SSIM $\uparrow$	LPIPS $\downarrow$	PSNR $\uparrow$	SSIM $\uparrow$	LPIPS $\downarrow$	PSNR $\uparrow$	SSIM $\uparrow$	LPIPS $\downarrow$	PSNR $\uparrow$	SSIM $\uparrow$	LPIPS $\downarrow$
BANMo [97]	15.10	0.6514	0.2575	13.15	0.5921	0.3241	18.48	0.6423	0.3500	13.62 $\pm$ 2.99	0.6153 $\pm$ 0.0714	0.3738 $\pm$ 0.0665
D-NeRF [62]	15.15	0.6537	0.2657	13.21	0.5930	0.3344	18.53	0.6489	0.3527	21.01 $\pm$ 2.86	0.8519 $\pm$ 0.0717	0.1522 $\pm$ 0.0754
Deformable-GS [99]	19.09	0.7815	0.2434	20.35	0.8039	0.1982	24.19	0.9100	0.0992	13.22 $\pm$ 3.42	0.5934 $\pm$ 0.0535	0.3749 $\pm$ 0.0763
SCGS [29]	19.46	0.7867	0.2405	20.87	0.8123	0.1919	24.03	0.9083	0.1009	21.17 $\pm$ 2.69	0.8547 $\pm$ 0.0691	0.1504 $\pm$ 0.0737
Deformable-GS w. Poses	21.94	0.8123	0.1816	22.41	0.8200	0.1687	26.05	0.9218	0.0894	22.63 $\pm$ 2.14	0.8469 $\pm$ 0.0438	0.1452 $\pm$ 0.0354
SCGS w. Poses	23.25	0.8268	0.1574	23.70	0.8338	0.1497	28.40	0.9375	0.0686	24.75 $\pm$ 2.11	0.8680 $\pm$ 0.0440	0.1201 $\pm$ 0.0359
DGS (Ours)	24.63	0.8432	0.1559	25.68	0.8843	0.1117	28.58	0.9392	0.0618	27.30 $\pm$ 2.66	0.9152 $\pm$ 0.0602	0.0877$\pm$ 0.0564

4.3定量评价

我们在表 1 中提供了将我们的方法与最先进的方法进行比较的定量评估。 指标包括用于评估重建纹理保真度的峰值信噪比 (PSNR)、用于质量评估的结构相似性指数 (SSIM) 以及作为感知指标的 LPIPS [102]。 我们的方法比所有基线方法都表现出优越性，即使使用我们学习的姿势，例如,$\sim$比 SCGS 的平均结果姿势增加了 2.5 PSNR。

图5： 几何正则化和细化策略的消融研究。 对于 (b) 中显示的完整模型，我们提供渲染颜色、渲染法线和表面法线（根据正则化的深度点估计）。 此外，为了进行比较，我们分别可视化了 (c) 中未进行细化的情况下的渲染颜色和 (d) 中未进行扭曲状态法线正则化的情况下的渲染法线。 我们通过特写镜头展示模型的保真度。

4.4消融

为了了解 Vidu4D 中每个组件（尤其是 DGS）的贡献，我们在本节中进行了消融研究。 我们删除或更改模型的特定元素，并观察外观和几何重建方面的性能变化。

几何正则化。 我们通过在训练期间禁用扭曲状态正则化来评估它的影响。 从图5(b)(d)中，我们观察到当去除正则化时，表面对齐高斯面元的结构完整性显着下降，导致重建的4D明显不一致楷模。

细化策略。 我们通过在训练过程中保留一个分支（分支的概念可以在图 2 中更好地可视化）来检查省略细化的效果，如图 5(b) 所示（C）。 性能表明，删除细化会增加细粒度外观细节的损失。 此外，我们还发现改进对于缓解纹理闪烁问题至关重要。

额外的消融。 请参阅附录了解其他消融研究，其中详细介绍了我们的细化策略和场初始化的有效性。

5结论

我们引入 Vidu4D 作为一种新颖的重建模型，用于从单个生成的视频中实现高保真 4D 表示。 Vidu4D 功能强大，我们提出的 DGS 可以构建非刚性扭曲场来变换高斯面元，确保随着时间的推移精确捕获​​运动和变形。 DGS 还引入了显着提高 4D 重建精度和保真度的关键创新，包括双分支细化和扭曲状态几何正则化。 我们的实验表明，Vidu4D 在定量和定性评估方面均优于现有方法，凸显了其在生成逼真和沉浸式 4D 内容方面的优越性。

局限性和更广泛的影响。 虽然 Vidu4D with DGS 在 4D 重建方面具有显着的性能，但目前仍然存在一些限制，例如对视频质量的依赖、大场景的可扩展性挑战以及实时应用中的计算困难。 此外，与任何生成技术一样，为 Vidu4D 配备生成模型时，存在生成欺骗性内容的风险，需要更加小心。

附录 A 附录/补充材料

表2： DGS 中重要符号的摘要。

Symbol	Definition and Usage
${𝐭}_u^{\ast }\in {ℝ}^{3\times 1}$, ${𝐭}_v^{\ast }\in {ℝ}^{3\times 1}$	Principal tangential vectors in the static state.
$s_u^{\ast }\in ℝ$, $s_v^{\ast }\in ℝ$	Scaling factors in the static state.
${𝐩}_k^{\ast }\in {ℝ}^{3\times 1}$	Center point coordinate (world space) of the $k$-th Gaussian surfel in the static state.
$P_k^{\ast }(𝐮)\in {ℝ}^{3\times 1}$	Coordinate (world space) in the static state, given $𝐮=(u,v)$ on the local $uv$ coordinate system centered at ${𝐩}_k^{\ast }$.
${𝐑}_k^{\ast }=[{𝐭}_u^{\ast },{𝐭}_v^{\ast },{𝐭}_u^{\ast }\times {𝐭}_v^{\ast }]\in \mathrm{SO}(3)$	Rotation matrix of the $k$-th Gaussian surfel in the static state.
${𝐒}_k^{\ast }=\mathrm{diag}(s_u^{\ast },s_v^{\ast },0)\in {ℝ}^{3\times 3}$	Scaling matrix of the $k$-th Gaussian surfel in the static state, a diagonal matrix.
${𝐩}_k^t\in {ℝ}^{3\times 1}$	Center point coordinate (world space) of the $k$-th Gaussian surfel in the warped state.
$P_k^t(𝐮)\in {ℝ}^{3\times 1}$	Coordinate (world space) in the warped state, given $𝐮=(u,v)$ on the local $uv$ coordinate system centered at ${𝐩}_k^t$.
${𝐜}_b^{\ast }\in {ℝ}^{3\times 1}$, ${𝐕}_b^{\ast }\in {ℝ}^{3\times 3}$, ${𝚲}_b^{\ast }\in {ℝ}^{3\times 3}$	Center, rotation matrix, and diagonal scaling matrix of the $b$-th Gaussian ellipsoid bone.
${𝐰}^t\in {ℝ}^{B\times 1}$	Skinning weight vectors.
${𝐉}_b^t\in \mathrm{SE}(3)$	A rigid transformation that moves the $b$-th bone from its static state to the warped state at time $t$.
${𝐉}^t=[{\widetilde{𝐑}}^t,{\widetilde{𝐓}}^t]\in \mathrm{SE}(3)$	The warping function, a weighted combination of ${𝐉}_b^t$.
$𝒬$, $ℛ$	The quaternion process and the inverse quaternion process.
${𝝎}_b^t\in {ℝ}^{128}$	A learnable latent code for representing the body pose at time $t$.
${𝐧}_k\in {ℝ}^{3\times 1}$	The normal of the $k$-intersected Gaussian surfel that is oriented towards the camera.
${𝐍}^t\in {ℝ}^{3\times 1}$	The surface normal estimated by the nearby depth point ${𝐩}^t$ at warped state time $t$.
$\mathrm{\Delta }{𝐑}_k^{\ast }\in \mathrm{SO}(3)$	Learnable refinement term for adjusting ${𝐑}_k^{\ast }$.
$\mathrm{\Delta }{𝐒}_k^{\ast }\in \mathrm{SO}(3)$	Learnable refinement term for adjusting ${𝐒}_k^{\ast }$.

A.1 消融：字段初始化和细化

在野外拍摄的动态视频中，主要挑战之一是相机姿势的初始化。 在合成视频中，保持纹理和几何的时间一致性是有问题的，这使得相机配准的任务变得非常复杂。 为了解决这个问题，我们利用隐式场来初始化相机姿势并建立扭曲场。 最初，我们估计每一帧的变换，然后通过迭代过程计算粗略的相机姿势。 随后，我们采用 NeuS [86] 中概述的方法进行场景表示。 使用 DinoV2 [55] 执行特征提取，便于无监督注册。 为了增强这一过程，我们在 NeuS 中训练了一个专门用于渲染功能的附加通道，然后将其用于注册目的，如 RAC [98] 中所述。 未初始化的相机位姿和精细化的相机位姿如图6所示。 如果没有字段初始化，DGS 的性能将会下降，如表3所示。 另请参阅表3中细化的定量消融。

表3： 初始化和细化的定量消融研究。

	Cat			Cheetah			Dragon
	PSNR $\uparrow$	SSIM $\uparrow$	LPIPS $\downarrow$	PSNR $\uparrow$	SSIM $\uparrow$	LPIPS $\downarrow$	PSNR $\uparrow$	SSIM $\uparrow$	LPIPS $\downarrow$
Ours w.o. init.	20.15	0.7961	0.2393	20.96	0.8194	0.1940	25.33	0.9146	0.0938
Ours w.o. refinement	24.19	0.8196	0.1797	24.10	0.8582	0.1242	27.71	0.9128	0.0687
Ours full	24.63	0.8432	0.1559	25.68	0.8843	0.1117	28.58	0.9392	0.0618

图6： 粗略的相机姿势和精细的相机姿势。

A.2 额外的定性比较

在本节中，我们将详细比较我们的结果与之前的工作，如图7-10所示。 我们的方法始终如一地实现高质量的纹理细节，同时保持平滑和逼真的几何形状。

A.3 时间和视图的插值

我们给出了时间和视图插值的结果，如图11和图12所示。

图7： 与更新颖的观点进行额外的定性比较。

图8： 与更新颖的观点进行额外的定性比较。

图9： 与更新颖的观点进行额外的定性比较。

图10： 与更新颖的观点进行额外的定性比较。

图11： 对时间和视图进行插值。

图 12： 对时间和视图进行插值。