逐步扩散：基本教程

摘要

我们针对机器学习的扩散模型和流量匹配提供了一个易于理解的第一门课程，针对没有扩散经验的技术受众。 我们尝试尽可能地简化数学细节（有时是启发式的），同时保留足够的精度来导出正确的算法。

前言

有许多用于学习扩散模型的现有资源。 我们为什么要写另一个？ 我们的目标是尽可能简单地教授扩散，以最少的数学和机器学习先决条件，但足够详细以推理其正确性。 与该主题的大多数教程不同，我们既不采用变分自动编码器 (VAE) 也不采用随机微分方程 (SDE) 方法。 事实上，对于核心思想，我们不需要任何 SDE、循证下界 (ELBO)、朗之万动力学，甚至分数的概念。 读者只需要熟悉基本的概率、微积分、线性代数和多元高斯函数。 本教程的目标受众是至少是高级本科生或研究生水平的技术读者，他们是第一次学习扩散并希望对该主题有数学理解。

本教程有五个部分，每个部分相对独立，但涵盖密切相关的主题。 部分 1 介绍了扩散的基础知识：我们试图解决的问题以及基本方法的概述。 部分 2 和 3 分别展示如何构建随机和确定性扩散采样器，并给出为什么这些采样器正确反转前向扩散过程的直观推导。 部分 4 涵盖了密切相关的流匹配主题，它可以被认为是提供额外灵活性的扩散的概括（包括所谓的整流流或线性流）。 最后，在部分 5 我们回到扩散，并将本教程与更广泛的文献联系起来，同时强调一些在实践中最重要的设计选择，包括采样器、噪声表和参数化。

致谢

我们感谢许多人提供的有用反馈和建议，特别是：Josh Susskind、Eugene Ndiaye、Dan Busbridge、Sam Power、De Wang、Russ Webb、Sitan Chen、Vimal Thilak、Etai Littwin、Chenyang Yuan、Alex Schwing 和 Miguel安吉尔·巴蒂斯塔·马丁.

1 扩散的基础知识

生成建模的目标是：给定 i.i.d. 来自某些未知分布的样本 $p^{\ast }\left(x\right)$，为（大约）相同的分布构造一个采样器。 例如，给定一组来自​​某些底层分布的狗图像训练集 $p_{\text{dog}}$，我们想要一种从这个分布中生成新的狗图像的方法。

从高层次上来说，解决这个问题的一种方法是学习从一些易于采样的分布（例如高斯噪声）到我们的目标分布的转换$p^{\ast }$. 扩散模型为学习此类转换提供了通用框架。 扩散的巧妙技巧是减少从分布中抽样的问题 $p^{\ast }\left(x\right)$ 转换为 更容易 的序列 抽样问题。

通过以下高斯扩散示例可以最好地解释这个想法。 我们现在将概述主要思想，在后面的部分中，我们将使用此设置来导出通常所说的 DDPM 和 DDIM 采样器，并推理它们的正确性。

1.1 高斯扩散

对于高斯扩散，令$x_0$为按照目标分布分布的${ℝ}^d$中的随机变量$p^{\ast }$ （例如，狗的图像）。 然后构建随机变量序列 $x_1,x_2,\mathrm{\dots },x_T$，通过连续添加一些小尺度的独立高斯噪声$\sigma$:

$$x_{t+1}:=x_t+{\eta }_t,{\eta }_t\sim 𝒩(0,{\sigma }^2).$$ (1)

这称为转发过程，它将数据分布转换为噪声分布。 方程（1）定义了所有$(x_0,x_1,\mathrm{\dots },x_T)$的联合分布，我们让${\left\{p_t\right\}}_{t\in \left[T\right]}$表示每个$x_t$的边际分布。请注意，在步长较大时，$T$ 的分布$p_T$接近高斯分布。，所以我们大约可以从 $p_T$ 中采样 只需对高斯进行采样。

图1： 一维目标分布$p_0$上的扩散前向过程定义的概率分布。

现在，假设我们可以解决以下子问题：

“给定一个边缘分布为 ${\mathrm{p}}_{\mathrm{t}}$ 的样本，生成一个边缘分布为 ${\mathrm{p}}_{\mathrm{t}-1}$ 的样本”.

我们将调用一个执行此操作的方法反向采样器，因为它告诉我们如何从$p_{t-1}$采样，前提是我们已经可以从$p_t$采样。如果我们有一个反向采样器，就可以从目标$p_0$中采样，方法很简单，首先从$p_T$中进行高斯采样，然后迭代应用反向采样过程，从$p_{T-1},p_{T-2},\mathbf{\dots }$中采样，最后从$p_0=p^{\ast }$中采样。

扩散的关键见解是，学习反转每个中间步骤比学习一步从目标分布中采样更容易。构建反向采样器的方法有很多，但为了具体起见，我们首先看一下标准扩散采样器，我们将其称为 DDPM 采样器.k

理想的 DDPM 采样器 使用明显的策略：在时间 $t$ 时，给定输入 $z$（承诺是来自$p_t$的样本），我们输出条件分布的样本

$$p\left(x_{t-1}\mid x_t=z\right).$$ (2)

这显然是一个正确的反向采样器。 问题是，它需要学习条件分布的生成模型 $p\left(x_{t-1}\mid x_t\right)$ 对于每个 $x_t$，这可能会很复杂。 但如果每一步的噪音 $\sigma$ 足够小，那么事实证明这个条件分布变得简单：

图2： 事实 1 的说明。 最左边的先验分布 $p(x_{t-1})$ 定义了联合分布 $(x_{t-1},x_t)$，其中 $p(x_t\mid x_{t-1})=𝒩(0,{\sigma }^2)$。 我们绘制了固定条件 $x_t$ 和变化噪声水平 $\sigma$ 的反向条件分布 $p(x_{t-1}\mid x_t)$。 请注意，对于较小的 $\sigma$，这些分布变得接近高斯分布。

Fact 1 （扩散反向过程）。

对于较小的 $\sigma$ 和 (1) 中定义的高斯扩散过程，条件分布 $p(x_{t-1}\mid x_t)$ 本身接近高斯分布。 也就是说，对于所有时间$t$和条件$z\in {ℝ}^d$，存在一些平均参数$\mu \in {ℝ}^d$，使得

$$p\left(x_{t-1}\mid x_t=z\right)\approx 𝒩(x_{t-1};\mu ,{\sigma }^2).$$ (3)

这不是一个显而易见的事实；我们将在2.1节中导出它。这一事实实现了极大的简化：我们现在不需要从头开始学习任意分布 $p\left(x_{t-1}\mid x_t\right)$，而是知道该分布的所有内容，除了其均值（我们将其表示为) ${\mu }_{t-1}\left(x_t\right)$。图2说明，当$\sigma$足够小时，我们可以将后验分布近似为高斯分布。这是非常重要的一点，因此要再次重申：对于给定的时间$t$和条件值$x_t$，学习$p\left(x_{t-1}\mid x_t\right)$的均值就足以学习完整的条件分布$p\left(x_{t-1}\mid x_t\right)$。

学习 $p\left(x_{t-1}\mid x_t\right)$ 的平均值 这是一个比学习完整条件分布简单得多的问题，因为我们可以通过回归来解决它。 详细地说，我们有一个联合分布 $(x_{t-1},x_t)$，我们可以轻松地从中进行采样，并且我们希望估计$𝔼\left[x_{t-1}\mid x_t\right]$。这可以通过优化标准回归损失来完成:

${\mu }_{t-1}\left(z\right)$ $:=𝔼\left[x_{t-1}\mid x_t=z\right]$ (4)

$⟹{\mu }_{t-1}$ $=\underset{f:{ℝ}^d\to {ℝ}^d}{argmin}\underset{x_t,x_{t-1}}{𝔼}{\Vert f\left(x_t\right)-x_{t-1}\Vert }_2^2$ (5)

$=\underset{f:{ℝ}^d\to {ℝ}^d}{argmin}\underset{x_{t-1},\eta }{𝔼}\left|\right|f(x_{t-1}+{\eta }_t)-x_{t-1}\left)\right||{}_2{}^2,$ (6)

其中期望是从我们的目标分布中的样本$x_0$获取的$p^{\ast }$。 这个特定的回归问题在某些设置中得到了充分研究。 例如，当目标 $p^{\ast }$是图像上的分布，那么对应的回归问题（方程6)就是一个图像去噪目标，可以使用熟悉的方法（例如卷积神经网络）来实现。

退一步，我们看到了一些值得注意的事情：我们将学习从任意分布采样的问题简化为标准回归问题。

1.2 摘要中的扩散

现在让我们抽象掉高斯设置，以捕获其许多实例（包括确定性采样器、离散域和流匹配）的方式定义类似扩散的模型。

抽象地说，以下是如何构建类似扩散的生成模型：我们从目标分布$p^{\ast }$开始，然后选择一些基本分布$q\left(x\right)$ 这很容易从中采样，例如标准高斯或 i.i.d 位。 然后，我们尝试构建一系列分布，在我们的目标之间进行插值 $p^{\ast }$ 和基本分布 $q$。也就是说，我们构建分布

$$p_0,p_1,p_2,\mathrm{\dots },p_T,$$ (7)

这样 $p_0=p^{\ast }$ 是我们的目标，$p_T=q$ 基本分布和相邻分布 $(p_{t-1},p_t)$ 在某种适当的意义上稍微“接近”。 然后，我们学习一个 反向采样器将分布转换为$p_t$到$p_{t-1}$. 这是关键的学习步骤，由于相邻分布“接近”，这可能会变得更容易。正式地，反向采样器定义如下。

Definition 1 （反向采样器）。

给定一系列边际分布$p_t$，步骤$t$的反向采样器是一个潜在的随机函数$F_t$，这样如果$x_t\sim p_t$，那么$F_t(x_t)$的边际分布恰好是$p_{t-1}$：

$$\{F_t\left(z\right):z\sim p_t\}\equiv p_{t-1}.$$ (8)

有很多可能的反向采样器，甚至有可能构建出具有确定性的反向采样器。在本教程的剩余部分，我们将更正式地介绍三种流行的反向采样器：上文讨论过的DDPM采样器（第2.1）、确定性的 DDIM 采样器（第 3 节）和 流匹配模型系列（第 4 节）。），可以将其视为 DDIM 的推广。

1.3 离散化

在继续之前，我们需要更准确地了解相邻分布的含义$p_t,p_{t-1}$ 处于“接近”状态。 我们想要考虑顺序 $p_0,p_1,\mathrm{\dots },p_T$ 作为某个（稳健的）时变函数$p(x,t)$的离散化，该函数在时间$t=0$时从目标分布$p_0$开始，在时间$t=1$时结束于噪声分布$p_T$：

$$p(x,k\mathrm{\Delta }t)=p_k\left(x\right),\text{where}\mathrm{\Delta }t=\frac{1}{T}.$$ (9)

步数$T$ 控制离散化的精细度（因此相邻分布的接近度）。

为了保证最终分布的方差，$p_T$，与离散化步骤的数量无关，我们还需要更具体地了解每个增量的方差。 请注意，如果 $x_k=x_{k-1}+𝒩(0,{\sigma }^2)$，然后$x_T\sim 𝒩(x_0,T{\sigma }^2)$。因此，我们需要将每个增量的方差缩放$\mathrm{\Delta }t=1/T$，即选择

$\sigma ={\sigma }_q\sqrt{\mathrm{\Delta }t},$ (10)

哪里${\sigma }_q^2$ 是期望的终端方差。 这种选择确保了方差 无论 $T$ 如何，$p_T$ 始终为 ${\sigma }_q^2$。 ($\sqrt{\mathrm{\Delta }t}$ 缩放比例将在我们下一章中关于反向求解器正确性的论证中发挥重要作用，并且还与第 节中的 SDE 公式相关>2.4。）0>

此时，就可以方便地调整我们的记号了。 从现在开始， $t$ 将表示区间$[0,1]$中的一个连续值（具体来说，取值为$0,\mathrm{\Delta }t,2\mathrm{\Delta }t,\mathrm{\dots },T\mathrm{\Delta }t=1$中的一个）。下标将表示时间，而不是索引，因此，例如$x_t$现在将表示离散时间$t$下的$x$。也就是说，方程 1 变为：

$$x_{t+\mathrm{\Delta }t}:=x_t+{\eta }_t,{\eta }_t\sim 𝒩(0,{\sigma }_q^2\mathrm{\Delta }t),$$ (11)

这也意味着

$$x_t\sim 𝒩(x_0,{\sigma }_t^2),\text{where}{\sigma }_t:={\sigma }_q\sqrt{t},$$ (12)

因为截至时间$t$（即${\sum }_{\tau \in \{0,\mathrm{\Delta }t,2\mathrm{\Delta }t,\mathrm{\dots },t-\mathrm{\Delta }t\}}{\eta }_{\tau }$)的总噪声也是高斯分布，均值为零且方差${\sum }_{\tau }{\sigma }_q^2\mathrm{\Delta }t={\sigma }_q^{2}t$。

2 随机抽样：DDPM

在本节中，我们回顾一下第 1 节中讨论的类似 DDPM 的反向采样器，并启发式证明其正确性。 该采样器在概念上与流行的采样器相同 去噪扩散概率模型 （DDPM）由 Ho 等人 (2020) 提出，最初由 Sohl-Dickstein 等人 (2015) 引入，当适应我们的简化设置时。 不过，对于熟悉 Ho 等人 (2020) 的读者，请注意：虽然我们的采样器的整体策略与 Ho 等人 (2020) 相同，但某些技术细节（如常量等）略有不同.

我们考虑第 1.3 节中的设置，其中包含一些目标分布 $p^{\ast }$ 和噪声样本的联合分布$(x_0,x_{\mathrm{\Delta }t},\mathrm{\dots },x_1)$ 由方程 (11 定义）。 DDPM 采样器将需要估计以下条件期望：

${\mu }_t\left(z\right):=𝔼\left[x_t\mid x_{t+\mathrm{\Delta }t}=z\right].$ (13)

这是一组函数$\left\{{\mu }_t\right\}$，每个时间步都有一个$t\in \{0,\mathrm{\Delta }t,\mathrm{\dots },1-\mathrm{\Delta }t\}$。在训练 阶段，我们根据 i.i.d 估计这些函数。 的样本 $x_0$，通过优化去噪回归目标

${\mu }_t$ $=\underset{f:{ℝ}^d\to {ℝ}^d}{argmin}\underset{x_t,x_{t+\mathrm{\Delta }t}}{𝔼}{\Vert f\left(x_{t+\mathrm{\Delta }t}\right)-x_t\Vert }_2^2,$ (14)

通常使用神经网络 参数化 $f$。然后，在推论 阶段，我们在下面的反向采样器中使用估计函数。

[nobreak=true] 算法1：随机反向采样器（类似DDPM）

对于输入样本$x_t$ 和时间步 $t$， 输出：

${\widehat{x}}_{t-\mathrm{\Delta }t}\leftarrow {\mu }_{t-\mathrm{\Delta }t}\left(x_t\right)+𝒩(0,{\sigma }_q^2\mathrm{\Delta }t)$ (15)

为了实际生成样本，我们首先将 $x_1$ 作为各向同性高斯$x_1\sim 𝒩(0,{\sigma }_q^2)$进行采样，然后运行算法 1 的迭代，直到$t=0$，从而生成样本${\widehat{x}}_0$。(回想一下，在我们的离散化符号（12）中，$x_1$是全噪声终端分布，迭代的步长为$\mathrm{\Delta }t$）。2.2节给出了这些算法的明确伪代码。

我们想要推断整个过程的正确性：为什么迭代算法 1 会从[大约]我们的目标分布中生成样本$p^{\ast }$？关键的缺失部分是，我们需要证明事实1的某个版本：真正的条件$p\left(x_{t-\mathrm{\Delta }t}\mid x_t\right)$可以是通过高斯函数可以很好地近似，并且随着我们缩放$\mathrm{\Delta }t\to 0$，这种近似会变得更好。

2.1 DDPM的正确性

这是事实的更精确版本1，以及启发式推导。 这将完成算法 1 是正确的论点，即它在定义意义上近似于有效的反向采样器 1.

Claim 1 （非正式）。

令 $p_{t-\mathrm{\Delta }t}(x)$ 为 ${ℝ}^d$ 上的任意、足够平滑的密度。 考虑 $(x_{t-\mathrm{\Delta }t},x_t)$ 的联合分布，其中 $x_{t-\mathrm{\Delta }t}\sim p_{t-\mathrm{\Delta }t}$ 和 $x_t\sim x_{t-\mathrm{\Delta }t}+𝒩(0,{\sigma }_q^2\mathrm{\Delta }t)$。 那么，对于足够小的$\mathrm{\Delta }t$，以下内容成立。 对于所有条件$z\in {ℝ}^d$，存在${\mu }_z$，使得：

$p\left(x_{t-\mathrm{\Delta }t}\mid x_t=z\right)\approx 𝒩(x_{t-\mathrm{\Delta }t};{\mu }_z,{\sigma }_q^2\mathrm{\Delta }t).$ (16)

对于一些仅取决于 $z$ 的常量 ${\mu }_z$。 此外，只需采取

${\mu }_z$ $:=\underset{(x_{t-\mathrm{\Delta }t},x_t)}{𝔼}\left[x_{t-\mathrm{\Delta }t}\mid x_t=z\right]$ (17)

$=z+\left({\sigma }_q^2\mathrm{\Delta }t\right)\nabla \log p_t\left(z\right),$ (18)

其中 $p_t$ 是 $x_t$ 的边际分布。

在我们看到推导之前，有几点说明：假设1意味着，要从$x_{t-\mathrm{\Delta }t}$中采样，只需首先从$x_t$中采样，然后从以$𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]$为中心的高斯分布中采样。这正是公式 (15) 中 DDPM 所做的。最后，在这些注释中，我们实际上不需要等式 (18) 中的 ${\mu }_z$ 表达式；我们只要知道这样的 ${\mu }_z$ 就足够了。 存在，所以我们可以从样本中学习它。

索赔证明1（非正式）。

这是关于为什么分数出现在相反过程中的启发式论证。 我们本质上只是应用贝叶斯规则，然后适当地进行泰勒扩展。 我们从贝叶斯规则开始：

$p\left(x_{t-\mathrm{\Delta }t}|x_t\right)$ $=p\left(x_t|x_{t-\mathrm{\Delta }t}\right)p_{t-\mathrm{\Delta }t}\left(x_{t-\mathrm{\Delta }t}\right)/p_t\left(x_t\right)$ (19)

然后获取两种尺寸的日志。 在整个过程中，我们将删除日志中的所有加性常数（转化为归一化因子），并删除所有顺序项 $𝒪(\mathrm{\Delta }t)$ -1cm]请注意$x_{t+1}-x_t\sim 𝒪(\sqrt{\mathrm{\Delta }t})$。 删除 $𝒪(\mathrm{\Delta }t)$ 项意味着在 $p_t(x_t)$ 的扩展中删除 ${(x_{t+1}-x_t)}^2\sim 𝒪(\mathrm{\Delta }t)$，但在 $p(x_t|x_{t+1})$ 中保留 $\frac{1}{2{\sigma }_q^2\mathrm{\Delta }t}{(x_{t+1}-x_t)}^2\sim 𝒪(1)$。 请注意，我们应该将 $x_t$ 视为此推导中的常数，因为我们希望将条件概率理解为 $x_{t-\mathrm{\Delta }t}$ 的函数。 现在：

$\log p\left(x_{t-\mathrm{\Delta }t}|x_t\right)=\log p\left(x_t|x_{t-\mathrm{\Delta }t}\right)+\log p_{t-\mathrm{\Delta }t}\left(x_{t-\mathrm{\Delta }t}\right)\cancel{-\log p_t\left(x_t\right)}$ 删除仅涉及 $x_t$ 的常量。

$=\log p\left(x_t|x_{t-\mathrm{\Delta }t}\right)+\log p_t\left(x_{t-\mathrm{\Delta }t}\right)+𝒪\left(\mathrm{\Delta }t\right)$ 自$p_{t-\mathrm{\Delta }t}(\cdot )=p_t(\cdot )+\mathrm{\Delta }t\frac{\partial }{\partial t}{p}_t(\cdot )$开始。

$=-{\displaystyle \frac{1}{2{\sigma }_q^2\mathrm{\Delta }t}}{\Vert x_{t-\mathrm{\Delta }t}-x_t\Vert }_2^2+\log p_t\left(x_{t-\mathrm{\Delta }t}\right)$ $\log p(x_t|x_{t-\mathrm{\Delta }t})$ 的定义。

$=-{\displaystyle \frac{1}{2{\sigma }_q^2\mathrm{\Delta }t}}{\Vert x_{t-\mathrm{\Delta }t}-x_t\Vert }_2^2$

$+\cancel{\log p_t\left(x_t\right)}+⟨{\nabla }_x\log p_t\left(x_t\right),\left(x_{t-\mathrm{\Delta }t}-x_t\right)⟩+𝒪\left(\mathrm{\Delta }t\right)$ 泰勒围绕 $x_t$ 展开并删除常数。

$=-{\displaystyle \frac{1}{2{\sigma }_q^2\mathrm{\Delta }t}}\left({\Vert x_{t-\mathrm{\Delta }t}-x_t\Vert }_2^2-2{\sigma }_q^2\mathrm{\Delta }t⟨{\nabla }_x\log p_t\left(x_t\right),\left(x_{t-\mathrm{\Delta }t}-x_t\right)⟩\right)$

$=-{\displaystyle \frac{1}{2{\sigma }_q^2\mathrm{\Delta }t}}{\Vert x_{t-\mathrm{\Delta }t}-x_t-{\sigma }_q^2\mathrm{\Delta }t{\nabla }_x\log p_t\left(x_t\right)\Vert }_2^2+C$ 完成$(x_{t-\mathrm{\Delta }t}-x_t)$中的正方形，并删除仅涉及$x_t$的常量$C$。

$=-{\displaystyle \frac{1}{2{\sigma }_q^2\mathrm{\Delta }t}}{\Vert x_{t-\mathrm{\Delta }t}-\mu \Vert }_2^2$ 对于$\mu :=x_t+({\sigma }_q^2\mathrm{\Delta }t){\nabla }_x\log p_t(x_t)$。

这与均值 $\mu$ 和方差 ${\sigma }_q^2\mathrm{\Delta }t$ 的正态分布的对数密度相同（最多添加因子）。 所以，

$$p\left(x_{t-\mathrm{\Delta }t}\mid x_t\right)\approx 𝒩(x_{t-\mathrm{\Delta }t};\mu ,{\sigma }_q^2\mathrm{\Delta }t).$$ (20)

∎

反思这个推导，主要思想是，对于足够小的$\mathrm{\Delta }t$，逆过程的贝叶斯规则展开$p\left(x_{t-\mathrm{\Delta }t}\mid x_t\right)$ 由术语 $p\left(x_t\mid x_{t-\mathrm{\Delta }t}\right)$ 主导，从前向过程。 这就是直观上为什么逆向过程和正向过程具有相同的函数形式（这里都是高斯）.

技术细节[可选]。

细心的读者可能会注意到声明1 显然不足以暗示整个 DDPM 算法的正确性。 问题是：当我们缩小规模时 $\mathrm{\Delta }t$，每步近似的误差（方程16) 减少，但所需的总步骤数增加。 因此，如果每步误差下降得不够快（作为 $\mathrm{\Delta }t$），那么这些误差可能会在最后一步累积为不可忽略的误差。 因此，我们需要量化每步误差衰减的速度。 引理 下面的 1 是量化这一点的一种方法：它指出如果步长（即每步噪声的方差）为 ${\sigma }^2$，则每步高斯近似的KL误差为$𝒪\left({\sigma }^4\right)$。这个衰减速度足够快，因为步数只会增长 $\mathrm{\Omega }\left(1/{\sigma }^2\right)$。

Lemma 1.

令 $p(x)$ 为 $ℝ$ 上的任意密度，具有有界的一阶到四阶导数。 考虑联合分布 $(x_0,x_1)$，其中 $x_0\sim p$ 和 $x_1\sim x_0+𝒩(0,{\sigma }^2)$。 然后，对于任何条件 $z\in ℝ$，我们有

$$\mathrm{KL}\left(𝒩({\mu }_z,{\sigma }^2)\right|\left|p_{x_0\mid x_1}(\cdot \mid x_1=z)\right)\le O\left({\sigma }^4\right),$$ (21)

在哪里

$${\mu }_z:=z+{\sigma }^2\nabla \log p\left(z\right).$$ (22)

可以通过本质上仔细的泰勒展开来证明引理1；我们在附录中提供了完整的证明B.1。

2.2 算法

伪代码清单 1 和 2 给出明确的 DDPM 训练损失和采样代码。 去训练网络$f_{\theta }$，我们必须最小化伪代码输出的预期损失$L_{\theta }$1，通常通过反向传播。

伪代码3描述了密切相关的DDIM采样器，稍后将在第节中讨论t5>3.

Input: Neural network $f_{\theta }$; Sample-access to target distribution $p$.

Data: Terminal variance ${\sigma }_q$; step-size $\mathrm{\Delta }t$.

Output: Stochastic loss $L_{\theta }$

1 $x_0\leftarrow \text{Sample}\left(p\right)$

2 $t\leftarrow \text{Unif}[0,1]$

3 $x_t\leftarrow x_0+𝒩(0,{\sigma }_q^{2}t)$

4 $x_{t+\mathrm{\Delta }t}\leftarrow x_t+𝒩(0,{\sigma }_q^2\mathrm{\Delta }t)$

5 $L\leftarrow {\Vert f_{\theta }(x_{t+\mathrm{\Delta }t},t+\mathrm{\Delta }t)-x_t\Vert }_2^2$

return $L_{\theta }$

伪代码 1 DDPM 训练损失

Input: Trained model $f_{\theta }$.

Data: Terminal variance ${\sigma }_q$; step-size $\mathrm{\Delta }t$.

Output: $x_0$

1 $x_1\leftarrow 𝒩(0,{\sigma }_q^2)$

2 for $t=1,(1-\mathrm{\Delta }t),(1-2\mathrm{\Delta }t),\mathrm{\dots },\mathrm{\Delta }t$ do

3 $\eta \leftarrow 𝒩(0,{\sigma }_q^2\mathrm{\Delta }t)$

4 $x_{t-\mathrm{\Delta }t}\leftarrow f_{\theta }(x_t,t)+\eta$

5

6 end for

return $x_0$

伪代码2DDPM采样（算法1的代码）

Input: Trained model $f_{\theta }$

Data: Terminal variance ${\sigma }_q$; step-size $\mathrm{\Delta }t$.

Output: $x_0$

1 $x_1\leftarrow 𝒩(0,{\sigma }_q^2)$

2 for $t=1,(1-\mathrm{\Delta }t),(1-2\mathrm{\Delta }t),\mathrm{\dots },\mathrm{\Delta }t,0$ do

3 $\lambda \leftarrow \frac{\sqrt{t}}{\sqrt{t-\mathrm{\Delta }t}+\sqrt{t}}$

4 $x_{t-\mathrm{\Delta }t}\leftarrow x_t+\lambda \left(f_{\theta }(x_t,t)-x_t\right)$

5

6 end for

return $x_0$

Pseudocode 3 DDIM sampling (Code for Algorithm 2)

2.3 方差减少：预测 $x_0$

到目前为止，我们已经训练扩散模型来预测$𝔼[x_{t-\mathrm{\Delta }t}\mid x_t]$：这正是算法 1 所要求的，也是伪代码1的训练过程所产生的。然而，许多实际的扩散实现实际上是训练预测$𝔼\left[x_0\mid x_t\right]$，即预测初始点$x_0$的期望值，而不是预测前一个点$x_{t-\mathrm{\Delta }t}$的期望值。结果发现，这种差异只是方差减小 技巧，它估计期望中的相同数量。 形式上，这两个量的关系如下：

Claim 2。

对于 1.3 节的高斯扩散设置，我们有：

$𝔼\left[\left(x_{t-\mathrm{\Delta }t}-x_t\right)\mid x_t\right]={\displaystyle \frac{\mathrm{\Delta }t}{t}}𝔼\left[\left(x_0-x_t\right)\mid x_t\right].$ (23)

或者等价地：

$$𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]=\left(\frac{\mathrm{\Delta }t}{t}\right)𝔼\left[x_0\mid x_t\right]+\left(1-\frac{\mathrm{\Delta }t}{t}\right)x_t.$$ (24)

这个说法意味着，如果我们想要估计$𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]$，我们可以估计$𝔼\left[x_0\mid x_t\right]$，然后本质上除以通过 $\left(t/\mathrm{\Delta }t\right)$，这是迄今为止采取的步数。 DDPM 训练和采样算法的方差减少版本正是这样做的；我们将它们包含在附录中 B.9.

主张 2 背后的直觉。 给定 $x_t$，最终噪声步骤 ${\eta }_{t-\mathrm{\Delta }t}$ 的分布与所有其他噪声步骤相同，直观地说，因为我们只知道总和 $x_t=x_0+{\sum }_i{\eta }_i$。 主张2背后的直觉如图2所示：首先，请注意，在给定$x_t$的情况下预测$x_{t-\mathrm{\Delta }t}$相当于预测最后一个噪声步骤，即等式（11）前向过程中的${\eta }_{t-\mathrm{\Delta }t}=\left(x_t-x_{t-\mathrm{\Delta }t}\right)$。但是，如果我们只给出最后的$x_t$，那么之前所有的噪声步骤都会被忽略。 直觉上“看起来一样”——例如，我们无法区分最后一步添加的噪声和第五步添加的噪声。 通过这种对称性，我们可以得出结论，所有单独的噪声步骤都是分布的 相同（尽管不是独立的）给定$x_t$。因此，我们可以等效地估计所有先前噪声步骤的平均值，而不是估计单个噪声步骤，其方差要低得多。 有 $\left(t/\mathrm{\Delta }t\right)$ 按时间计算经过的噪声步数$t$，因此我们将总噪声除以公式中的该量23 计算平均值。 参见附录 B.8 以获得正式证明。

警告：扩散模型应始终经过训练来估计期望。特别是，当我们训练一个模型来预测$𝔼\left[x_0\mid x_t\right]$时，我们不应该不认为这是在尝试学习“如何从分布中采样$p\left(x_0\mid x_t\right)$”。例如，如果我们训练图像扩散模型，那么最优模型将输出$𝔼\left[x_0\mid x_t\right]$ 这看起来像是模糊的图像混合（例如 Karras 等人 (2022) 中的图 1b) — 它看起来不像实际的图像样本。 最好记住，当扩散论文通俗地讨论模型“预测 $x_0$”，它们并不意味着生成看起来像 $x_0$ 实际样本的东西。

2.4 作为 SDE 的扩散 [可选]

在本节中，我们将迄今为止讨论的离散时间过程与随机微分方程（SDE）联系起来。 在连续极限下，如 $\mathrm{\Delta }t\to 0$，我们的离散扩散过程变成了随机微分方程。 SDE 还可以代表许多其他扩散变体（对应于不同的漂移和扩散项），提供设计选择的灵活性，例如缩放和噪声调度。 SDE 观点非常强大，因为现有理论为时间反演 SDE 提供了通用的封闭式解。 我们特定扩散的逆时 SDE 的离散化立即产生了我们在本节中导出的采样器，但其他扩散变体的逆时 SDE 也可用 自动（然后可以使用任何现成的或自定义的 SDE 求解器进行求解），从而实现更好的训练和采样策略，我们将在第 5. 尽管我们在这里只是简单地提到这些联系，但 SDE 的观点对该领域产生了重大影响。 如需更详细的讨论，我们推荐宋杨的博文（宋，2021）。

极限 SDE

回想一下我们的离散更新规则：

$x_{t+\mathrm{\Delta }t}$ $=x_t+{\sigma }_q\sqrt{\mathrm{\Delta }t}\xi ,\xi \sim 𝒩(0,1).$

在此限制为$\mathrm{\Delta }t\to 0$，这对应于零漂移 SDE：

$dx$ $={\sigma }_{q}dw,$ (25)

哪里$w$ 是布朗运动。 布朗运动是一个具有独立同分布的随机过程。 高斯增量，其方差与 $\mathrm{\Delta }t$。 非常启发式，我们可以想到$dw\sim {lim}_{\mathrm{\Delta }t\to 0}\sqrt{\mathrm{\Delta }t}𝒩(0,1),$，从而“推导”(25) 通过

$dx$ $=\underset{\mathrm{\Delta }t\to 0}{lim}\left(x_{t+\mathrm{\Delta }t}-x_t\right)={\sigma }_q\underset{\mathrm{\Delta }t\to 0}{lim}\sqrt{\mathrm{\Delta }t}\xi ={\sigma }_{q}dw.$

更一般地说，扩散的不同变体相当于具有不同漂移和扩散项选择的 SDE：

$dx$ $=f(x,t)dt+g\left(t\right)dw.$ (26)

SDE (25) 仅具有 $f=0$ 和 $g={\sigma }_q$ 。不过，这个公式包含许多其他可能性，对应于 $f$、$g$ 在 SDE 中。 我们将在部分中回顾 5，这种灵活性对于开发有效的算法非常重要。 实践中做出的两个重要选择是调整噪声调度和缩放 $x_t$;这些一起可以帮助控制 $x_t$ 的方差，并控制我们对不同噪音水平的关注程度。 采用灵活的噪声时间表 $\left\{{\sigma }_t\right\}$代替固定时间表${\sigma }_t\equiv {\sigma }_q\sqrt{t}$ 对应SDE (宋等人, 2020)

$x_t\sim 𝒩(x_0,{\sigma }_t^2)\iff x_t=x_{t-\mathrm{\Delta }t}+\sqrt{{\sigma }_t^2-{\sigma }_{t-\mathrm{\Delta }t}^2}{z}_{t-\mathrm{\Delta }t}\iff dx=\sqrt{{\displaystyle \frac{d}{dt}}{\sigma }^2\left(t\right)}dw.$

如果我们还希望将每个$x_t$缩放一个因子$s\left(t\right)$, Karras 等人 (2022) 表明这对应于 SDE

$x_t\sim 𝒩(s\left(t\right)x_0,s{\left(t\right)}^2\sigma {\left(t\right)}^2)\iff f\left(x\right)={\displaystyle \frac{\dot{s}\left(t\right)}{s\left(t\right)}}x,g\left(t\right)=s\left(t\right)\sqrt{2\dot{\sigma }\left(t\right)\sigma \left(t\right)}.$

这些只是灵活的 SDE (26) 实现的丰富且有用的设计空间的几个示例。

反时SDE

SDE 的时间反转运行进程时间向后. 反时 SDE 是 DDPM 等采样器的连续时间模拟。 Anderson (1982)（并在Winkler (2021)中很好地重新推导）得出的深刻结果表明，SDE 的时间反转（26） 是（谁）给的：

$dx$ $=\left(f(x,t)-g{\left(t\right)}^2{\nabla }_x\log p_t\left(x\right)\right)dt+g\left(t\right)d\overline{w}$ (27)

也就是说，SDE (27) 告诉我们如何运行 (26 形式的任何 SDE）时间倒退！ 这意味着我们不必在每种情况下重新推导反转，并且我们可以选择任何 SDE 求解器来生成实用的采样器。 但没有什么是免费的：我们仍然无法使用（27）直接向后采样，因为项${\nabla }_x\log p_t\left(x\right)$--实际上就是之前出现在方程18中的分数--一般来说是未知的，因为它取决于$p_t$。但是，如果我们能够学习 得分，然后我们就可以求解逆SDE。 这类似于离散扩散，其中 正向过程很容易建模（它只会增加噪音），而反向 过程必须要学习。

让我们花点时间讨论一下分数，${\nabla }_x\log p_t\left(x\right)$，起着核心作用。 直观上，由于分数“指向更高的概率”，因此它有助于逆转扩散过程，从而在向前运行时“压平”概率。 分数也与条件期望有关 $x_0$给定$x_t$。回想一下，在离散情况下

$${\sigma }_q^2\mathrm{\Delta }t\nabla \log p_t\left(x_t\right)=𝔼\left[x_{t-\mathrm{\Delta }t}-x_t\mid x_t\right]=\frac{\mathrm{\Delta }t}{t}𝔼\left[x_0-x_t\mid x_t\right],$$

（通过等式18,23)。

类似地，在连续情况下我们有

${\sigma }_q^2\nabla \log p_t\left(x_t\right)$ $={\displaystyle \frac{1}{t}}𝔼\left[x_0-x_t\mid x_t\right].$ (28)

回到反向SDE，我们可以证明它的离散化产生了Claim的DDPM采样器1 作为一个特例。 简单 SDE 的反转 (25） 是：

$dx$ $=-{\sigma }_q^2{\nabla }_x\log p_t\left(x\right)dt+{\sigma }_{q}d\overline{w}$ (29)

$=-{\displaystyle \frac{1}{t}}𝔼\left[x_0-x_t\mid x_t\right]dt+{\sigma }_{q}d\overline{w}$ (30)

离散化为

$x_{t-\mathrm{\Delta }t}$ $=x_t-{\displaystyle \frac{\mathrm{\Delta }t}{t}}𝔼\left[x_0-x_t\mid x_t\right]+𝒩(0,{\sigma }_q^2\mathrm{\Delta }t)$

$=x_t-𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]+𝒩(0,{\sigma }_q^2\mathrm{\Delta }t)\text{(by eq.}\text{<a class="ltx\_ref ltx\_font\_bold" href="https://arxiv.org/html/2406.08929v1\#S2.E23" style="font-size:144\%;" title="In Claim 2. ‣ 2.3 Variance Reduction: Predicting 𝑥₀ ‣ 2 Stochastic Sampling: DDPM ‣ Preface ‣ Step-by-Step Diffusion: An Elementary Tutorial"><span class="ltx\_text ltx\_ref\_tag">23</span></a>}\text{)}$

这正是权利要求中导出的随机（DDPM）采样器1。

3 确定性采样：DDIM

我们现在将展示确定性 高斯扩散的反向采样器——它看起来与上一节的随机采样器类似，但在概念上有很大不同。 该采样器相当于DDIM 宋等人 (2021) 的更新，适应我们的简化设置。

我们考虑与上一节相同的高斯扩散设置，具有联合分布$(x_0,x_{\mathrm{\Delta }t},\mathrm{\dots },x_1)$和条件期望函数${\mu }_t\left(z\right):=𝔼\left[x_t\mid x_{t+\mathrm{\Delta }t}=z\right].$ 反向采样器定义如下，并在伪代码中明确列出3。

[nobreak=true] 算法 2：确定性反向采样器（类似 DDIM）

对于输入样本 $x_t$ 和步骤索引 $t$， 输出：

${\widehat{x}}_{t-\mathrm{\Delta }t}\leftarrow x_t+\lambda \left({\mu }_{t-\mathrm{\Delta }t}\left(x_t\right)-x_t\right)$ (31)

其中 $\lambda :=\left(\frac{{\sigma }_t}{{\sigma }_{t-\mathrm{\Delta }t}+{\sigma }_t}\right)$ 和 ${\sigma }_t\equiv {\sigma }_q\sqrt{t}$ 来自等式 (12).

我们如何证明这定义了一个有效的反向采样器？ 由于算法 2 是 确定性，认为它从$p\left(x_{t-\mathrm{\Delta }t}\mid x_t\right)$采样是没有意义的。，正如我们所主张的类似 DDPM 的随机采样器。 相反，我们将直接证明方程（31）实现了边际分布$p_t$和$p_{t-\mathrm{\Delta }t}$之间有效的传输映射。也就是说，如果让$F_t$成为方程（31）的更新：

$F_t\left(z\right):=$ $z+\lambda \left({\mu }_{t-\mathrm{\Delta }t}\left(z\right)-z\right)$ (32)

$=$ $z+\lambda \left(𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t=z\right]-z\right)$ (33)

那么我们想证明

$F_t\mathrm{♯}{p}_t\approx p_{t-\mathrm{\Delta }t}.$ (34)

证明概述：证明这一点的通常方法是使用随机微积分工具，但我们将提出一个基本推导。 我们的策略是首先证明算法 2 在最简单的点质量分布情况下是正确的，然后通过适当的边缘化将该结果提升到完全分布。 对于专家来说，这类似于“流程匹配”证明。

3.1 案例1：单点

让我们首先了解一个简单的情况，其中目标分布$p_0$是${ℝ}^d$中的单个点质量。不失一般性，我们可以假设该点位于$x_0=0$. 在这种情况下算法 2 正确吗？ 为了推断正确性，我们要考虑以下分布 $x_t$ 和 $x_{t-\mathrm{\Delta }t}$ 用于任意步骤 $t$。根据扩散前向过程（方程11)，在时间$t$相关随机变量为0>

$x_0$ $=0\text{(deterministically)}$

$x_{t-\mathrm{\Delta }t}$ $\sim 𝒩(x_0,{\sigma }_{t-\mathrm{\Delta }t}^2)$

$x_t$ $\sim 𝒩(x_{t-\mathrm{\Delta }t},{\sigma }_t^2-{\sigma }_{t-\mathrm{\Delta }t}^2).$

$x_{t-\mathrm{\Delta }t}$的边际分布为$p_{t-\mathrm{\Delta }t}=𝒩(0,{\sigma }_{t-1}^2)$，$x_t$的边际分布为$p_t=𝒩(0,{\sigma }_t^2)$。

让我们首先找到一些确定性函数$G_t:{ℝ}^d\to {ℝ}^d$，使得$G_t\mathrm{♯}{p}_t=p_{t-\mathrm{\Delta }t}$。有许多可能的功能可以工作，但这是显而易见的：

$G_t\left(z\right)$ $:=\left({\displaystyle \frac{{\sigma }_{t-\mathrm{\Delta }t}}{{\sigma }_t}}\right)z.$ (35)

上面的函数$G_t$只是重新缩放$p_t$的高斯分布，以匹配高斯分布的方差$p_{t-\mathrm{\Delta }t}$。事实证明，这个 $G_t$ 与步骤 $F_t$ 完全相同 我们现在将展示算法 2。

Claim 3。

当目标分布是点质量$p_0={\delta }_0$时，更新$F_t$（如方程33中定义）相当于缩放$G_t$ （如公式 35 中所定义）：

$$F_t\equiv G_t.$$ (36)

因此算法2定义了目标分布$p_0={\delta }_0.$的反向采样器

证明。

要应用 $F_t$，我们需要计算简单分布的 $𝔼[x_{t-\mathrm{\Delta }t}\mid x_t]$。 由于 $(x_{t-\mathrm{\Delta }t},x_t)$ 是共同高斯变量，因此-2cm]回顾两个共同高斯随机变量 $(X,Y)$ 的条件期望为 $𝔼[X\mid Y=y]={\mu }_X+{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}(y-{\mu }_Y)$、其中 ${\mu }_X,{\mu }_Y$ 是各自的均值，${\mathrm{\Sigma }}_{XY},{\mathrm{\Sigma }}_{YY}$ 是 $(X,Y)$ 的交叉协方差和 $Y$ 的协方差。 由于 $X=x_{t-\mathrm{\Delta }t}$ 和 $Y=x_t$ 以 $0$ 为中心，因此我们有 ${\mu }_X={\mu }_Y=0$。 对于协方差项，由于 $x_t=x_{t-\mathrm{\Delta }t}+\eta$ 我们有 ${\mathrm{\Sigma }}_{XY}=𝔼[x_t{x}_{t-\mathrm{\Delta }t}^T]=𝔼[x_{t-\mathrm{\Delta }t}{x}_{t-\mathrm{\Delta }t}^T]={\sigma }_{t-\mathrm{\Delta }t}^2{I}_d$。 类似地，${\mathrm{\Sigma }}_{YY}=𝔼[x_t{x}_t^T]={\sigma }_t^2{I}_d$。

$𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]$ $=\left({\displaystyle \frac{{\sigma }_{t-\mathrm{\Delta }t}^2}{{\sigma }_t^2}}\right)x_t.$ (37)

剩下的就是代数：

$F_t\left(x_t\right)$ $:=x_t+\lambda \left(𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]-x_t\right)$ 根据$F_t$的定义

$=x_t+\left({\displaystyle \frac{{\sigma }_t}{{\sigma }_{t-\mathrm{\Delta }t}+{\sigma }_t}}\right)\left(𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]-x_t\right)$ 根据$\lambda$的定义

$=x_t+\left({\displaystyle \frac{{\sigma }_t}{{\sigma }_{t-\mathrm{\Delta }t}+{\sigma }_t}}\right)\left({\displaystyle \frac{{\sigma }_{t-\mathrm{\Delta }t}^2}{{\sigma }_t^2}}-1\right)x_t$ 通过方程 (37)

$=\left({\displaystyle \frac{{\sigma }_{t-\mathrm{\Delta }t}}{{\sigma }_t}}\right)x_t$

$=G_t\left(x_t\right).$

因此，我们得出结论，算法 2 是正确的反向采样器，因为它等效于 $G_t$，并且 $G_t$ 有效。 ∎

算法2的正确性仍然成立 如果 $x_0$ 是任意点而不是 $x_0=0$，因为一切都是过渡对称的。

3.2 速度场和气体

在继续之前，将 DDIM 更新视为相当于速度场会很有帮助，它将时间 $t$ 的点移动到时间 $\left(t-\mathrm{\Delta }t\right)$。具体来说，定义向量场

$$v_t\left(x_t\right):=\frac{\lambda }{\mathrm{\Delta }t}\left(𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]-x_t\right).$$ (38)

然后是方程的DDIM更新算法(31）可以写成：

${\widehat{x}}_{t-\mathrm{\Delta }t}:=$ $x_t+\lambda \left({\mu }_{t-\mathrm{\Delta }t}\left(x_t\right)-x_t\right)$ 来自方程 (31)

$=$ $x_t+v_t\left(x_t\right)\mathrm{\Delta }t.$ (39)

$v_t$的物理直觉是：想象一种由非相互作用粒子组成的气体，其密度场为$p_t$。然后，假设位置$z$处的粒子沿$v_t\left(z\right)$方向移动。生成的气体将具有密度场$p_{t-\mathrm{\Delta }t}$。我们把这个过程写成0>

$$p_t\stackrel{v_t}{⟶}{p}_{t-\mathrm{\Delta }t}.$$ (40)

在小步长的限制下$\mathrm{\Delta }t$，通俗地说，我们可以将$v_t$视为速度场 — 根据 DDIM 算法指定粒子移动的瞬时速度。

$p_0={\delta }_{x_0}$时的速度场$v_t$，叠加在高斯分布$p_t$上。举个具体例子，如果目标分布为$p_0={\delta }_{x_0}$，如第3.1节所示，那么 DDIM 的速度场为$v_t\left(x_t\right)=\left(\frac{{\sigma }_t-{\sigma }_{t-\mathrm{\Delta }t}}{{\sigma }_t}\right)\left(x_0-x_t\right)/\mathrm{\Delta }t$，它是一个始终指向初始点$x_0$的矢量场（见图3.2）。

3.3 案例2：两点

现在让我们证明当目标分布是两点混合时算法 2 是正确的：

$$p_0:=\frac{1}{2}{\delta }_a+\frac{1}{2}{\delta }_b,$$ (41)

对于一些$a,b\in {ℝ}^d$。根据扩散前向过程，$t$时刻的分布将是高斯混合分布:

$$p_t:=\frac{1}{2}𝒩(a,{\sigma }_t^2)+\frac{1}{2}𝒩(b,{\sigma }_t^2).$$ (42)

我们想要证明，通过这些分布$p_t$，DDIM速度场$v_t$（方程38) 传输 $p_t\stackrel{v_t}{⟶}{p}_{t-\mathrm{\Delta }t}$。

让我们首先尝试构建某个速度场$v_t^{\ast }$，使得$p_t\stackrel{v_t^{\ast }}{⟶}{p}_{t-\mathrm{\Delta }t}$。根据我们在3.1节中的结果--DDIM 更新对单点有效--我们已经知道了单独传输每个混合物成分$\{a,b\}$的速度场。也就是说，我们知道定义为的速度场$v_t^{\left[a\right]}$。

$$v_t^{\left[a\right]}\left(x_t\right):=\lambda \underset{x_0\sim {\delta }_a}{𝔼}\left[x_{t-\mathrm{\Delta }t}-x_t\mid x_t\right]$$ (43)

运输

$$𝒩(a,{\sigma }_t^2)\stackrel{v_t^{\left[a\right]}}{⟶}𝒩(a,{\sigma }_{t-\mathrm{\Delta }t}^2),$$ (44)

对于$v_t^{\left[b\right]}$也类似。

我们现在需要某种方法将这两个速度场组合成一个速度$v_t^{\ast }$，输送混合物：

$$\underset{p_t}{\underbrace{\left(\frac{1}{2}𝒩(a,{\sigma }_t^2)+\frac{1}{2}𝒩(b,{\sigma }_t^2)\right)}}\stackrel{v_t^{\ast }}{⟶}\underset{p_{t-\mathrm{\Delta }t}}{\underbrace{\left(\frac{1}{2}𝒩(a,{\sigma }_{t-\mathrm{\Delta }t}^2)+\frac{1}{2}𝒩(b,{\sigma }_{t-\mathrm{\Delta }t}^2)\right)}}$$ (45)

我们可能只想取平均速度场$\left(v_t^{\ast }=0.5v_t^{\left[a\right]}+0.5v_t^{\left[b\right]}\right)$，但这是不正确的。 正确的组合速度 $v_t^{\ast }$是各个速度场的加权平均值，由相应的密度场加权。.

$v_t^{\ast }\left(x_t\right)$ $={\displaystyle \frac{v_t^{\left[a\right]}\left(x_t\right)\cdot p\left(x_t\mid x_0=a\right)+v_t^{\left[b\right]}\left(x_t\right)\cdot p\left(x_t\mid x_0=b\right)}{p\left(x_t\mid x_0=a\right)+p\left(x_t\mid x_0=b\right)}}$ (46)

$=v_t^{\left[a\right]}\left(x_t\right)\cdot p\left(x_0=a\mid x_t\right)+v_t^{\left[b\right]}\left(x_t\right)\cdot p\left(x_0=b\mid x_t\right).$ (47)

明确地，$v_t^{\left[a\right]}$在一点$x_t$的权重是$x_t$是从初始点$x_0=a$生成的，而不是$x_0=b$。0>

凭直觉确信这一点，考虑图3中所示的有关气体的相应问题。假设我们有两种重叠的气体，一种密度为 $𝒩(a,{\sigma }^2)$ 和速度 $v_t^{\left[a\right]}$ 的红色气体，以及密度 < 的蓝色气体。 /t7>$𝒩(b,{\sigma }^2)$ 和速度 $v_t^{\left[b\right]}$. 我们想知道，混合气体的有效速度是多少（就好像我们只在灰度中看到一样）？ 我们应该明确采取 加权 - 各个气体速度的平均值，按各自的密度加权 - 正如方程(47)。

图3： 组合两种气体的速度场的图示。 左：两种独立气体的密度和速度场（红色和蓝色）。 右图：混合气体的有效密度和速度场，包括流线。

我们现在已经解决了本节的主要子问题：我们已经找到了 一个特定的矢量场$v_t^{\ast }$，对于我们的两点分布$p_0$，它将$p_t$传送到$p_{t-\mathrm{\Delta }t}$。我们还需要证明，$v_t^{\ast }$等价于算法 2 的速度场（$v_t$来自公式38）。

为了展示这一点，首先注意单个向量场$v_t^{\left[a\right]}$ 可以写成条件期望。 使用方程中的定义 (43),

$v_t^{\left[a\right]}\left(x_t\right)$ $=\lambda \underset{x_0\sim {\delta }_a}{𝔼}\left[x_{t-\mathrm{\Delta }t}-x_t\mid x_t\right]$ (48)

$=\lambda \underset{x_0\sim 1/2{\delta }_a+1/2{\delta }_b}{𝔼}\left[x_{t-\mathrm{\Delta }t}-x_t\mid x_0=a,x_t\right].$ (49)

现在整个矢量场$v_t^{\ast }$ 可以写成条件期望：

$v_t^{\ast }\left(x_t\right)$ $=v_t^{\left[a\right]}\left(x_t\right)\cdot p\left(x_0=a\mid x_t\right)+v_t^{\left[b\right]}\left(x_t\right)\cdot p\left(x_0=b\mid x_t\right)$ (50)

$=\lambda 𝔼\left[x_{t-\mathrm{\Delta }t}-x_t\mid x_0=a,x_t\right]\cdot p\left(x_0=a\mid x_t\right)$ (51)

$+\lambda 𝔼\left[x_{t-\mathrm{\Delta }t}-x_t\mid x_0=b,x_t\right]\cdot p\left(x_0=b\mid x_t\right)$ (52)

$=\lambda 𝔼\left[x_{t-\mathrm{\Delta }t}-x_t\mid x_t\right]$ (53)

$=v_t\left(x_t\right)$ (from Equation 38)

所有的期望都是w.r.t. 分布 $x_0\sim 1/2{\delta }_a+1/2{\delta }_b$。因此，组合速度场$v_t^{\ast }$正是速度场$v_t$ 由算法 2 的更新给出 - 所以算法 2 是我们的两点混合分布的正确反向采样器。

3.4 情况 3：任意分布

现在我们知道如何处理两个点，我们可以将这个想法推广到 $x_0$ 的任意分布. 我们不会在这里详细讨论，因为一般证明将包含在后续部分中。

事实证明，我们算法 2 的整体证明策略可以显着推广到其他类型的扩散，而无需做太多工作。 这就产生了流匹配的想法，我们将在下一节中看到。 一旦我们开发了流机制，实际上就可以直接从简单的单点缩放算法方程（35)：参见附录B.5。

3.4.1 概率流 ODE [可选]

最后，我们将离散时间确定性采样器推广到称为概率流 ODE 的常微分方程 (ODE)概率流 ODE （宋等人，2020）。 以下部分基于我们对 SDE 作为扩散连续极限的讨论 2.4。正如2.4节的逆时SDE 提供了离散随机采样器的灵活连续时间推广，因此我们将看到离散确定性采样器推广到 ODE。 ODE 公式既提供了观察扩散的有用理论镜头，也提供了实际优势，例如可以从各种现成和自定义 ODE 求解器中进行选择以改进采样（如流行的 DPM++ 方法、章节中讨论 5)。

回顾一下2.4部分中的一般SDE(26)：

$$dx=f(x,t)dt+g\left(t\right)dw.$$

Song 等人 (2020) 表明可以将此 SDE 转换为 确定性 等价称为概率流 ODE (PF-ODE)：

${\displaystyle \frac{dx}{dt}}$ $=\tilde{f}(x,t),\text{where}\tilde{f}(x,t)=f(x,t)-{\displaystyle \frac{1}{2}}g{\left(t\right)}^2{\nabla }_x\log p_t\left(x\right)$ (54)

SDE (26) 和 ODE (54) 是等价的，即通过求解获得的轨迹PF-ODE 在每个时间点都具有与 SDE 轨迹相同的边际分布。但是，请注意，分数再次出现在此处，就像在反向 SDE 中一样 (27)；就像逆向 SDE 一样，我们必须学习分数才能生成 ODE (54）实用。

正如 DDPM 是反向时间 SDE 的（离散化）特例 (27)，DDIM 也可以看作是 PF-ODE 的（离散化）特例 (54)。回顾第2.4节，我们一直在研究的简单扩散对应于带有$f=0$和$g={\sigma }_q$的 SDE (25)。相应的 ODE 为

${\displaystyle \frac{dx}{dt}}$ $=-{\displaystyle \frac{1}{2}}{\sigma }_q^2{\nabla }_x\log p_t\left(x\right)$ (55)

$=-{\displaystyle \frac{1}{2t}}𝔼\left[x_0-x_t\mid x_t\right]\text{(by eq.}\text{<a class="ltx\_ref ltx\_font\_bold" href="https://arxiv.org/html/2406.08929v1\#S2.E28" style="font-size:144\%;" title="In Reverse-Time SDE ‣ 2.4 Diffusions as SDEs [Optional] ‣ 2 Stochastic Sampling: DDPM ‣ Preface ‣ Step-by-Step Diffusion: An Elementary Tutorial"><span class="ltx\_text ltx\_ref\_tag">28</span></a>}\text{)}$ (56)

反转和离散化收益率

$x_{t-\mathrm{\Delta }t}$ $=x_t+{\displaystyle \frac{\mathrm{\Delta }t}{2t}}𝔼\left[x_0-x_t\mid x_t\right]$

$=x_t+{\displaystyle \frac{1}{2}}\left(𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right]-x_t\right)\text{(by eq.}\text{<a class="ltx\_ref ltx\_font\_bold" href="https://arxiv.org/html/2406.08929v1\#S2.E23" style="font-size:144\%;" title="In Claim 2. ‣ 2.3 Variance Reduction: Predicting 𝑥₀ ‣ 2 Stochastic Sampling: DDPM ‣ Preface ‣ Step-by-Step Diffusion: An Elementary Tutorial"><span class="ltx\_text ltx\_ref\_tag">23</span></a>}\text{).}$

注意到${lim}_{\mathrm{\Delta }t\to 0}\left(\frac{{\sigma }_t}{{\sigma }_{t-\mathrm{\Delta }t}+{\sigma }_t}\right)=\frac{1}{2}$，我们恢复了确定性 (DDIM) 采样器 (31)。

3.5 讨论：DDPM 与 DDIM

上面定义的两个反向采样器（DDPM 和 DDIM）在概念上有显着不同：一个是确定性的，另一个是随机性的。 为了进行审查，这些采样器使用以下策略：

1. DDPM 理想地实现了随机映射$F_t$，使得输出$F_t\left(x_t\right)$逐点是来自条件分布$p\left(x_{t-\mathrm{\Delta }t}\mid x_t\right)$。

2. DDIM 理想地实现确定性映射 $F_t$，使得输出 $F_t\left(x_t\right)$ 为 边际分布为$p_{t-\mathrm{\Delta }t}$。即，$F_t\mathrm{♯}{p}_t=p_{t-\mathrm{\Delta }t}$。1>

尽管他们都朝着同一个方向迈出了一步（给定相同的输入$x_t$），这两种算法最终的演变非常不同。 为了看到这一点，让我们考虑一下每个采样器从相同的初始点开始时的理想行为 $x_1$ 并迭代完成。

DDPM 理想情况下会从 $p\left(x_0\mid x_1\right)$ 生成样本。如果前向过程充分混合（即，对于我们设置中的较大 ${\sigma }_q$)，那么最终点 $x_1$ 将接近独立 从初始点开始。 因此 $p\left(x_0\mid x_1\right)\approx p\left(x_0\right)$，所以理想的DDPM的分布输出根本不依赖在起点$x_1$。相反，DDIM 是确定性的，因此它始终会为给定的 $x_1$ 生成固定值，因此将非常强烈地依赖于 $x_1$.

要记住的图片是，DDIM 定义了确定性映射${ℝ}^d\to {ℝ}^d$，从高斯分布中采样到我们的目标分布。 在这个层面上，DDIM 映射听起来可能与其他生成模型类似——毕竟，GAN 和归一化流也定义了从高斯噪声到真实分布的映射。 DDIM图的特别之处在于，它不允许任意：目标分布 $p^{\ast }$ 准确地确定了理想的 DDIM 映射（我们训练模型来模拟）。 这张地图“不错”；例如，如果我们的目标分布是平滑的，我们期望它是平滑的。 相比之下，GAN 可以自由学习噪声和图像之间的任意映射。 扩散模型的这一特征可能会使学习问题在某些情况下变得更容易（因为它是有监督的），或者在其他情况下变得更困难（因为可能存在其他方法可以找到的更容易学习的地图）。

3.6 关于泛化的评论

在本教程中，我们没有讨论扩散模型的学习理论方面：在仅给定有限样本和有界计算的情况下，我们如何学习基础分布的属性？ 这些是学习的基本方面，但扩散模型尚未完全理解；这是一个活跃的研究领域.

为了理解这里的微妙之处，假设我们使用经验风险最小化（ERM）的经典策略学习扩散模型：我们从基础分布中采样有限训练集，并优化所有回归函数。 这种经验分布。 问题是，我们不应该 完美地最小化经验风险，因为这会产生一个仅重现训练样本的扩散模型.

在一般学习中，扩散模型必须被正则化隐式或显式地防止训练数据的过度拟合和记忆。 当我们训练用于扩散模型的深度神经网络时，这种正则化通常会隐式发生：有限模型大小和优化随机性等因素会阻止训练模型完美记住其训练集。 我们将在第 1 节中重新审视这些因素（作为错误来源） 5.

在小图像数据集上训练的扩散模型中，已经在“野外”看到了记忆训练数据的问题，并且观察到，记忆随着训练集大小的增加而减少 (Somepalli 等人, 2023; Gu 等人，2023）。 此外，记忆被认为是神经网络的潜在安全和版权问题，如 Carlini 等人 (2023) 中的作者发现，他们可以在正确的提示下从稳定扩散中恢复训练数据。

图4 演示了训练集大小的影响，并显示了使用 3 层 ReLU 网络训练的扩散模型的 DDIM 轨迹。 我们看到扩散模型 $N=10$ 样本“记住”它的训练集：它的轨迹全部崩溃到训练点之一，而不是产生底层的螺旋分布。 随着我们添加更多样本，模型开始泛化：轨迹收敛到底层螺旋流形。 轨迹也开始变得更加垂直于底层流形，这表明正在学习低维结构。 我们还注意到，在 $N=10$ 在扩散模型失败的情况下，人类根本无法从这些样本中识别出“正确”的模式，因此泛化的期望可能过高。

图4： 螺旋数据集的 DDIM 轨迹（由时间步 $t$ 阴影）。 我们将轨迹与 $10,20$ 和 $40$ 样本进行比较。 请注意，当我们添加更多训练点（从左到右移动）时，扩散算法开始学习底层螺旋，并且轨迹看起来更垂直于底层流形。 这里使用的网络是 3 层 ReLU 网络，每层有 128 个神经元。

4 流量匹配

运行从环形分布（顶部）生成螺旋分布（底部）的流。

现在我们介绍流匹配的框架（Lipman等人，2023；Albergo等人，2023；Liu等人，2022）。 流匹配可以被认为是 DDIM 的推广，它允许在设计生成模型时具有更大的灵活性，例如包括 整流流（有时称为线性流）由稳定扩散 3 （Liu 等人，2022；Esser 等人，2024）使用。

实际上，在3节中对 DDIM 的分析中，我们已经了解了流匹配背后的主要思想。在较高的层面上，以下是我们在第 3 节中构建生成模型的方式：

1. 首先，我们定义了如何生成单点。 具体来说，我们构建了向量场 ${\left\{v_t^{\left[a\right]}\right\}}_t$，当应用于所有时间步长时，将标准高斯分布转换为任意 delta 分布${\delta }_a$。

2. 其次，我们确定如何将两个矢量场组合成单个有效矢量场。 这让我们可以构建从标准高斯到 两个点（或者更一般地说，到一个分布 超过点——我们的目标分布）。

这些步骤都不需要特别需要高斯基分布或高斯前向过程（方程1）。 例如，组合矢量场的第二步对于任意两个任意矢量场保持相同。

所以让我们放弃所有的高斯假设。 相反，我们将从基本层面思考如何在任意两点之间进行映射 $x_0$和$x_1$。然后，我们看看从任意分布 $p$（数据）和 $q$ 中采样两个点时会发生什么 （基地），分别。 我们将看到这种观点将 DDIM 作为一个特例，但它更为普遍。

4.1 流量

Let us first define the central notion of a flow. A flow is simply a collection of time-indexed vector fields $v={\left\{v_t\right\}}_{t\in [0,1]}$. We should think of this as the velocity-field $v_t$ of a gas at each time $t$, as we did earlier in Section 3.2. Any flow defines a trajectory taking initial points $x_1$ to final points $x_0$, by transporting the initial point along the velocity fields $\left\{v_t\right\}$.

形式上，对于流 $v$ 和初始点 $x_1$，考虑 ODE] 相应的离散时间模拟是迭代： $x_{t-\mathrm{\Delta }t}\leftarrow x_t+v_t(x_t)\mathrm{\Delta }t$，从 $t=1$ 开始，初始点为 $x_1$。

${\displaystyle \frac{d{x}_t}{dt}}$ $=-v_t\left(x_t\right),$ (57)

初始条件为$x_1$，时间为$t=1$。我们写

$x_t:=\mathrm{RunFlow}(v,x_1,t)$ (58)

表示在时间$t$处的流动 ODE（方程57）的解，终止于最终点$x_0$。也就是说，RunFlow 是将点$x_1$沿着流$v$传输到时间$t$的结果。

正如流定义起始点和终点之间的映射一样，它们也定义整个分布之间的传输分布，通过沿着轨迹“推动”源分布中的点。 如果 $p_1$是初始点的分布，然后应用流程$v$产生最终点的分布

$$p_0={\left\{\mathrm{RunFlow}\left(v,x_1,t=0\right)\right\}}_{x_1\sim p_1}.$$ (59)

我们将此过程表示为$p_1\stackrel{𝑣}{\hookrightarrow }{p}_0$，表示流程$v$传输初始分配$p_1$最终分发 $p_0$。

流匹配的最终目标是以某种方式学习传输$q\stackrel{v^{\ast }}{\hookrightarrow }p$的流$v^{\ast }$，其中$p$ 是目标分布，$q$ 是一些易于采样的基分布（例如高斯分布）。 如果我们有这个 $v^{\ast }$，我们可以从目标$p$生成采样，方法是首先对$x_1\sim q$进行采样，然后运行初始点$x_1$的流程，并输出最终点$x_0$。第3节中的 DDIM 算法实际上是一个特例。 其中，对于非常特殊的流选择$v^{\ast }$. 现在，我们一般如何构建这样的流程？

4.2 逐点流

我们的基本构件将是一个点向流，它只是将一个点$x_1$传送到一个点$x_0$。直观地说，给定一条连接 $x_1$ 和 $x_0$ 的任意路径${\left\{x_t\right\}}_{t\in [0,1]}$，点向流通过给出沿途每个点$x_t$的速度$v_t\left(x_t\right)$来描述这条轨迹（见图4.2）。形式上，${\mathrm{x}}_1$和${\mathrm{x}}_0$之间的点向流是满足公式57的任何流${\left\{v_t\right\}}_t$，其边界条件分别为$x_1$和$x_0$，时间分别为$t=1,0$。我们将这些流表示为$v^{[x_1,x_0]}$。点向流并不是唯一的：在 $x_0$ 和 $x_1$ 之间有许多不同的路径选择。

将$x_1$传输到$x_0$的逐点流$v_t^{[x_1,x_0]}$。

4.3 边际流量

假设对于所有点对$(x_1,x_0)$，我们都可以构建一个显式点向流$v^{[x_1,x_0]}$，将源点$x_1$传送到目标点$x_0$。例如，我们可以让$x_t$沿着一条直线从$x_1$到达$x_0$。，或沿着任何其他显式路径。 回想一下我们的气体类比，这对应于在之间移动的单个粒子 $x_1$和$x_0$。现在，让我们尝试建立一个单个粒子集合，使粒子在$t=1$处按照$q$分布，在$t=0$处按照$p$分布。这其实很容易做到：我们可以选择任何耦合 ${\mathrm{\Pi }}_{q,p}$在$q$和$p$之间，并考虑与点状流相对应的粒子${\left\{v^{[x_1,x_0]}\right\}}_{(x_1,x_0)\sim {\mathrm{\Pi }}_{q,p}}$. 这为我们提供了点状流（即粒子轨迹的集合）的分布，并且总体上具有所需的行为。

我们希望以某种方式组合所有这些逐点流，以获得在分布之间实现相同传输的单个流$v^{\ast }$。我们之前的讨论节中的3告诉了我们如何做到这一点：要确定有效速度$v_t^{\ast }\left(x_t\right)$，我们应该对所有单个粒子速度$v_t^{[x_1,x_0]}$进行加权平均，并根据$x_t$处的粒子是由点状流$v^{[x_1,x_0]}$产生的概率进行加权。最终结果为

$v_t^{\ast }\left(x_t\right)$ $:=\underset{x_0,x_1\mid x_t}{𝔼}\left[v_t^{[x_1,x_0]}\left(x_t\right)\mid x_t\right]$ (62)

其中期望是 w.r.t. 的联合分布 $(x_1,x_0,x_t)$由采样$(x_1,x_0)\sim {\mathrm{\Pi }}_{q,p}$引起，并让$x_t\leftarrow \mathrm{RunFlow}(v^{[x_1,x_0]},x_1,t)$。

至此，我们原则上已经有了生成建模问题的“解决方案”，但仍然存在一些重要问题以使其在实践中有用：

• 哪个点向流$v^{[x_1,x_0]}$与耦合${\mathrm{\Pi }}_{q,p}$ 我们应该选择吗？

• 我们如何计算边际流量$v^{\ast }$？我们无法直接根据方程 (62) 计算它，因为这需要从 $p\left(x_0\mid x_t\right)$ 中对给定点 $x_t$，一般来说可能会很复杂。

我们将在下一节中回答这些问题。

4.4 逐点流的简单选择

图5： 具有线性逐点流的边际流，基本分布$q$在环面上均匀分布，目标分布$p$等于$x_0$处的狄拉克-δ。 （这也可以被认为是从 $x_1\sim q$ 到固定 $x_0$ 的逐点线性流的 $x_1$ 的平均值）。 灰色箭头描绘了不同时间$t$的流场。最左边的 $(t=1)$ 图显示了基本分布 $q$ 中的样本。 随后的图显示了这些样本在中间时间 $t$ 通过流传输，最终的 $(t=0)$ 图显示了折叠到目标 $x_0$ 的所有点。 这个特定的 $x_0$ 恰好是图 4 的螺旋分布上的一个点。

我们需要明确选择：逐点流、基本分布$q$和耦合${\mathrm{\Pi }}_{q,p}$。有很多简单的选择都可行.

基本分布$q$ 本质上可以是任何易于采样的分布。 高斯是一种流行的选择，但肯定不是唯一的选择——图 4 例如，使用环形基础分布。 至于联轴器 ${\mathrm{\Pi }}_{q,p}$在基础分布和目标分布之间，最简单的选择是独立耦合，即从$p$和$q$独立。

对于逐点流，可以说最简单的构造是线性逐点流:

$v_t^{[x_1,x_0]}\left(x_t\right)$ $=x_0-x_1,$ (63)

$⟹\mathrm{RunFlow}(v^{[x_1,x_0]},x_1,t)$ $=t{x}_1+\left(1-t\right)x_0$ (64)

在 $x_1$ 和 $x_0$ 之间简单地线性插值 （对应Liu 等人(2022)中的选择）。 图中 5我们可视化由线性点状流组成的边缘流，与图$q$相同的环形基础分布4，目标分布等于点质量 ($p={\delta }_{x_0}$).

4.5 流量匹配

现在，唯一剩下的问题是使用方程(62)天真地评估$v^{\ast }$需要从$p\left(x_0\mid x_t\right)$ 对于给定的 $x_t$。如果我们知道如何做到这一点 $t=1$，我们就已经解决了生成建模问题！

幸运的是，我们可以利用 DDPM 中的相同技巧：我们能够从联合分布中进行采样$(x_0,x_t)$，然后求解回归问题。 与DDPM类似，方程中的条件期望函数（62) 可以写成回归量:

$v_t^{\ast }\left(x_t\right)$ $:=\underset{x_0,x_1\mid x_t}{𝔼}\left[v_t^{[x_1,x_0]}\left(x_t\right)\mid x_t\right]$ (65)

$⟹v_t^{\ast }$ $=\underset{f:{ℝ}^d\to {ℝ}^d}{argmin}\underset{(x_0,x_1,x_t)}{𝔼}{\Vert f\left(x_t\right)-v_t^{[x_1,x_0]}\left(x_t\right)\Vert }_2^2,$ (66)

（通过使用通用事实${argmin}_f𝔼{\Vert f\left(x\right)-y\Vert }^2=𝔼\left[y\mid x\right]$)。

换句话来说，方程(66)表示计算模型的损失$f_{\theta }$时间$t$， 我们应该：

1. 源点和目标点示例$(x_1,x_0)$ 来自他们的联合分配。

2. 通过运行确定性地计算点$x_t$ 从点$x_1$开始到时间$t$的逐点流$v^{[x_1,x_0]}$ >.

3. 在 $x_t$ 处评估模型的预测，如 $f_{\theta }\left(x_t\right)$。评估确定性向量$v_t^{[x_1,x_0]}\left(x_t\right)$. 然后计算这两个量之间的 L2 损失。

为了从训练模型中采样（我们的估计$v_t^{\ast }$)，我们首先对源点进行采样$x_1\sim q$，然后沿着学习流将其传输到目标样本$x_0$。伪代码清单 4 和 5 给出基于流的模型的训练和采样的明确程序（包括具体的线性流的特殊情况；匹配Liu等人（2022）中的算法1。）。

概括

总而言之，以下是如何学习目标分布的流匹配生成模型$p$。

这些成分。

我们首先选择：

1. 源代码分发$q$，我们可以从中有效地采样（例如标准高斯）。

2. 耦合${\mathrm{\Pi }}_{q,p}$之间的$q$和$p$，它指定了一种对源点和目标点$(x_1,x_0)$进行联合采样的方法，其边距分别为$q$和$p$。标准的选择是独立耦合，即独立采样 $x_1\sim q$ 和 $x_0\sim p$ 。

3. 对于所有点对$(x_1,x_0)$，显式逐点流 $v^{[x_1,x_0]}$ 将 $x_1$ 传输到 $x_0$。我们必须能够有效地计算向量场0>$v_t^{[x_1,x_0]}$ 在所有点。

理论上，这些成分决定了边缘向量场$v^{\ast }$，它将$q$传输到$p$:

$v_t^{\ast }\left(x_t\right)$ $:=\underset{x_0,x_1\mid x_t}{𝔼}\left[v_t^{[x_1,x_0]}\left(x_t\right)\mid x_t\right]$ (67)

其中期望是 w.r.t. 联合分布：

$(x_1,x_0)$ $\sim {\mathrm{\Pi }}_{q,p}$

$x_t$ $:=\mathrm{RunFlow}(v^{[x_1,x_0]},x_1,t).$

训练。

通过反向传播由伪代码计算的随机损失函数来训练神经网络 $f_{\theta }$ 4. 该预期损失的最优函数是： $f_{\theta }(x_t,t)=v_t^{\ast }\left(x_t\right)$。

采样。

运行伪代码5从（大约）目标分布生成样本$x_0$$p$.

Input: Neural network $f_{\theta }$

Data: Sample-access to coupling ${\mathrm{\Pi }}_{q,p}$; Pointwise flows $\left\{v_t^{[x_1,x_0]}\right\}$ for all $x_1,x_0$.

Output: Stochastic loss $L$

1 $(x_1,x_0)\leftarrow \mathrm{Sample}\left({\mathrm{\Pi }}_{q,p}\right)$

2 $t\leftarrow \text{Unif}[0,1]$

3 $x_t\leftarrow red\underset{t{x}_1+\left(1-t\right)x_0}{\underbrace{black\mathrm{RunFlow}(v^{[x_1,x_0]},x_1,t)}}$

4 $L\leftarrow {\Vert f_{\theta }(x_t,t)-red\underset{\left(x_0-x_1\right)}{\underbrace{black{v}_t^{[x_1,x_0]}\left(x_t\right)}}\Vert }_2^2$

return $L$

Pseudocode 4 Flow-matching train loss, generic pointwise flow [or linear flow]

Input: Trained network $f_{\theta }$

Data: Sample-access to base distribution $q$; step-size $\mathrm{\Delta }t$.

Output: Sample from target distribution $p$.

1 $x_1\leftarrow \mathrm{Sample}\left(q\right)$

2 for $t=1,(1-\mathrm{\Delta }t),(1-2\mathrm{\Delta }t),\mathrm{\dots },\mathrm{\Delta }t$ do

3 $x_{t-\mathrm{\Delta }t}\leftarrow x_t+f_{\theta }(x_t,t)\mathrm{\Delta }t$

4

5 end for

return $x_0$

Pseudocode 5 Flow-matching sampling

4.6 DDIM 作为流量匹配 [可选]

第3节的DDIM算法3 可以看作是流匹配的特殊情况，针对点流和耦合的特定选择。 我们在这里描述了确切的对应关系，这将使我们注意到 DDIM 和线性流之间的有趣关系。

我们声称DDIM相当于具有以下参数的流匹配：

1. 点向流：两个等效的点向流之一：

   $$v_t^{[x_1,x_0]}\left(x_t\right):=\frac{1}{2t}\left(x_t-x_0\right)$$ (68)

   或者

   $$v_t^{[x_1,x_0]}\left(x_t\right):=\frac{1}{2\sqrt{t}}\left(x_0-x_1\right),$$ (69)

   两者都生成轨迹:

   $$x_t=x_0+\left(x_1-x_0\right)\sqrt{t}.$$ (70)

2. 耦合：“扩散耦合”——即$(x_0,x_1)$上产生的联合分布

   $$x_0\sim p;x_1\leftarrow x_0+𝒩(0,{\sigma }_q^2).$$ (71)

这一主张可以直接证明（见附录B.5），但其含义却有些出人意料：我们可以将 DDIM 轨迹（一般来说并非直线）恢复为方程 (70) 中直线点式轨迹的组合。事实上，DDIM 轨迹完全等同于上述线性流的流匹配轨迹，只是时间比例不同（$\sqrt{t}$ 与$t$）。. [不间断]

Claim 4 （DDIM 作为线性流；非正式）。

DDIM 采样器（算法 2）在时间重新参数化方面等效于具有扩散耦合（方程 71)的线性点向流（方程 63)产生的边际流。 ）。

此主张的正式声明在附录B.7中提供。

4.7 附加备注和参考文献 [可选]

[1厘米] 图4中各个样本$x_1\sim q$的流动轨迹。

• 见图6 查看本教程中描述的不同方法及其关系的图表。

• 我们强烈推荐 Fjelde 等人 (2024) 的流匹配教程，其中包括有用的流可视化，并使用与当前文献更一致的符号。

• 出于好奇，请注意，我们从来不需要像高斯扩散那样为流匹配定义明确的“前向过程”。 相反，定义适当的“反向流程”（通过流程）就足够了。

• 我们所说的逐点流也称为双边条件流 在文献中，并在Albergo 和 Vanden-Eijnden (2022) 中开发； Pooladian 等人 (2023);刘等人 (2022);童等人(2023)。

• Albergo 等人 (2023)定义随机插值框架随机插值，可以认为是考虑随机点向流，而不仅仅是确定性流。 他们的框架严格概括了 DDPM 和 DDIM。

• 有关非标准流程的有趣示例，请参阅 Stark 等人 (2024)。 他们通过嵌入连续空间（概率单纯形）来导出离散空间的生成模型，然后在这些单纯形上构建特殊的流。

5 实践中的传播

最后，我们提到了扩散的一些方面，这些方面在实践中很重要，但本教程未涵盖。

实践中的采样器。

我们的 DDPM 和 DDIM 采样器（算法 2 和 3）分别对应于 Ho 等人 (2020) 和 Song 等人 (2021) 中提出的采样器，但具有不同的时间表和参数化选择（参见脚注 13）。 DDPM 和 DDIM 是实践中最早使用的采样器之一，但从那时起，更少步骤生成的采样器取得了重大进展（这一点至关重要，因为每个步骤都需要通常昂贵的模型前向传递）。 在 2.4 和 3.4.1 部分中，我们证明了 DDPM 和 DDIM 可以分别看作逆 SDE 和概率流 ODE 的离散化。 SDE 和 ODE 视角自动导致许多采样器对应于不同的黑盒 SDE 和 ODE 数值求解器（例如 Euler、Heun 和 Runge-Kutta）。 还可以利用扩散常微分方程的特定结构来改进黑盒求解器（Lu等人，2022a，b；Zhang和Chen，2023）。

噪音表。

噪声表通常指的是${\sigma }_t$，它确定在时间添加的噪声量>$t$ 的扩散过程。 简单扩散（1) 具有 $p\left(x_t\right)\sim 𝒩(x_0,{\sigma }_t^2)$ 和 ${\sigma }_t\propto \sqrt{t}$。请注意 $x_t$ 的方差 在每个时间步都增加。

在实践中，通常首选具有受控方差的时间表。 Ho 等人 (2020) 中引入了最流行的计划之一，它使用依赖于时间的方差和缩放，使得方差为 $x_t$ 仍然有界。 他们的离散更新是

$x_t$ $=\sqrt{1-\beta \left(t\right)}{x}_{t-1}+\sqrt{\beta \left(t\right)}{\epsilon }_t;{\epsilon }_t\sim 𝒩(0,1),$ (72)

其中选择 以便 $x_t$ 是（非常接近）干净的数据 $t=1$ 和 $t=T$ 处的纯噪声。

2.4中引入的通用SDE(26) 提供额外的灵活性。 我们的简单扩散（1)具有$f=0$、$g={\sigma }_q$，而扩散(72何等人 (2020) 的 ) 有 $f=-\frac{1}{2}\beta \left(t\right)$,$g=\sqrt{\beta \left(t\right)}$. Karras 等人 (2022) 根据整体缩放比例重新参数化 SDE $s\left(t\right)$和方差$\sigma \left(t\right)$的$x_t$，作为考虑扩散设计的一种更可解释的方法，并建议采用$s\left(t\right)=1$、$\sigma \left(t\right)=t$（对应于$f=0$、$g=\sqrt{2t}$）的时间表。一般情况下，选择$f,g$，或等同于$s,\sigma$。，提供了一种探索可能的时间表的设计空间的便捷方法。

可能性解释和 VAE。

扩散模型的一种流行且有用的解释是变分自动编码器 (VAE) 视角. 简而言之，扩散模型可以被视为深层分层 VAE 的特例，其中每个扩散时间步长对应于 VAE 解码器的一个“层”。 相应的 VAE 编码器由前向扩散过程给出，该过程产生噪声序列 $\left\{x_t\right\}$ 作为输入的“潜在”$x$. 值得注意的是，与通常的 VAE 不同，这里的 VAE 编码器不是学习的。 由于潜在变量的马尔可夫结构，VAE 解码器的每一层都可以单独训练，无需前向/后向遍历所有先前层；这有助于解决深度 VAE 众所周知的训练不稳定问题。 我们推荐 Turner (2021) 和 Luo (2022) 的教程，了解有关 VAE 视角的更多详细信息。

VAE 解释的一个优点是，它为我们提供了数据可能性的估计 在我们的生成模型下，通过使用 VAE 的标准循证下界 (ELBO)。 这使我们能够直接使用最大似然目标来训练扩散模型。 事实证明，扩散 VAE 的 ELBO 精确地减少了我们提出的 L2 回归损失，但具有特定的 时间加权，在不同时间步长对回归损失进行不同的加权$t$。比如大时候的回归误差$t$ （即在高噪声水平下）可能需要与小时间的错误进行不同的加权，以便整体损失正确反映可能性。然而，实践中时间加权的最佳选择仍然存在争议：VAE 解释所告知的“原则性”选择并不总是能产生最佳生成样本. 有关不同权重及其效果的详细讨论，请参阅 Kingma 和 Gau (2023)。

参数化：$x_0$ / $\epsilon$ / v -预测。

另一个重要的实际选择是我们要求网络预测几个密切相关的量（部分去噪数据、完全去噪数据或噪声本身）中的哪一个。 回想一下，在 DDPM 训练（算法 1)中，我们要求网络$f_{\theta }$学习预测 $𝔼\left[x_{t-\mathrm{\Delta }t}|x_t\right]$ 通过最小化 ${\Vert f_{\theta }(x_t,t)-x_{t-\mathrm{\Delta }t}\Vert }_2^2$. 然而，其他参数化也是可能的。 例如，回想起 $𝔼\left[x_{t-\mathrm{\Delta }t}-x_t|x_t\right]\stackrel{\text{eq.}\text{<a class="ltx\_ref ltx\_font\_italic" href="https://arxiv.org/html/2406.08929v1\#S2.E23" style="font-size:144\%;" title="In Claim 2. ‣ 2.3 Variance Reduction: Predicting 𝑥₀ ‣ 2 Stochastic Sampling: DDPM ‣ Preface ‣ Step-by-Step Diffusion: An Elementary Tutorial"><span class="ltx\_text ltx\_ref\_tag">23</span></a>}}{=}\frac{\mathrm{\Delta }t}{t}𝔼\left[x_0-x_t|x_t\right]$，我们看到

$\underset{𝜃}{\min }$ ${\Vert f_{\theta }(x_t,t)-x_0\Vert }_2^2⟹f_{\theta }^{\star }(x_t,t)=𝔼\left[x_0|x_t\right]$

是一个（几乎）等效的问题，通常称为${\mathrm{x}}_0$-预测。 目标的区别仅在于时间权重因子$\frac{1}{t}$。类似地，定义噪声 ${\epsilon }_t=\frac{1}{{\sigma }_t}𝔼\left[x_0-x_t|x_t\right]$，我​​们发现我们可以选择要求网络预测 $𝔼\left[{\epsilon }_t|x_t\right]$：这通常称为$\mathrm{\epsilon }$。另一种参数化1>v-prediction2>要求模型预测3>$v={\alpha }_t\epsilon -{\sigma }_t{x}_0$ （Salimans 和 Ho，2022） – 主要预测高噪声水平的数据，主要预测低噪声水平的噪声。 所有参数化仅在时间权重方面有所不同（参见附录 B.10 更多细节）。

尽管不同的时间权重不会影响最佳解决方案，但它们确实会影响训练，如上所述。 此外，即使调整时间权重以产生原则上相同的问题，不同的参数化在实践中也可能表现不同，因为学习并不完美并且某些目标可能对错误更稳健。 例如， $x_0$-预测与对低噪声水平给予很大重视的时间表相结合，在实践中可能效果不佳，因为对于低噪声，恒等函数可以实现相对较低的目标值，但显然不是我们想要的。

错误来源。

最后，在实践中使用扩散和流动模型时，存在许多误差源，导致学习的生成模型无法准确生成目标分布。 这些可以大致分为训练时间误差和采样时间误差。

1. 训练时间误差：学习群体最优回归函数时的回归误差。 回归目标是边际流量 流量匹配中的$v_t^{\ast }$，或者分数$𝔼\left[x_0\mid x_t\right]$ 在扩散模型中。 每个固定时间 $t$，这是一种标准的统计误差。 它取决于神经网络架构和大小以及样本数量，并且可以以通常的方式进一步分解为近似误差和估计误差（例如参见Advani等人（2020，第4节） 将2层网络分解为近似误差和过拟合误差）。

2. 采样时间误差：使用有限步长产生的离散化误差$\mathrm{\Delta }t$. 该误差正是采样中使用的 ODE 或 SDE 求解器的离散化误差。 这些错误以不同的方式表现出来：对于 DDPM，这反映了使用逆过程的高斯近似时的错误（即 事实 1 打破了大 $\sigma$）。 对于DDIM和流匹配来说，它反映了在离散时间上模拟连续时间流的误差。

这些错误以非平凡的方式相互作用和复合，目前尚未完全理解。 例如，尚不清楚回归估计中的训练时间误差如何转化为整个生成模型的分布误差。 （这个问题本身很复杂，因为我们在实践中并不总是清楚我们关心什么类型的分布分歧）。 有趣的是，这些“错误”也可以对小型训练集产生有益的影响，因为它们充当了一种 正则化，防止扩散模型仅仅记住样本（如第3.6节中所述）。

结论

我们现在已经介绍了扩散模型和流量匹配的基础知识。 这是一个活跃的研究领域，有许多我们没有涉及的有趣方面和开放性问题（参见第 A 供推荐阅读）。 我们希望这里的基础知识能够帮助读者了解扩散建模中更高级的主题，并可能为研究本身做出贡献。

图6： 本教程中描述的不同反向采样器的交换图及其关系。 每个确定性采样器都会产生与其随机对应采样器相同的边际分布。 还有多种方法可以构建随机版本的流，此处未显示（例如 Albergo 等人 (2023))。

附录A 其他资源

其他一些对学习扩散有用的资源（教程、博客、论文），大致按所需数学背景的顺序排列。

1. 对扩散的看法。
   
   迪勒曼（2023）。 （网页。）
   

   对扩散和技术的多种解释的概述。

2. 成像和视觉扩散模型教程。
   
   陈 (2024)。 （49 页。）
   

   更注重直觉和应用。

3. 使用欧几里得距离函数解释和改进扩散模型。
   
   Permenter 和 Yuan (2023)。 （网页。）
   

   距离场解释。 请参阅随附的博客，其中包含简单代码（元，2024）。

4. 关于扩散模型的数学。
   
   麦卡莱斯特（2023）。 （4 页。）
   

   简短且易于理解。

5. 从头开始构建扩散模型的理论
   
   Das (2024)。 （网页。）
   

   ICLR 2024 博客文章轨道。 关注SDE和分数匹配的观点。

6. 去噪扩散模型：生成学习大爆炸。
   
   宋、孟和 Vahdat (2023a)。 （视频，3 小时。）
   

   CVPR 2023 教程，带录音。

7. 从头开始的扩散模型。
   
   段（2023）。 （网页，10 个部分。）
   

   主题相当完整，包括：DDPM、DDIM、Karras 等人 (2022)、SDE/ODE 求解器。 包括实用注释和代码。

8. 了解扩散模型：统一的视角。
   
   罗（2022）。 （22 页。）
   

   专注于 VAE 解释，具有明确的数学细节。

9. 揭秘变分扩散模型。
   
   里贝罗和格洛克 (2024)。 （44 页。）
   

   专注于 VAE 解释，具有明确的数学细节。

10. 扩散和基于分数的生成模型。
    
    歌曲（2023）。 （视频，1.5 小时。）
    

    讨论几种解释、应用以及与其他生成建模方法的比较。

11. 使用非平衡热力学的深度无监督学习
    
    Sohl-Dickstein、Weiss、Maheswaranathan 和 Ganguli (2015)。 （9 页 + 附录）
    

    介绍机器学习扩散模型的原始论文。 包括离散扩散的统一描述（即离散状态空间上的扩散）。

12. 流量匹配简介。
    
    Fjelde、Mathieu 和 Dutordoir (2024)。 （网页。）
    

    富有洞察力的图形和动画，以及严格的数学阐述。

13. 阐明基于扩散的生成模型的设计空间。
    
    卡拉斯、艾塔拉、艾拉和莱恩 (2022)。 （10 页 + 附录。）
    

    讨论各种设计选择的影响，例如噪声调度、参数化、ODE 求解器等。提出了一个捕获多种选择的通用框架。

14. 去噪扩散模型
    
    Peyré (2023)。 （4 页。）
    

    为已经熟悉朗之万动力学和 SDE 的读者提供快速通读数学知识的机会。

15. 通过估计数据分布的梯度进行生成建模。
    
    Song、Sohl-Dickstein、Kingma、Kumar、Ermon 和 Poole (2020)。 （9 页 + 附录。）
    

    介绍 SDE、ODE、DDIM 和 DDPM 之间的联系。

16. 随机插值：流动和扩散的统一框架。
    
    Albergo、Boffi 和 Vanden-Eijnden (2023)。 （46 页 + 附录。）
    

    提出了一个捕获许多扩散变体和学习目标的通用框架。 适合熟悉 SDE 的读者

17. 采样、扩散和随机定位。
    
    蒙塔纳里（2023）。 （22 页 + 附录。）
    

    将扩散呈现为“随机定位”的一个特例，这是一种在高维统计中用于建立马尔可夫链混合的技术。

附录B 省略的推导

B.1 逆过程高斯逼近中的KL误差

这里我们证明引理1，重述如下。

Lemma 2.

令 $p(x)$ 为 $ℝ$ 上的任意密度，具有有界的一阶到四阶导数。 考虑联合分布 $(x_0,x_1)$，其中 $x_0\sim p$ 和 $x_1\sim x_0+𝒩(0,{\sigma }^2)$。 然后，对于任何条件 $z\in ℝ$ 我们有

$$\mathrm{KL}\left(𝒩({\mu }_z,{\sigma }^2)\right|\left|p_{x_0\mid x_1}(\cdot \mid x_1=z)\right)\le O\left({\sigma }^4\right)$$ (73)

在哪里

$${\mu }_z:=z+{\sigma }^2\nabla \log p\left(z\right).$$ (74)

证明。

WLOG，我们可以取$z=0$。 我们想要估计 KL：

$KL\left(𝒩(\mu ,{\sigma }^2)\right|\left|p(x_0=\cdot \mid x_1=0)\right)$ (75)

现在我们让 $\mu$ 是任意的。

让$q:=𝒩(\mu ,{\sigma }^2)$和$p(x)=:\exp (F(x))$。 我们有$x_1\sim p\star 𝒩(0,{\sigma }^2)$。 这意味着：

$$p\left(x_1=x\right)=\underset{\eta \sim 𝒩(0,{\sigma }^2)}{𝔼}\left[p\left(x+\eta \right)\right].$$ (76)

让我们首先展开我们正在比较的两个分布的日志：

$\log p\left(x_0=x\mid x_1=0\right)$ (77)

$=\log p\left(x_1=0|x_0=x\right)+\log p\left(x_0=x\right)-\log p\left(x_1=0\right)$ (78)

$=-\log \left(\sigma \sqrt{2\pi }\right)-0.5x^2{\sigma }^{-2}+\log p\left(x_0=x\right)-\log p\left(x_1=0\right)$ (79)

$=-\log \left(\sigma \sqrt{2\pi }\right)-0.5x^2{\sigma }^{-2}+F\left(x\right)-\log p\left(x_1=0\right)$ (80)

并且：

$\log q\left(x\right)$ $=-\log \left(\sigma \sqrt{2\pi }\right)-0.5{\left(x-\mu \right)}^2{\sigma }^{-2}$ (82)

现在我们可以扩展 KL：

$KL\left(q\right|\left|p(x_0=\cdot \mid x_1=0)\right)$ (83)

$=\underset{x\sim q}{𝔼}\left[\log q\left(x\right)-\log p\left(x_0=x\mid x_1=0\right)\right]$ (84)

$=\underset{x\sim q}{𝔼}\left[-\log \left(\sigma \sqrt{2\pi }\right)-0.5{\left(x-\mu \right)}^2{\sigma }^{-2}-\left(-\log \left(\sigma \sqrt{2\pi }\right)-0.5x^2{\sigma }^{-2}+F\left(x\right)-\log p\left(x_1=0\right)\right)\right]$ (85)

$=\underset{x\sim q}{𝔼}[-0.5{(x-\mu )}^2{\sigma }^{-2}+0.5x^2{\sigma }^{-2}-F\left(x\right)+\log p(x_1=0))]$ (86)

$=\underset{\eta \sim 𝒩(0,{\sigma }^2);x=\mu +\eta }{𝔼}[-0.5{\eta }^2{\sigma }^{-2}+0.5x^2{\sigma }^{-2}-F\left(x\right)+\log p(x_1=0))]$ (work)

$=-0.5𝔼\left[{\eta }^2\right]{\sigma }^{-2}+0.5𝔼\left[x^2\right]{\sigma }^{-2}-𝔼\left[F\left(x\right)\right]+\log p(x_1=0))]$ (87)

$=-0.5{\sigma }^2{\sigma }^{-2}+0.5({\sigma }^2+{\mu }^2){\sigma }^{-2}-𝔼\left[F\left(x\right)\right]+\log p(x_1=0))]$ (88)

$=0.5{\mu }^2{\sigma }^{-2}+\log p\left(x_1=0\right)-\underset{x\sim q}{𝔼}\left[F\left(x\right)\right]$ (89)

$\approx 0.5{\mu }^2{\sigma }^{-2}+\log p\left(x_1=0\right)-\underset{x\sim q}{𝔼}\left[F\left(0\right)+F^{\prime }\left(0\right)x+0.5F^{\prime \prime }\left(0\right)x^2+O\left(x^3\right)+O\left(x^4\right)\right]$ (90)

$=\log p\left(x_1=0\right)+0.5{\mu }^2{\sigma }^{-2}-F\left(0\right)-F^{\prime }\left(0\right)\mu -0.5F^{\prime \prime }\left(0\right)\left({\mu }^2+{\sigma }^2\right)+O\left({\sigma }^2\mu +{\mu }^2+{\sigma }^4\right)$ (91)

我们现在将估计第一项 $\log p(x_1=0)$：

$\log p\left(x_1=0\right)$ (92)

$=\log \underset{\eta \sim 𝒩(0,{\sigma }^2)}{𝔼}\left[p\left(\eta \right)\right]$ (93)

$=\log \underset{\eta \sim 𝒩(0,{\sigma }^2)}{𝔼}\left[p\left(0\right)+p^{\prime }\left(0\right)\eta +0.5p^{\prime \prime }\left(0\right){\eta }^2+O\left({\eta }^3\right)+O\left({\eta }^4\right)\right]$ (94)

$=\log \left(p\left(0\right)+0.5p^{\prime \prime }\left(0\right){\sigma }^2+O\left({\sigma }^4\right)\right)$ (95)

$=\log p\left(0\right)+{\displaystyle \frac{0.5p^{\prime \prime }\left(0\right){\sigma }^2+O\left({\sigma }^4\right)}{p\left(0\right)}}+O\left({\sigma }^4\right)$ (Taylor expand $\log (p(0)+\epsilon )$ around $p(0)$)

$=\log p\left(0\right)+0.5{\sigma }^2{\displaystyle \frac{p^{\prime \prime }\left(0\right)}{p\left(0\right)}}+O\left({\sigma }^4\right)$ (96)

要计算 $p$ 的导数，请观察：

$F\left(x\right)$ $=\log p\left(x\right)$ (97)

$⟹F^{\prime }\left(x\right)$ $=p^{\prime }\left(x\right)/p\left(x\right)$ (98)

$⟹F^{\prime \prime }\left(x\right)$ $=p^{\prime \prime }\left(x\right)/p\left(x\right)-{\left(p^{\prime }\left(x\right)/p\left(x\right)\right)}^2$ (99)

$=p^{\prime \prime }\left(x\right)/p\left(x\right)-{\left(F^{\prime }\left(x\right)\right)}^2$ (100)

$⟹p^{\prime \prime }\left(x\right)/p\left(x\right)$ $=F^{\prime \prime }\left(x\right)+{\left(F^{\prime }\left(x\right)\right)}^2$ (101)

因此，从 (96) 行继续：

$\log p\left(x_1=0\right)$ $=\log p\left(0\right)+0.5{\sigma }^2{\displaystyle \frac{p^{\prime \prime }\left(0\right)}{p\left(0\right)}}+O\left({\sigma }^4\right)$ (102)

$=F\left(0\right)+0.5{\sigma }^2\left(F^{\prime \prime }\left(0\right)-F^{\prime }{\left(0\right)}^2\right)+O\left({\sigma }^4\right)$ (by Line 101)

我们现在可以将 $\log p(x_1=0)$ 的估计值插入到 Line (91) 中。 为了简单起见，我们省略了 $F$ 中的参数 $(0)$：

$KL\left(q\right|\left|p(x_0=\cdot \mid x_1=0)\right)$ (103)

$=\boxed{\log p\left(x_1=0\right)}+0.5{\mu }^2{\sigma }^{-2}-F-F^{\prime }\mu -0.5F^{\prime \prime }\left({\mu }^2+{\sigma }^2\right)+O\left({\mu }^4+{\sigma }^4\right)$ (104)

$=F+0.5{\sigma }^2\left(F^{\prime \prime }+F^{\prime 2}\right)+0.5{\mu }^2{\sigma }^{-2}-F-F^{\prime }\mu -0.5F^{\prime \prime }\left({\mu }^2+{\sigma }^2\right)+O\left({\mu }^4+{\sigma }^4\right)$ (105)

$=+0.5{\sigma }^2{F}^{\prime \prime }+0.5{\sigma }^2{F}^{\prime 2}+0.5{\mu }^2{\sigma }^{-2}-F^{\prime }\mu -0.5F^{\prime \prime }{\mu }^2-0.5F^{\prime \prime }{\sigma }^2+O\left({\mu }^4+{\sigma }^4\right)$ (106)

$=-F^{\prime }\mu +0.5{\mu }^2{\sigma }^{-2}+0.5F^{\prime 2}{\sigma }^2-0.5F^{\prime \prime }{\mu }^2+O\left({\mu }^4+{\sigma }^4\right)$ (107)

到目前为止，$\mu$ 是任意的。 我们现在设置

$${\mu }_{\ast }:=F^{\prime }\left(0\right){\sigma }^2.$$ (108)

并继续：

$KL\left(q\right|\left|p(x_0=\cdot \mid x_1=0)\right)$ (109)

$=-F^{\prime }{\mu }_{\ast }+0.5{\mu }_{\ast }^2{\sigma }^{-2}+0.5F^{\prime 2}{\sigma }^2-0.5F^{\prime \prime }{\mu }_{\ast }^2+O\left({\mu }_{\ast }^4+{\sigma }^4\right)$ (110)

$=-F^{\prime 2}{\sigma }^2+0.5F^{\prime 2}{\sigma }^2+0.5F^{\prime 2}{\sigma }^2+O\left({\sigma }^4\right)$ (111)

$=O\left({\sigma }^4\right)$ (112)

如预期的。

∎

请注意，我们在上述证明中选择的${\mu }_{\ast }$至关重要；例如，如果我们设置了 ${\mu }_{\ast }=0$，则 $\mathrm{\Omega }\left({\sigma }^2\right)$ 行中的项 (111）不会被取消。

B.2 SDE 证明草图

下面是 SDE 和概率流 ODE 等价性证明的草图，它依赖于 SDE 与 Fokker-Planck 方程的等价性。 （完整证明参见Song 等人 (2020)。）

证明。

$dx$ $=f(x,t)dt+g\left(t\right)dw$

$\iff {\displaystyle \frac{\partial p_t\left(x\right)}{\partial t}}$ $=-{\nabla }_x\left(f{p}_t\right)+{\displaystyle \frac{1}{2}}{g}^2{\nabla }_x^2{p}_t\text{(FP)}$

$=-{\nabla }_x\left(f{p}_t\right)+{\displaystyle \frac{1}{2}}{g}^2{\nabla }_x\left(p_t{\nabla }_x\log p_t\right)$

$=-{\nabla }_x\left\{\left(f-{\displaystyle \frac{1}{2}}{g}^2{\nabla }_x\log p_t\right)p_t\right\}$

$=-{\nabla }_x\left\{\tilde{f}(x,t)p_t\left(x\right)\right\},\tilde{f}(x,t)=f(x,t)-{\displaystyle \frac{1}{2}}g{\left(t\right)}^2{\nabla }_x\log p_t\left(x\right)$

$⟹dx$ $=\tilde{f}(x,t)dt$

∎

SDE 和 Fokker-Planck 方程的等价性源自 Itô 公式和分部积分。 这是 1d 中的简化情况的概述，其中 $g$ 是常数（完整证明请参见 Winkler (2023))：

证明。

$dx$ $=f\left(x\right)dt+gdw,dw\sim \sqrt{dt}𝒩(0,1)$

$\text{For any}\varphi \text{:}d\varphi \left(x\right)$ $=(f\left(x\right){\partial }_x\varphi \left(x\right)+{\displaystyle \frac{1}{2}}{g}^2{\partial }_x^2\varphi \left(x\right))dt+g\partial {}_x\varphi (x)dw$ 伊藤公式

$⟹{\displaystyle \frac{d}{dt}}𝔼\left[\varphi \right]$ $=𝔼\left[f{\partial }_x\varphi +{\displaystyle \frac{1}{2}}{g}^2{\partial }_x^2\varphi \right],\left(𝔼\left[dw\right]=0\right)$

${\displaystyle \int \varphi \left(x\right){\partial }_{t}p(x,t)dx}$ $={\displaystyle \int f\left(x\right){\partial }_x\varphi \left(x\right)p(x,t)dx}+{\displaystyle \frac{1}{2}}{g}^2{\displaystyle \int {\partial }_x^2\varphi \left(x\right)p(x,t)dx}$

$=-{\displaystyle \int \varphi \left(x\right){\partial }_x\left(f\left(x\right)p(x,t)\right)dx}+{\displaystyle \frac{1}{2}}{g}^2{\displaystyle \int \varphi \left(x\right){\partial }_x^{2}p(x,t)dx},$ 分部分集成

${\partial }_{t}p\left(x\right)$ $=-{\partial }_x\left(f\left(x\right)p(x,t)\right)+{\displaystyle \frac{1}{2}}{g}^2{\partial }_x^{2}p\left(x\right),$ 福克一普朗克

∎

B.3 DDIM 点质量声明

这是权利要求的一个版本3，其中$p_0$是任意点的增量 $x_0$。

Claim 5。

假设目标分布是 $x_0\in {ℝ}^d$ 处的点质量，即 $p_0={\delta }_{x_0}$。 定义函数

$G_t\left[x_0\right]\left(x_t\right)=\left({\displaystyle \frac{{\sigma }_{t-\mathrm{\Delta }t}}{{\sigma }_t}}\right)\left(x_t-x_0\right)+x_0.$ (113)

那么我们显然有$G_t[x_0]\mathrm{♯}{p}_t=p_{t-\mathrm{\Delta }t}$，而且

$$G_t\left[x_0\right]\left(x_t\right)=x_t+\lambda (𝔼[x_{t-\mathrm{\Delta }t}\mid x_t]-x_t)=:F_t\left(x_t\right).$$ (114)

因此算法2为目标分布$p_0={\delta }_{x_0}.$定义了一个有效的反向采样器

B.4 流组合引理

在这里，我们提供了方程(62)中所示的边际流量结果的更正式的表述。

公式 (62) 源自一个更一般的 Lemma（Lemma 3），它将第 3节中的 "气体组合 "类比形式化。这个两难的动机是，我们需要一种组合气流的方法：将几种不同的气流组合在一起，产生一种 "有效气流"。作为该 Lemma 的热身，假设我们有 $n$ 不同的流，每个流都有自己的初始和最终分布：$q_i,p_i$：

$q_1\stackrel{v^{\left(1\right)}}{\hookrightarrow }{p}_1,q_2\stackrel{v^{\left(2\right)}}{\hookrightarrow }{p}_2,\mathrm{\dots },q_n\stackrel{v^{\left(n\right)}}{\hookrightarrow }{p}_n$

我们可以将它们想象为$n$不同气体的流动，其中气体$i$具有初始密度$q_i$和最终密度$p_i$。现在我们要构建一个整体流程$v^{\ast }$ 将平均初始密度转化为平均最终密度：

$$\underset{i\in \left[n\right]}{𝔼}\left[q_i\right]\stackrel{v^{\ast }}{\hookrightarrow }\underset{i\in \left[n\right]}{𝔼}\left[p_i\right].$$ (115)

要构建$v_t^{\ast }\left(x_t\right)$，我们必须取各个矢量场$v^{\left(i\right)}$的平均值，并根据$i$流在$x_t$上的概率质量加权，时间为$t$。(这与图 3 完全类似）。

此构造在引理3中形式化。在那里，我们可以对任何分布进行平均，而不是仅对有限的一组流量进行平均。 溢出。 恢复方程 (62)，我们可以将引理 3 应用于分布 $\mathrm{\Gamma }$ $(v,q_v)=(v^{[x_1,x_0]},{\delta }_{x_1})$，即逐点流及其相关的初始增量分布。

[没有休息]

Lemma 3 （流组合引理）。

令 $\mathrm{\Gamma }$ 为流 $v$ 对 $(v,q_v)$ 及其关联的初始分布 $q_v$ 上的任意联合分布。 设$v(q_v)$表示初始分布$q_v$由流$v$传输时的最终分布，因此$q_v\stackrel{𝑣}{\hookrightarrow }v(q_v)$

对于固定的 $t\in [0,1]$，请考虑通过以下方式生成的 $(x_1,x_t,w_t)\in {({ℝ}^d)}^3$ 上的联合分布：

$(v,q_v)$ $\sim \mathrm{\Gamma }$

$x_1$ $\sim q_v$

$x_t$ $:=\mathrm{RunFlow}(v,x_1,t)$

$w_t$ $:=v_t\left(x_t\right).$

然后，考虑所有的期望。 这种联合分布，流量$v^{\ast }$定义为

$v_t^{\ast }\left(x_t\right)$ $:=𝔼\left[w_t\mid x_t\right]$ (116)

$=𝔼\left[v_t\left(x_t\right)\mid x_t\right]$ (117)

被称为$\mathrm{\Gamma }$的边际流量，并且传输：

$𝔼\left[q_v\right]\stackrel{v^{\ast }}{\hookrightarrow }𝔼\left[v\left(q_v\right)\right].$ (118)

B.5 使用流派生 DDIM

现在我们已经掌握了流动机制，通过从单点质量情况扩展我们的简单缩放算法，“从头开始”推导 DDIM 算法相当容易。

首先，我们需要找到逐点流。 从索赔中召回 5 对于简单情况，目标分布 $p_0$ 是 $x_0$ 处的 Dirac-delta >，以下缩放映射 $p_t$ 到 $p_{t-\mathrm{\Delta }t}$:0>

$G_t\left[x_0\right]\left(x_t\right)=\left({\displaystyle \frac{{\sigma }_{t-\mathrm{\Delta }t}}{{\sigma }_t}}\right)\left(x_t-x_0\right)+x_0⟹G_t\mathrm{♯}{p}_t=p_{t-\mathrm{\Delta }t}.$

$G_t$ 隐含着逐点流：

$\underset{t\to 0}{lim}\left({\displaystyle \frac{{\sigma }_{t-\mathrm{\Delta }t}}{{\sigma }_t}}\right)$ $=\sqrt{1-{\displaystyle \frac{\mathrm{\Delta }t}{t}}}=\left(1-{\displaystyle \frac{\mathrm{\Delta }t}{2t}}\right)$

$⟹v_t^{[x_1,x_0]}\left(x_t\right)$ $=-\underset{\mathrm{\Delta }t\to 0}{lim}{\displaystyle \frac{G_t\left(x_t\right)-x_t}{\mathrm{\Delta }t}}={\displaystyle \frac{1}{2t}}\left(x_t-x_0\right),$

与 (68) 一致。

现在让我们计算由方程的逐点流生成的边际流$v^{\ast }$ (68）以及扩散前向过程隐含的耦合。 通过方程 (67），边际流量为：

$v_t^{\ast }\left(x_t\right)$ $=\underset{x_1,x_0\mid x_t}{𝔼}\left[v_t^{[x_1,x_0]}\left(x_t\right)\mid x_t\right]$ 通过气体引理。

$={\displaystyle \frac{1}{2t}}\underset{\begin{array}{c}{x}_0\sim p;x_1\leftarrow x_0+𝒩(0,{\sigma }_q^2)\\ x_t\leftarrow \mathrm{RunFlow}(v_t^{[x_1,x_0]},x_1,t)\end{array}}{𝔼}\left[x_0-x_t\mid x_t\right]$ 对于我们的耦合和流量的选择。

$={\displaystyle \frac{1}{2t}}\underset{\begin{array}{c}{x}_0\sim p;x_1\leftarrow x_0+𝒩(0,{\sigma }_q^2)\\ x_t\leftarrow x_1\sqrt{t}+(1-\sqrt{t})x_0\end{array}}{𝔼}\left[x_0-x_t\mid x_t\right]$ 扩大流动轨迹。

$={\displaystyle \frac{1}{2t}}\underset{\begin{array}{c}{x}_0\sim p\\ x_t\leftarrow \sqrt{t}𝒩(0,{\sigma }_q^2)\end{array}}{𝔼}\left[x_0-x_t\mid x_t\right]$ 插入$x_1=x_0+𝒩(0,{\sigma }_q^2).$

这正是描述 DDIM 轨迹的微分方程（参见方程 56，它是方程 31)。

B.6 DDIM 的两个逐点流给出相同的轨迹

我们想要显示逐点流69:

$$v_t^{[x_1,x_0]}\left(x_t\right)=\frac{1}{2\sqrt{t}}\left(x_0-x_1\right)$$ (119)

相当于 DDIM 逐点流 (68)：

$$v_t^{[x_1,x_0]}\left(x_t\right)=\frac{1}{2t}\left(x_t-x_0\right)$$ (120)

因为这两个逐点流生成相同的轨迹$x_t$:

$$x_t=x_0+\left(x_1-x_0\right)\sqrt{t}.$$ (121)

为了看到这一点，我们可以求解由 (68 确定的 ODE) 通过可分离方程方法：

${\displaystyle \frac{d{x}_t}{dt}}$ $=-{\displaystyle \frac{1}{2t}}\left(x_0-x_t\right)$

$⟹{\displaystyle \frac{\frac{d{x}_t}{dt}}{x_t-x_0}}$ $={\displaystyle \frac{1}{2t}}$

$⟹{\displaystyle \int \frac{1}{x_t-x_0}𝑑x}$ $={\displaystyle \int \frac{1}{2t}𝑑t},\text{since}{\displaystyle \frac{d{x}_t}{dt}}dt=dx$

$⟹\log \left(x_t-x_0\right)$ $=\log \sqrt{t}+c$

$c$ $=\log \left(x_1-x_0\right)\text{(boundary cond.)}$

$⟹\log \left(x_t-x_0\right)$ $=\log \sqrt{t}\left(x_1-x_0\right)$

$⟹x_t-x_0$ $=\sqrt{t}\left(x_1-x_0\right).$

B.7 DDIM 与时间重新参数化线性流

Lemma 4 （DDIM 与线性流）。

令 $p_0$ 为任意目标分布。 令${\{x_t\}}_t$为应用于$p_0$的DDPM前向过程定义的联合分布，因此$x_t$的边际分布为$p_t=p\star 𝒩(0,t{\sigma }_q^2)$。

令 $x^{\ast }\in {ℝ}^d$ 为任意初始点。 考虑以下两个确定性轨迹：

1. 连续时间 DDIM 流的轨迹${\left\{y_t\right\}}_t$，相对于目标分布$p_0$，开始于初始点$y_1=x^{\ast }$。

   也就是说，$y_t$是以下ODE的解（方程56)：

   ${\displaystyle \frac{d{y}_t}{dt}}$ $=-v^{\mathrm{ddim}}\left(y_t\right)$ (122)

   $=-{\displaystyle \frac{1}{2t}}\underset{x_0\mid x_t}{𝔼}\left[x_0-x_t\mid x_t=y_t\right]$ (123)

   在 $t=1$ 处具有边界条件 $y_1$。

2. 初始点时产生的轨迹${\left\{z_t\right\}}_t$$z_1=x^{\ast }$ 由边际流量传输：

   • 线性逐点流

   • 线路的 DDPM 耦合 (71)。

   即边际流量

   $v_t^{\star }\left(x_t\right)$ $=\underset{x_0,x_1|x_t}{𝔼}\left[v^{[x_1,x_0]}\left(x_t\right)|x_t\right]$

   $:=\underset{x_0,x_1|x_t}{𝔼}\left[x_0-x_1|x_t\right]$

   $=\underset{x_0|x_t}{𝔼}\left[x_0-x_t|x_t\right]$ 自 DDPM 耦合下的 $𝔼[x_1|x_t]=x_t$ 起。

然后，我们声称这两个轨迹与以下时间重新参数化相同：

$\forall t\in [0,1]:y_t=z_{\sqrt{t}}$ (124)

B.8 权利要求证明草图2

我们将证明，在第1部分的前向扩散设置中：

$𝔼\left[\left(x_t-x_{t-\mathrm{\Delta }t}\right)\mid x_t\right]={\displaystyle \frac{\mathrm{\Delta }t}{t}}𝔼\left[\left(x_t-x_0\right)\mid x_t\right].$ (125)

证明草图。

回想一下${\eta }_t=x_{t+\mathrm{\Delta }t}-x_t$。 因此，根据期望的线性：

$𝔼\left[\left(x_t-x_0\right)\mid x_t\right]$ (126)

(127)

现在，我们声称对于给定的 $x_t$，条件分布 $p({\eta }_i\mid x_t)$ 对于所有 都是相同的。要看到这一点，请注意，根据前向过程的定义，联合分布函数 $p(x_0,x_t,{\eta }_0,{\eta }_{\mathrm{\Delta }t},\mathrm{\dots },{\eta }_{t-\mathrm{\Delta }t})$ 在 $\{{\eta }_i\}$ 中是对称的，因此条件分布函数 $p({\eta }_0,{\eta }_{\mathrm{\Delta }t},\mathrm{\dots },{\eta }_{t-\mathrm{\Delta }t}\mid x_t)$在 $\{{\eta }_i\}$ 中也是对称的。因此，所有 ${\eta }_i$ 具有相同的条件期望：

$$𝔼\left[{\eta }_0\mid x_t\right]=𝔼\left[{\eta }_{\mathrm{\Delta }t}\mid x_t\right]=\mathrm{\cdots }=𝔼\left[{\eta }_{t-\mathrm{\Delta }t}\mid x_t\right]$$ (128)

由于有 $(t/\mathrm{\Delta }t)$ 个，

(129)

现在从127行继续，

$𝔼\left[\left(x_0-x_t\right)\mid x_t\right]$ (130)

$=\left(t/\mathrm{\Delta }t\right)𝔼\left[{\eta }_{t-\mathrm{\Delta }t}\mid x_t\right]$ (131)

$=\left(t/\mathrm{\Delta }t\right)𝔼\left[\left(x_t-x_{t-\mathrm{\Delta }t}\right)\mid x_t\right]$ (132)

如预期的。 ∎

B.9 方差减少算法

这里我们给出了 DDPM 训练和采样算法的“方差减少”版本，我们训练一个网络来近似$g_{\theta }$

$$g_{\theta }(x,t)\approx 𝔼\left[x_0\mid x_t\right]$$ (133)

代替网络$f_{\theta }$来近似

$$f_{\theta }(x,t)\approx 𝔼\left[x_{t-\mathrm{\Delta }t}\mid x_t\right].$$ (134)

通过索赔2，这两个函数通过变换是等价的：

$$f_{\theta }(x,t)=\left(\mathrm{\Delta }t/t\right)g_{\theta }(x,t)+\left(1-\mathrm{\Delta }t/t\right)x.$$ (135)

将此关系插入伪代码2会产生伪代码7的方差减少的DDPM采样器。

Input: Neural network $g_{\theta }$; Sample-access to train distribution $p$.

Data: Terminal variance ${\sigma }_q$

Output: Stochastic loss $L$

1 $x_0\leftarrow \text{Sample}\left(p\right)$

2 $t\leftarrow \text{Unif}[0,1]$

3 $x_t\leftarrow x_0+𝒩(0,{\sigma }_q^{2}t)$

4 $L\leftarrow {\Vert g_{\theta }(x_t,t)-x_0\Vert }_2^2$

return $L$

伪代码 6 DDPM 训练损失($x_0$-预测）

Input: Trained model $f_{\theta }$.

Data: Terminal variance ${\sigma }_q$; step-size $\mathrm{\Delta }t$.

Output: $x_0$

1 $x_1\leftarrow 𝒩(0,{\sigma }_q^2)$

2 for $t=1,(1-\mathrm{\Delta }t),(1-2\mathrm{\Delta }t),\mathrm{\dots },\mathrm{\Delta }t$ do

3 $\widehat{{\eta }_t}\leftarrow g_{\theta }(x_t,t)-x_t$

4 $x_{t-\mathrm{\Delta }t}\leftarrow x_t+\left(1/t\right)\widehat{{\eta }_t}\mathrm{\Delta }t+𝒩(0,{\sigma }_q^2\mathrm{\Delta }t)$

5

6 end for

return $x_0$

伪代码7DDPM采样($x_0$-预测）

B.10 和 $x_0$- 和 $\epsilon$- 预测的等价性

我们将在通常的简化设置中讨论这个问题：

$x_t$ $=x_0+{\sigma }_t{\epsilon }_t,{\sigma }_t={\sigma }_q\sqrt{t},{\epsilon }_t\sim 𝒩(0,1);$

在一般情况下，缩放因子更加复杂（例如，参见 Luo (2022) 的 VP 扩散），但想法是相同的。 DDPM 训练算法 1具有客观最优值

$\underset{𝜃}{\min }$ ${\Vert f_{\theta }(x_t,t)-x_{t-\mathrm{\Delta }t}\Vert }_2^2,f_{\theta }^{\star }(x_t,t)=𝔼\left[x_{t-\mathrm{\Delta }t}|x_t\right]$

即网络$f_{\theta }$学习预测$𝔼\left[x_{t-\mathrm{\Delta }t}|x_t\right]$. 然而，我们可以要求网络预测其他相关量，如下所示。 注意到

$𝔼\left[x_{t-\mathrm{\Delta }t}-x_t|x_t\right]\stackrel{\text{eq.}\text{<a class="ltx\_ref ltx\_font\_italic" href="https://arxiv.org/html/2406.08929v1\#S2.E23" style="font-size:144\%;" title="In Claim 2. ‣ 2.3 Variance Reduction: Predicting 𝑥₀ ‣ 2 Stochastic Sampling: DDPM ‣ Preface ‣ Step-by-Step Diffusion: An Elementary Tutorial"><span class="ltx\_text ltx\_ref\_tag">23</span></a>}}{=}{\displaystyle \frac{\mathrm{\Delta }t}{t}}𝔼\left[x_0-x_t|x_t\right]\equiv {\displaystyle \frac{\mathrm{\Delta }t}{t{\sigma }_t}}𝔼\left[{\epsilon }_t|x_t\right]$

$⟹$ $\parallel E[x_{t-\mathrm{\Delta }t}-x_t|x_t]-x_{t-\mathrm{\Delta }t}{\parallel }_2^2=\parallel {\displaystyle \frac{\mathrm{\Delta }t}{t}}(𝔼\left[x_0\right|x_t]-x_0){\parallel }_2^2=\parallel {\displaystyle \frac{\mathrm{\Delta }t}{t{\sigma }_t}}(𝔼\left[{\epsilon }_t\right|x_t]-{\epsilon }_t){\parallel }_2^2$

我们得到以下等效问题：

$\underset{𝜃}{\min }$ ${\Vert f_{\theta }(x_t,t)-x_0\Vert }_2^2⟹f_{\theta }^{\star }(x_t,t)=𝔼\left[x_0|x_t\right],\text{time-weighting}={\displaystyle \frac{1}{t}}$

$\underset{𝜃}{\min }$ ${\Vert {\displaystyle \frac{\mathrm{\Delta }t}{t{\sigma }_t}}\left(f_{\theta }(x_t,t)-{\epsilon }_t\right)\Vert }_2^2⟹f_{\theta }^{\star }(x_t,t)=𝔼\left[{\epsilon }_t|x_t\right]\text{time-weighting}={\displaystyle \frac{1}{t{\sigma }_t}}.$