Transformer 作为神经算子求解有限正则微分方程

摘要

神经算子学习模型已经成为计算科学和工程学不同应用中偏微分方程（PDE）数据驱动方法中非常有效的替代品。 这种算子学习模型不仅实时预测物理或生物系统的特定实例，而且还预测与初始和边界条件或强迫项的分布相对应的解的类别。 DeepONet 是第一个神经算子模型，并且已经针对包括黎曼问题在内的多种解决方案进行了广泛的测试。 Transformer 尚未用于这种能力，特别是，它们尚未针对低规律性偏微分方程的解决方案进行测试。 在这项工作中，我们首先建立了 Transformer 作为算子学习模型具有通用逼近性质的理论基础。 然后，我们应用 Transformer 来预测不同动力系统的解，以及多个初始条件和强迫项的有限规律解。 我们特别考虑三个示例：Izhikevich 神经元模型、调和分数阶泄漏积分与激发 (LIF) 模型以及一维欧拉方程黎曼问题。 对于后一个问题，我们还与 DeepONet 的变体进行了比较，我们发现 Transformer 在准确度上优于 DeepONet，但计算成本更高。

[1]organization=Division of Applied Mathematics, 182 George Street, Brown University, city=Providence,state=RI, postcode=02912,country=USA [2]organization=Department of Mathematical Sciences, Worcester Polytechnic Institute, city=Worcester,州=MA，邮政编码=01609，国家=美国

1简介

使用神经网络进行算子学习已被广​​泛探索并证明可以解决计算科学和工程中的复杂问题。 利用大量数据，可以训练正确设计的神经网络架构来有效地解决大规模计算问题。 经过训练后，神经网络可以作为代理模型执行实时预测，请参见[1, 2]。 此外，只需稍加微调或无需微调[3]，它们就可以回收用于类似的任务。

在这种数据驱动建模的新范式中，我们将潜在问题表述为无限或高维输入和输出函数之间的非线性映射。 [4]奠定了这种使用浅层网络的算子学习的理论基础，并已扩展到深度神经网络并在[1]中实现。 此外，傅立叶神经算子 (FNO)[5, 6] 和许多后续工作是算子学习的替代架构。 [7] 中报告了 DeepONets 和 FNO 之间的全面比较，其中表明 DeepONets 和 FNO 的性能具有可比性。 关于算子学习的文献一直在快速发展，但在这里我们使用 DeepONets 作为我们的基线模型。

DeepONet 进行了多项改进。 我们可以使用物理信息的 DeepONets（例如，在 [8] 和 [9] 中）来提高准确性。 DeepONets 的准确性也可以通过添加梯度范数来提高，例如[10]。 由于 DeepONets 的结构，训练 DeepONets 可以分为两个步骤，就像在 DeepONets 中使用 POD [11] 或 SVD [12] 一样：首先可以执行奇异值分解并使用由正特征值缩放的特征向量作为基础，并模拟该基础以获得主干网络，随后以此基础训练分支网络。 对[13]的进一步改进可以首先模拟POD基础以获得主干网络，然后近似POD系数以获得分支网络。 [14]中提出了独立于离散化的DeepONets，并且[15]中对DeepONets的架构进行了修改以适应基于网格的数据。 在[16]中，通过模拟底层算子的有效数值方法，提出了几种DeepONets架构。

Transformer [17] 已成功应用于各种微分方程并进行修改，并且沿着这一途径的文献正在迅速发展。 这里我们举几个例子，例如积分方程[18]、动力系统[19]、流体流动[20, 21, 22, 23, 24 ]，以及反问题[25]。 然而，具有粗略解决方案（例如冲击双曲线问题）的神经算子和系统尚未得到解决。 在这项工作中，我们证明了 Transformer 对于黎曼问题的性能优于最先进的算子学习 [26]（DeepONets 的变体）。

理论上，我们在2节中证明了作为算子学习模型的 Transformer 是通用逼近器。 在第3节中，我们介绍了三个问题并解释了如何生成数据来训练算子学习模型。 在这些问题中，我们考虑经典一维激波管问题的具有跳跃力和高压比的两个常微分方程 (ODE) 的解算子。 ODE 的解可能仅具有不超过一阶的有界导数，并且最后一个问题最多可能具有有界变化和跳跃不连续性。 此外，第二个 ODE 是分数的，即时间上非局部的，并且该问题具有长期记忆。 在第 4 节和第 5 节中，我们展示了 Transformer 的性能优于从针对第 3 节中的问题的最先进训练策略获得的 DeepONets。

该工作的新颖性和主要贡献总结如下：

• 我们建立了 Transformer 作为算子学习模型具有通用逼近性质的理论基础。

• 我们发现 Transformer 对于具有长记忆和粗糙解决方案的动态系统表现出优异的性能。

• 我们比较了针对上述问题的算子学习模型。 我们还讨论了两个训练优化器的相对性能：经典的 Adam 和新开发的 Lion。 此外，我们针对 Sod 的激波管问题比较了 RiemannONet 和 Transformer。

2 Transformer作为算子学习模型的通用逼近

在文献中，已经表明 Transformer 是序列到序列的通用逼近器，例如[27,28,29]。 在这里，我们证明了 Transformer（带有解码器）作为算子学习模型的通用逼近。

令$𝒢$为从$X$到$Y$的连续运算符，其中$X$和$Y$都是Banach空间。 我们证明，对于所有 $u\in U$($X$ 的紧凑子集）来说，收敛是一致的。 由于 Transformer $T$ 本质上是序列到序列，因此我们需要一个适当的解码器 ${𝒟}_T$ 和一个编码器 ${ℰ}_T$，以便 ${𝒟}_{T}T({ℰ}_{T}u)$ 定义一个从$X$到$Y$的连续映射。

Theorem 2.1 （连续算子变换器的通用逼近）。

假设$U$是$X$的紧子空间，定义在${ℝ}^{d_{in}}$的紧集$K_{in}$上。 那么对于任何$ϵ>0$，都存在一些整数$𝗆,𝗇>0$和编码器${ℰ}_T:X\mapsto {ℝ}^{𝗆}$，以及一个Transformer $T:{ℝ}^{𝗆}\mapsto {ℝ}^{𝗇}$和解码器${𝒟}_T:{ℝ}^{𝗇}\mapsto Y$这样

证明与[30,16,31]类似。 基本思想是，在$X$的紧集上，连续算子的一致近似可以投影为有限维欧几里得空间中的一致近似。

为了简单起见，我们在 $X=C(K_{in})$ 和 $Y=C(K_{out})$ 的情况下给出证明，其中 $K_{out}\subset ℝ$ 是紧凑的。 首先，存在编码器 ${ℰ}_{𝒢,i}$ 和 ${ℰ}_{𝒢,i}$ 使得

这个结论已经在许多著作中得到证明，例如在[4,16,31]中。 具体来说，让${\left\{x_j\right\}}_{j=1}^{𝗆}$构成$K_{in}$的分区，${\left\{y_k\right\}}_{k=1}^{𝗇}$构成$K_{out}$的分区。 那么，我们可能有以下近似

$$𝒢(u)\approx 𝒢({ℰ}_{𝒢,i}u)\approx {ℰ}_{𝒢,o}𝒢({ℰ}_{𝒢,i}u)=\sum _{k=1}^{𝗇}G(\sum _{j=1}^{𝗆}u(x_j)m_j(x))(y_k)e_k(y),$$ (2.1)

其中 $x_j\in K_{in}$ 和 $y_k\in K_{out}$。 此外，$m_j(x)$/$e_k(y)$ 是 $K_{in}$/$K_{out}$ 统一划分的基础。

引入符号 ${𝔼}_{𝗆}u=𝐮={(u(x_1),\mathrm{\dots },u(x_{𝗆}))}^{\top }$，其中 $u(x_j)$ 来自 (2.1)； ${𝔼}_{𝗇}v=(v(y_1),\mathrm{\dots },v(y_{𝗇}))$ 和 $x_j$ 来自 (2.1)。 那么，根据$U\subset X$的紧致性，对于所有$u\in U$和$j$，存在$M>0$，使得$u(x_j)\in [-M,M]$。

观察从 $𝐮$ 到 ${𝔼}_{𝗇}𝒢({ℰ}_{𝒢,i}u)$ 的映射是连续的。 通过 Transformer 从序列到序列的通用逼近定理，例如在 [27, 28, 29] 中，存在一个 Transformer $T:{ℝ}^{𝗆}\mapsto {ℝ}^{𝗇}$ 使得

让$D_T:{ℝ}^{𝗇}\mapsto Y$由$D_T(\cdot )={\sum }_{k=1}^{𝗇}{(\cdot )}_k{e}_k(y)$定义。 然后

${\Vert {ℰ}_{𝒢,o}𝒢({ℰ}_{𝒢,i}u)-{𝒟}_{T}T({𝔼}_{𝗆}{ℰ}_{𝒢,i}u)\Vert }_Y$ $={\Vert {\displaystyle \sum _{k=1}^n}{(T({𝔼}_{𝗆}{ℰ}_{𝒢,i}u)-{𝔼}_{𝗇}𝒢({ℰ}_{𝒢,i}u))}_k{e}_k(y)\Vert }_Y$

观察${sup}_{u\in U}{\Vert {ℰ}_{𝒢,o}𝒢({ℰ}_{𝒢,i}u)-{𝒟}_{T}T({𝔼}_{𝗆}{ℰ}_{𝒢,i}u)\Vert }_Y\le {sup}_{𝐮\in {[-M,M]}^{𝗆}}{\Vert T(𝐮)-{𝔼}_{𝗇}𝒢({ℰ}_{𝒢,i}u)\Vert }_{{\mathrm{\ell }}^{\mathrm{\infty }}}$。 然后，我们得到，令${ℰ}_T={𝔼}_{𝗆}{ℰ}_{G_i}$，

$\underset{u\in X}{sup}\Vert 𝒢(u)-{𝒟}_{T}T({ℰ}_{T}u)\Vert$ $=\underset{u\in X}{sup}\Vert 𝒢(u)-{𝒟}_{T}T({𝔼}_{𝗆}{ℰ}_{G_i}u)\Vert$

$\le \underset{u\in X}{sup}\Vert G(u)-{ℰ}_{𝒢,o}𝒢({ℰ}_{𝒢,i}u)\Vert +\underset{u\in X}{sup}{\Vert {ℰ}_{𝒢,o}𝒢({ℰ}_{𝒢,i}u)-{𝒟}_{T}T({𝔼}_{𝗆}{ℰ}_{𝒢,i}u)\Vert }_Y$

$\le \underset{u\in X}{sup}\Vert G(u)-{ℰ}_{𝒢,o}𝒢({ℰ}_{𝒢,i}u)\Vert +\underset{𝐮\in {[-M,M]}^{𝗆}}{sup}{\Vert T(𝐮)-{𝔼}_{𝗇}𝒢({ℰ}_{𝒢,i}u)\Vert }_{{\mathrm{\ell }}^{\mathrm{\infty }}}$

然后证明了万能逼近定理。

与[30, 16]中的讨论类似，我们可以在表1中呈现以下示例。

表1： 定理 2.1 中函数空间的示例。 这里我们还要求 $U$ 空间中的函数在其规范中统一有界，使得 $U$ 是 $X$ 的紧凑子集。

$X$	$Y$	$U$
$X=C^0(K_{in})$	$Y=C^0(K_{out})$	$C^1(K_{in})$
$X=L^2(K_{in})$	$Y=L^2(K_{out})$	$H^1(K_{in})$
$X=L^1(K_{in})$	$Y=L^1(K_{out})$	Bounded Variation

在下面的文本中，我们对 $X$ 和 $Y$ 的 $L^1$ 空格感兴趣。 证明与上面相同，只是我们将输入 $𝐮={(u(x_1),\mathrm{\cdots },u(x_{𝗆}))}^{\top }$ 替换为平均值 $𝐮$ = $(u_h(x_1),\mathrm{\dots },u_h(x_{𝗆}))$，其中 $u_h(x_j)={\int }_{B(x_j,h)\cap K_{in}}u(t)dt/|B(x_j,h)\cap K_{in})|$ 而 $\left|B(x_j,h)\cap K_{in}\right|$是$K_{in}$内球$B(x_j,h)$的体积，以$x_j$为中心，半径为$h$，输出为平均值。 参见例如[32] 进行更多讨论。 让我们考虑以下方程的解运算符：对于所有具有初始条件 $u(x,0)=u_0(x)$ 的 $x\in {ℝ}^d$,${\partial }_{t}u+\nabla \cdot f(u)=0$。 令$f\in C^1(ℝ,{ℝ}^d)$满足熵条件。 根据 [33] 可知，由 $u=𝒢(u_0)$ 定义的解算子 $𝒢$ 是 Lipschitz 连续的：${\Vert 𝒢(u_0)(t)-G(v_0)(t)\Vert }_{L^1}\le {\Vert u_0-v_0\Vert }_{L^1}$ 对于 $t>0$。 这里 $u_0,v_0\in U=\{u\in \mathrm{BV}({ℝ}^d)\cap L^1({ℝ}^d):\mathrm{TV}(u)\le M\}$ 代表一些 $M>0$，其中 $\mathrm{BV}$ 是有界变分函数的空间，$\mathrm{TV}$ 是总变分。 如果$u_0$是紧支持的，则满足定理2.1中的条件，因此我们可以应用 Transformer 来近似该解算子。

Remark 2.2.

关于差分空间 $X$ 和 $Y$ 以及子空间的近似率的讨论超出了本文的范围。 我们建议感兴趣的读者在[16,31,34]中进行讨论。

3控制方程和数据生成

我们考虑三个问题：Izhikevich 神经元模型、调和分数阶 Leaky Integrate-and-Fire (LIF) 模型和一维欧拉方程黎曼问题。

3.1 伊日科维奇模型

Izhikevich神经元模型[35]描述为

${\displaystyle \frac{du}{dt}}$ $=0.04u^2+5u+140-v+I(t)$ (3.1)

${\displaystyle \frac{dv}{dt}}$ $=a(bu-v)$ (3.2)

条件是当$u_{\mathrm{thres}}$是某个电压阈值且$u\ge u_{\mathrm{thres}}$时，

$$\{\begin{array}{cc}u\leftarrow c\hfill & \\ v\leftarrow v+d\hfill & \end{array}.$$

在该系统中，$t$是时间，$u$是膜恢复变量，$v$是膜电位变量，$I(t)$是强迫尖峰函数，$a,b,c,d\in ℝ$是无量纲的。

我们采用$a=0.02,b=0.25,c=-55,d=0.05$，阈值为$u_{\mathrm{thres}}=-64$。 我们考虑解决方案运算符$𝒢:I(t)\to u$。 让输入电流电压尖峰 $I$ 在 $0.5$ 到 $1.5$ 之间变化，以便模型局限于相突发配置，并且尖峰位置在 $4$ 到 $30$ 毫秒时间。 将$15$和$19$ms之间的尖峰位置对应的样本分配给测试集，而允许电压尖峰强度在$0.5$之间的整个范围内变化> 和 $1.5$ 用于测试集。 特别是，使用跨时域 [0,100]ms 的 $401$ 点网格，我们生成 $2,200$ 训练样本轨迹和 $150$ 测试样本轨迹。

3.2 调和分数 LIF 模型

传统上，LIF模型被用作模拟大脑不同部分的神经元模型[36]，整数阶模型表示为：

$$\tau \frac{dv}{dt}=-(v-v_{\mathrm{rest}})+RI(t),$$ (3.3)

其中$\tau$被称为膜时间常数，相当于$R{C}_m$，其中$C_m$是膜电容，$R$是膜电阻。 此外，$I(t)$是强迫尖峰函数，$v_{\mathrm{rest}}$是静息膜电位。 LIF 模型已更新，因此Equation 3.3 中的导数为分数阶 $\alpha$。 我们还研究了依赖于回火顺序 $\sigma$ 的实验。 也就是说，我们研究的调和分数模型是

$$\tau {}_a{}^{\mathrm{C}}𝒟_t^{\alpha ,\sigma }[v](t)=-(v-v_{\mathrm{rest}})+RI(t).$$ (3.4)

因此，我们想要近似的算子是：

$$𝒢:(I(t),\alpha ,\sigma )\mapsto v.$$ (3.5)

在Equation 3.4中，${}_a{}^{\mathrm{C}}𝒟_t^{\alpha ,\sigma }$指的是调节分数卡普托导数，定义如下。

Definition 3.3 （调质Caputo分数导数）。

调质阶数 $\sigma$ 的调质分数 Caputo 导数定义为

$${}_a{}^{\mathrm{C}}𝒟_t^{\alpha ,\sigma }[u](t)=\frac{e^{-\sigma t}}{\mathrm{\Gamma }(n-\alpha )}{\int }_a^t{(t-s)}^{n-\alpha -1}\frac{d^n}{d{s}^n}(e^{\sigma s}u(s))𝑑s.$$

如果$\sigma =0$，这会简化为分数阶$\alpha$的标准Caputo分数导数。

3.2.1 调和分数 LIF 问题的数据生成

我们采用 $R=5.1,C_m=5\times {10}^{-3}$ 和 $\tau =R\cdot C_m$ 以及 $v_{\mathrm{rest}}=0$。 对于调和分数 LIF 模型，我们使用基于 [37] 中的工作的自适应校正 $L1$ 方案求解器。 我们测试了三种不同难度的不同情况。 在情况 1 中，强迫项 $I(t)$ 固定为 3 个相同幅度的尖峰位置。 在情况 2 和 3 中，强迫随位置 $t$ 和尖峰幅度 $I(t)$ 生成的随机矢量而变化。 结果和讨论中给出了每个实验案例的更多详细信息。

在每种情况下，我们统一对分数和回火参数进行采样，例如对于 $\alpha$，我们在间隔 $[0.11,0.99]$ 上采样等距点（由于解算器解中的数值不稳定，我们没有对 $\alpha \le 0.1$ 进行采样），对于 $\sigma \in [0.11,0.99]$。 这是针对每种强制情况进行的，并且每批强制都会根据不同的分数和回火顺序具有不同的解决方案。 每个轨迹都是通过在$[0,1]$秒的自适应时间网格上求解问题获得的，因此每个实验的离散化是不同的。 通过这些设置，我们按照实验案例的相应顺序生成 $200,1500$ 和 $1500$ 训练序列样本，以及 $20,200$ 和 $80$ 按照实验案例的顺序再次测试序列样本。

3.3黎曼问题

考虑一维欧拉方程的黎曼问题：

(3.6)

其中$t$表示时间，$x$为空间坐标，$𝐔$为保守变量向量，$𝐅$表示对应的平流通量：

$$𝐔={\left(\begin{array}{c}\rho \\ \rho u\\ \rho E\end{array}\right)}^{\top },𝐅(𝐔)={\left(\begin{array}{c}\rho u\\ \rho u^2+p\\ u(\rho E+p)\end{array}\right)}^{\top }.$$ (3.7)

Equation 3.7中，$\rho$代表密度，$p$为压力，$u$为速度，总能量表示为：

$$\rho E=\frac{p}{\gamma -1}+\frac{1}{2}{u}^2,\gamma =1.4.$$ (3.8)

我们的目标是在给定初始条件的最终时间 $t=t_f$ 确定解决方案。 具体来说，我们考虑以下运算符

$𝒢:p_l\to 𝐔(x,t_f),$

其中$p_l$是$x\le x_s$的初始压力。 我们调查了两个学习难度不断增加的案例。 我们通过固定初始条件的五个状态并改变左初始压力$p_l$来参数化黎曼问题，如[26]中所述。 对于第一种情况，我们使用中间压力比 (IPR) 作为在 $[-1,2]$ 上定义的初始条件。 初始条件选择为

(3.9)

其中$p_l\in [50.0,100.0]$。 原始变量的概况，例如$\rho$、$u$ 和 $p$ 是在 $t_f=0.1$ 处获得的。 对于第二种情况，我们采用极高的压力比（HPR）。 我们在空间域$x\in [-20,20]$内求解方程(3.6)。 对于这种情况，初始条件选择为

(3.10)

其中$p_l\in [{10}^9,{10}^{10}]$。 使用解析方法，我们得到了$t_f=0.0001$处的精确结果。 我们选择 500 个等距的 $p_l$ 值，并随机分配 400 个案例用于训练，100 个案例用于测试。

4方法论

在本节中，我们提供有关用于算子学习问题以及损失和训练优化器的 Transformer 架构的详细信息。

4.1 注意力机制

在我们的实验中，我们在[38]中使用傅里叶型线性注意力：

$$\mathrm{FourierAttention}(Q,K,V)=\frac{1}{n}(\widehat{Q}{\widehat{K}}^{\top })V$$ (4.1)

其中 $\widehat{\cdot }$ 表示层归一化，三个矩阵 $Q,K,V$ 是向量集的批次：查询向量 $\{q_i\}$、键向量 $\{k_i\}$、和值向量$\{v_i\}$。 我们还使用交叉注意机制来适应与输入传感器点不同的查询点：

$$z_s(y_k)=\sum _{i=1}^d\frac{{\sum }_{j=1}^n{k}_i(x_j)v_s(x_j)}{n}{q}_i(y_k)$$ (4.2)

其中 $\{y_k\}$ 是输出域上的离散点，$\{x_j\}$ 是输入网格点。 这里，类似于之前的解释，即$Q,K,V$矩阵的列包含学习基的向量表示，$\{k_i(\cdot ),v_i(\cdot ),q_i(\cdot )\}$表示[39]中讨论的三组基函数t2>。 我们可以将交叉注意力与 DeepONet 进行类比，其中 $q_i(y_k)$ 是主干网络的输出，内部求和 ${\sum }_{j=1}^n{k}_i(x_j)v_s(x_j)$ 表示分支网络的输出。

4.2架构

遵循[17]中的传统序列转导模型，我们以Figure 1中描述的编码器-解码器结构的形式使用Transformer，其中编码器将输入映射到解码器生成输出序列 ${𝒢}_{\theta }[f_k;\mathrm{\Pi }]$ 的潜在表示。 特别是，镜像原始 DeepONet 的结构，编码器结构由两个不同的组件组成：一个组件接受空间或时间域离散化并嵌入到潜在维度中，而其他参数、强迫、项等则被嵌入使用另一个编码器组件的注意力。

此外，该注意力编码器接收任何问题参数集$\mathrm{\Pi }$；在 LIF 问题中，这些是分数和调节参数 $\alpha$ 和 $\sigma$。 如前所述，编码器的全连接层组件用于对空间或时间查询点进行编码，因此可以是序列 $\{t_n\}$ 或 $\{x_n\}$。 然后，这些编码通过最初在[40]中讨论的交叉注意机制在潜在维度中组合； [39] 的工作启发了这种使用 Transformer 探索 PDE 基准的架构。 对于所有实验，我们采用相同的 Transformer 结构，仅改变输入维度。 特别是，对于基线结果，序列编码器嵌入维度为 96 的模型并使用 4 层注意力。 对于解码器，使用解码深度3。 在傅里叶注意力之前，嵌入是通过全连接层完成的；在解码器中的交叉注意力之后，还应用具有 GeGELU 激活函数 [41] 的全连接层，以将嵌入返回到物理空间。

图1： 近似运算符$𝒢$的 Transformer 架构。除了运算符参数 $\mathrm{\Pi }$ 和域离散化 $\{x_n\}$ 之外，编码器的输入还包括强制或初始条件($f_k$ 或 $p_l$)或$\{t_n\}$。 输出是模型的算子近似值，输入为 $f_k$ 或 $p_l$ 以及参数集 $\mathrm{\Pi }$、${𝒢}_{\theta }[f_k;\mathrm{\Pi }]$。

4.2.1 损失和优化

为了训练模型，我们根据相对 ${\mathrm{\ell }}_2$ 范数最小化以下损失：

$$ℒ(\theta )=\frac{1}{m}\sum _{k=1}^m\frac{{\Vert {𝒢}_{\theta }[f_k;\mathrm{\Pi }]-𝒢[f_k;\mathrm{\Pi }]\Vert }_{{\mathrm{\ell }}^2}}{{\Vert 𝒢[f_k;\mathrm{\Pi }]\Vert }_{{\mathrm{\ell }}^2}}$$ (4.3)

其中 ${𝒢}_{\theta }$ 是某些输入 $f_k$ 的模型预测，$𝒢$ 是同一输入的相应地面实况解。 这里${\Vert f\Vert }_{{\mathrm{\ell }}^2}={\left(\frac{1}{n}{\sum }_{i=1}^n{|f(t_i)|}^2\right)}^{\frac{1}{2}}$。 我们使用 Adam 优化器 [42] 来解决具有许多参数和计算效率的问题，并结合称为“1cycle”策略的学习率调度器，如 [43] 中所述。 。 此外，我们还使用最近提出的 Lion 优化器[44]进行了实验。

5结果

在本节中，我们将介绍具体的参数设置以及不同模型的实验结果之间的比较。

我们遵循 Lion 的 [44] 中的指导：$5$ 到 $10$ 倍的学习率比 Adam 的学习率小并且批量大小更大。 我们运行 Lion 优化器的周期少于 Adam 的一半。

5.1 示例 1：Izhikevich 模型

我们在Table 2 中描述了使用 Adam 和 Lion 优化器的训练配置和结果。 我们在Figure 2 中展示了使用 Adam 优化器的一些测试结果。 在Table 2中，$n$描述了域离散化中的点数。 在Figure 2 中，我们观察到解决方案具有急剧的转变并且是振荡的，并且 Adam 和 Lion 优化器都会导致相同数量级的损失。 这里，Lion 的表现略优于 Adam，而 Lion 模型的标准差要小一个数量级。 我们注意到，普通的 DeepONet 不适用于此示例。

表2： Izhikevich 模型实验的实验详细信息和相对 ${\mathrm{\ell }}_2$ 误差。 报告的损失 $ℒ(\theta )$ 是 10 次运行中相对 ${\mathrm{\ell }}_2$ 损失的平均值和标准差。

Experiment settings							Results
Model	$n$	Spike Intensity	Spike Location	Learning Rate	Batch Size	Iterations	$ℒ(\theta )$
Adam	$401$	$[0.5,1.5]$	$[4,30]$	$1.0\times {10}^{-3}$	$64$	$2.0\times {10}^5$	$0.61\pm 0.275$
Lion				$1.0\times {10}^{-4}$	$500$	$2.0\times {10}^4$	$0.49\pm 0.080$

图2： 针对不同尖峰项强度和不连续位置的 Izhikevich 实验的 Adam 模型预测。 绿色虚线表示求解器解，红线 $u(t)$ 是模型预测，蓝线是尖峰项 $I(t)$。

5.2示例 2：调和分数 LIF 模型

在此示例中，我们考虑以下定义的解运算符

• 情况1。 $V=𝒢(\alpha )$并设置$\sigma =0$；

• 案例2. $V=𝒢(I(t),\alpha )$并设置$\sigma =0$；

• 案例3. $V=𝒢(I(t),\alpha ,\sigma )$，与Equation 3.5相同。

分数LIF模型在时间上是非局部的，系统的记忆可能取决于调和索引$\sigma$。 该模型对于非马尔可夫和尖峰强迫的操作员学习模型可能具有挑战性。 例如，我们观察到，即使使用学习率 $1.0\times {10}^{-4}$，Adam 优化器也会失败，因此我们对情况 3 使用较小的学习率 $5.0\times {10}^{-5}$，这呈现出最大的难度，如图所示在Table 3中。

在Table 3 中，我们观察到，对于案例 1，具有两个优化器的 Transformer 会导致较小的损失和较小的标准偏差。 然而，Transformer 在情况 2 和 3 中表现不佳，其中强迫项在不同位置具有不同的峰值。 从Figure 3 中，我们观察到 Transformer 可以捕获尖峰的位置。 然而，它不能很好地预测溶液膜电位的形状和幅度。 每个对膜电位的预测都会在正确的位置出现尖峰，但电位曲线的形状和幅度与真实曲线并不完全匹配。

表3： 两种不同模型的调和分数 LIF 模型每种情况的实验详细信息和相对 ${\mathrm{\ell }}_2$ 误差。 $\alpha$ 和 $\sigma$ 列中给出的间隔表示参数采样的间隔，而 $n$ 列中给出的值是点数强迫项和解被离散化。 报告的损失 $ℒ(\theta )$ 是 10 次运行中相对 ${\mathrm{\ell }}_2$ 损失的平均值和标准差。

Experiment settings									Results
Model	Experiment	Case	$\alpha$	$\sigma$	$n$	Learning Rate	Batch Size	Iterations	$ℒ(\theta )$
Adam	LIF	$1$	$[0.11,0.99]$	—	$204$	$1.0\times {10}^{-4}$	$32$	$5.0\times {10}^5$	$7.79\pm 1.14({10}^{-5})$
		$2$		—	$200$				$0.03\pm 0.01\text{<sup class="ltx\_sup" id="S5.T3.26.14.14.3.m1.1.1.3.3.1nest">*</sup>}$
		$3$		$[0.11,2]$	$314$	$5.0\times {10}^{-5}$			$0.25\pm 0.26\text{<sup class="ltx\_sup" id="S5.T3.31.19.19.5.m1.1.1.3.3.1nest">*</sup>}$
Lion	LIF	1	$[0.11,0.99]$	—	$204$	$1.0\times {10}^{-5}$	$200$	$2.0\times {10}^5$	$2.09\pm 0.324({10}^{-4})$
		$2$		—	$200$		$1000$		$0.10\pm 0.02$
		$3$		$[0.11,2]$	$314$				$0.06\pm 0.02$

• 表示报告的平均值和标准差是在收敛的集合模型中获取的损失 - 由于 Adam 优化器在这些问题上的不稳定，一些模型损失爆炸并被排除在外。

图3： LIF 实验案例 2 的 Lion 模型预测改变分数阶 $\alpha$ 以及尖峰强度和不连续位置。 绿色虚线是求解器解，而红线$u(t;\alpha ,\sigma )$是模型预测。 蓝线是尖峰项。

在案例 3 中，我们在改变分数阶、回火阶数以及尖峰力时测试 Transformer 的能力。 Adam 优化器的最终 $l_2$ 误差约为 ${10}^{-1}$，而 Lion 优化器的误差小一个数量级。 从我们使用 Lion 优化器的Figure 4 中，我们观察到 Transformer 在大多数情况下预测得非常好，除了左侧图的频率略有未解析，即预测（红色实线）和当 $\alpha =0.5$ 和 $\sigma =0.3$ 时，真相（绿色虚线）。

图4： LIF 实验案例 3 的 Lion 模型预测改变了调和阶数 $\sigma$ 和分数阶数 $\alpha$。 绿色虚线是求解器解，而红线$u(t;\alpha ,\sigma )$是模型预测。 蓝线是尖峰项。

在此示例中，Transformer 展示了学习时间动态和记忆效应的能力。 我们使用 Lion 优化器来训练 Transformer，该优化器的多项式学习率衰减大约是使用 1cycle 学习调度器的 Adam 模型的一半。 我们观察到 1cycle 学习率调度程序允许 Adam 模型在大约 100,000 个 epoch 后实现 ${10}^{-2}$ 量级的不错的损失。 然而，损失多次增加，最终训练失败。 我们观察到，Lion 优化器训练的损失急剧且大致单调衰减，损失的波动明显少得多。 Lion 的准确度比 Adam 模型高出一个数量级。 此外，我们从实验中观察到，使用 Lion 优化器训练的 Transformer 表现出更好的稳定性，而使用 Adam 优化器训练的 Transformer 有时会失败。

(a) Adam/1cycle loss curve

(b) Lion/polynomial loss curve

图5： 比较 LIF 实验案例 3 中改变分数阶 $\alpha$ 和回火阶 $\sigma$ 的两个模型的损失曲线。 Adam 模型的损失曲线显示在左侧 (5(a))，而 Lion 模型的损失曲线显示在右侧 (5(b) ）。

5.3示例3：黎曼问题

在此示例中，我们比较 Transformer 和 RiemannONet [26]。 我们测试黎曼问题的两种不同情况：中压比 (IPR) 和高压比 (HPR) Sod 问题。 为了进行公平比较，我们遵循 RiemannONet 的相同实验设置并仅使用 Lion 优化器。 在比较中，我们将[26]中的DeepONet称为2步DeepONet或2步Rowdy，其中DeepONet采用[13]中的两步策略进行训练t1> 和 Rowdy 激活函数。

我们报告了 10 次模型运行的集合测试集上 ${\mathrm{\ell }}_2$ 误差的平均值和标准差。 跑步采用不同的权重初始化，并且整体的平均训练时间在Table 4 中报告。 除了 HPR 之外，Transformer 在几乎所有实验中都优于最好的 RiemannONet。 在一些实验中（例如 IPR $p$)，Transformer 的相对误差可以达到 RiemannONet 的一半以下。

表4： 黎曼问题：使用 10 次运行获得平均值和标准差的相对 ${\mathrm{\ell }}_2$ 范数。 误差的 ${\mathrm{\ell }}_2$ 范数是在每个配置文件的整个测试数据集上计算的：密度、速度和压力。

Cases	$L_2(\rho )$ %	$L_2(u)$ %	$L_2(p)$	Time (min)
IPR (2 step Rowdy)	$0.33\pm 0.027$	$0.86\pm 0.071$	$0.20\pm 0.030$	$33.06$
IPR(Transformer)	$\mathbf{0.24}\pm \mathbf{0.053}$	$\mathbf{0.58}\pm \mathbf{0.141}$	$\mathbf{0.09}\pm \mathbf{0.026}$	$343.343$
HPR (2 step Rowdy)	$\mathbf{0.66}\pm \mathbf{0.093}$	$3.39\pm 0.104$	$2.86\pm 1.680$	$26.98$
HPR (Transformer)	$1.42\pm 0.132$	$\mathbf{2.27}\pm \mathbf{0.338}$	$\mathbf{2.23}\pm \mathbf{0.424}$	$338.871$

我们还在Figure 6 中展示了 IPR 案例的一些测试结果，以及 Figure 7 中 HPR 案例 (LeBlanc-Sod) 的测试结果。 Transformer 的结果显示在不连续点处很少或没有过冲或振荡。 相比之下，DeepONet 在不连续位置处 IPR 的 $u$ 以及 HPR 情况的 $u$ 和 $p$ 表现出轻微的过冲和下冲。

(a) Transformer IPR $u$

(b) Transformer IPR $p$

(c) Transformer IPR $\rho$

(d) DeepONet IPR $u$

(e) DeepONet IPR $p$

(f) DeepONet IPR $\rho$

图6： Sod 问题的中间压力比情况的速度、压力和密度分布。 顶行显示 Transformer 对测试数据集的速度、压力和密度剖面的推论。 底行显示 DeepONet/RiemannOnet [26] 的结果。

(a) Transformer HPR $u$

(b) Transformer HPR $p$

(c) Transformer HPR $\rho$

(d) DeepONet HPR $u$

(e) DeepONet HPR $p$

(f) DeepONet HPR $\rho$

图7： LeBlanc-Sod 的速度、压力和密度剖面（高压比情况）。 顶行显示 Transformer 对测试数据集的速度、压力和密度剖面的推论。 底行显示 DeepONet/RiemannOnet [26] 的结果。

然而，Transformer 比 ${\sum }_{i=1}^p{ℬ}_i(p_l){𝒯}_i(x)$ 形式的 DeepONet 需要更多的时间来训练，其中 ${ℬ}_i$ 和 ${𝒯}_i$ 都是前馈神经网络。

6 摘要

在这项工作中，我们展示了注意力机制在低规律性算子学习问题中的威力。 具体来说，我们研究了这些模型在 Sod 激波管问题和两种流行的神经元模型上的逼近能力：Izhikevich 模型和调和分数 LIF 模型。 对于 Sod 问题，我们比较了 Transformer 和 RiemannONet（DeepOnet 的变体）在不同压力比下的黎曼问题。 我们的实验揭示了 Transformer 卓越的学习能力，在每个系统中都表现出了出色的准确性。 然而， Transformer 的计算成本仍然很高，未来还应该探索状态空间模型（SSM）等替代模型。

致谢

这项工作得到了美国陆军研究实验室 W911NF-22-2-0047 和 MURI-AFOSR FA9550-20-1-0358 的支持。