LeMON: Learning to Learn Multi-Operator Networks

单算子学习涉及训练深度神经网络来学习特定算子，而多算子学习的最新工作使用算子嵌入结构来根据来自多个算子的数据训练单个神经网络。因此，多算子学习能够预测一个模型内的一系列算子。在这项工作中，我们提出了使用多算子学习求解偏微分方程的预训练和微调策略 ...

Adaptive Growing Randomized Neural Networks for Solving Partial Differential Equations

随机神经网络（RNN）方法已被提出来求解各种偏微分方程（PDE），证明了高精度和高效率。然而，初始化固定参数仍然是一个具有挑战性的问题。此外，RNN 通常难以通过尖锐或不连续的解来求解偏微分方程 ...

Learning the boundary-to-domain mapping using Lifting Product Fourier Neural Operators for partial differential equations

傅立叶神经算子 (FNO) 等神经算子已被证明可以提供与分辨率无关的深度学习模型，可以学习函数空间之间的映射。例如，可以使用神经算子将初始条件映射到未来时间步的偏微分方程（PDE）的解。尽管神经算子很受欢迎，但在仅给定边界上的数据（例如空间变化的狄利克雷边界条件）的情况下，它们在域上预测解函数的用途仍未被探索 ...

MambaMixer: Efficient Selective State Space Models with Dual Token and Channel Selection

由于 Transformer 的数据依赖性和大规模学习能力，深度学习的最新进展主要依赖于 Transformer。然而，这些架构中的注意力模块在输入大小上表现出二次时间和空间，限制了它们长序列建模的可扩展性。尽管最近尝试为多维数据（例如图像和多元时间序列）设计高效且有效的架构主干，但现有模型要么是数据独立的，要么无法允许维度间和维度内通信 ...

Wave-Mamba: Wavelet State Space Model for Ultra-High-Definition Low-Light Image Enhancement

超高清（UHD）技术因其卓越的视觉质量而受到广泛关注，但也对微光图像增强（LLIE）技术提出了新的挑战。 UHD图像本身就具有较高的计算复杂度，导致现有的UHD LLIE方法需要采用高倍下采样来降低计算成本，从而导致信息丢失。小波变换不仅可以在不丢失信息的情况下进行下采样，而且可以将图像内容与噪声分开 ...

Strategies for Pretraining Neural Operators

偏微分方程 (PDE) 建模的预训练最近显示出在跨数据集扩展神经算子以提高泛化性和性能方面的前景。尽管取得了这些进步，我们对预训练如何影响神经算子的理解仍然有限。研究通常提出定制的架构和数据集，这使得比较或检查不同的预训练框架变得具有挑战性。为了解决这个问题，我们在不优化架构选择的情况下比较了各种预训练方法，以表征不同模型和数据集上的预训练动态，并了解其扩展和泛化行为 ...

Self-supervised Pretraining for Partial Differential Equations

在这项工作中，我们描述了一种利用基于 Transformer 的神经网络架构的最新进展来构建神经偏微分方程求解器的新方法。我们的模型可以为不同的 PDE 参数值提供解决方案，而无需重新训练网络。训练以自我监督的方式进行，类似于语言和视觉任务中应用的预训练方法 ...

MgFNO: Multi-grid Architecture Fourier Neural Operator for Parametric Partial Differential Equations

在科学和工程中，经常需要重复求解大规模、高分辨率的偏微分方程（PDE）。神经算子是一种新型模型，可以在函数空间之间进行映射，允许经过训练的模型模拟偏微分方程的解算子。本文介绍了一种新颖的具有多重网格架构的傅里叶神经算子（MgFNO） ...

Pretraining a Neural Operator in Lower Dimensions

最近，人们越来越关注通过大规模预训练开发基础神经偏微分方程 (PDE) 求解器和神经算子。然而，与利用丰富且廉价（未标记）数据进行预训练的视觉和语言模型不同，这些神经求解器通常依赖于模拟 PDE 数据，而获取这些数据的成本可能很高，尤其是对于高维 PDE。在这项工作中，我们的目标是在数据收集成本最低的低维偏微分方程 (PreLowD) 上预训练神经偏微分方程求解器 ...

U-WNO: U-Net Enhanced Wavelet Neural Operator for Solving Parametric Partial Differential Equations

神经算子是求解参数偏微分方程 (PDE) 的有效工具。它们可以预测具有不同初始条件和边界条件以及不同输入函数的偏微分方程的解。最近提出的小波神经算子（WNO）利用小波的时频局部化来有效地捕获空间流形 ...