微调大规模预训练模型已在视觉和自然语言处理等经过充分研究的模式方面取得了巨大进展。然而，由于缺乏相关的预训练模型，在许多其他模式中尚未观察到类似的收益。在这项工作中，我们提出了 ORCA，一种通用的跨模态微调框架，它将单个大规模预训练模型的适用性扩展到多种模态 ...
在不断发展的科学机器学习领域，上下文算子学习在构建基础模型方面显示出显着的潜力，因为在这个框架中，模型被训练为学习算子并使用提示数据求解微分方程，在推理阶段无需权重更新。然而，当前模型对函数数据的过度依赖忽视了人类对操作员的宝贵洞察。为了解决这个问题，我们提出了将上下文算子学习转变为多模态范式 ...
我们提出了统一 PDE 求解器 (UPS)，这是一种数据和计算高效的方法，用于为来自不同域、维度和分辨率的不同时空 PDE 系列开发统一的神经算子。 UPS 将不同的 PDE 嵌入到共享表示空间中，并使用 FNO Transformer 架构对其进行处理。我们不是从头开始训练网络，这对数据要求很高且计算成本很高，而是从预训练的 LLM 中热启动 Transformer 并执行显式对齐以减少模态差距，同时提高数据和计算效率 ...
求解瞬态参数偏微分方程 (PDE) 具有挑战性，因为模型必须适应系数、强迫项和边界条件等参数的变化。数据驱动的神经求解器要么对从偏微分方程参数分布中采样的数据进行训练，希望模型能够推广到新的实例，要么依赖基于梯度的适应和元学习来隐式编码观察到的动态。这通常会增加推理复杂性 ...
ChatGPT 等大型语言模型 (LLM) 已表明，即使使用嘈杂的先验数据进行训练，它们也可以通过上下文学习 (ICL) 和预训练技术有效地推广到新任务。受此启发，我们探索类似的方法是否可以应用于科学基础模型（SFM）。我们的方法结构如下：（i）我们以通过数学词典的任意线性组合构造的偏微分方程（PDE）解的形式收集基于低成本物理信息神经网络（PINN）的近似先验数据； (ii) 我们利用具有自注意力机制和交叉注意力机制的 Transformer 架构来预测 PDE 解，而无需了解零样本设置中的控制方程； （iii）我们提供了一维对流扩散反应方程的实验证据，这表明即使使用近似的先验数据，预训练仍然保持稳健，对测试精度仅产生边际影响 ...
求解偏微分方程 (PDE) 在科学和工程中无处不在。计算复杂性和编写数值求解器的难度推动了机器学习技术的发展，以快速生成解决方案。许多现有方法纯粹是数据驱动的，仅依赖于数值解场，而不是已知的系统信息，例如边界条件和控制方程 ...
算子学习已成为机器学习中的强大工具，用于对受偏微分方程 (PDE) 控制的复杂物理系统进行建模。尽管深度算子网络 (DeepONet) 前景广阔，但它们需要大量数据采集。基于物理的 DeepONets (PI-DeepONet) 缓解了数据稀缺性，但训练过程效率低下 ...
对线性状态空间模型 (SSM) 的状态转移矩阵进行适当的参数化，然后进行标准非线性，使它们能够有效地从序列数据中学习表示，从而在一系列远程序列建模基准上建立最先进的技术。在本文中，我们表明，当结构 SSM（例如 S4）由线性液体时间常数 (LTC) 状态空间模型给出时，我们可以进一步改进。 LTC 神经网络是因果连续时间神经网络，具有依赖于输入的状态转换模块，这使它们能够学习适应推理时的输入 ...
本文基于我们之前工作中建立的理论框架，提出了一种基于数学的神经算子设计方法。通过将严格的数学分析与实际的设计策略相结合，我们的目标是提高神经算子的稳定性、收敛性、泛化性和计算效率。我们重新审视关键的理论见解，包括高维稳定性、指数收敛和神经算子的通用性 ...
获取三维 (3D) 偏微分方程的大型数据集通常非常昂贵。物理信息神经算子（PINO）消除了与生成训练数据集相关的高成本，并在各种偏微分方程中显示出巨大的潜力。在这项工作中，我们采用物理信息神经算子，将大涡模拟（LES）方程直接编码到神经算子中，以模拟三维不可压缩湍流 ...