在本文中,我们提出了物理信息神经算子(PINO),它结合训练数据和物理约束来学习给定参数偏微分方程组(PDE)的解算子。 Pino 是第一个结合不同分辨率下的数据和偏微分方程约束来学习算子的混合方法。具体来说,在PINO中,我们将粗分辨率训练数据与以更高分辨率施加的PDE约束相结合 ...
最近最先进的神经架构搜索(NAS)方法通过将问题放松为架构和共享权重的连续优化来利用基于梯度的优化,这是一个仍然知之甚少的嘈杂过程。我们主张通过单水平经验风险最小化的研究来理解具有权重共享的 NAS,将 NAS 方法的设计简化为设计能够快速获得该问题的高质量解决方案的优化器和正则化器。引用镜像下降理论,我们提出了一个几何感知框架,该框架利用这种优化的底层结构来返回稀疏架构参数,从而产生简单而新颖的算法,该算法享有快速收敛保证并在计算机视觉领域最新的 NAS 基准测试 ...
我们提出了几何信息神经算子(GINO),这是一种学习具有不同几何形状的大规模偏微分方程的解算子的高效方法。 GINO 使用符号距离函数和输入形状的点云表示以及基于图和傅里叶架构的神经算子来学习解算子。图神经算子处理不规则网格并将其转换为规则潜在网格或从规则潜在网格转换为傅立叶神经算子,可以有效地应用傅里叶神经算子 ...
深度神经算子可以通过深度神经网络学习无限维函数空间之间的映射算子,已成为科学机器学习的新兴范例。然而,训练神经算子通常需要大量的高保真数据,而这在实际工程问题中往往很难获得。在这里,我们通过使用多重保真学习来应对这一挑战 ...
深度算子网络 (DeepONet) 是一种流行的神经算子架构,它在通过使用深度神经网络在无限维函数空间之间进行映射来求解偏微分方程 (PDE) 方面显示出了前景。在没有标记数据集的情况下,我们利用偏微分方程残差损失来学习物理系统,这种方法称为基于物理的 DeepONet。该方法面临着巨大的计算挑战,主要是由于维数灾难,因为计算成本随着更精细的离散化呈指数级增加 ...
当前的物理信息(标准或深度算子)神经网络仍然依赖于准确学习它们正在求解的微分方程组的初始和/或边界条件。相比之下,标准数值方法在计算中涉及这些条件,而无需学习它们。在这项研究中,我们建议改进当前的基于物理的深度学习策略,以便不需要学习初始和/或边界条件并在预测解决方案中准确表示 ...
Transformer 在各种应用中都表现出了最先进的性能,并且最近已成为偏微分方程 (PDE) 代理建模的有前途的工具。尽管引入了线性复杂度注意力,但将 Transformer 应用于具有大量网格点的问题可能会出现数值不稳定且计算成本高昂的情况。在这项工作中,我们提出了因子分解 Transformer (FactFormer),它基于轴向因子分解核积分 ...
基于物理的神经网络和算子网络已显示出有效求解物理系统建模方程的前景。然而,这些网络可能很难或不可能针对某些方程组进行精确训练。我们提出了一种新颖的多保真框架,用于堆叠物理信息神经网络和有利于训练的算子网络 ...
在本文中,我们评估了深度算子网络(DeepONets)在解决未知流形上的偏微分方程(PDE)的正向和逆向问题方面的有效性。通过未知流形,我们通过一组随机采样的数据点云来识别流形,这些数据点云被假设位于流形上或附近。当损失函数结合物理原理,产生所谓的物理信息 DeepONets (PI-DeepONets) 时,我们通过适当的算子近似方案来近似 PDE 中的微分项 ...
标准神经网络可以近似一般的非线性算子,可以通过数学算子的组合明确表示,例如在平流扩散反应偏微分方程中,或者简单地表示为黑匣子,例如 ...