DeepONet: Learning nonlinear operators for identifying differential equations based on the universal approximation theorem of operators

虽然众所周知，神经网络是连续函数的通用逼近器，但一个鲜为人知但可能更强大的结果是，具有单个隐藏层的神经网络可以精确地逼近任何非线性连续算子。这个通用逼近定理暗示了神经网络在从数据中学习非线性算子方面的潜在应用。然而，该定理对于足够大的网络仅保证较小的近似误差，并且没有考虑重要的优化和泛化误差 ...

Conditional physics informed neural networks

我们引入条件 PINN（物理通知神经网络）来估计特征值问题类的解。 PINN 的概念被扩展为不仅可以学习一个特定微分方程的解，还可以学习一类问题的解。我们通过估计永磁体的矫顽场来证明这一想法，该矫顽场取决于局部缺陷的宽度和强度 ...

On the Role of Fixed Points of Dynamical Systems in Training Physics-Informed Neural Networks

本文实证研究了物理信息神经网络（PINN）在动力系统上常见的训练困难。我们的结果表明，这些系统固有的固定点在 PINN 嵌入式物理损失函数的优化中发挥着关键作用。我们观察到，损失景观表现出由固定点的存在决定的局部最优 ...

Mitigating Propagation Failures in Physics-informed Neural Networks using Retain-Resample-Release (R3) Sampling

尽管物理信息神经网络 (PINN) 在逼近偏微分方程 (PDE) 方面取得了成功，但在涉及复杂 PDE 的问题中，PINN 有时无法收敛到正确的解。这反映在最近几项关于表征 PINN“故障模式”的研究中，尽管缺乏对 PINN 故障模式和采样策略之间联系的透彻理解。在本文中，我们假设训练 PINN 依赖于解从初始和/或边界条件点到内部点的成功“传播”，从而提供了 PINN 故障模式的新颖视角 ...

MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks

物理信息神经网络（PINN）最近通过最小化偏微分方程（PDE）损失和边界损失的加权和，在解决各个领域的偏微分方程（PDE）方面取得了显着的进展。然而，PINN 的训练存在一些关键挑战，包括缺乏理论框架以及 PDE 损失和边界损失之间的不平衡。在本文中，我们对二阶非齐次偏微分方程进行了分析，将其分为三类并适用于各种常见问题 ...

Respecting causality is all you need for training physics-informed neural networks

虽然物理信息神经网络 (PINN) 的受欢迎程度正在稳步上升，但迄今为止，PINN 在模拟其解决方案表现出多尺度、混沌或湍流行为的动力系统方面尚未成功。在这项工作中，我们将这一缺陷归因于现有 PINN 公式无法尊重物理系统演化所固有的时空因果结构。我们认为这是一个根本性的限制，也是一个关键的错误来源，最终会导致 PINN 模型收敛到错误的解决方案 ...

Understanding and mitigating gradient pathologies in physics-informed neural networks

神经网络在不同科学领域的广泛使用通常涉及约束它们满足某些对称性、守恒定律或其他领域知识。此类约束通常在模型训练期间作为软惩罚施加，并有效地充当经验风险损失的特定领域正则化器。物理信息神经网络是这种哲学的一个例子，其中深度神经网络的输出被限制为近似满足给定的一组偏微分方程 ...

Estimates on the generalization error of Physics Informed Neural Networks (PINNs) for approximating a class of inverse problems for PDEs

物理信息神经网络 (PINN) 最近已非常成功地应用于高效逼近偏微分方程的反问题。我们专注于一类特定的逆问题，即所谓的数据同化或独特的连续问题，并证明对逼近它们的 PINN 泛化误差的严格估计。提出了一个抽象框架，并采用底层反问题的条件稳定性估计来推导 PINN 泛化误差的估计，为在这种情况下使用 PINN 提供了严格的理由 ...

When and why PINNs fail to train: A neural tangent kernel perspective

物理信息神经网络（PINN）最近受到了极大的关注，因为它们能够灵活地处理涉及偏微分方程的各种正向和逆向问题。然而，尽管它们在实证上取得了显着的成功，但人们对这种受限神经网络在通过梯度下降进行训练期间的行为却知之甚少。更重要的是，人们对为什么此类模型有时根本无法训练的原因知之甚少 ...

On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks

物理信息神经网络（PINN）在将物理模型与有间隙和噪声的观测数据集成方面表现出了非凡的前景，但在要逼近的目标函数表现出高频或多尺度特征的情况下，它们仍然举步维艰。在这项工作中，我们通过神经正切核 (NTK) 理论的视角研究了这一限制，并阐明了 PINN 如何偏向于沿着其限制 NTK 的主导本征方向学习函数。利用这一观察结果，我们构建了采用时空和多尺度随机傅立叶特征的新颖架构，并证明了这种坐标嵌入层如何能够产生稳健且准确的 PINN 模型 ...