本文通过整合偏微分方程（PDE）、神经信息流理论和信息瓶颈理论，提出了一种新颖的统一理论框架，用于理解 Transformer 架构。我们将 Transformer 信息动态建模为连续的 PDE 过程，包括扩散、自注意力和非线性残差分量。我们跨图像和文本模态的综合实验表明，PDE 模型有效地捕获了 Transformer 行为的关键方面，实现了高相似度（余弦相似度 > 0 ...
科学机器学习（SciML）最近在计算科学和工程的许多不同领域取得了进展。目标是数据和物理无缝集成，而不需要采用复杂且计算繁重的数据同化方案。然而，成本、问题水资源、代码生成、后续处理和分析仍然非常运行，可能会阻碍 SciML 在工业应用和数字孪生框架中的广泛适用性... ...
学习连续时间动态图（CTDG）的有用表示具有挑战性，因为同时需要跨越长节点交互历史并掌握微妙的时间细节。特别是，出现了两个问题：（1）编码更长的历史需要更多的计算资源，这使得CTDG模型保持较低的计算复杂度以确保效率至关重要； （2）同时，需要更强大的模型来识别和选择较长历史提供的扩展上下文中最关键的时间信息。为了解决这些问题，我们提出了一种名为 DyGMamba 的 CTDG 表示学习模型，该模型源自流行的 Mamba 状态空间模型（SSM） ...
深度学习代理模型在启动偏微分方程（PDE）方面表现出了良好的前景。其中，傅里叶神经算子（FNO）在各种偏微分方程（如流体流动）上实现了良好的精度，并且与数值快捷键相比，速度明显更快。然而，FNO 使用快速傅立叶变换 (FFT)，该变换仅限于具有均匀网格的波形域 ... ...
未来编码技能有完全过渡到自然语言的巨大潜力。在这种背景下，大型语言模型（LLM）表现出了令人印象深刻的自然语言处理能力，可以为各个领域的研究任务生成复杂的计算机代码。我们报告了第一个关于 LLM 在模型材料中微结构图案形成的计算机实验中的适用性的研究 ...
我们考虑使用基于频域的离散学习方法（例如傅立叶神经算子）来求解由偏微分方程（PDE）控制的复杂时空动力系统。尽管它们广泛用于近似非线性偏微分方程，但大多数这些方法忽略了基本物理定律并且缺乏可解释性。我们通过引入具有灵活且可解释的误差控制的物理嵌入式傅里叶神经网络（PeFNN）来解决这些缺点 ...
物理信息神经网络 (PINN) 已成为解决偏微分方程 (PDE) 的强大框架，通过神经网络逼近偏微分方程的解并对损失函数施加基于物理的约束。传统上，多层感知器（MLP）是首选的神经网络，并且在优化其训练方面已经取得了重大进展。最近，柯尔莫哥洛夫-阿诺德网络（KAN）作为一种可行的替代方案被引入，它有可能提供更好的可解释性和效率，同时需要更少的参数 ...
近年来，Transformers 已成为文本和各种多维数据（例如图像和视频）序列建模的事实上的架构。然而，在 Transformer 中使用自注意力层会带来令人望而却步的计算和内存复杂性，其规模会呈二次方扩展 ...
近年来，应用深度学习解决物理问题备受关注。数据驱动的深度学习方法产生快速数值算子，可以学习整个偏微分方程组的近似解（即 ...
近年来，基于机器学习的物理系统建模引起了越来越多的兴趣。尽管取得了一些令人印象深刻的进展，但科学机器学习仍然缺乏易于使用但仍然具有挑战性且能够代表广泛问题的基准。我们推出 PDEBench，这是一个基于偏微分方程 (PDE) 的瞬态仿真任务基准套件 ...