尽管最近的AI-for-Math在纯数学方面取得了长足的进步,但尽管现实世界中使用了重要的现实应用,但应用数学(尤其是PDE)的应用领域仍未得到充实。我们提出了PDE-Controller,该框架使大型语言模型(LLMS)能够控制由部分微分方程(PDE)控制的系统。我们的方法使LLM可以将非正式的自然语言指令转换为形式规格,然后执行推理和计划步骤以改善PDE控制的效用 ...
基础模型(例如大型语言模型)已在解决各种语言和图像处理任务方面取得了成功。在这项工作中,我们引入了一种用于科学问题的多模态基础模型,名为 PROSE-PDE。我们的模型专为双模态到双模态学习而设计,是一种多算子学习方法,可以预测时空系统的未来状态,同时学习物理系统的基础控制方程 ...
大多数现有的图像图形器将图像编码为固定数量的 Token 或补丁,从而忽略了图像复杂性的固有可变性。为了解决这个问题,我们介绍了内容自适应 Token (CAT),该 Token 机(CAT)基于图像内容动态调整表示能力,并将更简单的图像编码为更少的 Token 。我们设计了一个基于字幕的评估系统,该系统利用大型语言模型(LLM)预测内容复杂性并确定给定图像的最佳压缩比,考虑到对人类感知至关重要的因素 ...
在计算科学和工程领域,构建反映现实现象的模型需要解决不同条件的偏微分方程(PDE)。神经操作员的最新进展,例如深层操作员网络(DeepOnet),这些网络学习无限维函数空间之间的映射,保证在单个正向通行中为新条件的PDE解决方案有效计算。但是,经典的deponet需要在评估过程中涉及输入维度的二次复杂性 ...
我们介绍了神经预处理操作员(NPO),这是一种新型方法,旨在加速Krylov求解器,以解决源自部分微分方程(PDES)的大型稀疏线性系统。与经常需要大量调整和努力以跨越不同的网格或参数概括的古典预调节器不同,NPO雇用通过条件和残留损失训练的神经操作员。该框架与现有的神经网络模型无缝集成,有效地用作提高Krylov子空间方法性能的预处理 ...
部分微分方程是建模科学和自然系统(例如流体动力学和天气预报)的基础。 PDE方法的潜在演变旨在通过提出可扩展有效的替代方案来解决经典和深度学习的PDE求解器的计算强度。为了提高LE-PDE的效率和准确性,我们合并了Mamba模型,Mamba模型是一种以其预测效率和鲁棒性在处理复杂的动态系统中使用渐进学习策略而闻名的高级机器学习模型 ...
最近引入了Kolmogorov-Arnold网络(KANS)作为MLP的替代表示模型。本文中,我们采用KAN来构建物理知识的机器学习模型(Pikans)和Deep Operator模型(DeepOkans)来解决远期和反问题的微分方程。特别是,我们将它们与基于标准MLP表示形式的物理信息的神经网络(PINN)和深度操作员网络(DeperOnets)进行了比较 ...
磁铁(MT)正向建模对于提高MT反转的准确性和效率至关重要。神经操作员(NOS)已有效地用于快速MT向前建模,证明了它们在解决MT向前建模相关的部分微分方程(PDES)方面的表现。特别是,他们可以在任意位置和频率上获得电磁场 ...
使用神经方法解决部分微分方程(PDE)一直是一项长期的科学和工程研究。物理知识的神经网络(PINN)已成为解决PDE的传统数值方法的有希望的替代方法。但是,特定于领域的知识与深度学习专业知识之间的差距通常限制了PINN的实际应用 ...
上下文算子网络 (ICON) 是使用少量上下文方法学习跨不同类型偏微分方程的算子的模型。尽管它们成功地推广到了各种偏微分方程,但现有方法将每个数据点视为单个标记,并且在处理密集数据时存在计算效率低下的问题,从而限制了它们在更高空间维度的应用。在这项工作中,我们提出了视觉上下文操作网络(VICON),它结合了视觉变换器架构,可以通过分片操作有效地处理 2D 函数 ...