我们提供了一个新颖的深层操作员网络(DeepOnet)架构,用于操作员学习,即EnsembleDewonet,该体系结构可以丰富具有多个不同的干线网络的单个Deeponet的中继网络。这种树干富集允许在一系列操作员学习问题上具有更大的表达性和概括能力。我们还提出了充满空间的Experts(MOE)DeepOnet Trunk网络体系结构,该网络架构利用单位(POU)近似来促进操作员学习问题中的空间位置和模型稀疏性 ...
在神经网络训练期间施加已知的物理约束,例如保护法,引入了一种感应偏见,可以提高对物理动态建模的准确性,可靠性,收敛性和数据效率。尽管可以通过损失函数惩罚轻轻施加此类限制,但是通过将PDE受限的优化纳入神经网络中的单个层,可区分物理学的最新进步和优化的性能提高了性能。这使得对物理约束更加更严格 ...
在这项工作中,我们设计了一种新的通用强化学习策略,以最佳控制参数部分微分方程(PDE)。当对照和/或状态变量分布在高维空间或依赖于不同参数时,在应用科学和工程中经常出现此类问题,并且在控制和/或状态变量时具有显着的复杂性。传统的数值方法依赖于迭代最小化算法或动态编程,虽然可靠,但通常在计算上变得不可行 ...
神经操作员已被探索为替代模型,用于模拟物理系统,以克服传统偏微分方程(PDE)求解器的局限性。但是,大多数现有的操作员学习方法都假定数据源自单个物理机制,从而在更现实的情况下限制了其适用性和性能。为此,我们提出了物理不变的注意神经操作员(钢琴),以破译和整合物理不变性(PI),以便从PDE系列中学习和各种物理机制从PDE系列中学习 ...
傅立叶神经操作员(FNOS)可以在功能空间之间学习高度非线性映射,并且最近成为学习复杂物理系统响应的流行工具。但是,为了达到良好的准确性和效率,FNO依赖于快速傅立叶变换(FFT),这仅限于在矩形域上建模问题。为了提高这种限制并允许对不规则的几何形状以及拓扑变化进行FFT,我们介绍了域不可知的傅立叶神经操作员(DAFNO),这是一种新型的神经操作员体系结构,用于学习具有不规则的几何形状和不断发展的领域的替代物 ...
大规模专家混合(MoE)模型的出现标志着人工智能的重大进步,通过条件计算提供了增强的模型容量和计算效率。然而,这些模型的部署和推理在计算资源、延迟和能源效率方面提出了巨大的挑战。这项全面的调查系统地分析了整个系统堆栈中 MoE 模型推理优化技术的当前状况 ...
本文介绍了一种新的基于神经网络的方法,即封闭式操作员网络(ICON),以同时从提示的数据中学习操作员,并在推理阶段将其应用于新问题,而没有任何重量更新。现有方法仅限于使用神经网络来近似特定方程解决方案或特定操作员,在切换到具有不同方程式的新问题时需要重新训练。通过培训单个神经网络作为操作员学习者,我们不仅可以摆脱新问题的神经网络(甚至是微调),还可以利用跨操作员共享的共同点,以便提示中只有几个演示学习新操作员时需要 ...
作为科学机器学习中的新兴范式,神经操作员的目的是通过神经网络学习无限函数函数空间之间的映射。最近开发了几个神经操作员。但是,所有现有的神经操作员仅旨在学习在单个Banach空间上定义的操作员,即 ...
我们提出了散文-FD,这是一种零拍的多模式PDE基础模型,用于同时预测与不同流体动力学设置相关的异质二维物理系统。这些系统包括浅水方程和带有不可压缩和可压缩流的Navier-Stokes方程,常规和复杂的几何形状以及不同的浮力设置。这项工作提出了一种新的基于 Transformer 的多手术方法,该方法融合了符号信息以执行基于操作员的数据预测 ...
使用神经网络近似非线性微分方程为各种科学计算任务(包括实时预测,反问题,最佳控制和替代建模)提供了强大而有效的工具。以前的工作通过两种方法将动态系统嵌入到网络中:学习一个解决方案操作员(即 ...