Transformer 凭借其出色的全局建模能力，已成为点云分析任务的基础架构之一。然而，注意力机制具有二次复杂度，使得具有全局建模的线性复杂度方法的设计具有吸引力。在本文中，我们提出了PointMamba，将最近的代表性状态空间模型（SSM）Mamba的成功从NLP转移到点云分析任务 ...
在这项工作中，我们首次证明基于 Mamba 的点云方法可以优于基于点的方法。 Mamba 展现出强大的全局建模能力和线性计算复杂性，使其对于点云分析极具吸引力。为了使 Mamba 能够更有效地处理 3D 点云数据，我们提出了一种新颖的一致遍历序列化，将点云转换为 1D 点序列，同时确保序列中的相邻点在空间上相邻 ...
福克-普朗克 (FP) 方程是随机过程中的基础偏微分方程。然而，维数灾难 (CoD) 在处理高维 FP 偏微分方程时提出了挑战。尽管蒙特卡罗和普通物理信息神经网络 (PINN) 已显示出解决 CoD 问题的潜力，但这两种方法在处理与布朗运动相关的概率密度函数 (PDF) 时都会出现高维数值误差 ...
神经网络的经典发展主要集中于学习有限维欧几里得空间之间的映射。最近，这已被推广到学习函数空间之间映射的神经算子。对于偏微分方程 (PDE)，神经算子直接学习从任何函数参数依赖性到解的映射 ...
Transformer 广泛采用注意力网络进行序列混合，采用 MLP 进行通道混合，在实现跨领域突破方面发挥着关键作用。然而，最近的文献强调了注意力网络的问题，包括低归纳偏差和有关输入序列长度的二次复杂性。 S4 等状态空间模型 (SSM)（Hippo、Global Convolutions、liquid S4、LRU、Mega 和 Mamba）的出现是为了解决上述问题，以帮助处理更长的序列长度 ...
Transformer 在各个领域实现了许多里程碑，最近还被应用于求解偏微分方程 (PDE)。然而，由于偏微分方程通常被离散成具有复杂几何形状的大规模网格，因此 Transformer 直接从大量单个点捕获复杂的物理相关性具有挑战性。超越表面和笨拙的网格，我们基于一个更基本的想法提出 Transolver，即学习隐藏在离散几何图形背后的内在物理状态 ...
深度模型最近已成为解决偏微分方程 (PDE) 的有前途的工具，称为神经 PDE 求解器。虽然根据模拟数据或物理信息损失训练的神经求解器可以很好地求解偏微分方程，但它们主要限于一组特定的偏微分方程，例如 ...
本文介绍了 PDEformer，这是一种偏微分方程 (PDE) 的神经求解器，能够同时求解各种类型的 PDE。我们主张以计算图的形式表示偏微分方程，以促进偏微分方程固有的符号和数值信息的无缝集成。采用图 Transformer 和隐式神经表示 (INR) 来生成无网格预测解 ...
状态空间模型（SSM）在某些模式中展示了最先进的序列建模性能，但在语言建模中表现不佳。此外，尽管序列长度几乎是线性缩放而不是二次缩放，但由于硬件利用率较差，SSM 仍然比 Transformer 慢。在本文中，我们在理解语言建模中 SSM 和注意力之间的表达能力差距以及减少 SSM 和注意力之间的硬件障碍方面取得了进展 ...
本文介绍了 PDEformer，这是一种偏微分方程 (PDE) 的神经求解器，能够同时求解各种类型的 PDE。我们主张以计算图的形式表示偏微分方程，以促进偏微分方程固有的符号和数值信息的无缝集成。采用图 Transformer 和隐式神经表示 (INR) 来生成无网格预测解 ...