FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining

图像去雨旨在消除雨天图像中的雨纹并恢复清晰的背景。目前，一些采用傅立叶变换的研究已被证明对于图像去雨是有效的，因为它可以作为捕获雨纹的有效频率。然而，尽管图像中存在低频和高频的依赖性，这些基于傅里叶的方法很少利用不同频率的相关性来结合其学习过程，限制了频率信息在图像去雨中的充分利用 ...

C-Mamba: Channel Correlation Enhanced State Space Models for Multivariate Time Series Forecasting

近年来，使用基于线性、基于变换器和基于卷积的模型进行多元时间序列预测取得了重大进展。然而，这些方法面临着显着的局限性：线性预测器在表示能力方面遇到困难，注意力机制受到二次复杂性的影响，并且卷积模型的感受野受到限制。这些限制阻碍了它们对复杂时间序列建模的有效性，特别是那些具有大量变量的时间序列 ...

DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training

人们对预训练进行了研究，以提高在数据稀缺环境中训练神经计算子的效率和性能。然而，由于偏微分方程（PDE）数据固有的复杂性和多样性，例如长测量、多测量和不同在本文中，我们提出了一种新的自回归去噪预训练策略，该策略可以对 PDE 进行更稳定、更高效的预训练，并推广到各种下游任务 ... ...

Unisolver: PDE-Conditional Transformers Are Universal PDE Solvers

深度模型最近已成为解决偏微分方程 (PDE) 的有前途的工具，称为神经 PDE 求解器。虽然根据模拟数据或物理信息损失训练的神经求解器可以很好地求解偏微分方程，但它们主要限于一组特定的偏微分方程，例如 ...

Transformers as Neural Operators for Solutions of Differential Equations with Finite Regularity

神经算子学习模型已经成为计算科学和工程学不同应用中偏微分方程（PDE）数据驱动方法中非常有效的替代品。这种算子学习模型不仅实时预测物理或生物系统的特定实例，而且还预测与初始和边界条件或强迫项的分布相对应的解的类别。 % DeepONet 是第一个神经算子模型，并且已经针对包括黎曼问题在内的广泛解决方案进行了广泛测试 ...

Space-Time Continuous PDE Forecasting using Equivariant Neural Fields

最近，条件神经场（NeF）通过学习条件 NeF 潜在空间中的流动解决方案，成为 PDE 的强大建模范例。尽管受益于 NeF 的有利特性，例如网格不可知性和时空连续动力学建模，但这种方法限制了对解决方案施加已知 PDE 约束的能力 - 例如 ...

Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models

多元时间序列建模是一个公认的问题，具有从医疗保健到金融市场的广泛应用。传统状态空间模型 (SSM) 因其简单性和表示线性依赖性的表达能力而成为单变量时间序列建模的经典方法。然而，它们从根本上限制了捕获非线性依赖性的表达能力，在实践中速度很慢，并且无法对变量间信息流进行建模 ...

PoinTramba: A Hybrid Transformer-Mamba Framework for Point Cloud Analysis

由于深度学习，点云分析已经取得了长足的进步，尽管以前基于 Transformer 的方法擅长对该任务的远程依赖关系进行建模，但它们的计算需求很大。相反，与基于 Transformer 的方法相比，Mamba 提供了更高的效率，但潜力有限。在本研究中，我们引入了 PoinTramba，这是一种开创性的混合框架，它将 Transformer 的分析能力与 Mamba 卓越的计算效率相结合，以增强点云分析 ...

Heracles: A Hybrid SSM-Transformer Model for High-Resolution Image and Time-Series Analysis

Transformer 通过 DeIT、Swin、SVT、Biformer、STVit 和 FDVIT 等改编彻底改变了图像建模任务。然而，这些模型经常面临归纳偏差和高二次复杂度的挑战，使得它们对于高分辨率图像的效率较低。 Mamba、V-Mamba、ViM 和 SiMBA 等状态空间模型 (SSM) 提供了在计算机视觉任务中处理高分辨率图像的替代方案 ...

Point Mamba: A Novel Point Cloud Backbone Based on State Space Model with Octree-Based Ordering Strategy

近年来，状态空间模型（SSM）因其在语言和图像领域的良好性能、线性复杂性和长序列建模能力而受到广泛关注。然而，由于SSM的因果关系要求以及点云的无序性和不规则性，将SSM扩展到点云领域并非易事。在本文中，我们提出了一种新颖的基于 SSM 的点云处理骨干网，名为 Point Mamba，具有因果关系感知排序机制 ...