Long-term Forecasting with TiDE: Time-series Dense Encoder

最近的工作表明，在长期时间序列预测中，简单的线性模型可以优于几种基于 Transformer 的方法。受此启发，我们提出了一种基于多层感知器（MLP）的编码器-解码器模型，即时间序列密集编码器（TiDE），用于长期时间序列预测，它具有线性模型的简单性和速度，同时还能够处理协变量和非线性依赖性。从理论上讲，我们证明了我们模型的最简单的线性模拟可以在某些假设下实现线性动力系统（LDS）的接近最佳错误率 ...

TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting

Transformer 因其捕获长序列交互的能力而在时间序列预测中广受欢迎。然而，它们对内存和计算的高要求给长期预测带来了关键瓶颈。为了解决这个问题，我们提出了 TSMixer，这是一种轻量级神经架构，专门由多层感知器（MLP）模块组成，用于修补时间序列的多元预测和表示学习 ...

OneNet: Enhancing Time Series Forecasting Models under Concept Drift by Online Ensembling

时间序列预测模型在线更新旨在通过基于流数据高效更新预测模型来解决概念漂移问题。许多算法都是为在线时间序列预测而设计的，其中一些算法利用交叉变量依赖性，而另一些则假设变量之间的独立性。鉴于每个数据假设在在线时间序列建模中都有其自身的优点和缺点，我们提出 \textbf{On}line \textbf{e}nsembling \textbf{Net}work (OneNet) ...

Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations

大规模视觉语言预训练在多模态理解和生成任务中取得了显着的性能。然而，现有的方法通常在需要结构化表示的图像文本匹配任务上表现不佳，即 ...

MambaMixer: Efficient Selective State Space Models with Dual Token and Channel Selection

由于 Transformer 的数据依赖性和大规模学习能力，深度学习的最新进展主要依赖于 Transformer。然而，这些架构中的注意力模块在输入大小上表现出二次时间和空间，限制了它们长序列建模的可扩展性。尽管最近尝试为多维数据（例如图像和多元时间序列）设计高效且有效的架构主干，但现有模型要么是数据独立的，要么无法允许维度间和维度内通信 ...