Multi-resolution Time-Series Transformer for Long-term Forecasting

时间序列预测 Transformer 的性能显着提高。最近的架构通过将时间序列分割成补丁并使用补丁作为标记来学习复杂的时间模式。补丁大小控制 Transformer 学习不同频率的时间模式的能力：较短的补丁对于学习局部高频模式是有效的，而挖掘长期季节性和趋势则需要较长的补丁。受这一观察的启发，我们提出了一种新颖的框架，即多分辨率时间序列变换器（MTST），它由多分支架构组成，用于在不同分辨率下对不同时间模式进行同步建模。与许多现有的时间序列变换器相比，我们采用相对位置编码，它更适合提取不同尺度的周期分量。对多个真实世界数据集的大量实验证明了 MTST 与最先进的预测技术相比的有效性 ...

FITS: Modeling Time Series with $10k$ Parameters

在本文中，我们介绍了 FITS，一种轻量级但功能强大的时间序列分析模型。与直接处理原始时域数据的现有模型不同，FITS 的运行原理是可以通过复频域中的插值来操纵时间序列。通过丢弃对时间序列数据影响可以忽略不计的高频成分，FITS 的性能可与时间序列预测和异常检测任务的最先进模型相媲美，同时具有仅约 10k$ 参数的非常紧凑的尺寸。这种轻量级模型可以轻松训练并部署在边缘设备中，为各种应用创造机会。该代码位于：\url{此 https URL} ...

MMFNet: Multi-Scale Frequency Masking Neural Network for Multivariate Time Series Forecasting

长期时间序列预测 (LTSF) 对于许多实际应用至关重要，例如电力消耗规划、财务预测和疾病传播分析。 LTSF 需要捕获输入和输出之间的远程依赖关系，由于复杂的时间动态和高计算需求，这带来了重大挑战。虽然线性模型通过采用频域分解来降低模型复杂性，但当前的方法通常假设平稳性并滤除可能包含关键短期波动的高频分量。在本文中，我们介绍了 MMFNet，这是一种新颖的模型，旨在通过利用多尺度掩蔽频率分解方法来增强长期多元预测。 MMFNet 通过将时间序列转换为不同尺度的频率段，同时采用可学习的掩模自适应地滤除不相关的分量，来捕获细粒度、中粒度和粗粒度的时间模式。对基准数据集的广泛实验表明，MMFNet 不仅解决了现有方法的局限性，而且始终取得了良好的性能。具体而言，与专为多元预测任务设计的最先进模型相比，MMFNet 的均方误差 (MSE) 降低了 6.0% ...

Reconstruction Guided Few-shot Network For Remote Sensing Image Classification

由于标记样本有限和土地覆盖类型的高度可变性，少镜头遥感图像分类具有挑战性。我们提出了一种重建引导的少镜头网络（RGFS-Net），它增强了对未见类别的泛化，同时保持了已见类别的一致性。我们的方法结合了掩模图像重建任务，其中部分输入被遮挡并重建，以鼓励语义丰富的特征学习。这项辅助任务增强了空间理解并改善了低数据设置下的阶级歧视。我们评估了 EuroSAT 和 PatternNet 数据集在 1-shot 和 5-shot 协议下的功效，我们的方法始终优于现有基线。所提出的方法简单、有效且与标准主干网兼容，为少样本遥感分类提供了稳健的解决方案。代码可从此 https URL 获取 ...

Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting

多水平预测问题通常包含复杂的输入组合，包括静态（即时不变）协变量、已知的未来输入以及仅在历史上观察到的其他外生时间序列，而没有任何关于它们如何与目标交互的先验信息。虽然已经提出了几种用于多步骤预测的深度学习模型，但它们通常包含黑盒模型，无法考虑常见场景中存在的全部输入。在本文中，我们介绍了时间融合 Transformer （TFT）——一种新颖的基于注意力的架构，它将高性能多水平预测与对时间动态的可解释洞察相结合。为了学习不同尺度的时间关系，TFT 利用循环层进行本地处理，并利用可解释的自注意力层来学习长期依赖性。 TFT 还使用专门的组件来明智地选择相关功能，并使用一系列选通层来抑制不必要的组件，从而在各种状态下实现高性能。在各种真实数据集上，我们展示了相对于现有基准的显着性能改进，并展示了 TFT 的三个实际可解释性用例 ...

VisionTS++: Cross-Modal Time Series Foundation Model with Continual Pre-trained Vision Backbones

最近的研究表明，通过将时间序列预测（TSF）重新表述为图像重建，在图像上预训练的视觉模型可以用作时间序列基础模型（TSFM）。然而，由于三个差异，从视觉到时间序列的有效跨模态传输仍然具有挑战性：（1）结构化、有界图像数据与无界、异构时间序列之间的数据模态差距； (2) 固定 RGB 三通道视觉模型与具有任意变量数量的时间序列之间的多元预测差距； (3)视觉模型的确定性输出与不确定性概率预测的要求之间的概率预测差距。为了弥补这些差距，我们提出了 VisonTS++，这是一种基于大规模时间序列视觉模型持续预训练的 TSFM。我们的方法引入了三个关键创新：（1）基于视觉模型的过滤来识别高质量序列，以稳定预训练并缩小模态差距； (2)彩色多元转换，将多元序列编码为多子图RGB图像，以增强跨变量建模； (3)多分位数预测，使用并行重建头生成分位数预测，无需参数假设。实验表明，VisionTS++ 在分布内和分布外预测方面均实现了最先进的性能，在 MSE 降低方面比专门的 TSFM 提高了 6%-44%，并在 GIFT-Eval 基准（包含 7 个领域的 23 个数据集）中排名第一。我们的工作表明，通过适当的调整，视觉模型可以有效地推广到 TSF，从而推进通用 TSFM 的追求。代码可从此 https URL 获取 ...

Time-FFM: Towards LM-Empowered Federated Foundation Model for Time Series Forecasting

与自然语言处理和计算机视觉不同，用于时间序列预测的基础模型（FM）的开发由于数据稀缺而受到阻碍。虽然最近的工作重点是通过释放语言模型 (LM) 用于时间序列分析的潜力来构建此类 FM，但各种下游预测任务的专用参数需要培训，这阻碍了跨领域的公共知识共享。此外，由于隐私问题和版权保护，数据所有者可能会犹豫是否共享对本地数据的访问，这使得在跨域训练实例上简单地构建FM变得不可能。为了解决这些问题，我们提出了 Time-FFM，这是一种利用预训练的 LM 进行时间序列预测的联邦基础模型。具体来说，我们首先将时间序列转换为文本标记的形式。为了引导 LM 进行时间序列推理，我们提出了一个提示适应模块来动态而不是人为地确定域定制的提示。考虑到跨领域的数据异构性，我们通过学习全局编码器和本地预测头来设计个性化的联合训练策略。我们的综合实验表明，Time-FFM 的性能优于最先进的技术，并有望实现有效的少样本和零样本预测 ...

A decoder-only foundation model for time-series forecasting

受自然语言处理（NLP）大型语言模型最新进展的推动，我们设计了一种用于预测的时间序列基础模型，其在各种公共数据集上的开箱即用的零样本性能接近每个单独数据集的最先进的监督预测模型的准确性。我们的模型基于在大型时间序列语料库上预训练修补解码器式注意力模型，并且可以在不同的预测历史长度、预测长度和时间粒度上良好地工作 ...

PrototypeFormer: Learning to Explore Prototype Relationships for Few-shot Image Classification

很少有射击图像分类因克服有限分类性能的挑战而受到新颖班级的有限样本的挑战，因此受到了极大的关注。大多数现有作品采用复杂的学习策略和功能学习模块来减轻这一挑战。在本文中，我们提出了一种名为PrototypeFormer的新颖方法，在几种镜头场景中探索了类别原型之间的关系 ...

Generation of Realistic Synthetic Raw Radar Data for Automated Driving Applications using Generative Adversarial Networks

模拟FMCW雷达的主要方法是基于射线跟踪，该方法通常在计算密集型上，不考虑背景噪声。这项工作提出了一种更快的方法，用于FMCW雷达模拟，能够使用生成对抗网络（GAN）生成合成原始雷达数据。代码和预训练的权重是开源的，可在GitHub上找到 ...