Meta-learning framework with applications to zero-shot time-series forecasting

元学习能否从不同的数据集中发现处理时间序列（TS）的通用方法，从而大大提高来自不同数据集的新 TS 的泛化能力？这项工作使用广泛的元学习框架为此提供了积极的证据，我们展示了该框架包含许多现有的元学习算法。我们的理论分析表明，残差连接充当元学习适应机制，根据给定的 TS 输入生成任务特定参数的子集，从而逐渐扩展动态架构的表达能力。通过线性化分析显示了相同的机制，以解释最终线性层的顺序更新 ...

PatchFormer: An Efficient Point Transformer with Patch Attention

点云学习社区见证了从 CNN 到 Transformer 的建模转变，其中纯 Transformer 架构在主要学习基准上实现了最高的准确性。然而，现有的点 Transformer 的计算成本很高，因为它们需要生成一个大的注意力图，而该注意力图相对于输入大小具有二次复杂度（在空间和时间上）。为了解决这个缺点，我们引入了补丁注意力（PAT）来自适应地学习一组小得多的基础来计算注意力图 ...

Advancing Long-Term Multi-Energy Load Forecasting with Patchformer: A Patch and Transformer-Based Approach

在现实应用中对长期多能源负荷预测的需求不断增长的背景下，本文介绍了 Patchformer，这是一种将补丁嵌入与基于 Transformer 的编码器-解码器架构相集成的新颖模型。为了解决现有基于 Transformer 的模型在长期预测中与复杂的时间模式作斗争的局限性，Patchformer 采用补丁嵌入，通过将多变量时间序列数据分离为多个单变量数据并将每个数据分割为多个补丁来预测多变量时间序列数据。该方法有效增强了模型捕获局部和全局语义依赖关系的能力 ...

A Survey on Self-supervised Learning: Algorithms, Applications, and Future Trends

深度监督学习算法通常需要大量标记数据才能获得令人满意的性能。然而，收集和标记此类数据的过程可能既昂贵又耗时。自监督学习（SSL）是无监督学习的一个子集，旨在从未标记的数据中学习判别性特征，而不依赖于人工注释的标签 ...

Traffic Prediction with Transfer Learning: A Mutual Information-based Approach

在现代交通管理中，最重要但最具挑战性的任务之一是准确、及时地预测交通。经过充分的调查和检验，基于深度学习的时空模型在利用交通数据中的时空关系时具有优势。通常，数据驱动模型需要大量数据，但由于设备部署和维护成本等限制，在小城市收集数据可能很困难 ...

Cross-City Transfer Learning for Deep Spatio-Temporal Prediction

时空预测是城市计算中的关键类型任务，例如交通流量和空气质量 ...

Representation Learning: A Review and New Perspectives

机器学习算法的成功通常取决于数据表示，我们假设这是因为不同的表示可以或多或少地纠缠和隐藏数据背后变化的不同解释因素。尽管特定领域知识可用于帮助设计表示，但也可以使用通用先验进行学习，并且对人工智能的追求正在激励设计更强大的表示学习算法来实现此类先验。本文回顾了无监督特征学习和深度学习领域的最新工作，涵盖概率模型、自动编码器、流形学习和深度网络的进展 ...

Self-Supervised Contrastive Learning for Long-term Forecasting

由于处理长序列的时间和内存复杂性，长期预测提出了独特的挑战。现有的方法依靠滑动窗口来处理长序列，很难有效地捕获部分捕获在短窗口内的长期变化（即 ...

MLP-Mixer: An all-MLP Architecture for Vision

卷积神经网络 (CNN) 是计算机视觉的首选模型。最近，基于注意力的网络，例如 Vision Transformer，也变得流行。在本文中，我们表明，虽然卷积和注意力都足以获得良好的性能，但它们都不是必需的 ...

Long-term Forecasting with TiDE: Time-series Dense Encoder

最近的工作表明，在长期时间序列预测中，简单的线性模型可以优于几种基于 Transformer 的方法。受此启发，我们提出了一种基于多层感知器（MLP）的编码器-解码器模型，即时间序列密集编码器（TiDE），用于长期时间序列预测，它具有线性模型的简单性和速度，同时还能够处理协变量和非线性依赖性。从理论上讲，我们证明了我们模型的最简单的线性模拟可以在某些假设下实现线性动力系统（LDS）的接近最佳错误率 ...