众所周知，大型语言模型（LLM）的外推能力有限，超出了预训练的上下文窗口，从而限制了其在带有冗长输入的下游任务中的应用。最近的研究试图通过修改旋转位置嵌入（ROPE）来扩展LLMS的上下文窗口，这是一种流行的位置编码方法，该方法由众所周知的LLMS（例如Llama，Palm和GPT-Neox）采用。但是，诸如位置插值（PI）和纱线之类的先前工作是资源密集的，缺乏比较实验来评估其适用性 ...
深度学习已成功应用于许多应用领域，但其在时间序列预测方面的优势却迟迟没有显现出来。例如，在著名的 Makridakis (M) 竞赛中，传统统计或机器学习技术的混合体最近才成为表现最好的选手。随着深度学习的最新架构进步被应用于时间序列预测（例如，时间序列预测） ...
Transformers 在自然语言处理和计算机视觉的许多任务中取得了优越的性能，这也引发了时间序列社区的极大兴趣。在 Transformer 的众多优势中，捕获远程依赖关系和交互的能力对于时间序列建模尤其有吸引力，从而在各种时间序列应用中取得了令人兴奋的进展。在本文中，我们系统地回顾了用于时间序列建模的 Transformer 方案，强调了它们的优点和局限性 ...
时间序列在金融、医疗保健、物联网和智慧城市中有广泛的应用。在许多此类应用中，时间序列通常包含个人数据，因此如果直接向公众发布，可能会侵犯隐私。最近，本地差分隐私（LDP）已成为保护数据隐私的最先进方法 ...
时间序列数据以其内在的长期和短期依赖性为特征，对分析应用程序提出了独特的挑战。虽然基于 Transformer 的模型擅长捕获远程依赖性，但它们在噪声敏感性、计算效率以及较小数据集的过度拟合方面面临限制。为此，我们引入了一种新颖的时间序列轻量级自适应网络（TSLANet），作为各种时间序列任务的通用卷积模型 ...