UniST: A Prompt-Empowered Universal Model for Urban Spatio-Temporal Prediction

城市时空预测对于交通管理、资源优化和城市规划等明智决策至关重要。尽管自然语言的预训练基础模型已经取得了显着的突破，其中一种通用模型可以处理跨不同领域的多项任务，但城市时空建模仍然落后。现有的城市预测方法通常是针对特定的时空场景量身定制的，需要特定于任务的模型设计和广泛的域内训练数据 ...

Building Transportation Foundation Model via Generative Graph Transformer

高效的交通管理对于维持城市流动性至关重要，特别是在人口稠密的地区，那里的拥堵、事故和延误可能会导致通勤令人沮丧和昂贵。然而，现有的预测方法在优化单一目标和理解交通系统的复杂组成方面面临挑战。而且缺乏对宏观系统的理解能力，无法有效利用大数据 ...

Spatial-Temporal Large Language Model for Traffic Prediction

交通预测是智能交通系统的关键组成部分，致力于利用历史数据预测特定位置的未来交通。尽管现有的交通预测模型往往强调开发复杂的神经网络结构，但其准确性并没有相应的提高。最近，大型语言模型（LLM）在时间序列分析方面表现出了出色的能力 ...

ST-LLM: Large Language Models Are Effective Temporal Learners

大型语言模型 (LLM) 在文本理解和生成方面展示了令人印象深刻的能力，推动了视频 LLM 的研究工作，以促进视频级别的人机交互。然而，如何在基于视频的对话系统中有效地编码和理解视频仍有待解决。在本文中，我们研究了一个简单但尚未探索的问题：我们能否将所有时空标记输入到 LLM 中，从而将视频序列建模的任务委托给 LLM ？令人惊讶的是，这种简单的方法显着提高了视频理解能力 ...

ImputeFormer: Low Rankness-Induced Transformers for Generalizable Spatiotemporal Imputation

丢失数据是科学和工程任务中普遍存在的问题，特别是对于时空数据的建模。这个问题吸引了许多研究来为机器学习解决方案做出贡献。现有的插补解决方案主要包括低秩模型和深度学习模型 ...

Towards better traffic volume estimation: Jointly addressing the underdetermination and nonequilibrium problems with correlation-adaptive GNNs

交通量是为交通管理和控制提供细粒度信息不可或缺的要素。然而，由于交通传感器的部署有限，获取全面的交通量信息绝非易事。该主题的现有工作主要集中于提高特定方法的整体估计精度，而忽略了体积估计的潜在挑战，从而在一些关键任务上表现不佳 ...

Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale

时空城市数据 (STUD) 显示复杂的相关模式。人们设计了广泛的先进技术来捕获这些模式以进行有效的预测。然而，由于 STUD 的规模通常很大，因此从业者需要通过选择计算效率高的模型来在有效性和效率之间取得平衡 ...

Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering

将大型语言模型 (LLM) 部署到特定领域问答 (QA) 的真实场景中是 LLM 应用程序的关键推动力，这带来了许多挑战，特别是在确保响应既满足用户需求又适当利用特定领域知识方面基地。这是LLM申请的两大难点，普通的微调无法解决。结合这些要求，我们将它们视为模型偏好与人类偏好和谐一致的要求 ...

Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey

大型语言模型 (LLM) 极大地推进了自然语言处理 (NLP) 领域的发展，为广泛的应用提供了非常有用、与任务无关的基础。然而，直接应用 LLM 来解决特定领域的复杂问题会遇到许多障碍，这些障碍是由领域数据的异构性、领域知识的复杂性、领域目标的唯一性以及约束的多样性造成的 ...

Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook

时态数据，特别是时间序列和时空数据，在现实世界的应用中很普遍。它们捕获动态系统测量结果，并由物理和虚拟传感器大量生成。分析这些数据类型对于利用它们所包含的丰富信息至关重要，从而有利于广泛的下游任务 ...