准确有效的多元时间序列(MTS)预测对于诸如交通管理和天气预测等应用程序至关重要,这些应用程序取决于捕获实体之间的长期时间依赖性和相互作用。现有的方法,尤其是基于 Transformer 体系结构的方法,在所有时间步骤中计算成对依赖性,从而导致计算复杂性随输入的长度四倍地缩放。为了克服这些挑战,我们通过使用片段(焦点)的离线聚类介绍了预报器,这是MTS预测的一种新型方法,通过使用通过离线聚类提取的 ...
基于斑块的 Transformer 的时间序列预测可实现卓越的精度。但是,这种优势在很大程度上依赖于具有大量参数的复杂模型设计,使培训和推理既昂贵又呈昂贵,从而阻止了他们在资源有限和延迟要求低的边缘设备上的部署。此外,现有方法通常以自回归方式起作用,仅考虑历史价值,但忽略了有价值的,易于获取的上下文信息,例如天气预报,一天中的日期和时间 ...
文本嵌入式有关原始文本的文本嵌入方式有多少私人信息?我们研究了嵌入\ textIt {倒置}的问题,重建了密集文本嵌入的全文。我们将问题框起来是受控的生成:生成文本,当重新安装后,即接近潜在空间中的固定点。我们发现,尽管以嵌入方式为条件的幼稚模型的性能差,但迭代校正和重新装饰文本的多步法可以恢复$ 92 \%的$ of $ 32 \ $ 32 \ text {-token} $ text Inpu ...
大型语言模型(LLMS)必须遵循具有详尽要求的说明(即以下复杂说明) ...
在本文中,我们从傅立叶分析的角度研究了深度学习中的对抗性攻击和防御问题。我们首先明确地计算了深层神经网络的傅立叶变换,并表明神经网络傅立叶光谱中存在衰减但非零的高频成分。我们证明,神经网络对对抗样本的脆弱性可以归因于这些微不足道但非零的高频成分 ...
Recent advancements in Multi-modal Large Language Models (MLLMs) have led to significant progress in developing GUI agents for general tasks such as web browsing and mobile phone use. However, their a ...
视觉生成模型在从文本提示中创建逼真的图像方面取得了显着的进步,但是在具有精确空间关系和属性的多个对象的复杂提示中挣扎。有效处理此类提示需要明确推理语义内容和空间布局。我们提出了GOT-R1,该框架应用了增强学习以增强视觉生成中的语义空间推理 ...
通常由中心线图建模的车道拓扑对于高级自主驾驶至关重要。对于高质量的图,中心线段的拓扑连接和空间连续性都是至关重要的。但是,大多数现有方法在忽略连接性的同时更加关注连接性 ...