在许多现实世界应用中,时间表分析非常重要。最近,在自然语言处理中流行的 Transformer 模型已被利用,以学习从时间表的高质量功能嵌入,核心到各种时间表分析任务的性能。但是,二次的时间和空间复杂性限制了变形金刚的可伸缩性,尤其是对于长时间工作 ...
交通模拟旨在学习一项交通代理的政策,当在闭环中展开时,忠实地恢复了现实世界中观察到的轨迹的共同分布。受大型语言模型的启发, Token 化的多代理政策最近已成为交通模拟的最新策略。但是,它们通常是通过开环行为克隆训练的,因此在模拟过程中在闭环中执行时会遭受协方差偏移 ...
反事实解释是对机器学习决策做出本地解释的常见方法。对于给定的实例,这些方法旨在找到特征值的最小修改,以改变机器学习模型做出的预测决策。反事实解释的挑战之一是有效地产生了现实的反事实 ...
预训练的语言模型(PLM)在培训和微调范式下的各种自然语言处理(NLP)任务中取得了巨大成功。 PLM具有大量参数,是计算密集型和渴望资源的。因此,已引入模型修剪以压缩大规模的PLM ...
预测点击率(CTR)是Web应用程序的一项基本任务,其中关键问题是为特征互动设计有效的模型。当前的方法论主要集中在单个样本中的建模特征相互作用上,同时忽略了可以用作增强预测的参考环境的潜在跨样本关系。为了弥补这种缺陷,本文开发了检索功能的 Transformer (大鼠),旨在获得样品内部和跨样品内部和跨样品中的细粒特征相互作用 ...
随着在线购物、视频观看网站等在线服务中内容页面和交互按钮的增加,工业规模的推荐系统面临着多领域、多任务推荐的挑战。多任务、多领域推荐的核心是在给定多种用户行为的情况下 ...
数据分析对于生成描述性统计的机器学习至关重要,支持更深入的理解和下游任务(例如数据评估和策划)。这项工作专门针对大型语言模型(Code-llms)的代码数据集进行分析,其中数据质量直接影响了诸如代码生成和摘要之类的任务。用编程语言概念来表征代码数据集可以使更好的见解和有针对性的数据策划 ...
在线教育平台通过提供动态和数字基础架构来大大改变了教育资源的传播。随着这种转变的进一步增强,大语言模型的出现(LLM)提高了这些平台的智能水平。但是,当前的学术基准为实际行业方案提供了有限的指导 ...