无监督的大规模视力语言预训练已显示出各种下游任务的有希望的进步。现有的方法通常通过每种模态的全局特征的相似性对跨模式相互作用进行建模,该功能错过了足够的信息,或者在视觉和文本 Token 时使用交叉/自我注意力进行较细粒度的相互作用。但是,跨/自我发作在训练和推理中均具有较低的效率 ...
建模标签相关性始终在多标签图像分类(MLC)中起着关键作用,引起了研究人员的极大关注。但是,最近的研究过分强调了标签之间的共发生关系,这可能导致过度强调的风险过高,从而导致次优模型。为了解决这个问题,我们主张平衡标签之间的相关性和歧视性关系,以减轻过度拟合和增强模型性能的风险 ...
用户行为序列建模从丰富的历史互动中捕捉到用户的兴趣,这对于工业推荐系统来说至关重要。尽管排名阶段模型的突破能够利用长度扩展多达数千个长度的超长行为序列,但由于两个主要挑战,现有的检索模型仍被限制在数百个行为的序列上。一个是实时服务对大规模候选池施加的严格延迟预算 ...
大型语言模型(LLM)已用于财务决策,增强了投资策略的分析能力。传统的投资策略通常使用定量模型,基本分析和技术指标。但是,LLMS引入了新的功能,以处理和分析大量结构化和非结构化数据,提取有意义的见解并实时增强决策 ...
生成模型的扩散以及对网络规模数据进行预处理的结合提出了一个及时的问题:当这些模型受到自己生成的输出培训时会发生什么?对模型数据反馈回路的最新研究提出,这种循环将导致一种称为模型崩溃的现象,在该现象下,在每个模型数据反馈迭代中,性能逐渐降低,直到拟合模型变得毫无用处。但是,这些研究在很大程度上假定新数据随着时间的推移替换了旧数据,在这种情况下,可以说更现实的假设是数据随着时间的推移而积累。在本文中, ...
在许多情况下,表格数据分析至关重要,但是有效地识别新表的最相关数据分析查询和结果仍然是一个重大挑战。表格数据的复杂性,多样化的分析操作以及对高质量分析的需求使过程变得乏味。为了应对这些挑战,我们的目标是建议在表格数据分析工作流程中针对新桌子量身定制的查询代码分子三重态 ...
现代网络代理具有计算机使用能力,使他们可以通过将命令发送到虚拟键盘和鼠标来与网页进行交互。尽管此类代理具有很大的潜力来帮助人类用户完成复杂的任务,但评估其在现实世界中的能力却带来了重大挑战。为此,我们介绍了Bearcubs,这是111个寻求信息的问题的“小而强大”的基准,旨在评估Web代理的搜索,浏览和从Web中识别事实信息的能力 ...
因果关系和游戏理论是两个有影响力的领域,对各个领域的决策产生了重大贡献。因果关系定义了复杂政策问题中的因果关系,而游戏理论则可以洞悉具有竞争利益的利益相关者之间的战略互动。整合这些框架已导致重大的理论进步,并有可能改善决策过程 ...