由于高度动态的性质,域的适应性对于时间序列分类是具有挑战性的。当目标标签和源数据都无法访问,即无源域的适应性时,这项研究将解决最困难的子任务。为了重用在源数据上预先训练的分类主干,时间序列重建是一种声音解决方案,可以通过最大程度地减少两者的重建误差来对齐目标和源时间序列 ...
大型语言模型的学习已成为确保安全和受控模型行为的关键挑战,通过在保留通用公用事业的同时,从预算模型中删除不希望的数据模型。最近的重大努力致力于开发LLM学习的基准,例如WMDP(大规模杀伤性武器)和Muse(机器六向评估),促进了标准化的不学习绩效评估和方法比较。尽管它们有用,但我们首次在这些基准中发现了新的核心效应 ...
在这项工作中,我们提出了一种多模式卷积神经网络(CNN)方法,以进行脑肿瘤分割。 We investigate how to combine different modalities efficiently in the CNN this http URL adapt various fusion methods, which are previously employed on video re ...
在下游任务上微调大型预训练语言模型已成为nlp的重要范例。然而,常见的做法是对预训练模型中的所有参数进行微调,当存在大量下游任务时,这会变得令人望而却步。因此,提出了许多微调方法,以参数有效的方式学习预训练权重的增量更新 ...
对比语言图像预训练(剪辑)是建立现代视觉基础模型的重要组成部分。尽管剪辑在下游任务上表现出了显着的零射击性能,但多模式特征空间仍然存在模态差距,这是图像和文本特征簇和下游任务性能之间的差距。尽管现有的作品试图通过修改预培训或微调来解决模式差距,但他们在较大的数据集或零照片性能的降解方面遇到了沉重的培训成本 ...
信息检索(IR)系统传统上旨在最大化基于排名(例如精度或NDCG)的指标。但是,排名操作的非差异性可阻止最先进的神经IR模型中此类指标的直接优化,这些指标完全依赖于计算有意义的梯度的能力。为了解决这个缺点,我们提出了Smoothi,这是秩指标的平滑近似值,它是设计IR指标可区分近似值的基本构件 ...
大型深度学习模型已在各种任务中实现了最先进的表现。这些模型通常需要分布式系统以进行有效的培训和推理。分布式模型执行的基本构建块是层内并行操作员 ...
用于生成AI的大型语言模型(LLM)取得了显着的进步,并发展成为各个领域和应用程序广泛采用的复杂和多功能工具。但是,由其大量参数造成的大量内存开销,再加上注意机制的高计算需求,在实现LLM推理服务的低潜伏期和高吞吐量方面构成了重大挑战。在开创性研究的推动下,最近的进步已大大加快了这一领域的进步 ...