虽然大型预训练模型在各种下游任务上取得了令人印象深刻的结果,但最大的现有模型仍然会出错,甚至随着时间的推移,即使准确的预测也可能会过时。由于在训练时检测所有此类故障是不可能的,因此需要使此类模型的开发人员和最终用户能够纠正不准确的输出 ...
本文介绍了pytorch 分布式数据并行模块的设计、实现和评估。 pytorch是一种广泛采用的科学计算包,用于深度学习研究和应用。深度学习的最新进展证明了大型数据集和大型模型的价值,这需要能够将模型训练扩展到更多的计算资源... ...
最近将Pareto Front Learning(PFL)作为一种有效的方法引入,以获取从给定的权衡矢量到Pareto Front上的解决方案,该方法解决了多目标优化(MOO)问题。由于目标相互冲突之间的固有权衡,PFL在许多情况下提供了一种灵活的方法,在许多情况下,决策者无法指定一个帕累托解决方案而不是另一个帕累托解决方案,并且必须根据情况而切换它们。但是,现有的PFL方法忽略了在优化过程中解决 ...
尽管计算机科学在基础模型中取得了显着的进步,但在地球科学中仍然没有得到充实的发展。在解决这一差距的情况下,我们引入了一个工作流程,以开发地球物理基础模型,包括数据准备,模型预训练以及对下游任务的适应性。从192个全球收集的3-D地震量,我们创建了一个经过精心策划的数据集,该数据集为2,286,422 2-D地震图像 ...
有效地将外部知识纳入大语言模型(LLM)对于增强其能力和满足现实世界需求至关重要。检索增强的生成(RAG)提供了一种有效的方法来实现此目的,通过将最相关的片段检索到LLM中。但是,LLM的上下文窗口大小的进步提供了一种替代方法,提出了一个问题,即抹布是否对于有效处理外部知识仍然是必要的 ...
多目标优化(MOO)问题在机器学习中很普遍。这些问题具有一组最佳解决方案,称为Pareto Front,其中前面的每个点代表可能冲突的目标之间的不同权衡。最近的MOO方法可以针对损失空间中的特定所需射线,但是,大多数方法仍然面临两个严重的限制:(i)必须为前面的每个点培训单独的模型; (ii)必须在优化过程之前知道确切的权衡 ...
直到最近,机器人的安全研究主要是关于避免碰撞和机器人附近危险的危险。由于大型视觉和语言模型(VLM)的出现,机器人现在也能够与人类具有更高级别的语义场景理解和自然语言互动。尽管它们已知的漏洞(e ...
基金会模型由于能够进行准确的预测能力,即使在特定数据集上进行微调,因此基础模型在预测中变得流行。在本文中,我们演示了如何将TABPFN的新发布的回归变体(一种通用表基础模型)应用于时间序列预测。我们提出了一种直接的方法,即TABPFN-TS,将TABPFN与简单的功能工程配对,以实现强大的预测性能 ...