诸如Tensorflow和Pytorch之类的深度学习框架为在单个设备上或使用数据并行性上表达和训练深神经网络(DNN)模型提供了一种有效的接口。尽管如此,它们可能在训练分布式设备上出现的大型模型方面可能不够灵活或有效,这需要更复杂的并行性超出数据并行性。已经开发出插件或包装器来加强这些框架的模型或管道并行性,但它们使分布式深度学习的使用和实施变得复杂 ...
跨域顺序推荐(CDSR)旨在根据跨多个域的历史互动来预测未来的用户互动。 CDSR中的主要挑战是通过完全利用内部序列和序列项目相互作用来有效地捕获跨域用户偏好。在本文中,我们提出了一种新颖的方法,即用于跨域顺序推荐(IFCDSR)的图像融合,该方法结合了项目图像信息以更好地捕获视觉偏好 ...
大型语言模型(LLM)的多代理系统显示出自动化现实世界任务的希望,但由于其特定于领域的性质而努力转移跨域。当前的方法面临两个关键的缺点:当应用于新域时,它们需要完整的体系结构重新设计和对所有组件进行全面重新培训。我们介绍了劳动力,这是一种层次多代理框架,将战略规划从专业执行中解散到一个模块化体系结构,包括:(i)用于任务分解的域 - 无关计划者,(ii)子任务管理的协调员,以及(iii)具有特定特 ...
我们在z = 5.077处提出了一个宽线活跃的银河核(AGN),并通过Jades和Blackthunder Surveys观察到NIRSPEC/MSA和NIRSPEC/IFU。该目标展示了“小红点”(LRD)AGN的所有标志性特征 ...
这项工作概述了高性能加强学习政策部署背后的技术细节,并使用现货RL研究人员开发套件,用于波士顿动力学现场的低级运动访问。这代表了第一次公开演示,即通过NVIDIA ISAACLAB公开获得的培训代码在现场硬件上部署的端到端最终增强学习政策,并通过Boston Dynamics获得了部署代码。我们利用Wasserstein距离和最大平均差异来量化在硬件和模拟中收集的数据的分布差异,以测量我们的SIM ...
我们提出GSPMD,这是一种基于自动编译器的平行化系统,用于通用机器学习计算。它允许用户以与单个设备相同的方式编写程序,然后通过一些注释如何分发张量,以根据哪个GSPMD并行化计算来提供提示。它对分区的表示非常简单,但允许其在各种模型上表达平行性的不同或混合范式 ...
跟随指导使现代大型语言模型(LLMS)有帮助的助手。但是,在复杂说明中驯服LLM的关键仍然是神秘的,因为由开源社区培训的模型与由领先公司培训的模型之间存在巨大差距。为了弥合差距,我们为构建LLM的简单可扩展的方法提出了一个可以遵循带有开源数据的复杂说明的Ultraif ...
大型语言模型(llm)理解和遵循自然语言指令的能力对于其在复杂的现实应用程序中的部署至关重要。现有的评估主要关注碎片化的约束或狭隘的场景,却忽视了从用户角度考虑约束的全面性和真实性。为了弥补这一差距,我们提出了cfbench,这是一个针对llm的大规模综合约束基准,具有1,000个精选样本,涵盖200多个现实生活场景和50多个现实生活场景和50多个NLP任务... ...