预测交通场景中的人体轨迹对于混合或完全自主系统中的安全至关重要。人类未来的轨迹由两大刺激驱动：社交互动和随机目标。因此，可靠的预测需要捕捉这两种刺激 ...

大型语言模型（LLM）在各个领域和智能代理应用中取得了显着的进步。然而，目前从人类或外部模型监督中学习的 LLM 成本高昂，并且随着任务复杂性和多样性的增加可能面临性能天花板。为了解决这个问题，使 LLM 能够自主获取、完善模型本身生成的经验并从中学习的自我进化方法正在迅速发展 ...

大型语言模型 (LLM) 在预训练过程中学习大量知识，但它们常常忘记这些知识的来源。我们研究了内在源引用的问题，其中 LLM 需要引用支持生成的响应的预训练源。内在来源引用可以提高 LLM 的透明度、可解释性和可验证性 ...

梯度下降优化算法虽然越来越流行，但经常被用作黑盒优化器，因为很难对其优点和缺点进行实际解释。本文旨在为读者提供有关不同算法行为的直觉，以便他们能够使用它们。在本概述的过程中，我们研究了梯度下降的不同变体，总结了挑战，介绍了最常见的优化算法，回顾了并行和分布式设置中的架构，并研究了优化梯度下降的其他策略 ...

在大量源代码上进行预训练的大型语言模型 (LLM) 在代码智能方面取得了显着进展。然而，现有的代码 LLM 在架构和预训练任务方面有两个主要限制。首先，它们通常采用特定的架构（仅编码器或仅解码器）或依赖统一的编码器-解码器网络来完成不同的下游任务 ...

实验的可重复性和可复制性是机器学习的关键主题。作者经常对缺乏提高该领域质量的科学出版物表示担忧。近年来，图表示学习领域引起了广泛研究界的关注，并产生了大量的研究成果 ...

大规模预训练以及针对特定任务的微调在各种 NLP 任务中取得了巨大成功。由于微调大型预训练模型的所有参数会带来巨大的计算和内存挑战，因此开发了几种有效的微调方法。其中，低秩适应（LoRA）在冻结预训练权重的基础上对低秩增量更新矩阵进行微调，已被证明特别有效 ...

大规模文本到图像的扩散模型取得了惊人的进步。然而，现状是单独使用文本输入，这会妨碍可控性。在这项工作中，我们提出了 GLIGEN（接地语言到图像生成），这是一种基于现有预训练文本到图像扩散模型并扩展其功能的新颖方法，使它们也能够以接地输入为条件 ...