推理，设计和执行复杂的面向目标的动作序列的过程仍然是AI的关键挑战。当前的大型语言模型（LLMS）主要采用经营链（COT）技术，这些技术遭受了脆弱的任务分解，广泛的数据需求和高潜伏期。受到人脑中的层次和多时间处理的启发，我们提出了分层推理模型（HRM），这是一种新型的经常性架构，在保持训练稳定性和效率既具有训练稳定性和效率上都具有显着的计算深度 ...

本文介绍了Helix，这是一种用于异质GPU群集中的高通量，低延迟大语言模型（LLM）的分布式系统。 Helix背后的关键思想是在异质GPU和网络连接上制定LLM的推理计算，作为定向，加权图上的最大流量问题，其节点代表GPU实例，而边缘通过其容量来捕获GPU和网络异质性。然后，Helix使用混合整数线性编程（MILP）算法来发现高度优化的策略，可在异质GPU上使用LLMS ...

在本文中，我们通过关联记忆的角度分享了对变形金刚体系结构的理解和见解，这是一个受人类认知启发的经典心理概念。我们从关联记忆的基础知识开始（想想简单的线性注意力），然后介入两个维度：内存容量：变形金刚能真正记住多少，以及有多好？我们介绍了检索SNR来衡量这一点，并使用内核观点来数学上揭示了为什么软马克斯的注意力如此有效。我们还展示了如何将FFN视为一种关联记忆，从而有助于其设计和潜在的改进 ...

大规模的预培训从根本上改变了当今的机器学习研究：大型基础模型经过培训，然后可以被社区中的任何人（包括没有数据或计算资源的人使用来从头开始培训模型的人）以适应并遵守特定任务。将相同的框架应用于加固学习（RL）具有吸引力，因为它为解决RL的核心挑战提供了令人信服的途径，包括样本效率和鲁棒性。但是，在RL的背景下，预先培训的大型模型仍然存在着根本的挑战：行动具有长期的依赖性，因此训练一个基础模型，跨时间 ...

尽管最近的大型视力模型（LVLM）在多模式任务中表现出了显着的性能，但它们很容易产生幻觉文本响应，这些响应与给定的视觉输入不符，这限制了它们在现实世界中的实际适用性。在这项工作中，受到观察的启发，即文本对图像生成过程是LVLMS中图像条件的响应生成的倒数，我们探讨了利用文本对图像生成模型的潜力，以帮助减轻LVLMS中的幻觉。我们发现，生成模型可以提供有价值的自我反馈，以减轻响应和 Token 水平 ...

多模式奖励模型（RMS）的最新进展在提供奖励信号以使视力模型与人类偏好相结合时表现出了巨大的希望。但是，当前的RMS通常仅限于提供直接响应或参与深度有限的浅水推理过程，通常导致奖励信号不准确。我们认为，将明确的思想链（COT）纳入奖励推理过程可以显着增强其可靠性和鲁棒性 ...

忠实的图像超分辨率（SR）不仅需要恢复看起来很现实的图像，类似于图像生成任务，而且还要求恢复的图像保持忠诚度和与输入的结构一致性。为此，我们提出了一种名为Faithdiff的简单有效的方法，以完全利用忠实图像SR的潜在扩散模型（LDMS）的令人印象深刻的力量。与现有的基于扩散的SR方法相反，该方法冻结了在高质量图像上预先训练的扩散模型，我们建议在识别有用的信息并恢复忠实的结构之前释放扩散 ...

尽管自我监督的方法已导致视觉表示学习的快速进步，但这些方法通常使用相同的镜头处理对象和场景。在本文中，我们专注于对物体和场景的学习表示，这些对象和场景保留了它们之间的结构。通过观察到在表示空间中接近视觉上相似的对象的动机，我们认为场景和对象应该基于其组成性遵循层次结构 ...