Llama-Nemotron: Efficient Reasoning Models

我们介绍了Llama-Nemotron系列模型，这是一个开放的异构推理模型家族，可提供出色的推理能力，推理效率和企业使用的开放许可。这个家庭有三种尺寸 - 纳米（8b），Super（49b）和Ultra（253b） - 并与最先进的推理模型（例如DeepSeek-R1）一起竞争，同时提供了出色的推理吞吐量和记忆效率。在本报告中，我们讨论了这些模型的培训程序，这些模型需要使用Llama 3模型的神经体系结构搜索进行加速推理，知识蒸馏和持续预处理，然后进行以推理为中心的训练后阶段，由两个主要部分组成：受监管的精细调整和大规模增强学习 ...

Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning

我们介绍了熵引导的序列加权（EGSW），这是一种新颖的方法，通过根据其优势和基于增强学习的大型语言模型微调的优势和熵将权重动态分配给生成的输出，从而增强了探索 - 探索折衷的权衡。 EGSW将熵正则和基于优势的加权整合到平衡策略更新，从而在高维状态空间中有效探索。通过在序列上采用温度尺寸的软效果加权，EGSW在保持训练稳定性的同时优先考虑高回报，高度确定的步骤 ...

Heimdall: test-time scaling on the generative verification

AI系统只能在可以验证知识本身的范围内创建和维护知识。关于长期思考推理的最新工作表明了LLM在解决竞争问题上的巨大潜力，但是他们的验证能力仍然是弱的，并且不充分研究。在本文中，我们提出了Heimdall，这是可以准确判断解决方案正确性的长床验证LLM ...

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

最近，类似O1的模型引起了极大的关注，这些模型产生了长期的经过经过经过思考（COT）的推理步骤，以提高现有大型语言模型（LLMS）的推理能力。在本文中，为了了解这些长床的素质并衡量这些长床上现有LLM的批评能力，我们介绍了Deltabench，包括来自不同O1型模型的生成的长床（例如， ...

Uncertainty-Aware Step-wise Verification with Generative Reward Models

对于大型语言模型（LLM），复杂的多步推理任务（例如解决数学问题）仍然具有挑战性。尽管通常使用结果监督，但通过过程奖励模型（PRMS）的过程监督提供了中间奖励，以验证解决方案轨迹中的逐步正确性。但是，作为人类判断的代理人，PRMS遭受了可靠性问题，包括奖励黑客的敏感性 ...

Process Reward Model with Q-Value Rankings

过程奖励建模（PRM）对于复杂的推理和决策任务至关重要，中间步骤的准确性显着影响总体结果。现有的PRM方法主要构成分类问题，采用跨凝结损失来独立评估每个步骤的正确性。此方法可以导致次优奖励分布，并且不能充分解决步骤之间的相互依赖性 ...

Better Process Supervision with Bi-directional Rewarding Signals

过程监督，即评估每个步骤，对于复杂的大语言模型（LLM）推理和测试时间搜索至关重要 ...

AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text

长期以来，创造力一直被认为是AI模仿人类智力最困难的方面之一。但是，大型语言模型（LLM）的兴起，例如Chatgpt，已经提出了有关AI是否可以匹配甚至超过人类创造力的问题。我们将创造力索引作为第一步，是通过从网络上的现有文本片段重新构造文本的语言创造力的第一步 ...

Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't

增强大语言模型（LLM）的推理功能通常依赖于大量的计算资源和广泛的数据集，从而限制了资源约束设置的可访问性。我们的研究调查了加固学习的潜力（RL）改善小型LLM的推理，重点是150亿个参数模型DeepSeek-R1-Distill-Qwen-1 ...

SuperBPE: Space Travel for Language Models

几乎所有语言模型（LM） Token 化方案的假设是， Token 应该是子词，即单词边界内包含 ...