Uncertainty-Aware Step-wise Verification with Generative Reward Models

对于大型语言模型（LLM），复杂的多步推理任务（例如解决数学问题）仍然具有挑战性。尽管通常使用结果监督，但通过过程奖励模型（PRMS）的过程监督提供了中间奖励，以验证解决方案轨迹中的逐步正确性。但是，作为人类判断的代理人，PRMS遭受了可靠性问题，包括奖励黑客的敏感性 ...

Process Reward Model with Q-Value Rankings

过程奖励建模（PRM）对于复杂的推理和决策任务至关重要，中间步骤的准确性显着影响总体结果。现有的PRM方法主要构成分类问题，采用跨凝结损失来独立评估每个步骤的正确性。此方法可以导致次优奖励分布，并且不能充分解决步骤之间的相互依赖性 ...

Better Process Supervision with Bi-directional Rewarding Signals

过程监督，即评估每个步骤，对于复杂的大语言模型（LLM）推理和测试时间搜索至关重要 ...

AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text

长期以来，创造力一直被认为是AI模仿人类智力最困难的方面之一。但是，大型语言模型（LLM）的兴起，例如Chatgpt，已经提出了有关AI是否可以匹配甚至超过人类创造力的问题。我们将创造力索引作为第一步，是通过从网络上的现有文本片段重新构造文本的语言创造力的第一步 ...

Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't

增强大语言模型（LLM）的推理功能通常依赖于大量的计算资源和广泛的数据集，从而限制了资源约束设置的可访问性。我们的研究调查了加固学习的潜力（RL）改善小型LLM的推理，重点是150亿个参数模型DeepSeek-R1-Distill-Qwen-1 ...

SuperBPE: Space Travel for Language Models

几乎所有语言模型（LM） Token 化方案的假设是， Token 应该是子词，即单词边界内包含 ...

Segmenting Text and Learning Their Rewards for Improved RLHF in Language Model

从人类反馈（RLHF）中学习的强化已被广泛采用，以使语言模型（LMS）与人类的偏好相结合。先前的RLHF作品通常采用匪徒配方，尽管直观，但它忽略了LM生成的顺序性质，可能会遇到稀疏的奖励问题。尽管最近的作品提出了密集的 Token 级别的rlhf，但将每个 Token 视为一项措施可能会超级奖励，以适当奖励任务 ...

Rewarding Progress: Scaling Automated Process Verifiers for LLM Reasoning

改善大语模型推理的一种有希望的方法是使用过程奖励模型（PRMS）。 PRM在多步推理跟踪的每个步骤中提供反馈，从而有可能改善仅在最后一步提供反馈的结果奖励模型（ORM）的信用分配。但是，收集密集的每步人类标签是不可扩展的，迄今为止，来自自动标记数据的训练PRM导致了有限的增长 ...

TLCR: Token-Level Continuous Reward for Fine-grained Reinforcement Learning from Human Feedback

人类反馈强化学习 (RLHF) 利用人类偏好数据来训练语言模型，使其更符合人类本质。然而，这些人类偏好数据是在序列级别进行标记的，导致序列级别偏好标签和标记之间不匹配，而标记是从语言模型自回归生成的。尽管最近的几种方法试图提供 Token 级别（即 ...

AdaptiveStep: Automatically Dividing Reasoning Step through Model Confidence

当前的培训过程奖励模型（PRM）的方法通常涉及使用基于规则的技术将响应分解为多个推理步骤，例如使用预定义的占位符 Token 或将推理步骤的长度设置为固定尺寸。这些方法忽略了以下事实：特定单词通常不会标记文本中的真实决策点。为了解决这个问题，我们提出了Adpaptivestep，该方法是根据模型对预测下一个单词的信心来划分推理步骤的方法 ...