A Technical Survey of Reinforcement Learning Techniques for Large Language Models

强化学习（RL）已成为一种变革性的方法，用于结盟和增强大型语言模型（LLMS），应对以下教学，道德一致性和推理能力的关键挑战。这项调查为RL与语言模型的整合奠定了全面的基础，突出了突出的算法，例如近端政策优化（PPO），Q学习和参与者 - 批判性方法。此外，它提供了专门针对LLM的RL技术的广泛技术概述，包括从人类反馈（RLHF）和AI反馈（RLAIF）进行强化学习的基础方法，以及直接偏好优化（DPO）等先进策略（DPO）和小组相对策略优化（GRPO） ...

Mobile-Agent-v3: Foundamental Agents for GUI Automation

本文介绍了Gui-Owl，这是一种基础GUI代理模型，在台面和移动环境的十个GUI基准上，在开源端到端模型之间实现了最先进的性能，涵盖了接地，问题答案，计划，计划，决策，决策和程序知识。 GUI-OWL-7B在Androidworld上达到66.4和29 ...

Youtu-GraphRAG: Vertically Unified Agents for Graph Retrieval-Augmented Complex Reasoning

图形检索仪（GraphRag）通过将零散的知识组织到明确结构的图中，从而有效地增强了复杂推理中的大型语言模型。已经采取了先前的努力来孤立地改善图形构造或图形检索，从而产生次优性能，尤其是在发生域移动时。在本文中，我们提出了一个垂直统一的代理范式Youtu-Graphrag，以将整个框架共同连接为复杂的集成 ...

PrismRAG: Boosting RAG Factuality with Distractor Resilience and Strategized Reasoning

检索效果（RAG）在检索到上下文时通常不足，包括混淆半相关段落，或者回答问题时需要深入的上下文理解和推理。我们提出了一个有效的微调框架，称为Prismrag，该框架（i）用干扰者意识到的QA对模型进行训练，将黄金证据与微妙的干扰物段落混合在一起，以及（ii）以推理为中心的习惯，使LLM计划，合理化并综合不依赖于人类工程的人类工程指导，使LLM计划使LLM计划进行合成。 Prismrag在跨越各种应用程序域和方案的12个开放式抹布QA基准测试中进行了评估，将平均事实提高了5 ...

Forging Time Series with Language: A Large Language Model Approach to Synthetic Data Generation

SDFORGER是一种灵活，有效的框架，用于使用LLMS生成高质量的多元时间序列。 SDFORGER利用紧凑的数据表示，从几个样品中提供了合成时间序列的生成，并对任何自回旋LLM的低计算进行微型调整。具体而言，该框架将单变量和多变量信号转换为表格嵌入，然后将其编码为文本并用于微调LLM ...

Trinity-RFT: A General-Purpose and Unified Framework for Reinforcement Fine-Tuning of Large Language Models

Trinity-RFT是一种通用，灵活且可扩展的框架，旨在加强大型语言模型的微调（RFT）。它是由脱钩的设计构建的，由（1）RFT核组成，该核核统一和概括了同步/异步，policy/policy/policy/off-policy以及RFT的在线/离线模式，（2）无缝整合，以使代理 - 环境互动以高效效率和稳健性以及（3）系统pipeliness ipline pipeliness ipline in floces-Environal互动。 Trinity-RFT可以轻松适应各种应用程序方案，并用作探索高级强化学习范式的统一平台 ...

Data Shapley in One Training Run

数据Shapley提供了一个原则上的框架，用于将数据贡献归因于机器学习环境。但是，现有的方法需要对不同数据子集进行重新训练模型，这在计算密集型集中取消了其对大规模模型的应用。此外，它们为通过运行学习算法产生的任何模型产生相同的归因分数，这意味着他们无法对从算法的单个运行中获得的特定模型执行有针对性的归因 ...

Reinforcement Learning with Non-Markovian Rewards

标准RL世界模型是马尔可夫决策过程（MDP）。 MDP的基本前提是奖励仅取决于最后一个状态和行动。然而，许多现实世界的奖励都是非马克维亚人 ...

Reward Models in Deep Reinforcement Learning: A Survey

在加强学习（RL）中，代理人不断与环境相互作用，并使用反馈来完善其行为。为了指导策略优化，将奖励模型作为所需目标的代理引入，以便当代理最大化累积的奖励时，它也满足了任务设计师的意图。最近，学术研究人员和工业研究人员的重大关注都集中在开发奖励模型上，这些奖励模型不仅与真正的目标紧密相符，而且还促进了政策优化 ...

Sufficient Context: A New Lens on Retrieval Augmented Generation Systems

通过上下文增强LLM会导致许多应用程序的性能提高。尽管对检索增强产生（RAG）系统的研究很多，但一个空旷的问题是，由于LLMS未能从检索中使用上下文或上下文本身不足以回答查询，因此是否出现错误。为了阐明这一点，我们开发了一个新的有足够上下文的概念，以及一种对实例进行分类的方法，这些实例有足够的信息来回答查询 ...