Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

通过监督微调（SFT）利用人工注释数据的力量对于推进大型语言模型（LLM）至关重要。在本文中，我们深入探讨了在无需获取额外人工注释数据的情况下，从较弱的法学硕士中培养出较强的法学硕士的前景。我们提出了一种新的微调方法，称为自玩微调（SPIN），它从监督微调模型开始 ...

Self-Play Preference Optimization for Language Model Alignment

传统的人类反馈强化学习 (RLHF) 方法依赖于 Bradley-Terry 模型等参数模型，无法捕捉人类偏好中的不及物性和非理性。最近的进展表明，直接使用偏好概率可以更准确地反映人类偏好，从而实现更灵活和准确的语言模型对齐。在本文中，我们提出了一种基于自我博弈的语言模型对齐方法，该方法将问题视为恒定和两人博弈，旨在确定纳什均衡策略 ...

Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens

虽然大型语言模型（LLM）被广泛使用，但由于其训练数据不透明，人们对隐私、安全和版权方面的担忧日益增加，这带来了检测预训练数据的问题。目前解决这个问题的方法是利用机器学习隐私领域探索的技术，例如成员推理攻击（MIA），这在很大程度上依赖于 LLM 的逐字记忆能力。然而，这种依赖带来了挑战，特别是考虑到大量的训练数据和有限的有效训练周期数量 ...

Gemma 2: Improving Open Language Models at a Practical Size

在这项工作中，我们介绍了 Gemma 2，它是 Gemma 系列轻量级、最先进的开放模型的新成员，参数规模从 20 亿到 270 亿不等。在这个新版本中，我们对 Transformer 架构进行了一些已知的技术修改，例如交错局部全局注意力（Beltagy 等人，2020a）和组查询注意力（Ainslie 等人） ...

Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment

由于不同的数据分布，使通用大语言模型（LLM）适应专业领域提出了巨大的挑战。这种适应通常需要对大量特定领域的语料库进行持续的预训练，以促进知识记忆，然后根据人类的指示和偏好进行训练以应用这些知识。然而，这种方法可能会由于缺乏知识利用意识而导致知识记忆效率低下，并且对 LLM 在有限的训练样本下同时学习知识利用和格式对齐提出了很高的要求 ...

Educating LLMs like Human Students: Structure-aware Injection of Domain Knowledge

本文提出了一种称为 StructTuning 的开创性方法，可有效地将基础大型语言模型 (LLM) 转变为领域专家。它将训练语料库需求显着降低至仅 0.3%，同时实现了令人印象深刻的传统知识注入性能的 50% ...

Weaver: Foundation Models for Creative Writing

这项工作介绍了 Weaver，这是我们第一个致力于内容创建的大型语言模型 (LLM) 系列。 Weaver 在精心挑选的语料库上进行了预训练，该语料库专注于提高大型语言模型的写作能力。然后，我们针对创意和专业写作目的对 Weaver 进行微调，并使用一套新颖的指令数据合成和 LLM 对齐方法使其符合专业作家的偏好，使其能够生成更接近人类的文本并遵循更多样化的指令用于内容创作 ...