将代码包含在预训练数据混合物中，即使对于不是专门为代码设计的模型，也已成为 LLM 预训练中的常见做法。虽然从业者之间有一个共识，即代码数据在一般 LLM 的表现中起着至关重要的作用，但分析代码对非代码任务的精确影响的工作却很有限。在这项工作中，我们系统地研究了代码数据对总体性能的影响 ...
我们发现，神经语言模型的交叉熵损失曲线在经验上遵循学习率（LR）在训练步骤（$s$）上退火的缩放法则：$$L(s) = L_0 + A\cdot S_1^{ -\alpha} - C\cdot S_2$$ 其中 $S_1$ 是前向区域，$S_2$ 是学习率退火区域。该公式考虑了两个因素：（1）定义为典型缩放定律的前向缩放，以及（2）LR 退火带来的额外损耗下降。因此，这个公式可以描述每一步的完整损失曲线，而不是训练结束时的单个损失点 ...
高质量的数据对于大型语言模型的预训练性能至关重要。不幸的是，现有的质量过滤方法依赖于已知的高质量数据集作为参考，这可能会引入潜在的偏差并损害多样性。在本文中，我们提出了 ScalingFilter，这是一种基于在相同数据上训练的两种语言模型之间的困惑度差异来评估文本质量的新方法，从而消除了过滤过程中参考数据集的影响 ...
本文介绍了 Aquila2 系列，该系列包含参数大小为 7、34 和 700 亿的多种双语模型。这些模型基于名为 HeuriMentor (HM) 的创新框架进行训练，该框架提供对模型收敛的实时洞察并增强训练过程和数据管理。 HM系统由自适应训练引擎（ATE）、训练状态监视器（TSM）和数据管理单元（DMU）组成，可以精确监控模型的训练进度，并有效优化数据分布，从而提高训练效果 ...
复杂推理是大型语言模型（LLM）所表现出的令人印象深刻的能力。大多数LLM都演绎出精美的推理，例如思维链提示或使用迭代工具逐步解决具有挑战性的任务。在论文中，我们希望重点评估和LLM教授进行推断推理，即LLM应该通过观察样本或顺序转换来推断潜在规则... ...
近年来，大型语言模型（LLM）的兴起刺激了对即插即用人工智能系统的需求不断增长。在各种人工智能技术中，即时工程尤为重要。然而，由于陡峭的学习曲线和大量的时间投入，用户在编写提示时经常面临挑战，并且现有的自动提示工程（APE）模型可能难以使用 ...
在本文中，我们研究了潜在增强大型语言模型（LLM）数学推理能力的潜在因素。我们认为，现代 LLM 数学推理能力的数据缩放定律远未达到饱和，这凸显了模型的质量如何随着数据量的增加而提高。为了支持这一说法，我们引入了 Skywork-Math 模型系列，使用我们提出的 2 对常见 7B LLM 进行监督微调 (SFT) ...
大多数语言模型预训练框架将多个文档连接成固定长度的序列，并使用因果屏蔽来计算每个标记在给定上下文的情况下的可能性；该策略因其简单和高效而被广泛采用。然而，迄今为止，预训练序列组成策略对模型泛化特性的影响仍未得到充分探索。在这项工作中，我们发现应用因果屏蔽可能会导致在预训练期间包含来自先前文档的干扰信息，这会对模型在语言建模和下游任务上的性能产生负面影响 ...
将大型语言模型 (LLM) 与人类结合起来是在各种语言任务中有效利用其预先训练的能力的关键一步。当前的指令调优实践通常依赖于扩展数据集大小，而没有明确的策略来确保数据质量，这可能会无意中引入噪声并降低模型性能。为了应对这一挑战，我们引入了 Nuggets，这是一种新颖且高效的方法，它采用一次性学习从广泛的数据集中选择高质量的指令数据 ...
与人类偏好保持一致可以防止大型语言模型 (LLM) 生成误导性或有毒内容，同时需要高成本的人类反馈。假设人类注释资源有限，有两种不同的分配方式可供考虑：更多样化的提示或更多样化的待标记响应。尽管如此，它们的影响之间还没有直接的比较 ...