ScalingFilter: Assessing Data Quality through Inverse Utilization of Scaling Laws

高质量的数据对于大型语言模型的预训练性能至关重要。不幸的是，现有的质量过滤方法依赖于已知的高质量数据集作为参考，这可能会引入潜在的偏差并损害多样性。在本文中，我们提出了 ScalingFilter，这是一种基于在相同数据上训练的两种语言模型之间的困惑度差异来评估文本质量的新方法，从而消除了过滤过程中参考数据集的影响 ...

Aquila2 Technical Report

本文介绍了 Aquila2 系列，该系列包含参数大小为 7、34 和 700 亿的多种双语模型。这些模型基于名为 HeuriMentor (HM) 的创新框架进行训练，该框架提供对模型收敛的实时洞察并增强训练过程和数据管理。 HM系统由自适应训练引擎（ATE）、训练状态监视器（TSM）和数据管理单元（DMU）组成，可以精确监控模型的训练进度，并有效优化数据分布，从而提高训练效果 ...

Case2Code: Learning Inductive Reasoning with Synthetic Data

复杂推理是大型语言模型（LLM）所表现出的令人印象深刻的能力。大多数LLM都演绎出精美的推理，例如思维链提示或使用迭代工具逐步解决具有挑战性的任务。在论文中，我们希望重点评估和LLM教授进行推断推理，即LLM应该通过观​​察样本或顺序转换来推断潜在规则... ...

PAS: Data-Efficient Plug-and-Play Prompt Augmentation System

近年来，大型语言模型（LLM）的兴起刺激了对即插即用人工智能系统的需求不断增长。在各种人工智能技术中，即时工程尤为重要。然而，由于陡峭的学习曲线和大量的时间投入，用户在编写提示时经常面临挑战，并且现有的自动提示工程（APE）模型可能难以使用 ...

Skywork-Math: Data Scaling Laws for Mathematical Reasoning in Large Language Models -- The Story Goes On

在本文中，我们研究了潜在增强大型语言模型（LLM）数学推理能力的潜在因素。我们认为，现代 LLM 数学推理能力的数据缩放定律远未达到饱和，这凸显了模型的质量如何随着数据量的增加而提高。为了支持这一说法，我们引入了 Skywork-Math 模型系列，使用我们提出的 2 对常见 7B LLM 进行监督微调 (SFT) ...

Analysing The Impact of Sequence Composition on Language Model Pre-Training

大多数语言模型预训练框架将多个文档连接成固定长度的序列，并使用因果屏蔽来计算每个标记在给定上下文的情况下的可能性；该策略因其简单和高效而被广泛采用。然而，迄今为止，预训练序列组成策略对模型泛化特性的影响仍未得到充分探索。在这项工作中，我们发现应用因果屏蔽可能会导致在预训练期间包含来自先前文档的干扰信息，这会对模型在语言建模和下游任务上的性能产生负面影响 ...

One Shot Learning as Instruction Data Prospector for Large Language Models

将大型语言模型 (LLM) 与人类结合起来是在各种语言任务中有效利用其预先训练的能力的关键一步。当前的指令调优实践通常依赖于扩展数据集大小，而没有明确的策略来确保数据质量，这可能会无意中引入噪声并降低模型性能。为了应对这一挑战，我们引入了 Nuggets，这是一种新颖且高效的方法，它采用一次性学习从广泛的数据集中选择高质量的指令数据 ...

Scaling Data Diversity for Fine-Tuning Language Models in Human Alignment

与人类偏好保持一致可以防止大型语言模型 (LLM) 生成误导性或有毒内容，同时需要高成本的人类反馈。假设人类注释资源有限，有两种不同的分配方式可供考虑：更多样化的提示或更多样化的待标记响应。尽管如此，它们的影响之间还没有直接的比较 ...

Rethinking LLM Language Adaptation: A Case Study on Chinese Mixtral

Mixtral是一种代表性的稀疏专家混合（SMoE）语言模型，由于其独特的模型设计和优越的性能而受到广泛关注。在Mixtral-8x7B-v0.1的基础上，本文提出了Chinese-Mixtral和Chinese-Mixtral-Instruct，通过进一步的预训练和指令微调，提高了汉语能力 ...

Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models

指令调优有潜力激发或增强大型语言模型 (LLM) 的特定功能。然而，实现数据的正确平衡对于防止灾难性遗忘和任务之间的干扰至关重要。为了解决这些限制并提高训练灵活性，我们提出了 Mixture-of-LoRAs (MoA) 架构，这是一种新颖且参数高效的调整方法，专为 LLM 的多任务学习而设计 ...