BAdam: A Memory Efficient Full Parameter Training Method for Large Language Models

这项工作提出了 BAdam，这是一种优化器，它利用以 Adam 作为内部求解器的块坐标优化框架。 BAdam 提供了一种内存有效的方法来对大型语言模型进行全参数微调，并由于链式规则属性而减少了后向过程的运行时间。实验上，我们使用 BAdam 使用单个 RTX3090-24GB GPU 在 Alpaca-GPT4 数据集上对 Llama 2-7B 模型进行指令调整 ...

A Survey on Long Text Modeling with Transformers

对长文本进行建模一直是自然语言处理（NLP）领域的一项重要技术。随着长文档数量的不断增加，开发能够处理和分析此类文本的有效建模方法非常重要。然而，长文本具有更复杂的语义和特殊的特征，对现有文本模型提出了重要的研究挑战 ...

PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models

随着 LLM 参数的扩展，微调整个模型的计算成本变得令人望而却步。为了应对这一挑战，我们引入了 PEFT 方法、主奇异值和奇异向量自适应（PiSSA），它可以优化显着减小的参数空间，同时实现或超越全参数微调的性能。 PiSSA 受到 Intrinsic SAID 的启发，它表明预先训练的、过度参数化的模型存在于低内在维度的空间中 ...

QLoRA: Efficient Finetuning of Quantized LLMs

我们提出了 QLoRA，这是一种高效的微调方法，可减少内存使用量，足以在单个 48GB GPU 上微调 65B 参数模型，同时保留完整的 16 位微调任务性能。 QLoRA 通过冻结的 4 位量化预训练语言模型将梯度反向传播到低阶适配器 (LoRA) 中。我们最好的模型系列（我们将其命名为guanaco）在 Vicuna 基准测试中的表现优于所有之前公开发布的模型，达到 99 ...

LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models

高效的微调对于使大型语言模型 (LLM) 适应下游任务至关重要。然而，在不同的模型上实现这些方法需要付出很大的努力。我们推出了 LlamaFactory，一个集成了一套尖端高效训练方法的统一框架 ...

ChatGLM-RLHF: Practices of Aligning Large Language Models with Human Feedback

ChatGLM 是一项免费使用的人工智能服务，由 ChatGLM 大语言模型 (LLM) 系列提供支持。在本文中，我们提出了 ChatGLM-RLHF 管道——一种来自人类反馈的强化学习 (RLHF) 系统——指令ChatGLM-RLHF包含主要三个部分：人类偏好数据的收集、奖励模型的训练和策略的优化…… ... ...

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

我们提出了 LongLoRA，这是一种有效的微调方法，可以扩展预训练大型语言模型 (LLM) 的上下文大小，且计算成本有限。通常，训练具有长上下文大小的 LLM 的计算成本很高，需要大量的训练时间和 GPU 资源。例如，在 8192 的上下文长度上进行训练需要的自注意力层计算成本是 2048 的 16 倍 ...