QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning

大型语言模型需要大量的GPU内存，从而限制了选择大型模型的选择。虽然名为Qlora的低级适应技术的量化版本大大减轻了这个问题，但发现有效的洛拉等级仍然具有挑战性。此外，Qlora接受了预定义的等级的培训，因此，在不需要进一步的微调步骤的情况下，无法重新配置其较低的等级 ...

FedQuad: Adaptive Layer-wise LoRA Deployment and Activation Quantization for Federated Fine-Tuning

联合的微调（FEDFT）为对隐私敏感的场景提供了微调大语言模型（LLM）的有效范式。但是，由于最终设备的资源有限，实际部署仍然具有挑战性。现有方法通常利用参数有效的微调（PEFT）技术，例如低级适应（LORA），从而大大减少了通信开销 ...

Adaptive Federated LoRA in Heterogeneous Wireless Networks with Independent Sampling

Federated Lora已成为一种有前途的技术，可以通过减少可训练参数的数量来有效地对分布式设备进行大型语言模型（LLM）。但是，现有的方法通常不足以忽视系统和数据异质性的理论和实际含义，从而无法优化整体训练效率，尤其是在墙壁锁定时间方面。在本文中，我们提出了一种自适应联合的洛拉策略，并采用独立的客户抽样，以最大程度地减少在计算和通信异质性下联邦微调的融合壁锁定时间 ...

GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning

微调大语言模型（LLMS）在计算上是密集的，因为它需要更新所有参数。低级适应（LORA）通过仅修改一部分权重来提高效率，但引入了表达性和计算成本之间的权衡：较低的排名降低了资源，但限制了表现力，而较高的等级则在增加成本时提高表达能力。尽管自适应洛拉技术最近取得了进步，但现有方法未能提供理论基础来优化模型性能和效率之间的权衡 ...

ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs

传统的低级适应（LORA）方法采用固定等级，尽管具有异质学习动力学，但在 Transformer 层和注意力头之间施加了统一的适应性。本文介绍了自适应等级动态洛拉（ARD-lora），这是一个新颖的框架，可通过可学习的缩放系数自动化等级分配。这些因素是通过元观点平衡任务性能和参数效率进行了优化的，并结合了$ \ ell_1 $ sparsity的最低等级和稳定等级转换的总变化正则化 ...

Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity

低级适应（LORA）为联合语言模型的经过微调提供了有效的替代方法，可大大降低计算成本。通过调整每个客户端的等级，Federated Lora可以启用灵活的资源分配。但是，我们观察到，客户之间的异质等级导致性能不稳定 ...

An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems

深度神经网络的大小的最新增加使有效的分布式培训具有挑战性。许多建议利用了梯度的可压缩性，并提出了有损压缩技术，以加快分布式训练的通信阶段。然而，压缩是以降低模型质量和额外计算开销的成本来实现的 ...

Cost-Effective Federated Learning in Mobile Edge Networks

联合学习（FL）是一个分布式学习范式，它使大量移动设备能够在中央服务器的协调下协作学习模型，而无需共享其原始数据。尽管具有实际效率和有效性，但迭代的设备学习过程（例如 ...

Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models

尽管最近的大型视力模型（LVLM）在多模式任务中表现出了显着的性能，但它们很容易产生幻觉文本响应，这些响应与给定的视觉输入不符，这限制了它们在现实世界中的实际适用性。在这项工作中，受到观察的启发，即文本对图像生成过程是LVLMS中图像条件的响应生成的倒数，我们探讨了利用文本对图像生成模型的潜力，以帮助减轻LVLMS中的幻觉。我们发现，生成模型可以提供有价值的自我反馈，以减轻响应和 Token 水平的幻觉 ...

Unified Multimodal Chain-of-Thought Reward Model through Reinforcement Fine-Tuning

多模式奖励模型（RMS）的最新进展在提供奖励信号以使视力模型与人类偏好相结合时表现出了巨大的希望。但是，当前的RMS通常仅限于提供直接响应或参与深度有限的浅水推理过程，通常导致奖励信号不准确。我们认为，将明确的思想链（COT）纳入奖励推理过程可以显着增强其可靠性和鲁棒性 ...