LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning

自大型语言模型 (LLM) 首次出现以来，机器学习社区取得了令人瞩目的进步，但其巨大的内存消耗已成为大规模训练的主要障碍。人们提出了诸如低秩适应（LoRA）之类的参数高效微调技术来缓解这个问题，但它们的性能在大多数大规模微调设置中仍然无法与全参数训练相匹配。为了弥补这一缺陷，我们研究了 LoRA 在微调任务上的分层特性，并观察到不同层之间权重规范的罕见偏斜 ...