- 名称
- AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
- 描述
大规模预训练以及针对特定任务的微调在各种 NLP 任务中取得了巨大成功。由于微调大型预训练模型的所有参数会带来巨大的计算和内存挑战,因此开发了几种有效的微调方法。其中,低秩适应(LoRA)在冻结预训练权重的基础上对低秩增量更新矩阵进行微调,已被证明特别有效 ...
大规模预训练以及针对特定任务的微调在各种 NLP 任务中取得了巨大成功。由于微调大型预训练模型的所有参数会带来巨大的计算和内存挑战,因此开发了几种有效的微调方法。其中,低秩适应(LoRA)在冻结预训练权重的基础上对低秩增量更新矩阵进行微调,已被证明特别有效 ...