随着预期型型号（PMS）的不断增长，对它们进行微调变得更加昂贵和渴望。作为一种补救措施，低级适配器（LORA）将模型的主要审计权重冻结，只是在模型中引入了一些可学习的截短SVD模块（所谓的Lora块）。虽然洛拉块是参数效率的，但它们遇到了两个主要问题：首先，这些块的大小是固定的，无法在训练后修改（例如，如果我们需要更改Lora块的排名，那么我们需要从Scratch重新培训它们）；其次，优化其排名需要详尽的搜索和精力 ...