随着大型语言模型（LLM）已变得越来越多地计算和记忆密集型，参数有效的微调（PEFT）方法现在是微调LLM的常见策略。流行的PEFT方法是低级适配器（LORA），它为选定的层增添了可训练的低级“适配器”。每个适配器由低级矩阵乘积组成，乘以等级依赖性因子 ...
在本文中，我们提出了一种简单而有效的方法来稳定极深的 Transformer 。具体而言，我们引入了一个新的归一化函数（DeepNorm），以修改 Transformer 中的残差连接，并伴随理论得出的初始化。深入的理论分析表明，模型更新可以稳定地界定 ...
部分标签学习（PLL）是一个重要的弱监督学习问题，它允许每个培训示例具有候选标签集，而不是单个地面真相标签。已经广泛探索了基于识别的方法，以解决PLL中的标签歧义问题，这些方法将真正的标签视为要识别的潜在变量。但是，确定正确且完全具有挑战性的真实标签，在模型训练过程中导致伪标签中的噪声 ...