arxiv Parameter-Efficient Transfer Learning with Diff Pruning

名称
Parameter-Efficient Transfer Learning with Diff Pruning
首页
https://yiyibooks.cn/arxiv/2012.07463v2/index.html
原始地址
https://arxiv.org/pdf/2012.07463
描述
尽管经过预审慎的网络的特定任务填充导致了NLP的重大经验进步,但大型网络使得填充很难在多任务,内存约束的设置中部署。我们提出DIFF修剪作为一种简单的方法,以在预处理框架内启用参数有效的转移学习。这种方法将列式调查视为学习特定于任务的DIFF向量,该向量是在预验证的参数向量上应用的,该参数向量保持固定并在不同的任务中共享 ...