arxiv Progressive Prompts: Continual Learning for Language Models

阅 读

Star 0
名称
Progressive Prompts: Continual Learning for Language Models
首页
https://yiyibooks.cn/arxiv/2301.12314v1/index.html
原始地址
https://arxiv.org/abs/2301.12314
描述
我们引入渐进式提示 - 一种简单而有效的语言模型持续学习方法。我们的方法允许前向传输并防止灾难性遗忘，而不依赖于数据重放或大量特定于任务的参数。渐进式提示为每个任务学习一个新的软提示，并按顺序将其与先前学习的提示连接起来，同时保持基本模型冻结 ...