语言模型预培训语料库中存在的样式，域和质量水平的大量多样性对于发展通用模型功能至关重要，但是在这些异构数据源中，有效地学习和部署正确的行为是具有挑战性的。为了解决这个问题，我们提出了一种新方法，称为元数据调节，然后冷却（MECO），以在预训练期间结合其他学习提示。 Meco首先提供元数据（e ...