arxiv RegMix: Data Mixture as Regression for Language Model Pre-training

阅 读

Star 0
名称
RegMix: Data Mixture as Regression for Language Model Pre-training
首页
https://yiyibooks.cn/arxiv/2407.01492v1/index.html
原始地址
https://arxiv.org/abs/2407.01492
描述
大型语言模型预训练的数据混合会对性能产生显着影响，但如何确定有效的混合仍然是雅典娜。我们建议RegMix通过将其制定的回归任务来自动识别数据混合。RegMix涉及使用不同的数据混合训练一组小模型，并返回回归模型以预测它们各自混合的性能... ...