arxiv Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance

阅 读

Star 0
名称
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
首页
https://yiyibooks.cn/arxiv/2403.16952v1/index.html
原始地址
https://arxiv.org/abs/2403.16952
描述
大型语言模型的预训练数据由多个领域（如网络文本、学术论文、代码）组成，其混合比例对结果模型的能力至关重要... ...