arxiv Llemma: An Open Language Model For Mathematics

名称
Llemma: An Open Language Model For Mathematics
首页
https://yiyibooks.cn/arxiv/2310.10631v3/index.html
原始地址
https://arxiv.org/abs/2310.10631
描述
我们提出了 Llemma,一种大型数学语言模型。我们继续在 Proof-Pile-2 上对 Code Llama 进行预训练,Proof-Pile-2 是科学论文、包含数学的网络数据和数学代码的混合物,产生 Llemma。在 MATH 基准上,Llemma 的性能优于所有已知的开放基础模型,以及在等参数基础上未发布的 Minerva 模型套件 ...