计算机科学 > 计算和语言
[2024年7月15日提交(v1),最后修订于2024年7月16日(本版本,v2)]
标题:Qwen2技术报告
查看 An Yang 和其他 58 位作者撰写的题为 Qwen2 技术报告的论文的 PDF
查看PDF
HTML(实验性)
摘要:本报告介绍了 Qwen2 系列,这是我们大型语言模型和大型多模态模型的最新成员。 我们发布了一整套基础和指令调整的语言模型,参数范围从 0.5 到 720 亿,具有密集模型和专家混合模型。 Qwen2 超越了大多数先前的开放权重模型,包括其前身 Qwen1.5,并且在语言理解、生成、多语言熟练程度、编码、数学和推理等多个基准上表现出相对于专有模型的竞争性能。
旗舰模型Qwen2-72B表现出色:MMLU为84.2,GPQA为37.9,HumanEval为64.6,GSM8K为89.5,BBH为基础语言模型为82.4。 经过指令调整的变体 Qwen2-72B-Instruct 在 MT-Bench 上获得 9.1,在 Arena-Hard 上获得 48.1,在 LiveCodeBench 上获得 35.7。 此外,Qwen2 还展现了强大的多语言能力,精通约 30 种语言,涵盖英语、中文、西班牙语、法语、德语、阿拉伯语、俄语、韩语、日语、泰语、越南语等,凸显了其多功能性和全球影响力。
为了促进社区创新和可访问性,我们在 Hugging Face 和 ModelScope 上公开了 Qwen2 模型权重,并在 GitHub 上公开了包括示例代码在内的补充材料。 这些平台还包括用于量化、微调和部署的资源,促进广泛的应用和研究工作。
a 正在加载...
书目和引文工具
与本文相关的代码、数据和媒体
演示
arXivLabs:与社区合作者的实验项目
arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。
与 arXivLabs 合作的个人和组织都接受并接受了我们开放、社区、卓越和用户数据隐私的价值观。 arXiv 致力于这些价值观,并且只与遵守这些价值观的合作伙伴合作。
您有一个能为 arXiv 社区增加价值的项目想法吗? Learn more about arXivLabs。