基本信息

随着大型语言模型 (LLM) 在处理英语以外的语言方面的能力越来越强，收集基准数据集以评估其多语言性能（包括机器翻译 (MT) 等任务）非常重要。在这项工作中，我们除了对原始 WMT24 数据集中 9 种语言中的 8 种语言的参考文献进行后期编辑之外，还收集了 46 种新语言和方言的新的人工编写参考文献和后期编辑，将 WMT24 数据集扩展为涵盖 55 种语言。该数据集涵盖四个领域：文学、新闻、社交和演讲。我们使用自动指标对收集的数据集上的各种 MT 提供商和 LLM 进行基准测试，发现 LLM 是所有 55 种语言中性能最佳的 MT 系统。这些结果应该通过基于人的评估来确认，我们将其留待未来的工作 ...