基本信息 - Measuring Coding Challenge Competence With APPS

arxiv Measuring Coding Challenge Competence With APPS

阅读

Star 0

名称: Measuring Coding Challenge Competence With APPS

首页: https://yiyibooks.cn/arxiv/2105.09938v3/index.html

原始地址: https://arxiv.org/pdf/2105.09938.pdf

描述

虽然编程是现代社会最广泛应用的技能之一，但现代机器学习模型仍然无法编写基本问题的解决方案。尽管它很重要，但令人惊讶的是，评估代码生成的工作却很少，而且很难准确、严格地评估代码生成性能。为了应对这一挑战，我们引入了 APPS，这是代码生成的基准 ...