Large Language Models Meet NL2Code: A Survey

从自然语言描述（（NL2Code）生成代码的任务被认为是代码智能领域的一项紧迫而重大的挑战。由于预训练技术的快速发展，越来越多的大型语言模型被提出用于代码，从而引发了nl2code的进步。为了促进该领域的进一步研究和应用 ...

Competition-Level Code Generation with AlphaCode

编程是一种强大且无处不在的解决问题的工具。开发可以帮助程序员甚至独立生成程序的系统可以使编程更加高效和易于访问，但迄今为止，整合人工智能创新已被证明具有挑战性。最近的大规模语言模型已经展示了令人印象深刻的生成代码的能力，并且现在能够完成简单的编程任务 ...

PanGu-Coder: Program Synthesis with Function-Level Language Modeling

我们提出了 PanGu-Coder，一种预训练的仅解码器语言模型，采用 PanGu-Alpha 架构进行文本到代码生成，即给定自然语言问题描述的编程语言解决方案的综合 ...

Out of the BLEU: how should we assess quality of the Code Generation models?

近年来，研究人员创建并引入了大量各种代码生成模型。由于人类对每个新模型版本进行评估是不可行的，社区采用了bleu等自动评估指标来近似人类判断的结果。这些指标源自机器翻译领域，目前尚不清楚它们是否适用于代码生成任务以及它们与人类对该任务的评估的一致性如何... ...

Measuring Coding Challenge Competence With APPS

虽然编程是现代社会最广泛应用的技能之一，但现代机器学习模型仍然无法编写基本问题的解决方案。尽管它很重要，但令人惊讶的是，评估代码生成的工作却很少，而且很难准确、严格地评估代码生成性能。为了应对这一挑战，我们引入了 APPS，这是代码生成的基准 ...

LIMA: Less Is More for Alignment

大型语言模型分两个阶段进行训练：（1）从原始文本进行无监督预训练，以学习通用表示，以及（2）大规模指令调整和强化学习，以更好地适应最终任务和用户偏好。我们通过训练LIMA来逐步实现这两个阶段的相对重要性，LIMA是一个65B参数LLaMa语言模型，仅在1,000个策划的提示和响应上使用监督标准损失进行强度，没有任何强化学习或人类偏好建立模。LIMA表现产生了非常强大的性能，仅从训练数据中的少数样本中学习遵循的响应格式，包括从规划旅行行程到推测替代历史的复杂查询... ...

Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases

ChatGPT的成功最近吸引了大众的努力来复制它，其中指令调整策略是取得显着成果的关键因素。指令调整不仅显着增强了模型的性能和泛化能力，而且使模型生成的结果与人类语音然而，当前的研究很少研究不同数量的指令数据对模型性能的影响，特别是在现实世界的例子中...... ...

PanGu-Coder2: Boosting Large Language Models for Code with Ranking Feedback

大型代码语言模型（Code LLM）正在蓬勃发展。每周都会发布新的强大模型，在代码生成任务上展示出卓越的性能。人们提出了各种方法来提高预训练代码 LLM 的代码生成性能，例如监督微调、指令调优、强化学习等 ...

A Survey on Evaluation of Large Language Models

大型语言模型（LLM）在各种应用中的空白表现而在学术界和工业界越来越受欢迎。随着LLM在研究和日常使用中继续发挥重要作用，他们的评估愈来愈来越重要，不仅在任务层面，而且在社会层面，以便更好地了解其潜在风险。在过去的几年里，人们从不同的角度对LLM进行了巨大的努力...... ...