CoderEval: A Benchmark of Pragmatic Code Generation with Generative Pre-trained Models

学术界和行业都越来越多地尝试了基于培训和微调范式的代码生成模型，从而产生了众所周知的工业模型，例如Codex，Codegen和Pangu-Coder。为了评估这些模型的有效性，提出了多种现有基准测试，其中包括产生独立函数的情况，即 ...

DS-1000: A Natural and Reliable Benchmark for Data Science Code Generation

我们介绍了DS-1000，这是一个代码生成基准，其中具有一千个数据科学问题，涵盖了七个Python库，例如Numpy和Pandas。与先前的作品相比，DS-1000结合了三个核心功能。首先，我们的问题反映了各种，现实和实用的用例，因为我们从Stackoverflow收集了它们 ...

Robust Learning of Diverse Code Edits

软件工程活动经常涉及现有代码的编辑。但是，当代代码语言模型（LMS）缺乏处理各种类型的代码编辑要求的能力。在这项工作中，我们试图通过（1）新型的合成数据生成管道和（2）强大的模型适应算法来克服这一缺点 ...

Toward General Instruction-Following Alignment for Retrieval-Augmented Generation

按照自然说明对于有效应用检索增强生成（RAG）系统至关重要。尽管大型语言模型（LLM）最近取得了进步，但在抹布域中评估和改善指导跟踪（如果）对齐的研究仍然有限。为了解决这个问题，我们提出了VIF-rag，这是第一个自动化，可扩展和可验证的合成管道，用于在抹布系统中进行指导跟随对齐 ...

Learning to Prompt Knowledge Transfer for Open-World Continual Learning

本文在开放世界的情况下研究了不断学习的问题，称为开放世界持续学习（OWCL）。 OWCL越来越上升，而在两个方面的挑战性高度挑战：i）学习一系列任务而不会忘记过去的知名度，ii）将来确定未知（新颖的对象/类）。现有的OWCL方法遭受了已知和未知数之间任务感知界限的适应性，并且不考虑知识转移的机制 ...

CodeRefine: A Pipeline for Enhancing LLM-Generated Code Implementations of Research Papers

本文介绍了Coderefine，这是一种新型的框架，用于使用大语言模型（LLMS）自动将研究论文方法转换为功能代码。我们的多步骤方法首先提取并总结了论文中的关键文本块，分析其代码相关性，并使用预定义的本体论创建知识图。然后，从该结构化表示形式生成代码，并通过提出的回顾性检索生成方法来增强代码 ...

Thinking Before Running! Efficient Code Generation with Thorough Exploration and Optimal Refinement

代码生成对于有效地自动化编码过程的软件工程至关重要。尽管测试时间计算方法表现出希望，但由于多个计算回合，它们遭受了高潜伏期的困扰。为了克服这一点，我们介绍了ThinkCoder，该框架将详尽的探索与最佳改进结合在一起 ...

CodeSwift: Accelerating LLM Inference for Efficient Code Generation

代码生成是一项对延迟敏感的任务，需要高及时性，但是大语言模型（LLMS）的自回归解码机制导致推理效率较差。现有的LLM推理加速方法主要关注仅使用内置组件的独立函数。此外，它们将代码视为自然语言序列，而忽略了其独特的语法和语义特征 ...

INTERVENOR: Prompting the Coding Ability of Large Language Models with the Interactive Chain of Repair

本文介绍了介绍器（维修的交互式链），该系统旨在模仿人类观察到的交互式代码维修过程，包括代码诊断和代码维修。 InterVeNor提示大型语言模型（LLMS）在代码维修过程中起着不同的作用，既可以充当代码学习者和代码老师。具体而言，代码学习者的任务是遵守指令生成或维修代码，而代码老师则负责制作修复链（COR）作为代码学习者的指导 ...

Evaluating Long Range Dependency Handling in Code Generation Models using Multi-Step Key Retrieval

随着语言模型支持越来越大的上下文大小，评估其有效利用该环境的能力变得越来越重要。我们分析了多个代码生成模型使用多个多步密钥检索任务在上下文Windows中最多为8K Token 的多个多步密钥检索任务处理远程依赖的能力。这些任务逐渐增加了难度，并且比流行的海景测试等测试更加细微地评估模型功能 ...