在2023年，我们使用GPT-4的最新型号来推进程序合成。为此，大型语言模型已大大改善了最新的模型。为了使这些进步更容易访问，我们创建了一个将这些模型与Huamn评估联系起来的存储库 ...
知识图遭受稀疏性的影响，这会降低各种方法产生的表示的质量。尽管整个网络中都有大量的文本信息和许多现有的知识库，但在文献中，对这些不同数据源的一致信息仍然是一个挑战。以前的工作通过基于知识图和外部文本实体中存在的单词的“硬”同时发生来丰富知识图实体，从而部分解决了这个问题，而我们通过提出一个名为Edge的知识图丰富和嵌入式框架来实现“软”增强 ...
故事是多样的，高度个性化的，从而为故事产生了很大的输出空间。现有的端到端方法会产生单调的故事，因为它们仅限于单个培训数据集中的词汇和知识。本文介绍了KG-Story，这是一个三阶段的框架，允许故事生成模型利用外部知识图来产生有趣的故事 ...
本文介绍了DSREPAIR，这是一种知识增强的程序维修方法，旨在修复LLM在数据科学领域中生成的错误代码。 DSREPAIR使用基于知识图的抹布进行API知识检索以及错误知识丰富来构建LLM的维修提示。具体而言，为了启用基于知识图的API检索，我们为广泛使用的数据科学库构建了DS-KG（数据科学知识图） ...
LLM 长期以来在自动程序修复（APR）方面表现出了显着的有效性，OpenAI 的 ChatGPT 是该领域使用最广泛的模型之一。通过GPT系列模型的不断迭代和升级，其修复Bug的性能已经达到了最先进的水平。然而，很少有工作比较不同版本的 GPT 系列模型在 APR 上的有效性和变化 ...
检索增强生成（RAG）通过将检索到的代码示例纳入提示来增强编码任务。但是，冗长的提示通常超过数万个 Token ，引入了与有限的语言模型上下文窗口（LMS）和高计算成本有关的挑战。现有的及时压缩技术集中于自然语言，缺乏定制的代码解决方案 ...
大型语言模型（LLM）在代码生成中表现出了巨大的潜力。思想链（COT）推理的整合可以进一步提高其性能。但是，当前的COT方法通常需要手动编写或具有超过1000亿参数的LLM来生成，从而阻碍其在资源约束的情况下的适用性 ...
为学生的编程作业提供个性化和及时的反馈，对于编程教育很有用。自动化程序维修（APR）技术已被用来修复编程分配中的错误，其中大型语言模型（LLMS）方法显示出令人鼓舞的结果。鉴于在高级编程任务中识别和修复错误的复杂性越来越大，因此，APR的当前微调策略不足以指导LLM来识别错误并在生成维修过程中进行准确的编辑 ...
代码生成模型显示出对自动化编程任务的显着潜力。但是，由于任务的高度复杂和长期的性质，生成准确和可靠的代码的挑战仍然存在。由于较小的错误，即使是最先进的模型也常常在代码生成中失败，这可能会严重影响代码的整体功能 ...
大型语言模型（LLMS）在代码生成方面表现出色。 llms作为输入提示并输出代码。一个关键问题是如何提示（i ...