Same Task, More Tokens: the Impact of Input Length on the Reasoning Performance of Large Language Models

本文探讨了扩展输入长度对大型语言模型 (LLM) 功能的影响。尽管 LLM 近年来取得了进步，但它们在不同输入长度上的性能一致性尚不清楚。我们通过引入一种新颖的 QA 推理框架来研究这个方面，该框架专门用于评估输入长度的影响 ...

RepoAgent: An LLM-Powered Open-Source Framework for Repository-level Code Documentation Generation

生成模型在软件工程中展示了巨大的潜力，特别是在代码生成和调试等任务中。然而，它们在代码文档生成领域的利用仍未得到充分探索。为此，我们引入了 RepoAgent，这是一个大型语言模型驱动的开源框架，旨在主动生成、维护和更新代码文档 ...

Assured LLM-Based Software Engineering

在本文中，我们解决了以下问题：我们如何使用大型语言模型（LLM）独立于人类来改进代码，同时确保改进后的代码 - 不回归原始代码的属性？ - 以可验证和可衡量的方式改进原始版本？ 为了解决这个问题，我们提倡基于LLM的软件工程；受遗传改良启发的一种生成和测试方法。 Assured LLMSE 应用一系列语义过滤器，丢弃无法满足这些双重保证的代码。这克服了LLM产生幻觉倾向的潜在问题 ...

ChatGPT vs SBST: A Comparative Assessment of Unit Test Suite Generation

大型语言模型 (LLM) 的最新进展在广泛的一般领域任务（例如回答问题和遵循指令）中表现出了非凡的成功。此外， LLM 在各种软件工程应用中表现出了潜力。在本研究中，我们对 ChatGPT LLM 和最先进的 SBST 工具 EvoSuite 生成的测试套件进行了系统比较 ...

Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution

像思想链提示这样流行的提示策略可以显着提高各个领域的大型语言模型（LLM）的推理能力。然而，这种手工制定的提示策略通常不是最佳的。在本文中，我们提出了 Promptbreeder，这是一种通用的自我参考自我改进机制，可以针对给定领域发展和调整提示 ...

Teaching Large Language Models to Self-Debug

大型语言模型（LLM）在代码生成方面取得了令人印象深刻的性能。然而，对于复杂的编程任务，一次性生成正确的解决方案变得具有挑战性，因此一些先前的工作设计了程序修复方法来提高代码生成性能。在这项工作中，我们提出了自调试，它教导大型语言模型通过几次演示来调试其预测的程序 ...