尽管大型语言模型（LLM）在软件工程任务（例如代码完成和生成）中表现出了希望，但它们对维护复杂软件系统的支持仍然有限。这些模型通常在理解系统中嵌入的默认知识（例如跨不同模块的责任分配和协作）方面困难。为了解决这一差距，我们介绍了\ textbf {代码数字twin}的概念和框架，这是一种隐性知识的概念表示，捕获了代码元素背后的概念，功能和设计理由，并与软件共同发展 ...
变形金刚模型，尤其是大型语言模型（LLMS）具有出色的执行内在学习学习（ICL）的能力 - 在没有看到任何明确的模型培训的情况下，使用看不见的输入输出示例提示执行新任务。在这项工作中，我们研究了由多个不同的任务家族组成的预处理的数据混合物之间如何有效地桥接的，以识别和学习新任务，这些任务在预读取分布的内部和之外。在以前的工作的基础上，我们在受控的环境中研究了这个问题，在该环境中，我们研究了经过$（x，f（x））$对的序列训练的 Transformer 模型，而不是自然语言 ...
在软件开发中，代码审查仍然是一个关键但资源密集的过程，尤其是在大型工业环境中挑战。尽管大型语言模型（LLMS）显示出对自动化代码审查的希望，但现有的解决方案面临着精确和实用性的重大限制。本文介绍了Bitsai-CR，这是一个创新的框架，该框架通过将Rulechecker结合起初始问题检测和审查过滤器进行精确验证的两阶段方法来增强代码审查 ...
在本文中，我们首先表明，即使是小型 LLM（1B-7B 参数）的光束尺寸增加也需要大量 GPU 资源消耗，导致基于 LLM 的 APR 中高达 80% 的重复崩溃是由于内存过载造成的。 。看似简单的减少内存消耗的解决方案是（1）量化LLM模型，即 ...
多年来，错误修复和代码生成一直是软件开发的核心研究主题。最近大型语言模型的爆炸性增长彻底改变了这些领域，为这两个领域提供了极其强大的工具。在这项调查中，我们回顾了最近的 27 篇论文，并将其分为两组：一组致力于自动程序修复 (APR) 和 LLM 集成，另一组致力于使用 LLM 生成代码 ...