ASPEN: High-Throughput LoRA Fine-Tuning of Large Language Models with a Single GPU

基于 Transformer 的大语言模型 (LLM) 在不同领域中都表现出了出色的性能，特别是在针对特定领域进行微调时。最近的研究表明，微调 LLM 所需的资源可以通过低阶适应 (LoRA) 等参数有效的方法来节省。虽然 LoRA 有效减少了计算负担和资源需求，但它目前仅支持单作业微调设置 ...

Fine-Tuning Language Models for Context-Specific SQL Query Generation

从自然语言生成 SQL 查询的能力对于非专业人员也可以访问数据具有重大意义。本文提出了一种微调开源大语言模型 (LLM) 的新颖方法，用于将自然语言转换为零售领域内的 SQL 查询。我们引入专门用于生成 SQL 查询的模型，并在针对 Snowflake SQL 和 GoogleSQL 方言定制的合成数据集上进行训练 ...

CodeGen2: Lessons for Training LLMs on Programming and Natural Languages

大型语言模型（LLM）在程序合成和理解任务的表示学习方面表现出了卓越的能力。学习表示的质量似乎由神经缩放定律决定，作为模型参数和观察数量的函数，同时通过可用数据和计算量对模型性能施加上限，这是昂贵的。 在本研究中，我们试图通过统一四个关键组成部分来提高 LLM 的程序综合训练效率：（1）模型架构，（2）学习方法，（3）填充采样，以及（4）数据分布 ...

Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models

大型语言模型 (LLM) 展示了令人印象深刻的能力，可以在零样本的情况下生成准确的代码片段，即无需进行特定的微调 ...

Relevance Transformer: Generating Concise Code Snippets with Relevance Feedback

能够自动生成代码的工具有可能增强程序员的能力。虽然许多 IDE 中都集成了直接的代码检索，但显式代码生成是一个新兴领域。代码生成目前被视为机器翻译任务，使用基于循环神经网络 (RNN) 的编码器-解码器架构在代码-描述对上进行训练 ...

TreeGen: A Tree-Based Transformer Architecture for Code Generation

代码生成系统基于输入的自然语言描述生成编程语言代码。最先进的方法依赖于神经网络来生成代码。然而，这些代码生成器存在两个问题 ...

JaCoText: A Pretrained Model for Java Code-Text Generation

基于 Transformer 的预训练模型在自然语言生成任务中表现出了高性能。然而，新一波的兴趣已经兴起：自动编程语言生成。此任务包括将自然语言指令翻译为编程代码 ...

Automatic Code Generation using Pre-Trained Language Models

自然语言处理领域的最新进展 \cite{gpt2} \cite{BERT} 在多个自然语言任务中取得了接近人类的表现。在本文中，我们试图了解类似的技术是否可以应用于具有严格语法规则的高度结构化环境。具体来说，我们提出了一种端到端的机器学习模型，用于在预先训练的语言模型之上构建 Python 语言的代码生成 ...

Unit Test Case Generation with Transformers and Focal Context

自动化单元测试用例生成工具促进测试驱动开发，并通过建议旨在识别代码缺陷的测试来支持开发人员。现有方法通常以测试覆盖率标准为指导，生成开发人员通常难以阅读或理解的综合测试用例。在本文中，我们提出了 AthenaTest，一种旨在通过学习现实世界的焦点方法和开发人员编写的测试用例来生成单元测试用例的方法 ...

Planning with Large Language Models for Code Generation

现有的基于大型语言模型的代码生成管道通常在解码过程中使用波束搜索或采样算法。尽管他们生成的程序获得了基于标记匹配的高分，但它们经常无法编译或生成不正确的输出。主要原因是传统的 Transformer 解码算法可能不是代码生成的最佳选择 ...