Natural Language to Code Using Transformers

我们解决了使用 CoNaLa 数据集从自然语言描述生成代码片段的问题。我们使用基于自注意力的 Transformer 架构，并表明它比基于循环注意力的编码器解码器表现更好。此外，我们开发了一种修改形式的反向翻译，并使用循环一致损失以端到端的方式训练模型 ...

StructCoder: Structure-Aware Transformer for Code Generation

最近，人们对使用深度学习自动化软件工程任务的兴趣激增。本文解决了代码生成问题，其目标是在给定不同语言或自然语言描述的源代码的情况下生成目标代码。大多数最先进的代码生成深度学习模型都使用主要为自然语言设计的训练策略 ...

QA-LoRA: Quantization-Aware Low-Rank Adaptation of Large Language Models

近年来，大型语言模型（LLM）迅速发展。尽管LLM在许多语言理解任务中具有很强的能力，但繁重的计算负担在很大程度上限制了LLM的应用，特别是当需要将它们部署到边缘设备上时。在本文中，我们提出了一种量化感知低秩自适应（QA-LoRA）算法 ...