我们发布了 Code Llama，这是一个基于 Llama 2 的大型代码语言模型系列，在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供了最先进的性能。我们提供多种风格来覆盖广泛的应用程序：基础模型 (Code Llama)、Python 专业化 (Code Llama - Python) 和指令跟随模型 (Code Llama - Instruct)，每个模型都有 7B、13B、34B 和 70B 参数。所有模型均在 16k 个标记序列上进行训练，并在最多 100k 个标记的输入上显示出改进 ...
BigCode 社区是一个致力于代码大型语言模型（Code LLM）负责任开发的开放式科学合作组织，推出了 StarCoder 和 StarCoderBase：具有 8K 上下文长度、填充功能和通过多个支持的快速大批量推理的 15.5B 参数模型。 -询问关注。 StarCoderBase 使用来自 The Stack 的 1 万亿个 Token 进行训练，The Stack 是大量经过许可许可的 GitHub 存储库，具有检查工具和选择退出流程 ...
程序综合致力于生成计算机程序作为给定问题规范的解决方案，用输入输出示例或自然语言描述来表达。大型语言模型的盛行推动了程序合成的最先进水平，尽管有限的培训资源和数据阻碍了对此类模型的开放访问。为了实现这一点的民主化，我们训练并发布了一系列最多 16 个的大型语言模型 ...
我们推出了 Semantic Interpreter，这是一种适用于 Microsoft Office 等生产力软件的自然语言友好型 AI 系统，它利用大型语言模型 (LLM) 跨应用程序功能执行用户意图。虽然 LLM 非常擅长理解以自然语言表达的用户意图，但它们不足以满足特定于应用程序的用户意图，这需要的不仅仅是文本到文本的转换。因此，我们引入了 Office 域特定语言 (ODSL)，这是一种简洁的高级语言，专门用于在 Office 应用程序中执行操作并与实体交互 ...
以ChatGPT为代表的通用大语言模型（LLM）在软件工程中的代码生成等任务中表现出了巨大的潜力。这导致了软件工程专业LLM（称为代码LLM）的发展。相当一部分代码LLM是通过模型扭矩从普通LLM衍生出来的... ...
基准数据集对加速编程语言任务的研究具有重大影响。在本文中，我们介绍了codexglue，这是一个基准数据集10项任务的集合以及用于模型评估和比较的平台... ...
在通过集成开发环境 (IDE) 进行的软件开发中，代码完成是最广泛使用的功能之一。然而，大多数集成开发环境仅支持方法和 API 或参数的完成。 在本文中，我们介绍了 IntelliCode Compose $-$ 一种通用的多语言代码完成工具，它能够预测任意类型的代码标记序列，生成最多整行语法正确的代码 ...
适当的代码评估指标（CEM）深刻影响代码生成的演变，这是自然语言处理和软件工程的一个重要研究领域。流行的基于匹配的 CEM（例如 ...
既然可以生成长表达式和语句而不是单个标记的神经自然语言到代码模型（NL->Code）的出现以来，主要问题是可靠地评估其生成的输出之一。在本文中，我们提出了 CodeBERTScore：一种基于 BERTScore 的代码生成评估指标（张等人，2020） ... ...
大型语言模型已显示出协助程序员生成代码的巨大潜力。对于这种人类-人工智能结对编程场景，我们凭经验证明，虽然生成的代码最常根据其功能正确性进行评估（即， ...