打赏本站
支付宝
人工智能（AI）几乎在每个领域都产生着深远的影响。其取得巨大成功的一个重要推动因素是用于构建机器学习模型的丰富且高质量的数据。近年来，数据在人工智能中的作用被显着放大，催生了以数据为中心的人工智能这一新兴概念 ...
在大量源代码上进行预训练的大型语言模型 (LLM) 在代码智能方面取得了显着进展。然而，现有的代码 LLM 在架构和预训练任务方面有两个主要限制。首先，它们通常采用特定的架构（仅编码器或仅解码器）或依赖统一的编码器-解码器网络来完成不同的下游任务 ...
我们发布了 Code Llama，这是一个基于 Llama 2 的大型代码语言模型系列，在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供了最先进的性能。我们提供多种风格来覆盖广泛的应用程序：基础模型 (Code Llama)、Python 专业化 (Code Llama - Python) 和指令跟随模型 (Code Llama - Instruct)，每个模型都有 7B、13B、34B 和 70B 参数。所有模型均在 16k 个标记序列上进行训练，并在最多 100k 个标记的输入上显示出改进 ...
BigCode 社区是一个致力于代码大型语言模型（Code LLM）负责任开发的开放式科学合作组织，推出了 StarCoder 和 StarCoderBase：具有 8K 上下文长度、填充功能和通过多个支持的快速大批量推理的 15.5B 参数模型。 -询问关注。 StarCoderBase 使用来自 The Stack 的 1 万亿个 Token 进行训练，The Stack 是大量经过许可许可的 GitHub 存储库，具有检查工具和选择退出流程 ...
程序综合致力于生成计算机程序作为给定问题规范的解决方案，用输入输出示例或自然语言描述来表达。大型语言模型的盛行推动了程序合成的最先进水平，尽管有限的培训资源和数据阻碍了对此类模型的开放访问。为了实现这一点的民主化，我们训练并发布了一系列最多 16 个的大型语言模型 ...
我们推出了 Semantic Interpreter，这是一种适用于 Microsoft Office 等生产力软件的自然语言友好型 AI 系统，它利用大型语言模型 (LLM) 跨应用程序功能执行用户意图。虽然 LLM 非常擅长理解以自然语言表达的用户意图，但它们不足以满足特定于应用程序的用户意图，这需要的不仅仅是文本到文本的转换。因此，我们引入了 Office 域特定语言 (ODSL)，这是一种简洁的高级语言，专门用于在 Office 应用程序中执行操作并与实体交互 ...
以ChatGPT为代表的通用大语言模型（LLM）在软件工程中的代码生成等任务中表现出了巨大的潜力。这导致了软件工程专业 LLM （称为代码 LLM ）的发展。相当一部分Code LLM是通过模型微调从普通LLM衍生出来的 ...
基准数据集对加速编程语言任务的研究具有重大影响。在本文中，我们介绍了 CodeXGLUE，这是一个基准数据集，用于促进程序理解和生成的机器学习研究。 CodeXGLUE 包括跨 14 个数据集的 10 项任务的集合以及用于模型评估和比较的平台 ...
在通过集成开发环境 (IDE) 进行的软件开发中，代码完成是最广泛使用的功能之一。然而，大多数集成开发环境仅支持方法和 API 或参数的完成。 在本文中，我们介绍了 IntelliCode Compose $-$ 一种通用的多语言代码完成工具，它能够预测任意类型的代码标记序列，生成最多整行语法正确的代码 ...
适当的代码评估指标（CEM）深刻影响代码生成的演变，这是自然语言处理和软件工程的一个重要研究领域。流行的基于匹配的 CEM（例如 ...