基本信息 - CodeT5+: Open Code Large Language Models for Code Understanding and Generation

arxiv CodeT5+: Open Code Large Language Models for Code Understanding and Generation

阅读

Star 0

名称: CodeT5+: Open Code Large Language Models for Code Understanding and Generation

首页: https://yiyibooks.cn/arxiv/2305.07922v2/index.html

原始地址: https://arxiv.org/pdf/2305.07922.pdf

描述

在大量源代码上进行预训练的大型语言模型 (LLM) 在代码智能方面取得了显着进展。然而，现有的代码 LLM 在架构和预训练任务方面有两个主要限制。首先，它们通常采用特定的架构（仅编码器或仅解码器）或依赖统一的编码器-解码器网络来完成不同的下游任务 ...