基本信息 - Decoder Tuning: Efficient Language Understanding as Decoding

arxiv Decoder Tuning: Efficient Language Understanding as Decoding

阅读

Star 0

名称: Decoder Tuning: Efficient Language Understanding as Decoding

首页: https://yiyibooks.cn/arxiv/2212.08408v2/index.html

原始地址: https://arxiv.org/abs/2212.08408

描述

随着预训练模型 (PTM) 规模的不断增长，仅向用户提供推理 API 已成为一种新兴实践，即模型即服务 (MaaS) 设置。为了适应模型参数冻结的 PTM，当前大多数方法都集中在输入端，寻求强大的提示来刺激模型获得正确答案。然而，我们认为，由于缺乏梯度信号，输入端适应可能会很困难，并且通常需要数千个 API 查询，从而导致较高的计算和时间成本 ...