基本信息 - Maybe Only 0.5% Data is Needed: A Preliminary Exploration of Low Training Data Instruction Tuning

arxiv Maybe Only 0.5% Data is Needed: A Preliminary Exploration of Low Training Data Instruction Tuning

阅读

Star 1

名称: Maybe Only 0.5% Data is Needed: A Preliminary Exploration of Low Training Data Instruction Tuning

首页: https://yiyibooks.cn/arxiv/2305.09246v1/index.html

原始地址: https://arxiv.org/pdf/2305.09246.pdf

描述

大型语言模型 (LLM) 的指令调优因其能够在后续指令中释放 LLM 的潜力而受到了研究人员的关注。虽然指令调优作为一种微调方法具有促进大型语言模型（LLM）适应下游任务的优势，但在大量数据上训练具有数千万甚至数十亿参数的模型会导致难以承受的计算成本。为了解决这个问题，我们专注于减少LLM指令调优中使用的数据，以降低训练成本并提高数据效率，称为低训练数据指令调优（LTD指令调优） ...