arxiv A Closer Look at the Limitations of Instruction Tuning

名称
A Closer Look at the Limitations of Instruction Tuning
首页
https://yiyibooks.cn/arxiv/2402.05119v1/index.html
原始地址
https://arxiv.org/abs/2402.05119
描述
指令训练(IT)是利用指令-响应对训练大型语言模型(LLMs)的过程,已成为将基础预训练 LLMs 转化为开放域对话代理的主要方法。虽然信息技术取得了显著的成功并被广泛采用,但其局限性和不足之处仍未得到充分探索。在本文中,我们通过严格的实验和对 LLM 通过 IT 所发生的变化的深入分析,揭示了 IT 的各种局限性...