arxiv Knowledge Fusion of Large Language Models

阅 读

Star 0
名称
Knowledge Fusion of Large Language Models
首页
https://yiyibooks.cn/arxiv/2401.10491v2/index.html
原始地址
https://arxiv.org/pdf/2401.10491
描述
虽然从头开始训练大型语言模型（LLM）可以生成具有独特功能和优势的模型，但其成本很高，并且可能会导致功能发音。或者，一种经济有效且引人注目的方法足以显现有的预训练LLM合并到更有效的模型中。然而，由于这些LLM的架构不同，直接混合它们的权重是不切实际的... ...