arxiv Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training

阅 读

Star 0
名称
Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training
首页
https://yiyibooks.cn/arxiv/2502.06589v1/index.html
原始地址
https://arxiv.org/pdf/2502.06589
描述
由于面向代理的预训练数据缺乏，基于LLM的自主剂通常依赖于复杂的提示或广泛的微调，这通常无法引入新的功能，同时保持强大的可推广性。我们介绍了Hephaestus-Forge，这是第一个旨在增强LLM代理在API函数调用，内在推理和计划中以及适应环境反馈的大规模训练之前的大规模训练前语料库。 Hephaestus-Forge包括103B特定于特定于代理的数据，其中包括76,537个API，包括既有工具文档，都可以介绍API功能的知识和功能呼叫轨迹以增强内在推理 ...