大型语言模型(LLM)在各种任务中表现出了令人印象深刻的能力。然而,从根本上改进它们取决于高质量的数据集或计算成本高昂的微调。相反,人类可以通过自我思考和记忆轻松地提高自己,而不需要外部资源 ...
大型语言模型 (LLM) 在生成式预训练 Transformer (GPT) 系列的最新发展中得到了突出体现,它在各个领域都展现了显着的能力,例如协助医疗诊断和整理分析业务报告。 GPT 的功效在于其解码人类指令的能力,这是通过在其内存系统中将历史输入作为一个整体进行全面处理来实现的。然而,GPT 的记忆处理并没有精确模拟人类记忆的层次性质 ...
由于最近的进展,大型语言模型 (LLM) 现在可以部署为机器人、游戏和 API 集成等领域日益复杂的决策应用程序的代理。然而,在当前的决策过程中反映过去的经验(人类固有的行为)仍然构成重大挑战。为了解决这个问题,我们提出了检索增强规划(RAP)框架,旨在动态地利用与当前情况和背景相对应的过去经验,从而增强代理的规划能力 ...
由于 Transformer 架构的二次复杂性,当今的大型语言模型 (LLM) 通常在短文本段(例如 <4K 标记)上进行训练 ...