基本信息

我们研究允许大型语言模型（LLM）通过推理时间缩放的角度处理任意长的提示。我们提出了递归语言模型（RLM），这是一种通用推理策略，它将长提示视为外部环境的一部分，并允许 LLM 以编程方式检查、分解并在提示片段上递归调用自身。我们发现，RLM 成功地处理了超出模型上下文窗口两个数量级的输入，即使对于较短的提示，在四个不同的长上下文任务中，其质量也显着优于基础 LLM 和常见的长上下文支架，同时每个查询的成本相当（或更便宜） ...