检索增强型机器学习：综合和机遇

摘要。

在语言建模领域，使用检索组件增强的模型已成为解决自然语言处理 (NLP) 领域面临的若干挑战的有前景的解决方案，包括知识基础、可解释性和可扩展性。 尽管主要关注 NLP，但我们认为检索增强的范式可以扩展到更广泛的机器学习 (ML) 领域，例如计算机视觉、时间序列预测和计算生物学。 因此，这项工作通过综合 ML 各个领域的文献以及当前文献中缺少的一致符号，引入了该范式的正式框架，即检索增强机器学习 (REML)。 此外，我们发现，虽然许多研究采用检索组件来增强其模型，但缺乏与基础信息检索 (IR) 研究的集成。 我们通过研究组成 REML 框架的每个组成部分，弥合了开创性 IR 研究和当代 REML 研究之间的差距。 最终，这项工作的目标是为各个学科的研究人员提供一个全面的、正式结构化的检索增强模型框架，从而促进跨学科的未来研究。

1. 介绍

1.1. 背景

近年来，围绕大语言模型（大语言模型）的研究领域出现了大幅增长，这些模型在各种自然语言处理（NLP）任务中具有巨大的潜力。 推动这一领域向前发展的重大进步之一是大语言模型参数数量的扩展，这使得能够训练具有前所未有的规模和复杂性的模型（Zhao等人，2023） 。 我们在与机器学习相关的其他领域也看到了类似的趋势，例如用于表示图像和视频的大型视觉基础模型（Dosovitskiy 等人，2021；Arnab 等人，2021）。 与此同时，上下文学习（ICL）的概念（董等人，2023）已经成为一种变革能力，允许大语言模型在推理过程中动态适应和融入新信息。 与此同时，信息检索 (IR) 界一直在积极探索旨在提高从大规模馆藏中访问信息的效率、有效性和稳健性的技术。

这两个领域的融合引发了研究的新趋势，模型配备了检索功能，可以在训练和推理阶段访问外部知识(Mialon 等人, 2023; Zamani 等人, 2022). 将检索机制集成到预测管道中开始获得重大关注，因为它允许模型将其预测建立在外部知识的基础上，而无需增加模型容量。 Hashemi 等人 (2020) 和 Lewis 等人 (2020b) 提出的方法是该领域最早的工作之一；前者侧重于通过扩展 Transformer 网络来进行检索增强表示学习，而后者则研究知识密集型语言任务的检索增强生成（RAG）范式。 也就是说，使用检索结果来改进机器学习系统并不是什么新鲜事。 伪相关反馈方法（使用检索最多的文档表示搜索查询的方法）可能是此类中的第一组方法（Attar 和 Fraenkel，1977；Croft 和 Harper，1979）。 大语言模型固有的 ICL 能力在促进这些检索增强方法的传播和采用方面发挥了关键作用。 通过将检索到的文档集成到大语言模型的提示中，研究人员能够利用外部知识源，而无需从根本上改变底层模型架构。

1.2. 动机

由于通过增加参数数量来提高模型性能是不可持续的，基于检索的模型的一个动机源于这样的发现：虽然大型模型倾向于记住训练数据（Carlini等人，2021），结合基于检索的方法可以有效地将记忆负担转移到外部存储系统（Borgeaud 等人，2022）。 我们主张总体上增强机器学习 (ML) 模型（即超越生成），使其能够通过信息检索技术利用存储的信息。 IR 已经显示出其在帮助人类与庞大文本数据库进行交互方面的优点。 我们认为，IR 的效用可以扩大，使机器不仅可以访问广泛的文本数据库，还可以访问以更多抽象形式表示的知识。 通过将 ML 架构与直接访问 IR 系统集成，我们的目标是将推理和记忆过程分开。 Zamani 等人 (2022) 将这种方法称为检索增强机器学习 (REML)，作为扩展 ML 的更广泛概念。 扩展他们的工作，我们进一步调查了 REML 在 ML 领域（包括 NLP）的最新进展，并具有一致的数学符号。 通过这样做，我们的目标是为研究人员提供 REML 方法的全面、结构化的概述，使他们能够迅速开展该领域的研究。

1.3. REML的应用

REML 范式涵盖了一系列不同的子领域，每个子领域都有其独特的挑战和应用。 其中包括语言建模方面的开创性工作（Guu 等人，2020；Lewis 等人，2020b；Borgeaud 等人，2022；Izacard 等人，2021b；Zhong 等人，2022；Izacard 等人，2024；Ram 等人, 2023; 石等人, 2024; Khandelwal 等人, 2020; Lyu 等人, 2023), 机器翻译 (Khandelwal 等人, 2021) ，问答(Yu 等人, 2022a; Chen 等人, 2017a; Lee 等人, 2019; Nakano 等人, 2022; Lazaridou 等人, 2022; Wu 等人, 2022d; Chen 等人，2023c，d；Zhang 等人，2024)，事实验证(Lewis 等人，2020b；Petroni 等人，2023；Chen 等人，2023b)，开放域 (Shuster 等人, 2022b, a; Komeili 等人, 2022; Thoppilan 等人, 2022) 和任务导向(Thulke 等人, 2021; Cai 等人, 2023; Eric 等人, 2017 ; Raghu 等人，2021；Nekvinda 和 Dušek，2022） 对话系统，槽填充（Glass 等人，2021），状态跟踪（King 和 Flanigan，2023）、多模态对话(Fan 等人, 2021)、强化学习(Fernández 和 Veloso, 2006; Goyal 等人, 2022; Humphreys 等人, 2022),计算机视觉 (Chen 等人, 2023a;安永等人，2023；拉莫斯等人，2023； Shrestha 等人, 2024)0>、常识推理 (Yu 等人, 2022c)1>、证据归属 (Gao 等人, 2023b; Aksitov 等人, 2023; Menick 等人, 2022；Huo 等人，2023；Gao 等人，2023a)2>，知识图增强 (Sen 等人，2023；Kang 等人，2023；Baek 等人，2023；Ju 等人，2022 ; 胡等人, 2023; 张等人, 2022b; 于等人, 2022a)3>, 排名(Hui 等人, 2022a)4>, 个性化(Salemi 等人, 2024b) , a)5>、数学问题解决(Yang 等人, 2024b)6>、代码生成(Zhang 等人, 2023; Zhou 等人, 2023; Wang 等人, 2024a )7>、音频和语音的表示学习(Sanabria 等人, 2023; Lin 等人, 2024)8>、时间序列预测(Jing 等人, 2022; Yang 等人, 2022）9>，以及蛋白质结构预测（Cramer，2021）0>。 行业和开源​​社区迅速接受了基于检索的模型的采用，认识到它们加速适应和性能增强的潜力。 LangChain等框架 LlamaIndex， 和 DSPy (Khattab 等人, 2024)2> 的出现，简化了基于检索的模型的实现过程。 这一广泛的领域（并非详尽的列表）强调了 REML 范例在不同应用程序中的多功能性和影响力。

1.4. 这项工作的主要贡献

尽管当前许多应用程序都以自然语言处理为中心，但我们相信利用检索组件的 ML 模型不仅仅局限于语言模型，而是可以扩展到任何 ML 模型。 为了解决这种更广泛的适用性，我们将框架形式化为检索增强机器学习（REML），并用当前文献中缺乏的一致的数学符号综合现有研究。 此外，尽管 REML 模型取得了进步，但信息检索研究中丰富而广泛的工作仍然没有得到充分利用，这些研究可以提供大量的方法和见解，从而使 REML 模型受益匪浅。 这项工作旨在通过将 IR 研究整合到 REML 模型的设计中来弥补这一差距。 最终，我们希望这项工作能让各个领域的研究人员利用 ML 轻松理解 REML 的框架及其可扩展性。

2. 检索增强型机器学习

Notation Description $x$ input instance $𝒳$ input space $y$ output target $𝒴$ output space L labeled data (i.e., $\text{L}\subset 𝒳\times 𝒴$) U unlabeled data (i.e., $\text{U}\subset 𝒳$) $ℒ$ The downstream loss function $f_{\theta }$ a predictive machine learning model parameterized by $\theta$ $g_{\omega }$ a retrieval model parameterized by $\omega$ $ℳ$ a tuple of predictive and retrieval model $d$ retrieval item $𝒟$ retrieval space ${𝒟}_{\text{key}}$ retrieval key space C stored retrievable items $q$ query $𝒬$ query space $r$ retrieval results $ℛ$ retrieval result space $s$ model feedback $𝒮$ model feedback space $\mu$ evaluation metric

表格1。 本文中使用的符号来综合 REML 研究。

为了开始深入探索检索增强机器学习（REML），我们首先重申 Zamani 等人（2022） 所设置的任务的广义形式定义。 与所有预测机器学习框架（随后称为 ML 模型）一样，REML 的任务是学习将输入空间 $𝒳$ 映射到输出空间 $𝒴$ 的函数关系。 与其他 ML 模型不同，REML 通过与一个或多个信息访问模型的交互来预测结果，每个模型都促进对数据库或知识存储库的访问。 因此，REML 正式表达为 $y=f_{\theta }(x;g_{{\omega }_1},g_{{\omega }_2},\mathrm{\cdots },g_{{\omega }_N})$，其中 $x\in 𝒳$ 和 $y\in 𝒴$ 分别表示输入实例和目标输出，$f_{\theta }$ 表示 ML $\theta$参数化的模型，$g_{{\omega }_i}$表示${\omega }_i$参数化的信息访问模型。 这里，$N$表示$f_{\theta }$可以参考的信息访问模型的总数。 每个 $g_{{\omega }_i}$ 都与一个集合、存储库或内存 ${\text{C}}_i$ 相关联，它们可能由自然语言文本或替代索引表示形式组成。 因此，集合${\text{C}}_i$充当$g_{{\omega }_i}$可用的通用参数数组，可以临时使用，就像许多非参数和惰性学习技术。 Zamani 等人 (2022) 概述了 REML 模型的三个必要（Reqs）和可选（Opts）要求。

1. 查询。 每个 $f_{\theta }$ 都应该具有生成依赖于输入的查询的能力，这些查询针对的是 $g_{{\omega }_i}$。请参阅§3。

2. 检索。 每个 $g_{{\omega }_i}$ 必须能够处理来自 $f_{\theta }$ 的查询，从其相应的存储库 ${\text{C}}_i$ 中获取相关信息。 请参阅§4。

3. 响应利用率。 每个$f_{\theta }$都应该在其预测过程中利用从$g_{{\omega }_i}$获得的信息。 请参阅§5。

4. 正在存储。 $f_{\theta }$可以将一些信息存档在${\text{C}}_i$中以供以后检索，适用于训练和推理。 请参阅§6。

5. 反馈。 $f_{\theta }$ 可能具有在训练和推理期间向 $g_{{\omega }_i}$ 提供反馈的功能，以改进 $f_{\theta }$、$g_{{\omega }_i}$ 或两者。 请参阅§7。

REML 模型的最简单形式如图 1(a) 所示，仅关注基本标准。 第二类，如图1(b)所示，通过将信息存储在存储器中以供后续检索来利用第一个可选属性。 第三类如图1(c)所示，采用第二个可选属性，为信息访问模型提供反馈。 最后一个类别包含所有可选属性，如图 1(d) 中详述。

根据需求，Zamani等人(2022)提出了REML的综合框架，如图2所示。 该框架围绕两个主要组件构建：预测模型$f_{\theta }$和信息检索模型$g_{{\omega }_i}$。对于任何给定的输入$x$，预测模型$f_{\theta }$可以灵活地发起多个检索操作。 这可能涉及调度多个查询、参与大量数据存储库、向信息检索组件提供反馈或采用这些策略的组合。 值得注意的是，对于某些输入，检索过程的数量可能为零，从而允许 REML 扩展传统的预测模型。

(a) Retrieval-only

(b) Retrieval with memory

(c) Retrieval with feedback

(d) Retrieval with memory & feedback

图1。 检索增强型机器学习模型应实现三个必要的要求（查询、检索和响应利用），并且可以实现两个可选属性（存储信息和向信息访问模型提供反馈）。 这导致了上面介绍的四类 REML 模型。 图取自(Zamani 等人, 2022)。

图 2. REML 的通用框架（Zamani 等人，2022）。 信息访问过程的乘法性质意味着对信息的访问可以是分布式的和/或迭代地完成。 请注意，每个组件不必完全分离，例如，查询生成或响应处理模块可以在预测模型中处理。 然而，在摘要中，我们将它们视为可以单独描述的信息访问过程的组成部分之一。

3. 查询

在 REML 中，获取信息的过程取决于查询知识或信息存储库的行为。 因此，从输入中制定查询，无论是非结构化还是结构化，都是 REML 框架内预测模型和检索模型之间相互作用的关键起始点。 以下部分介绍用于根据任务输入生成查询的常见操作。

3.1. 决定在哪里查询

在将查询发送到信息访问系统之前，REML 系统可以决定其查询应发送到哪里。 请记住，每个 $g_{{\omega }_i}$ 都与 ${\text{C}}_i$ 相关联（图 2 中描述的信息访问过程的乘法性质），查询生成模块首先决定哪个元组$g_{{\omega }_i}$ 和 ${\text{C}}_i$ 的 (s) 应根据与 Pan 等人 (2023)< 描述的专家混合解释相一致的上下文来选择/t6> . 这个查询决策问题可以通过以下子问题来理解。 1）语料库选择：决定需要搜索哪些语料库（不需要检索时可以为空），2）检索器选择：决定应该使用哪种检索模型用于搜索所选语料库。

3.1.1. 语料库选择

选择${\text{C}}_i$不仅是决定向$f_{\theta }$提供什么样的外部信息(Pan 等人, 2023)，也包含了这个问题何时查询（当没有检索对$f_{\theta }$有利时，不选择语料库）。 这可能是一个关键问题，因为检索增强可能会损害某些输入类型的性能（Maekawa 等人，2024；Mallen 等人，2023；Asai 等人，2024）。 它还可以通过减少搜索次数来节省计算资源（Labruna等人，2024）。 关于外部信息是否对预测模型有益可以有几个标准。 它可以基于术语流行度 (Mallen 等人, 2023)、输入复杂度 (Jeong 等人, 2024) 或训练模型 (Asai 等人) ，2024）。

3.1.2. 猎犬选择

一旦选择了一个或多个 ${\text{C}}_i$，REML 系统就可以通过选择专门搜索所选语料库的最佳检索器来进一步使自己受益。 这是一项相对具有挑战性的新任务，我们建议读者参考Khramtsova 等人(2023, 2024)以进行更深入的理解。

3.2. 重新制定输入

在许多情况下，原始用户输入不能直接用作对检索模型的查询，这强调了将输入重新表述为不同表示的迫切需要。 这种重新表述是通过一个过程进行的，其中根据系统的特定要求使用单独的组件或相同的预测模型来转换输入。 变换的一般方程是

(1) $$q={\text{transform}}_q(x,context)$$

其中 $x$ 是应应用转换的输入（即任务的原始输入、先前的搜索查询、另一个转换的输出等）和 $context$是该函数在执行转换时可以使用的辅助信息。 例如，$context$ 的用例之一可以是用户配置文件，它可以帮助为用户 个性化此转换（Salemi 等人，2024b）。 将输入转换为替代格式的常见动机包括一系列因素，包括但不限于截断、扩展和转换。

3.2.1. 压缩

在某些情况下，并非输入的所有单词或组件都证明与搜索目标相关。 因此，在许多先前的研究中已经采用了省略输入的特定部分的常见做法。 在大多数情况下，序列到序列模型经过训练来识别和标记需要减少的片段（Ni等人，2019；Musa等人，2019；Yadegari等人，2022；Khashabi等人，2017 ）。 有时，一种简单的方法（例如将输入分段为不同的块并将这些分段用作查询）可能非常有效（Borgeaud 等人，2022）。 在多模态搜索场景中，从输入中省略特定模态并从不同模态跨语料库进行搜索已被证明是有价值的（Gui 等人，2022）。

3.2.2. 扩张

在某些情况下，单独的输入可能缺乏搜索系统产生所需结果所需的基本信息。 在这种情况下，可以使用额外的相关数据来增强输入。 这一扩展过程拓宽了上下文并增强了搜索系统检索相关且有意义的结果的能力，从而提高了整体系统性能。 通常，扩展是通过将输入与之前检索到的结果 (Zhu 等人, 2021; Xiong 等人, 2021) 或以输入 (Wang 等人, 2023d；毛等人，2021；刘等人，2022；庄等人，2023）。

3.2.3. 转换

对于某些情况，根据其固有结构将输入重塑为新查询，而不是仅仅扩展，被证明是有利的。 在为数据库 （Arcadinho 等人，2022；Dou 等人，2023） 和 API 访问（Schick 等人，2023；Qin 等人，2023；Qin 等人，2023；欧阳等人，2022；金等人，2024）。

转换操作可以导致输入空间$𝒳$到查询空间$𝒬$的转换。因此，必须注意 $𝒬$ 和 $𝒳$ 不一定等效，这意味着与原始输入相比，转换后的查询可能在不同的空间中运行。 在复杂的多模式搜索场景中，直接使用输入可能不可行。 因此，将输入转换为不同的模态形式变得势在必行，确保预测模型和搜索系统之间无缝高效的通信（Gao等人，2022；Lin和Byrne，2022；Wu和Mooney，2022；Lin等人，2023；萨莱米等人，2023a)。

此外，将输入从原始输入空间转换到语言模型的潜在空间，并从模型先前与数据的交互中检索信息，就像 kNN-LM (Khandelwal 等人, 2020) 中发生的情况一样，表示改变查询空间的附加转换（Chen 等人，2022；Yogatama 等人，2021；He 等人，2021；Khandelwal 等人，2021；Kassner 和 Schütze，2020）。 事实上，神经图灵机（Graves等人，2014；Gulcehre等人，2017；Rae等人，2016）和记忆 Transformer （Zhong等人，2022；Wu等人，2022a； Wan 等人，2022） 采用类似的转换过程将输入转换为潜在变量。 这种转换对于从这些模型的内存/存储组件中进行有效检索至关重要。

3.3. 分解输入

此类别涉及将复杂的输入分解为更简单的部分，通常是为了更好地理解内容并检索更准确的结果。 这种技术在处理涵盖多个主题或概念的长而复杂的输入时特别有用（Min 等人，2019；Perez 等人，2020；Zhou 等人，2022）。 分解的一般方程是

(2) $$Q=\text{decompose}(x,context)$$

其中 $x$ 是应该分解的输入（即任务的原始输入、转换的输出等），$context$ 是该函数可以使用的辅助信息在执行分解时，$Q$是分解查询的集合。 请注意，与仅返回单个查询的转换操作相比，分解返回一组查询。

3.4. 查询生成的统一方程

因此，查询生成的统一方程是

(3) $$Q=\text{decompose}({\text{transform}}_q(x,context),context)$$

这些函数中的任何一个都可以替换为恒等函数（Izacard and Grave, 2021b; Karpukhin 等人, 2020; Asai 等人, 2022; Yamada 等人, 2021; Lewis 等人, 2020b, b; Thorne 等人, 2018; Guu 等人, 2020) 不考虑模态(Salemi 等人, 2023b; Qu 等人, 2021)。 此外，可以想象多次并以不同的顺序应用这些功能。 特别是在多跳问答和事实验证领域，先前的研究广泛采用多种转换和分解来完成任务要求（Qi等人，2019；Trivedi等人，2023；Yadav等人，2020；Das等人，2019；江等人，2023）。 鉴于这些任务的复杂性，利用各种转换和分解的组合变得至关重要。

4. 搜寻中

根据文档、查询和任务的性质，需要和期望不同的搜索功能。 例如，在一些面向任务的对话系统中，$f_{\theta }$（对话代理）需要访问关系数据库。 因此，在这种场景下，需要使用SQL等结构化查询来进行搜索。 话虽如此，大多数应用中的检索项都是半结构化或非结构化文本的形式，或者涉及多模式方面。 下面，我们回顾一下针对不同情况的不同检索模型。

4.1. 具有稀疏表示的检索模型

许多基于文本的检索模型使用稀疏表示来表示查询和文档。 例如，术语匹配（词汇）检索模型，例如 TF-IDF （Salton 和 Buckley，1988）、BM25 （Robertson 等人，1995） 和查询可能性（Ponte and Croft，1998），使用$V$维稀疏向量表示每个查询和文档，其中$V$表示词汇量大小。 在这些模型中，与给定文本中出现的术语相关的维度带有非零值，其余为零。 大多数这些模型都基于术语独立或词袋假设。 尽管如此，考虑术语位置和顺序的模型是存在的，例如高阶语言模型（Song and Croft，1999）、位置语言模型（Lv and Zhai，2009） t1> 和顺序依赖模型（Metzler 和 Croft，2005）。

这些检索模型中数据的稀疏性使它们能够使用倒排索引数据结构来进行可扩展且高效的检索。 请注意，这些模型经常遇到词汇不匹配问题，这意味着使用不同的词汇来表示查询和文档中的相同概念不会对估计的相关性得分产生影响。 这会显着影响 $g_{\omega }$ 的性能，尤其是从召回的角度来看。 查询扩展和文档扩展方法可以解决词汇不匹配问题，包括伪相关反馈模型（Lavrenko 和 Croft，2001；Zhai 和 Lafferty，2001；Rocchio，1971）。 用于扩展文档的神经网络解决方案，例如 SPLADE (Formal 等人, 2021)，在足够大规模的数据可用时已显示出有希望的结果。

词汇表示的替代方法是使用潜在向量。 例如，SNRM (Zamani 等人, 2018) 学习深度学习模型生成的高维稀疏潜在向量，用于表示查询和文档。

4.2. 具有密集表示的检索模型

查询和文档可以使用低维（与词汇大小相比）密集向量来表示。 这种密集向量通常是使用预先训练的语言模型获得的，例如 BERT (Devlin 等人, 2019)，这些模型针对检索任务进行了微调(Karpukhin 等人, 2020). 密集检索模型通常基于双编码器架构——一个编码器用于表示查询，另一个编码器用于表示文档。 这些编码器可以共享参数。 一些稠密检索方法，例如 DPR (Karpukhin 等人, 2020)，用单个稠密向量表示每个查询或文档。 而其他算法，例如 ColBERT （Khattab 和 Zaharia，2020），每个词符使用一个向量，从而为每个查询和文档生成多个向量。 近似最近邻 (ANN) 算法，例如 HNSW （Malkov 和 Yashunin，2020），用于在处理密集表示时进行高效检索。 密集检索方法也常用于处理多媒体和多模态数据（Qu等人，2021；Salemi等人，2023a）。

4.3. 重新排序模型

现代搜索引擎主要是基于多级级联架构设计的——一堆排名模型，其中第一个模型有效地检索文档列表，随后的模型对前一阶段的结果进行重新排名。 常见的场景是一个两阶段过程：检索和重新排名。 重新排序模型通常使用显式或隐式相关标签进行优化。 这些模型称为学习排序模型。 早期的学习排序模型依赖于手动提取和设计的特征集，而最新的模型则依赖于深度学习模型进行表示学习和重新排序。 使用深度学习模型进行重新排名的常见策略称为交叉编码（Nogueira 和 Cho，2019），这意味着将查询和候选文档连接起来并馈送到像 BERT （Devlin等人，2019），经过训练（或微调）以产生相关性分数。 学习排序模型可以使用逐点、成对或列表损失函数进行优化。 如需了解更多信息，请参阅 Liu (2009) 的学习排名调查以及 Mitra 和 Craswell (2018) 以及 Guo 的神经排名模型调查等人(2020a)。

4.4. 生成检索模型

生成检索模型或可微分搜索索引采用编码器-解码器或仅解码器神经网络架构，其目标是根据给定的查询生成文档标识符。 尽管早期开发这些模型的尝试（Tay 等人，2022）未能大规模有效地执行​​（Pradeep 等人，2023）,Zeng 最近的研究等人 (2024) 开发了面向前缀的优化方法，使生成检索模型能够有效地扩展到大型集合。 这些模型通常为集合中的每个文档分配语义文档标识符，并进行优化以使用顺序解码算法（例如波束搜索）生成相关文档的标识符。

4.5. 统一搜索方程

当前的搜索文献可以通过借用神经图灵机（NTM）范式的寻址和读取方程来概括（Graves等人, 2014, 2016） ；雷等人，2016）。 在读取集合${\text{C}}_i$之前，模型应该通过寻址来决定它应该关注集合的哪一部分。 可以通过将查询$q_t\in Q$（来自3)与集合中的键进行比较和/或通过查找集合中的位置来完成寻址。 构造集合时也会使用寻址，这将在第 6 节中讨论。

4.5.1. 基于内容的寻址

在第 $t$ 次迭代中，稍微滥用了符号（将 ${\text{C}}_i^t$ 简化为 ${\text{C}}_t$)，给定查询 $q_t$，集合 ${\text{C}}_t$，基于内容的寻址可以定义为：

(4) $$w_t^{content}={\text{address}}_{\text{content}}(q_t,{\text{C}}_t)=topK(sort(\text{score}(q_t,{\text{transform}}_s({\text{C}}_t))),k)$$

其中k是根据查询要选择的相关地址的数量，score是评分函数，例如BM25(Robertson等人，1995) 或余弦相似度 (Guu 等人, 2020; Majumder 等人, 2024)。 基于内容的地址向量 $w_t^{content}$ 可以通过查询和集合 的所有元素的成对比较来详尽计算（Graves 等人, 2014, 2016; Weston 等人, 2015; Santoro 等人, 2016；Chen 等人，2018；Sukhbaatar 等人，2015)，加速(Lample 等人，2019；Weston 等人，2015)，或通过 ANN 近似，选择顶部 $k$ 项 $d_i\in \text{C}$，产生 $w_t^{content}$ 和 $k$ 个非零元素 (Rae 等人, 2016; Kumar 等人, 2016；Khandelwal 等人，2022；Alon 等人，2024）。 当集合中的内容无法随时与 $q_t$ 进行比较时，可能需要使用函数 ${\text{transform}}_s$，例如，映射到特征空间 （Weston 等人，2015 年；Shi 等人，2024 年；Guu 等人，2020 年；Borgeaud 等人，2022 年） 和词法转换 （Madaan 等人，2022 年）。 当不需要变换时，该函数可以是恒等函数（Grave等人，2017）。

4.5.2. 基于位置的寻址

基于位置的寻址允许搜索系统纯粹通过存储位置（例如索引）访问语料库，而无需在查询和语料库之间进行任何词汇或上下文比较。 因此，这通常用于存储（第 6 节）或基于新近度的检索。 因此，

(5) $$w_t^{location}={\text{address}}_{\text{location}}(q_t,context)$$

其中 context 是此函数在生成基于位置的地址时可以使用的辅助信息（例如，此函数之前生成的地址）。 对于某些应用，基于内容的寻址和基于位置的寻址可以一起使用。 为此，最终地址可以定义为：

(6) $$w_t=combine(w_t^{location},w_t^{content})$$

其中 combine 是一个根据基于位置和基于内容的地址生成地址的函数。 尽管之前的大部分工作使用纯基于内容的寻址(Santoro 等人, 2016; Guu 等人, 2020; Khandelwal 等人, 2020; Rae 等人, 2016) 或纯基于位置的寻址寻址（Weston等人，2015；Shinn等人，2023），一些工作同时采用基于内容和基于位置的寻址（Graves等人，2014，2016）。

4.5.3. 统一搜索方程

有了最终的地址向量$w_t$,$g_{\omega }$的检索结果$r_t$可以定义为

(7) $$r_t=\text{read}(w_t,{\text{transform}}_s({\text{C}}_t)),$$

其中 read 只是从位置 $w_t$ 的语料库中选择由 ${\text{transform}}_s$ 转换的内容。

5. 展示与消费

在本节中，我们将介绍 REML 的两个关键部分。 表示不仅涉及我们如何定义结果空间$ℛ$，还涉及如何为下一步的消费准备检索结果。 根据应用程序，呈现阶段的范围可以从简单的结果复制到具有中间预处理和基于模型的转换的更复杂的管道。 消耗是预测模型($f_{\theta }$)合并检索到的信息的过程。 在设计有效的呈现和消费方法时需要考虑很多因素。 人们通常希望合并尽可能多的信息，同时平衡效率和准确性之间的权衡。

5.1. 推介会

当向人类读者呈现搜索结果时，界面旨在使搜索结果易于使用，例如通过按相关性对项目进行排序或突出显示显着片段（White等人，2003）。 在 REML 中，我们遵循类似的原则，只不过检索数据的目标消费者是一台机器，它具有不同的限制和功能。 表2总结了与演示相关的研究。

5.1.1. 转换数据

根据任务和数据源，结果数据在使用之前将是不完整的。 数据转换是一个通用且强大的过程，根据系统的需要通过单独的模型转换数据。 需要进一步数据转换的常见原因包括去上下文化、翻译和摘要等，因此 $r$ 可以通过以下等式进行转换：

(8) $$r^{\prime }=transfor{m}_p(r)$$

去情境化

当检索到的项目只是更大文档的几个句子时，可能需要去上下文化来解决照应或先前定义的缩写（Newman等人，2023）。

翻译

搜索可能在跨语言表示空间中进行，并且检索到的项目与所需的输出语言之间可能存在语言不匹配（Lavrenko等人，2002）。 多语言语言模型可能对检索上下文中的代码切换具有鲁棒性，但在处理任何检索到的文档进行预测之前对其进行翻译可能会更可靠（Parton等人，2008；Jiang等人，2024）. 翻译可以应用于其他模式，例如重新生成图像以匹配预期的风格。

总结

由于预测模型可能存在上下文限制，因此需要压缩文档数据，以便更多文档可以适应上下文。 这可以通过自动摘要来实现，通过提取或抽象过程将原始数据转换为缩短的形式（高等人，2023b；李等人，2023）。 此外，可以在输入的上下文中总结数据，提供清晰度并解释文档为何相关。

5.1.2. 合并结果项

为了进一步优化结果项的大小或清晰度的呈现，可以组合多个项，例如，共同总结所有项（Wu等人，2021；Sarthi等人，2024）。 并非所有 REML 系统都会组合项目，因为对单个项目的操作可以高效且有效。 此外，组合项目可能会导致复杂化，例如单个分数与组合结果分数之间的校准错误，这由 compose 表示：

(9) $$r^{\prime }=compose(r)$$

5.1.3. 截断结果列表

如果并非所有文档都适合消费上下文，我们会根据这些限制丢弃或截断文档，优化长度和潜在的其他属性，例如多样性 （Hofstätter 等人，2023；Bahri 等人，2020；Meng 等人, 2024)，用truncate表示：

(10) $$r^{\prime }=truncate(r)$$

5.1.4. 用于演示的统一方程

完整的演示方程：

(11) $$r^{\prime }=truncate(compose(transfor{m}_p(r)))$$

其中任何一个函数都可以替换为简单的形式，例如恒等函数 （Lewis 等人，2020a；Izacard 和 Grave，2021b，a）。 此外，我们可以想象这些函数以任意顺序多次应用。 考虑到上下文长度限制，我们将这种排序视为最自然的排序。 $transfor{m}_p$ 用于单个项目，$compose$ 与 $transfor{m}_p$ 类似，但用于项目组。 未显示检索到的项目的加载。 与数据通常仅用于训练的传统 ML 系统不同，REML 系统具有与数据加载相关的独特要求。 由于输入所需的外部数据量是动态且巨大的（Borgeaud 等人，2022），因此数据的高效加载和管理至关重要（Douze 等人，2024；Guo 等人，2020b)。 我们假设加载是由检索模块隐式处理的。

Transform (§5.1.1) ALCE (Gao et al., 2023b) Explores both summarization and extractive snippets to compress retrieved items. Teach LLMs to Personalize (Li et al., 2023) Context independent and dependent summarization to emphasize key retrieved aspects. QADecontext (Newman et al., 2023) $†$ An example application where decontextualization is done as the downstream task when presenting passages from scientific documents. Compose (§5.1.2) Fixed Chunking (Wu et al., 2021) Recursively summarizes adjacent chunks in books. RAPTOR (Sarthi et al., 2024) First clusters then summarizes related chunks of text. Truncate (§5.1.3) FiD-Light (Hofstätter et al., 2023) Extracts subset lists of vectors in an FiD-like model to speed up attention-related performance bottleneck during decoding. Choppy (Bahri et al., 2020) $†$ A supervised approach to ranked list truncation.

表 2. 与演示相关的研究实例。 $†$：与未来 REML 研究相关。

5.2. 消耗

在 REML 中，预测模型通过一个或多个文档来呈现。 $f_{\theta }$ 的有效性受到所提供文档的消耗的影响。 理想情况下，$f_{\theta }$会同时消耗所有文档，但我们的系统在计算上受到限制；因此，消费的粒度通常仅限于所提供文档的子集。 根据任务的不同，不同的消耗算法的效用可能会有所不同——一些算法用于提取，另一些算法用于预测模型参数的动态更新。 相比之下，解码算法，例如波束搜索（Freitag and Al-Onaizan，2017）或核采样（Holtzman等人，2020） ，提供解码给定文档的有效输出的方法，并且可以合并验证以提高有效性。 消费过程中还存在其他问题，例如效率(De Jong 等人, 2023; Hofstätter 等人, 2023)和归因(Gao 等人, 2023b; Schuster 等人, 2024; Asai等人，2024；Menick 等人，2022），提供进一步的实用性。

5.2.1. 检索项不同粒度的消费

通常，检索多个项目，并且单独或一起处理检索到的项目是设计选择。 以下是使用检索项的主要范例：

• 单个：预测中仅包含单个项目。 这对于简单查询来说可能足够了，但通常需要跨多个检索到的项目组合信息。

• 集成：以单一方式对多个检索项进行预测，然后聚合（Khandelwal等人，2020；Shi等人，2024）。

• 联合：当预测具有足够灵活的上下文表示时，可以在单个推理过程中同时传递多个检索项（Izacard 和 Grave，2021b；Lewis 等人，2020a）。 这可能比集成方法更丰富，因为每个检索到的项目都知道其他项目。 由于计算限制，只有少数检索项能够以这种方式处理，并且集成方法相对更具可扩展性。

• 多轮：一种混合方法，一次处理检索到的项目的子集，下一个子集包含有关迄今为止处理的检索到的项目的信息（Jiang 等人，2023）。 虽然比联合方法更具可扩展性，但这可能会更慢。 话虽这么说，一些应用程序（例如对话）自然符合多轮框架。

这些范例是原子函数，可以组合起来形成更复杂的操作。 例如，给定检索项目的列表，表示为$r_0,r_1,r_2,r_3$，具有不同粒度的原子函数可以组成如下等式：

(12) $$y=ensemble(multiround(joint(r_0),joint(r_1)),multiround(joint(r_2),joint(r_3)))\text{,}$$

5.2.2. 消费算法

与粒度的选择无关，存在适用于消费的算法。 一般来说，它们分为以下几类：

• 提取：预测模型仅限于从检索到的项目中提取准确的信息，例如，从检索段落中提取一段文本来回答问题（Khandelwal等人，2020；Lan等人，2023） 。 这可以通过指针网络（Vinyals等人，2015）、约束解码（Hokamp和Liu，2017；Hu等人，2019；Post和Vilar，2018）来实现，以及其他类似的技术。

• 类比：通过示例学习、基于案例的推理以及检索和编辑方法都属于类比推理的范畴。 每一种都涉及不同的底层机制，但本质上，预测模型将从一个或多个示范性示例中进行推断来进行预测，而不一定从检索到的项目中提取事实知识（Das等人，2020） 。

• 上下文：预测模型将检索到的项目合并到其上下文中，但输出的解码不受任何方式的约束（Shi等人，2024）。

• 潜在：一种混合方法，其中检索到的项目不会直接合并到上下文中，而是以其他方式合并，例如通过合并隐藏状态（Yogatama等人，2021）。 与上下文方法类似，解码不受限制。

5.2.3. 解码算法

独立于消费算法，可以使用不同的解码算法来预测 REML 中的高质量输出。 一般来说，迄今为止探索的解码算法分为以下几类：

• 仅输出：波束搜索等搜索算法（Freitag 和 Al-Onaizan，2017） 在对候选预测进行评分时仅考虑模型输出（Khandelwal 等人，2020）。

• 检索增强：束搜索等搜索算法在对候选预测进行评分时会同时考虑模型输出和检索到的项目（Lewis 等人，2020a；Asai 等人，2024）。 这应该惩罚查询和检索到的项目之间的虚假关联。

• 基于验证：预测模型的初始输出将由验证模块仔细检查，如果满足条件，则可能会被拒绝，例如，输出不包含检索到的项目（Jiang等人，2023）.

5.2.4. 消费效率

可以在演示中采取步骤来加速推理，例如通过摘要压缩段落或截断检索到的项目列表(De Jong 等人, 2023; Hofstätter 等人, 2023). 还有其他与消耗更紧密结合的提高效率的方法，例如部分预计算通道嵌入。

5.2.5. 归因和其他扩展

REML 的高级应用将扩大预测模型输出空间，以纳入 REML 特定信息。 最常见的例子可能是支持归因，以便输出的每个部分都可以追溯到相关的检索项 (Gao 等人, 2023b; Schuster 等人, 2024; Asai 等人, 2024;梅尼克等人，2022）。 其他情况涉及内联验证或调用外部工具，如果不合并适当的检索项（Asai 等人，2024），这些是不可能轻易实现的。

Consumption Granularities (§5.2.1) $k$NN-LM (Khandelwal et al., 2020) Single + Ensemble Probabilities are computed for each retrieved item independently then combined. RePLUG (Shi et al., 2024) Single + Ensemble Probabilities are computed for each retrieved item independently then combined. RAG (Lewis et al., 2020a) Joint Retrieved items are concatenated before consumption. FiD (Izacard and Grave, 2021b) Joint Retrieved items are concatenated in the decoder during consumption. FLARE (Jiang et al., 2023) Multi-round Potentially retrieves new items as generation progresses. Consumption Algorithms (§5.2.2) kNN-LM (Khandelwal et al., 2020) Extractive A single word is selected from the retrieved context. CoG (Lan et al., 2023) Extractive An extension of kNN-LM that can output both words and phrases. CBR (Das et al., 2020) Analogical Incorporate knowledge graphs into neural models in spirt of case based reasoning. Dynamic L2M (Drozdov et al., 2023) Analogical Retrieves demonstrations for few-shot prompting. RePLUG (Shi et al., 2024) Contextual Uses retrieved items in the context. SPALM (Yogatama et al., 2021) Latent Incorporates retrieved items into the hidden state. Decoding Algorithms (§5.2.3) kNN-LM (Khandelwal et al., 2020) Text-only Retrieval probability is ignored for next word prediction. RAG (Lewis et al., 2020a) Retrieval-enhanced Retrieval probability is incorporated in beam search. Self-RAG (Asai et al., 2024) Retrieval-enhanced Critic probability is incorporated in beam search. FLARE (Jiang et al., 2023) Verification-based Discards low confidence continuations, triggering retrieval. Consumption Efficiency (§5.2.4) LUMEN (De Jong et al., 2023) Precompute Partially computes passage representations offline. Attribution and Extensions (§5.2.5) ALCE (Gao et al., 2023b) Attribution End of sentence. Multi-source. SemQA (Schuster et al., 2024) Attribution Mid-sentence. Multi-source. Self-RAG (Asai et al., 2024) Attribution End of sentence. Single source. Verification Outputs a special token indicating whether to use document.

表3。 消费研究实例。

6. 储存

存储是 REML 模型的可选但重要的属性之一，指的是可检索项目的保存、表示和索引方式。 存储组件可以分为耦合存储和解耦存储。 如果至少一个外部存储器与预测模型联合优化，我们称该架构具有耦合存储。 在耦合存储架构中，内容可以在线填充到存储中，并与预测模型一起更新，例如神经图灵机（NTM）（Graves等人，2014，2016） 和 REALM (Guu 等人, 2020)。 另一方面，如果所有外部存储都来自现成的系统，并且内容离线填充，我们称该架构具有解耦存储，例如kNN -LM (Khandelwal 等人, 2020) 和 ED2LM (Hui 等人, 2022b)。

在最简单的形式中，REML 系统将使用解耦存储进行操作，其中检索模型的实现独立于预测模型。 由于存储中的条目是离线填充的，并且许多现成的检索模型很容易获得，因此构建解耦存储相对方便。 另一方面，许多先进的 REML 系统使用耦合存储进行操作，其中检索模型直接受到预测模型的影响。 在这里，存储中的条目在线填充并与预测模型一起更新。 在本节中，我们将描述与耦合和解耦存储相关的存储操作和挑战。

6.1. 主存储操作

一般来说，每个存储系统必须支持三种类型的操作才能在 REML 系统中有效利用：地址生成、读取和写入。 存储操作通常用于三种场景：1）$f_{\theta }$需要在其预测中结合历史上下文，例如长上下文语言模型； 2）$f_{\theta }$利用最近/过去的交互进行各种类型的在线学习，例如强化学习和语言代理中的经验回放； 3）$f_{\theta }$是一个类似内存网络的架构（Weston等人，2015），其中检索是一个抽象过程，写入存储或从存储读取的所有内容都由网络是正在优化的目标的服务。

6.1.1. 地址生成

在 REML 系统中利用存储的一个重要方面是存储和检索特定信息的能力。 因此，存储系统必须能够生成用于读取或写入存储的特定地址。 存储位置可以分为抽象位置（存储空间中的插槽）和物理位置（存储在硬件中的位置）。 对于摘要位置，它归结为 ${\text{address}}_{\text{location}}$ 的角色，如 4.5 节中介绍的。 在大多数情况下，它将是一个简单的旋转函数（Graves等人，2014，2016），它允许通过一系列槽进行迭代。 为了提高效率，该函数可以按内容（Weston等人，2015）或层（Lample等人，2019）将条目存储到集群中，从而减少搜索过程中的计算量。 对于物理位置，不需要位于 RAM 或 VRAM 中的条目可以通过内存映射移动到磁盘，而必须位于 RAM 中的条目（例如要搜索的嵌入索引）可以进行压缩，而不会导致性能明显下降（Izacard 等人，2024）。

6.1.2. 读

从存储中读取数据是 REML 模型的重要组成部分，并且与搜索操作密切相关。 然而，在第 6 节中，我们重点关注可检索项目在存储中的表示方式。 如何读取它们将在第 4 节中讨论。

6.1.3. 写

在时间$t$，获得地址向量$w_t$后，可以通过更新数据存储${\text{C}}_t$的write函数来完成存储操作> 如下：

(13) $${\text{C}}_{t+1}=\text{write}(w_t,{\text{C}}_t,{\text{payload}}_t)$$

其中payload可以是向量或原始表示形式，在存储到存储之前可以通过一些函数进行预处理，类似于5节中定义的函数（Hui等人，2022b）。

从4.5节提到的寻址机制来看，可以理解，在写操作之前使用基于位置的寻址，遵循神经图灵机（NTM）的框架（Graves等）人，2014，2016）。 在大多数情况下，写操作将简单地将最新条目附加到存储的末尾（指向下一个可用槽的地址向量），在每个新输入之后按顺序执行，遵循神经缓存模型 的工作（坟墓等人，2017）。 另一方面，一些架构，例如记忆神经网络（MemNN）（Weston等人，2015）或大型记忆层（Lample等人，2019）的操作方式不同，并将生成一个地址，指定在内存中写入新条目的位置，可能会覆盖之前存在的任何条目。 正则化可以应用于内存网络，以确保使用大部分内存。 这些决策可以通过与存储管理组件的协同努力来做出。

6.2. 存储操作的阶段

在 REML 系统中，存储通过两个不同的阶段进行操作。 初始阶段称为存储构建，涉及系统使用必要的信息设置存储基础设施以促进其操作。 完成此设置后，系统将过渡到存储管理阶段，在此阶段确定存储信息的适当策略，包括选择要保留的数据、最佳存储位置以及组织数据的方法。供将来检索的信息。

6.2.1. 仓储建设

在大多数情况下，REML 系统将通过处理整个检索语料库来初始化其存储。 这可以根据需要在训练之前、训练之后、推理之前以及整个过程中离线完成。 存储构造已得到充分记录和研究，初始存储构造本质上是一系列写入和地址生成操作。 存储可以构建为键值结构，其中检索空间 $𝒟$ 可以定义为：

(14) $$𝒟=\{(k_i,v_i)|d\in \text{C},k_i=transfor{m}_k(d),v_i=transfor{m}_v(d)\}$$

其中 $transfor{m}_k$ 是一个键表示函数，可以获取语料库中的每个条目或输入实例 $x$。 类似地，$transfor{m}_v$是一个值表示函数，它可以采用语料库中的每个条目或输入实例$x$在存储中生成一个值。 需要注意的是，$transfor{m}_k$ 和 $transfor{m}_v$ 函数可以只是恒等函数，这意味着它根本不会更改键和值。 表4描述了每篇论文如何构建其离线和/或在线存储。 例如，在 EMAT (Wu 等人, 2022d) 中，集合是问题和答案对，$transfor{m}_k$ 函数仅利用每对中的问题来生成密钥表示，$transfor{m}_v$ 函数仅使用每对的答案来生成值表示。

6.2.2. 存储管理

一旦存储初始化，为了最佳的任务完成和效率，需要对存储操作进行调度，我们将这个阶段称为存储管理。 存储的有效使用可以从空间和速度的角度来理解，这归结为确定三个决策：存储时间、存储内容和存储方式。

何时储存

大多数场景下，$g_{\omega }$会根据$f_{\theta }$的需要，从初始阶段构建的存储中拉取信息。 但是，当 $g_{\omega }$ 与 $f_{\theta }$ 顺序或联合训练期间 $\omega$ 发生变化时，此设置可能会引入存储陈旧问题。 由于${𝒟}_{\text{key}}$(C中key的检索空间）是在训练过程中由$\omega$构建的，因此需要将存储刷新为$\omega$ 已更新； MemNN (Weston 等人, 2015) 甚至提到了这一点。 这归结为提出两个问题：1) 更新频率，以及 2) 更新存储的哪一部分。 对于第一个问题，可以同步（每个训练步骤）或异步（每个 $T$ 训练步骤）更新存储(Asai 等人, 2023a)。 对于第二个问题，可以选择更新整个存储、存储的子集，或者根本不更新存储。

储存什么

从何时存储继续，如果存储定期更新，则有选择地存储可能是有益的。 对于同步更新，由于计算开销较大，优选通过批量近似或重新排序来更新存储子集，而异步更新时通常会执行完整存储更新(Izacard 等人, 2024; Asai 等人，2023a；钟等人，2022；顾等人，2020）。 另一种选择性存储的方法是随着存储空间变满而定期更新，擦除过去存储的一些条目。 一种简单的方法是设置存储的窗口大小并像队列一样管理它(Shinn 等人, 2023; Wu 等人, 2022b; Dai 等人, 2019; Rae 等人, 2020) ，类似于丢弃存储中最旧的条目（Grave等人，2017）。 Weston 等人 (2015) 设计了一个单独的擦除模块，对每个条目的效用进行评分，以丢弃最不有用的条目。

如何储存

这包括条目表示，例如索引压缩（Wu等人，2022b；Rae等人，2020；Martins等人，2022）和量化（Izacard等人，2024） 以及存储的架构选择，例如键值结构(Grave 等人, 2017; Khandelwal 等人, 2020; Wu 等人, 2022c; Zhu 等人, 2022; Min 等人, 2023; Borgeaud 等人, 2022; Yogatama 等人, 2021; Alon 等人, 2022; Hui 等人, 2022b)，其中压缩和表示计算可以批量进行(Zamani 等人, 2022).

6.3. 存储类型

Coupled Storage (§6.3.1) Key Value NTM (Graves et al., 2014, 2016) transformed output of $f_{\theta }$ (the same as the Key) MemNN (Weston et al., 2015) & MemN2N (Sukhbaatar et al., 2015) input feature embedding (the same as the Key) Dynamic Memory Network (Kumar et al., 2016) input feature embedding (the same as the Key) Neural Cache Model (Grave et al., 2017) hidden representation of RNN next word RUM (Chen et al., 2018) user-item embedding (the same as the Key) Transformer-XL (Dai et al., 2019) hidden representation of Transformer (the same as the Key) LongMem (Wang et al., 2023a) attention-key attention-value Memorizing Transformer (Wu et al., 2022c) attention-key attention-value MemTransformer (Burtsev et al., 2021) sequence of tokens tokens RPT (Rubin and Berant, 2023) token chunk embedding (the same as the Key) Unlimiformer (Bertsch et al., 2023) token chunk embedding (the same as the Key) MeMViT (Wu et al., 2022b) image frame embedding (the same as the Key) PFMN (Lee et al., 2018) image frame embedding (the same as the Key) REALM (Guu et al., 2020) document embedding (the same as the Key) REPLUG LSR (Shi et al., 2024) document embedding (the same as the Key) ATLAS (Izacard et al., 2024) document embedding (the same as the Key) EMAT (Wu et al., 2022d) question embedding answer embedding QAMAT (Chen et al., 2023c) question embedding question-answer embedding TRIME (Zhong et al., 2022) context (sequence of tokens) next token NPM (Min et al., 2023) token embedding token Reflexion (Shinn et al., 2023) NL self-reflection in NL (the same as the Key) CLIN (Majumder et al., 2024) self-reflection in NL (the same as the Key) ExpeL (Zhao et al., 2024) self-reflection in NL (the same as the Key) Generative Agent (Park et al., 2023) stream of experience in NL (the same as the Key) Voyager (Wang et al., 2023c) program description embedding program code MemPrompt (Madaan et al., 2022) NL question NL human feedback Decoupled Storage (§6.3.2) kNN-LM (Khandelwal et al., 2020) context embedding next token SPALM (Yogatama et al., 2021) context embedding next token RAG (Lewis et al., 2020b) document embedding (the same as the Key) RETOMATON (Alon et al., 2022) context embedding next token, pointer KIF (Fan et al., 2021) evidence embedding (multimodal) (the same as the Key) RETRO (Borgeaud et al., 2022) token chunk embedding token chunk ED2LM (Hui et al., 2022b) document embedding document REPLUG (Shi et al., 2024) document embedding (the same as the Key)

表 4. 具有外部存储的 REML 模型实例。 NL是自然语言的缩写。

在文献中，REML 系统中确定了两种类型的存储架构：耦合存储和解耦存储。 以下各节将详细介绍这些架构，并介绍与每种存储类型相关的特征。

6.3.1. 耦合存储

耦合存储被定义为可以在预测模型的训练和推理过程中在线更新并可以联合优化的存储。 耦合存储增强的最初开发主要由神经图灵机 (NTM) (Graves 等人, 2014, 2016) 和内存网络 (MemNN) (Weston 等人, 2015). 他们通过利用外部可寻址存储向语言推理任务展示了摘要操作，例如复制、召回和排序，其中这些架构存储中的内容是可以被 $f_{\theta }$ 轻松使用的密集向量。 我们建议读者参考这两个模型的原始论文，以更深入地了解具有耦合存储的 REML 模型的主要形状。 具有耦合内存的 REML 系统有一些显着的特征，包括但不限于：

耦合存储的陈旧性

耦合存储的主要问题之一是在训练 $g_{\omega }$ 时出现，导致存储过时。 这仍然是社区中持续存在的挑战，但正如 6.2 节中提到的，已经设计了几种技术来通过回答更新频率（同步或异步）以及要更新存储的哪一部分（全部或部分）。 因此，有五种不同的策略，包括避免更新。 同步完整更新是通过在每个训练步骤更新存储来解决陈旧问题的简单方法。 它在一些研究中进行了尝试（Rubin和Berant，2023；Bertsch等人，2023），但其巨大的计算开销使其无法在实际环境中使用（Izacard等人， 2024）。 同步部分更新可以通过选择一批条目进行更新（Izacard等人，2024）来完成。 根据应用的不同，可以有多种批量选择策略，例如词汇相似度（Zhong等人，2022）或文档内采样（Min等人，2023） 。 异步完整更新是通过每$T$训练步更新完整存储(Guu 等人, 2020; Izacard 等人, 2024; Shi 等人, 2024; Wu等人，2022d)。 这使得索引在再次更新之前就已经过时。 例如，Wu 等人 (2022d) 在每个训练 epoch 开始时冻结存储，仅在每个 epoch 结束时更新。 据我们所知，很少有人尝试异步部分更新，因为它可能会大幅降低训练性能。 另外，由于索引重新创建的成本非常高，因此可以忽略陈旧性并避免使用适当的策略重新建立索引，而不会大幅影响性能（Rae等人，2016；Lewis等人，2020b；Izacard 等人，2024；Guu 等人，2023a；Wu 等人，2022c)。

耦合存储中的冷启动问题

配备耦合存储的模型的另一个特点是它们可能存在冷启动问题，即在存储填满足够的信息之前 $f_{\theta }$ 的性能不是最佳的。 大多数以空存储开始的架构，例如语言代理（LA）或在多个训练步骤中处理长文档的长上下文语言模型都有这个问题（Park 等人，2023；Majumder 等人，2024 ; Shinn 等人, 2023; 王等人, 2023c; 钟等人, 2022)。 然而，当模型可以适应新任务并且之前任务中建立的存储/经验可以转移到新任务时，冷启动问题可以得到缓解（Majumder等人，2024）。

耦合存储的多功能性

尽管有其缺点，耦合存储在理论上和各种应用中都取得了显着的发展。 它包括使具有端到端可训练耦合存储的 REML 系统（Sukhbaatar 等人，2015），使用情景存储捕获语言的位置和时间性（Kumar 等人，2016），并通过稀疏访问（Rae等人，2016；Zaremba和Sutskever，2016）和战略存储管理（Lample等人，2019；Grave等人，2017）来扩展存储）。 这些导致了在各个领域的应用，例如元学习（Santoro等人，2016）、顺序推荐（Chen等人，2018）、视频摘要和识别（Lee等人，2018；Wu等人，2022b）。 在长上下文语言模型（Bertsch等人，2023；Zhong等人，2022）中，已经有通过注意力循环来解决任务的方法（Dai等人，2019；Yogatama等人） , 2021; Wu 等人, 2022c; Wang 等人, 2023a) 和隐藏状态压缩(Rae 等人, 2020; Martins 等人, 2022; Wu 等人, 2022b) 。 近年来，语言智能体的研究重点关注智能体在与外部环境交互时使用语言模型进行感知、推理、规划和管理记忆的能力（Sumers等人，2024）。 这些智能体根据观察结果独立学习并调整知识，配备了用于长期记忆的外部存储，使它们能够存储过去的推理（Majumder 等人，2024；Wang 等人，2023c；Zhao 等人，2024；Park 等人，2023；Shinn 等人，2023）或用户反馈（Madaan 等人，2022）以供将来使用和自我反思（Madaan 等人） ，2024）。

6.3.2. 解耦存储

解耦存储被定义为 REML 系统中的一种存储方法，其中 $g_{\omega }$ 独立于 $f_{\theta }$ 运行。 与耦合存储相反，耦合存储中的条目动态在线更新通常受到 $f_{\theta }$ 和 $g_{\omega }$ 联合优化的影响，解耦存储涉及条目的离线填充，即存储变为读取-仅限在线阶段。 具有解耦内存的 REML 系统有一些显着的特征，包括但不限于：

易于实施。

由于检索器完全独立于预测模型，因此与耦合存储相比，REML系统的实现变得容易得多(Borgeaud等人, 2022; Hui等人, 2022b; Yogatama等人, 2021; Khandelwal等人，2020；阿隆等人，2022）。 在训练 REML 系统时，在解耦存储架构中，可以单独训练检索器，也可以使用已经公开可用的现成检索器（Shi 等人，2024）。 这也意味着只需更换 REML 系统的组件即可轻松编辑 REML 系统。 因此，与耦合存储架构不同，这种设计可以保证摆脱存储陈旧和冷启动问题。 当系统需要整合多模式或多源的多个存储时，实施的简便性就显得尤为突出（Fan 等人，2021；Yang 等人，2024a；Yu 等人，2022b），使用耦合内存架构来实现可能会很棘手。

性能次优。

一般来说，众所周知，在具有多个组件的 REML 系统中，与单独训练每个组件相比，端到端训练会产生更好的性能（Sachan 等人，2021；Wang 等人，2024b；Zamani 和 Bendersky，2024 ）。 然而，在具有解耦存储的 REML 系统中，存储组件和预测模型是分开训练的。 此配置可能会导致系统下游任务的性能不佳。 换句话说，尽管很方便，但在解耦存储系统中，在预测模型训练期间存储的固定性质（反之亦然）阻碍了它们适应彼此的需求。

7. 优化

如图2所示，REML系统由多个相互交互的组件组成。 优化可以进行端到端（即，为了共同目标同时优化所有模型参数）。 或者，可以对模型参数的子集进行优化，例如 REML 中每个组件的独立优化。 例如，为了优化查询生成组件，需要真实查询来独立优化该组件。 对于某些组件来说，获得此类数据是困难的。 远程或弱监督是解决这个问题的一个潜在解决方案。 在本节的其余部分中，我们主要关注 REML 系统的两个主要组成部分——检索模型和预测模型的优化。

7.1. 检索模型优化

7.1.1. 无 REML 优化

在广泛的研究中，检索模型并未优化。 在其中许多中，查询和文档都是非结构化文本的形式。 在这种情况下，查询和文档表示通常是根据术语统计数据计算的，例如文档中的术语频率或文档集合中的文档频率。 使用检索模型，例如 TF-IDF （Salton 和 Buckley，1988）、BM25 （Robertson 等人，1995） 和查询似然 （Ponte 和 Croft， 1998)，带有默认参数，就属于这一类。 例如。 Dr.QA 模型（Chen 等人，2017a） 使用 TF-IDF 的 ElasticSearch 实现从 Wikipedia 进行文档检索，以进行事实问答。 SelfMem 模型（Cheng 等人，2024） 使用 BM25 进行文档检索，用于许多检索增强的文本生成任务，例如翻译和对话。

预训练的语言模型（例如编码器表示）也可用于生成查询和文档的潜在表示，其中简单的相似性函数（例如点积或余弦相似性）用于计算查询-文档对的相关性分数。 尽管这些语言模型经历了昂贵的优化过程，但它们的优化并不是特定于 REML 的。 请注意，使用未经优化的语言模型表示进行检索通常效果不佳。 例如，Lien 等人 (2024) 证明，使用简单的 BERT 或 RoBERTa 表示进行零样本检索比术语匹配模型（如 BM25）要差得多。

最近，人们发现大规模指令调整语言模型（例如 GPT-3.5）可以经过仔细指示，对给定查询的一些文档进行排名（Sun 等人，2023） 。 这些模型可以有效地执行，但不能应用于大型文档集合，只能用作重新排序模型。

通过结构化查询（例如 SQL）从数据库中检索也属于这一类。 各种面向任务的对话系统，例如旅行预订和餐厅预订的智能助手，需要访问数据库以获取最新的可用性（Chen 等人，2017b）。

7.1.2. 独立优化

REML 可以利用检索模型，其优化独立于预测模型的参数。 检索模型通常使用一组查询-文档-相关性三元组进行训练。 相关性信号可能来自（1）显式注释，例如来自专家评估员或众包人员，（2）隐式反馈（Joachims，2002；Joachims等人，2017） ，例如，用户点击、停留时间、鼠标移动等，或（3）自动生成的微弱信号（也称为远程监督信号），例如短语的出现，例如 QA 上下文中的回答，文档、另一个检索模型的检索分数（Dehghani 等人，2017）、大型语言模型生成的注释（Thomas 等人，2023）。 使用这些训练三元组，可以使用三种不同的方法来优化检索模型：(1) 逐点排序、(2) 成对排序和 (3) 列表排序。 有关各种排名损失函数的更多信息，请参阅Liu (2009)。

在 REML 的背景下，大量研究，例如 (Vu 等人, 2023; Hashemi 等人, 2021; Lyu 等人, 2023; Jiang 等人, 2023) 使用商业搜索引擎，例如 Bing 或 Google，作为它们的检索模型。 这些搜索引擎使用上述相关性信号的组合进行优化。 因此，它们被认为是独立的优化模型。 一组方法，例如（Izacard and Grave，2021b），在明确标记的集合上训练检索模型，例如MS MARCO （Campos等人，2016）或出处KILT 基准（Petroni 等人，2021） 中的标签，然后在经常超出域的 REML 场景中使用经过训练的模型。 (Qu 等人, 2021, 2020; Salemi 等人, 2023b) 中也使用弱监督或远程监督来进行开放域（视觉）问答，假设任何包含答案短语的文档是相关的。

7.1.3. 条件优化

在条件优化中，检索模型以预测模型 $f_{\theta }$ 为条件进行优化。 一组条件优化方法使用知识蒸馏。 例如，Izacard 和 Grave (2021a) 使用融合解码器架构中交叉注意力权重的聚合作为检索模型的弱信号。 这里，提供权重的解码器扮演教师模型的角色，而密集段落检索模型扮演学生模型的角色。 或者，Yang 和 Seo (2020) 使用答案跨度选择模型（即读者）产生的相似性得分作为教师得分，并最小化它们与检索得分之间的 KL 散度。

正如 Izacard 和 Grave (2021a) 所示，从下游 ML 模型到检索模型的知识蒸馏可以迭代完成，如下所示：

(15) $${\omega }^{(t+1)}=\arg \underset{\theta }{\min }\frac{1}{|T|}\sum _{(x,y)\in T}ℒ(f_{{\theta }^{(t)}}(x;g_{\omega }),y)$$

其中迭代（或纪元）$t+1$中的检索模型根据迭代$t$时预测模型的参数进行优化，其中$ℒ$是下游损失函数。

7.2. 预测模型优化

7.2.1. 无 REML 优化

与检索模型类似，预测模型也可以用作“黑盒”系统，无需 REML 特定的训练。 例如，各种查询扩展方法，例如 Rocchio 算法（Rocchio，1971）、相关性模型（Lavrenko 和 Croft，2001） 以及散度最小化模型（Zhai 和 Lafferty，2001） 根据检索结果中术语和概念的出现来扩展查询。 在零样本环境中使用预先训练的大型语言模型是近年来受到广泛关注的另一个例子（Shi等人，2024；Salemi等人，2024b）。

7.2.2. 独立优化

REML 中的预测模型可以独立于检索模型的参数进行优化。 例如，我们可以通过假设检索模型是最优的（即检索真实相关文档）来优化预测模型。 此时，预测模型$f_{\theta }$的优化可以建模为：

(16) $${\theta }^{\ast }=\arg \underset{\theta }{\min }\frac{1}{|T|}\sum _{(x,y)\in T}ℒ(f_{\theta }(x;g_{\mathrm{opt}}),y)$$

其中 $ℒ$ 是下游任务的损失函数。 例如，许多开放域 QA 模型经过优化，可以根据问题和黄金（基本事实）段落（Chen 等人，2017a）提取或生成答案。 有些可能会放宽检索模型的最优性假设，并将不相关的文档注入地面实况集。 这些文档可以随机采样，也可以从检索模型的输出中采样，但不能是 $g_{\omega }$。

7.2.3. 条件优化

或者，可以根据检索模型的性能来训练预测模型。 在不失一般性的情况下，这可以被视为迭代过程，其中预测模型在一次迭代中被优化并且检索模型可选地在下一次迭代中被优化。 利用这个公式，可以得到迭代$t$时预测模型的参数，如下所示：

(17) $${\theta }^{(t)}=\arg \underset{\theta }{\min }\frac{1}{|T|}\sum _{(x,y)\in T}ℒ(f_{\theta }(x;g_{{\omega }^{(t)}}),y)$$

7.3. 检索和预测模型的联合优化

7.3.1. 联合多任务优化

检索模型和预测模型可以联合训练。 联合优化可以端到端建模（本节稍后解释）或通过多任务学习建模。 在联合多任务优化中，对于任何训练实例，检索结果和预测模型参数都会更新。 例如，FiD-Light (Hofstätter 等人，2023) 除了用于检索增强文本生成任务的输出文本之外，还生成具有正来源分数的文档。 然后，生成的文档 ID 用于对结果列表重新排序。 因此，这可以看作是重排序和生成的联合优化。

7.3.2. 端到端优化

遵循风险最小化框架，REML 中的端到端优化可以建模如下：

(18) $${\theta }^{\ast },{\omega }^{\ast }=\arg \underset{\theta ,\omega }{\min }\frac{1}{|T|}\sum _{(x,y)\in T}ℒ(f_{\theta }(x;g_{\omega }),y)$$

其中两个参数集 $\theta$ 和 $\omega$ 通过优化下游机器学习任务的适当损失函数来同时更新。 然而，REML 的端到端优化可能具有挑战性。 这主要是由于 REML 中信息访问模型的顶级$k$项选择过程导致端到端 REML 模型不可微。 现有的工作做了一些简化的假设，将优化转变为可微的过程。 例如，Lewis 等人 (2020b) 中的 RAG 模型将检索到的文档集边缘化为一组预先选择的文档。 后来 Sachan 等人 (2021) 使用类似的方法进行开放域问答。 除了边缘化之外，RetGen (Zhang 等人, 2022a) 和 EMDR² (Singh 等人, 2021) 还做出了文档独立性假设，将损失函数计算为每个单独文档的总和。

8. 评估

我们评估的目标是了解对系统进行更改（包括完全替换）是否比保持现状更好。 例如，我们可能有兴趣了解更改搜索组件是否可以提高预测性能。 我们将此评估指标称为 $\mu$，其参数将很快解释。 我们计算关于某些总体$\text{Pr}(𝒳)$的分布的预期度量值，理想情况下这与训练数据使用的分布相同。

我们将评估分类为外部（查看预测模型的最终性能）或内部（使用本地质量度量查看系统组件的性能）而不是预测模型性能（Sparck-Jones 和 Galliers，1996）。 模型的内在评估可以是外在评估的有效近似，或者可以测量一些独立值，例如资源消耗。

8.1. 外在评价

在所有情况下，我们最感兴趣的是系统指标的预期值。 也就是说，对于模型$ℳ=⟨f_{\theta },g_{\omega }⟩$和评估数据${\text{L}}_{\text{test}}$，计算，

(19) $𝔼[\mu (ℳ(x))]$ $={\displaystyle \frac{1}{|{\text{L}}_{\text{test}}|}}{\displaystyle \sum _{x\in {\text{L}}_{\text{test}}}}\mu (ℳ(x))$

从外部评估系统时，我们可以通过多种方式提出有关系统相对性能的假设（Guu 等人，2020；Petroni 等人，2021；Lewis 等人，2020b）。 在非重叠系统比较中，给定两个模型元组$ℳ=⟨f_{\theta },g_{\omega }⟩$和${ℳ}^{\prime }=⟨f_{{\theta }^{\prime }},g_{{\omega }^{\prime }}⟩$，判断是否$𝔼[\mu (ℳ(x))]>𝔼[\mu ({ℳ}^{\prime }(x))]$。 在固定检索模型比较中，给定两个模型元组$ℳ=⟨f_{\theta },g_{\omega }⟩$和${ℳ}^{\prime }=⟨f_{{\theta }^{\prime }},g_{\omega }⟩$，判断是否$𝔼[\mu (ℳ(x))]>𝔼[\mu ({ℳ}^{\prime }(x))]$。 作为一种特殊情况，我们可以根据某些内在标准将 $g_{{\omega }^{\ast }}$ 视为最佳排序器；这使我们能够检查系统是否可以有效地合并相关项目。 在固定预测模型比较中，给定两个模型元组$ℳ=⟨f_{\theta },g_{\omega }⟩$和${ℳ}^{\prime }=⟨f_{\theta },g_{{\omega }^{\prime }}⟩$，判断是否$𝔼[\mu (ℳ(x))]>𝔼[\mu ({ℳ}^{\prime }(x))]$。 在这种情况下，我们可以根据一些内在标准将$f_{{\theta }^{\ast }}$视为最佳预测模型；这使我们能够检查系统是否可以有效地检索相关项目。

8.2. 内在评价

REML 系统由众多组件组成，每个组件都能够进行单独评估。 组件的内在评估涉及根据系统相对于该组件的孤立性能来比较系统。 然而，此类系统最重要的组成部分是检索和预测模型。

8.2.1. 检索的内在评价

检索模型的内在评估侧重于根据系统的孤立检索性能来比较系统。 在这种情况下，假设单轮检索，我们可以提出两种类型的假设。 在非重叠系统比较中，给定两个模型元组$ℳ=⟨f_{\theta },g_{\omega }⟩$和${ℳ}^{\prime }=⟨f_{{\theta }^{\prime }},g_{{\omega }^{\prime }}⟩$，确定是否$𝔼[\mu (g_{\omega }(f_{\theta }(x)))]>𝔼[\mu (g_{{\omega }^{\prime }}(f_{{\theta }^{\prime }}(x)))]$，其中，滥用表示法，$f_{\theta }(x)$和$f_{{\theta }^{\prime }}(x)$仅考虑$g_{\omega }$和$g_{{\omega }^{\prime }}$的查询处理。 在固定查询处理比较中，给定两个模型元组$ℳ=⟨f_{\theta },g_{\omega }⟩$和${ℳ}^{\prime }=⟨f_{\theta },g_{{\omega }^{\prime }}⟩$，判断是否$𝔼[\mu (g_{\omega }(f_{\theta }(x)))]>𝔼[\mu (g_{{\omega }^{\prime }}(f_{\theta }(x)))]$。 指标 $\mu$ 的选择取决于任务，但应该是某种检索指标，除非检索结果不是排名。 此类指标需要对每个项目进行一些相关性估计。 对于 REML，这可能来自，

1. 从人类评估者那里收集的明确标签。 这要求实例、目标和项目是可解释的。 KILT 基准中针对一些任务的“来源标签”，例如 Natural Questions (Kwiatkowski 等人, 2019) 和 ELI5 (Fan 等人, 2019) 可以被认为是这样的标签。

2. 从目标推断标签。 例如，在 QA 中，我们可以计算检索到的项目与目标之间的相似度。 RAGAS (Es 等人, 2024) 和 ARES (Saad-Falcon 等人, 2024) 中的“上下文相关性”可以被认为是这种情况的变体。

3. 来自模型预测的属性标签。 例如，在 QA 中，如果模型正确生成答案，我们可以尝试将答案的正确性归因于每个检索到的项目。 该方法受到 eRAG （Salemi 和 Zamani，2024a） 的启发，通过量化每个检索到的文档对获得正确答案的贡献来评估检索模型的性能。

8.2.2. 消费的内在评价

消费的内在评估侧重于根据系统将检索结果转化为有效预测的孤立能力来比较系统。 虽然外部评估一般衡量系统的有效性，但消费的内部评估侧重于预测是否可归因于检索结果（例如，与消费模型参数中已有的信息相比）。 在固定检索比较中，给定两个模型元组$ℳ=⟨f_{\theta },g_{\omega }⟩$和${ℳ}^{\prime }=⟨f_{{\theta }^{\prime }},g_{\omega }⟩$，判断是否$𝔼[\mu (f_{\theta }({ℛ}_{\omega ,x}),{ℛ}_{\omega ,x})]>𝔼[\mu (f_{{\theta }^{\prime }}({ℛ}_{\omega ,x}),{ℛ}_{\omega ,x})]$。 指标$\mu (\tilde{y},\widetilde{ℛ})$的选择取决于任务，但衡量预测$\tilde{y}$是否与检索结果$\widetilde{ℛ}$相关。 RAGAS (Es 等人, 2024) 和 ARES (Saad-Falcon 等人, 2024) 中的“忠诚”可以被认为是这种情况的变体。

8.3. 数据集

每个 REML 系统都经过定制，可以执行一系列特定的任务。 在文献中，各种基准和数据集用于从不同角度评估这些系统。 一般来说，数据集分为两类：1）专门考虑 REML 系统的外部评估，仅根据端到端性能对其进行评估。 2）那些提供检索相关性标签来评估除端到端性能之外的检索性能。 也就是说，表 5 说明了文献中最常用的数据集和基准。

End-to-End Evaluation (§8.3) Task Datasets Corpus Entity Related QA PopQA(Mallen et al., 2023), EntityQuestions(Sciavolino et al., 2021) Wikipedia Current Events Related QA RealtimeQA(Kasai et al., 2023) News Websites Science Related Multiple-choice QA ARC (Clark et al., 2018) Subset of Web Science Related QA Qasper(Dasigi et al., 2021) Scientific Articles Story Related Long-form QA NarrativeQA(Kočiský et al., 2018) A Long Story Query-based Summarization QMSum(Zhong et al., 2021) A Meeting Transcript Personalized Classification and Generation LaMP(Salemi et al., 2024b) A User Profile End-to-End & Retrieval Evaluation (§8.3) Open-domain Multi-Hop QA 2WikiMultiHopQA(Ho et al., 2020), HotpotQA(Yang et al., 2018; Petroni et al., 2021) Wikipedia Open-domain Short-form QA Natural Questions(Kwiatkowski et al., 2019; Petroni et al., 2021), TriviaQA(Joshi et al., 2017; Petroni et al., 2021), StrategyQA(Geva et al., 2021) Wikipedia Open-domain Long-form QA ELI5(Fan et al., 2019; Petroni et al., 2021), ASQA(Gao et al., 2023b) Wikipedia Dialogue Generation Wizard of Wikipedia(Dinan et al., 2019; Petroni et al., 2021) Wikipedia Slot Filling ZeroShot RE(Levy et al., 2017; Petroni et al., 2021), T-REx(Elsahar et al., 2018; Petroni et al., 2021) Wikipedia Entity Linking AIDA CoNLL-YAGO(Hoffart et al., 2011; Petroni et al., 2021), WNED-WIKI/CWEB (Alani et al., 2018; Petroni et al., 2021) Wikipedia Fact Verification FEVER(Thorne et al., 2018; Petroni et al., 2021) Wikipedia Open-domain Visual QA OK-VQA(Marino et al., 2019; Qu et al., 2021) Wikipedia Open-domain Visual QA FVQA(Wang et al., 2017) A Supporting Facts Set

表 5. 可用于训练和评估 REML 系统的数据集（并非详尽列表）。 有些专注于端到端评估，而另一些则提供检索评估标签。

9. 未来发展方向

考虑到迄今为止在设计 REML 系统方面所做的广泛努力，本节提出了旨在增强这些系统各个方面的未来工作的新想法。 具体来说，我们为前面讨论的每个部分提出了几个未来的方向。

9.1. 查询

9.1.1. 查询指令

大语言模型指令调优的最新进展表明下游任务的性能有了显着提高（Wei 等人，2022；Mishra 等人，2022；Wang 等人，2022）。 此外，最近关于利用指令进行检索的研究已经超越了竞争基线，在检索效率方面展示了卓越的性能（Asai等人，2023b）。 考虑到这一点，开发用于查询生成的转换函数，在查询的同时生成任务和特定于查询的指令，可以显着增强检索模型满足预测模型要求的能力。

9.1.2. 检索系统感知查询生成

大多数现有的查询生成转换和分解函数在运行时没有考虑检索模型的类型和配置。 但是，使用考虑检索模型规范的查询生成组件可以生成更有效的查询，以满足模型的特定要求。 例如，当使用强调术语匹配的BM25作为检索器模型时，与相关文档紧密对齐的术语的查询可以提高检索性能。 相反，在优先考虑查询和文档之间的语义相似性的密集检索模型中，生成与相关文档具有增强的语义对齐的查询将更有利。

9.1.3. 检索模型和预测模型之间分离的接口

大多数 REML 系统使用自然语言在预测模型和检索模型之间进行通信。 像 kNN-LM (Khandelwal 等人, 2020) 这样的模型，使用预测模型的隐藏表示作为查询和键，表示全部来自预测模型。 然而，仅仅依赖自然语言或一种模型的表示可能不是最佳的。 另一种方法是联合训练检索模型和预测模型，以学习共享的隐藏空间，从而实现更有效的沟通。 这种方法可以更有效地传达信息并增强模型之间的交互，从而带来更好的性能和协调。

9.2. 搜寻中

9.2.1. 预测模型感知检索系统

IR 中的个性化文献可以成为制作针对特定预测模型定制的检索模型的良好动机。 例如，可能存在这样的情况：多个预测模型由几个检索模型提供服务（Salemi 和 Zamani，2024b）。 在这种情况下，检索模型可以存储它们所服务的预测模型的元数据，从而为针对每个或一组预测模型定制检索结果提供了机会。

9.2.2. 重新定义相关性

与预测模型感知的 IR 系统相关，当前的 IR 模型是基于文档的相关性构建的。 这种相关性是通过该文档是否有助于满足用户的信息需求来定义的。 然而，在 REML 中，文档的使用者是预测模型，而不是人类用户（Salemi 和 Zamani，2024a）。 因此，应该重新定义相关性，以纳入文档在预测目标输出时的有用性。

9.3. 展示与消费

9.3.1. 任务专门的呈现和消耗

与特定于任务的检索有利于区分事实验证、实体链接、QA 等类似，使用特定于当前任务的文档表示可能会更好。 这可以具体化为带有特定于任务的指令、特定于任务的中间步骤（包括文档如何相关的解释）、甚至特定于任务的文档嵌入的提示。

9.3.2. 主动REML

在实践中，不仅回答查询提出的直接问题，而且解决潜在的后续问题（Samarinas 和 Zamani，2024；Liao 等人，2023）是有益的。 后续问题可以过渡到新主题（例如，预订航班后购买酒店），或者深入研究最初答案的一部分（例如，Dave Grohl 不仅组建了 Foo Fighters，而且之前还是 Nirvana 乐队的鼓手）。

9.4. 储存

9.4.1. 共享收藏

图2描述了单个$f_{\theta }$与多个信息访问系统交互。 然而，也可以将多个$f_{{\theta }_i}$映射到单个信息访问系统。 在这种特定情况下，多个预测模型共享单个集合，模型了解存储什么重要、什么不重要的能力变得至关重要，因为将不相关的内容推送到共享存储可能会导致其实用性下降并导致性能下降共享同一集合的其他$f_{{\theta }_i}$。

9.4.2. 存储陈旧性

在训练 REML 模型时，更新的检索器通常会使之前构建的存储变得陈旧。 尽管已经有很多尝试绕开这个问题，但没有研究找到解决该问题的深刻方法。 这一持续存在的挑战需要进一步研究自适应存储机制，该机制可以动态地与检索器更新保持一致，确保数据完整性和模型效率。

9.5. 评估

9.5.1. 透明的内在评估

尽管对 REML 模型进行系统评估已有一些尝试(Saad-Falcon 等人, 2024; Es 等人, 2024; Salemi and Zamani, 2024a)，但大多数都使用大语言模型来进行评估。 然而，这些指标缺乏透明度，因为它们没有给出以这种方式评估的有效理由。 也就是说，研究 REML 系统的透明评估是未来的一个重要方向。

9.5.2. 产出公平、可信、透明

尽管这些主题正在兴起，但它们主要在非 REML 设置上进行评估（例如，没有检索增强的文本生成）。 这些评估标准可以针对 REML 应用提出不同的研究方向。 识别不公平可能发生的位置（在检索和/或消费期间）并检查不公平是否传播到系统的最终输出可能是未来的研究方向。 在模型可信度和透明度研究中可以探索类似的方向。

9.6. 优化

9.6.1. 有效且高效的端到端优化

REML 中某些组件或其交互的不可微性质使得端到端优化 REML 系统具有挑战性。 现有的方法基于一些简化的假设，为端到端 REML 优化开发更准确和鲁棒的近似是一个重要的研究方向。 此外，基于人类和人工智能反馈的这些系统的基于奖励的优化还相对缺乏探索。 需要更好地理解信息访问系统提供的信息项的探索和利用。

9.6.2. 从在线和基于会话的反馈中学习

预测模型和信息访问模型之间的交互可以是连续的。 这种顺序交互的简单形式已经存在于多跳问答的环境中。 在推理会话期间使用预测模型提供的反馈及其用户来调整 REML 输出对于开发有效的交互式 REML 系统至关重要。

9.6.3. 有效近似优化反馈

端到端和条件优化方法都需要来自 REML 系统不同组件的反馈。 随着该领域朝着更大、更昂贵的方向发展，开发高效、准确的反馈近似值可以大大降低 REML 的成本。 这不仅会降低与 REML 训练相关的金钱成本，还会加快研究进展并带来更加可持续和环境友好的系统。

9.6.4. 一种信息访问和多种预测模型

大多数研究都集中在为一项任务开发 REML 系统。 另一方面，信息访问系统可以服务于多种预测模型，类似于当前服务于数十亿用户的搜索引擎，如 Salemi 和 Zamani (2024b) 中的研究。 优化为多个预测模型提供服务的信息访问组件、聚合和校准跨预测模型的反馈以及“个性化”每个预测模型的检索结果列表是未来研究的重要方向。

10. 结论

在这项工作中，我们调查了当前有关检索增强机器学习（REML）的文献，并将其合成为一致的数学概念，为研究人员提供了 REML 的形式化框架。 此外，通过将信息检索研究和 REML 联系起来，我们为这一新兴研究范式的未来研究找到了新的机会和开放的途径。