在基于检索的生成 (RAG) 中度量和增强 LLM 的可信度

通过基于证据的归因和学习拒绝

摘要

LLM 是检索增强生成 (RAG) 系统中不可或缺的一部分。 虽然许多研究集中在评估端到端 RAG 系统的质量，但缺乏对理解 LLM 在 RAG 任务中的适用性的研究。 因此，我们引入了一种新的指标，Trust-Score，它提供了对 RAG 框架中 LLM 可信度的全面评估。 我们表明，各种提示方法，例如上下文学习，无法有效地将 LLM 适应 RAG 任务。 因此，我们提出 Trust-Align，一个用于将 LLM 对齐以获得更高 Trust-Score 的框架。 使用我们方法对齐的 LLaMA-3-8b 在 ASQA ($\uparrow$10.7)、QAMPARI ($\uparrow$29.2) 和 ELI5 ($\uparrow$14.9) 上显著优于同等规模的开源 LLM。 我们在以下位置发布我们的代码：https://github.com/declare-lab/trust-align。

在基于检索的生成 (RAG) 中度量和增强 LLM 的可信度

通过基于证据的归因和学习拒绝

Maojia Song¹ Shang Hong Sim¹ Rishabh Bhardwaj¹, Hai Leong Chieu² Navonil Majumder¹ Soujanya Poria^{1 1} Singapore University of Technology and Design, ² DSO National Laboratories, Singapore {maojia_song, shanghong_sim, rishabh_bhardwaj}@mymail.sutd.edu.sg chaileon@dso.org.sg {navonil_majumder, sporia}@sutd.edu.sg

1 介绍

大型语言模型 (LLM) 中的幻觉是生成式人工智能中的一个重大问题，模型会生成看似合理但实际上不正确的信息 Ji 等人 (2023)。 例如，错误地指控个人犯罪 The Independent (2023)，生成虚构的司法案件 Bohannon (2023)，以及创作历史不准确的图像 Business Insider (2023)。 这些情况引发了人们对 LLM 作为获取准确信息的工具的可靠性的担忧。

而不是直接将 LLM 用作信息来源，将它们整合到检索增强生成 (RAG) 框架中已成为提高生成信息可信度的流行方法。 因此，典型的 RAG 系统包括一个大型语料库、一个检索器（用于查找与查询相关的最相关的 K 个参考文档）以及一个 LLM（用于撰写响应并以格式良好的方式将其呈现给用户）。 值得注意的是，LLM 的角色从在非 RAG 设置中作为信息来源转变为成为检索器提供信息的整合者，整合取决于所提出的问题。

在研究和减少 LLM 中的幻觉方面，已经进行了大量研究。 例如，Bai 等人（2024） 检查了由于错误访问参数化知识而导致的幻觉。 但是，人们对这些 LLM 在需要完全依赖提供给它们的外部（非参数化）知识时如何表现缺乏了解。 Gao 等人（2023b） 的早期工作侧重于以端到端方式评估 RAG 系统，从而将检索的缺陷与最终 LLM 输出中的错误交织在一起。 自然，这样的评估方案不利于隔离 RAG 设置下 LLM 的作用。

在这项工作中，我们提出了 Trust-Score——一种新颖的整体指标，用于专门评估 LLM 用于 RAG 的可信度。 Trust-Score 从多个维度评估 LLM：1) 根据提供的文档判断哪些问题可以回答或拒绝的能力（基于文档的拒绝）；2) 可回答响应的金标准召回分数（精确匹配召回）；3) 生成的断言在多大程度上得到相应引文的支持（引文召回）；以及 4) 引文的相关性（引文准确率）。

我们的研究表明，许多最先进的系统，包括 GPT-4 和 Claude-3.5-Sonnet，在很大程度上依赖于他们在参数调整阶段获得的内部参数化知识来回答问题 OpenAI (2023); Anthropic (2024)。 这限制了它们在 RAG 任务中的适用性，因为模型应该只根据提供的文档来生成响应，从而导致 Trust-Score 较低。 此外，旨在增强模型可信度的提示方法已被证明无效，因为模型的响应性变得对提示过于敏感。 这导致了极端的已回答比率（AR%）值，表明不加区分地回答或拒绝。

因此，我们提出了一个对齐框架，Trust-Align，以调整 LLM 产生基于文档的响应并实现更高的 Trust-Score。 该框架旨在构建一个对齐数据集，该数据集包含 19K 个问题、文档、正面（首选）响应 $r^{+}$ 和负面（非首选）响应 $r^{-}$。 该数据集是为了解决发现的五种幻觉类型而创建的——不准确的答案、过度响应、过度拒绝、过度引用和不适当的引用。 首先，我们收集了各种各样的高质量种子问题集 $q$，然后收集相关的（oracle）文档 $D$，然后进行广泛的数据增强。 使用 GPT-4 将金标准断言拼接在一起生成正向响应，而负向响应则来自经过微调的通用 RAG 模型的排名靠前的幻觉。

图 1： 可信度评分。

对基准数据集的评估表明，使用 Trust-Align 训练的模型在 可信度评分 方面优于竞争基线：ASQA 上提高了 10.73%，QAMPARI 上提高了 29.24%，ELI5 上提高了 14.88%。 与基线相比，TRUST-ALIGN 显着增强了模型正确拒绝或提供答案的能力，拒绝指标得分分别提高了 ASQA 的 9.87%、QAMPARI 的 22.53% 和 ELI5 的 5.32%。 此外，Trust-Align 提高了引文质量，引文可信度得分分别提高了 ASQA 的 26.67%、QAM- PARI 的 31.96% 和 ELI5 的 29.30%。 由于游戏化，我们在精确匹配召回方面观察到混合得分。 我们观察到 QAMPARI (33.23%) 和 ELI5 (10.04%) 的召回得分显着增加，但 ASQA 减少了 4.34%。

我们证明，与 DPO 相结合的 Trust-Align 比提示或 SFT 方法更有效地提高了可信度。 我们增强的 数据在 可信度评分 方面取得了显着收益，ASQA 上提高了 1.50%，QAMPARI 上提高了 1.78%，ELI5 上提高了 2.23%。 此外，消融研究强调了使用特定于每种幻觉子类型的 数据的重要性。 删除任何子类型的数据子段会导致 可信度评分 的可衡量下降。 此外，我们发现与 Trust-Align 中的拒绝样本对齐会产生最高的 可信度评分 得分，强调了在训练期间包含拒绝样本的关键作用。 我们对这项工作的关键贡献如下：

• 我们是第一个研究 RAG 设置中 LLM 幻觉的人，其中模型响应应完全基于检索到的文档，而不是模型的参数化知识。

• 我们定义了 可回答性——一个关键概念，用于确定提供的文档是否足以回答问题。

• 为了衡量 RAG 下 LLM 的性能，我们引入了 Trust-Score，这是一个用于量化 RAG 设置中 LLM 幻觉的整体指标。

• 我们提出了 Trust-Align，一个旨在提高 LLM 在 RAG 中可信度的对齐框架。 它首先创建了一个包含 19K 个样本的对齐数据集，其中包含正（黄金）和负（不优选）响应，然后将 DPO 算法应用于模型。

2 问题描述

2.1 任务设置

给定一个问题 $q$ 和一组检索到的文档 $𝒟$ 作为输入，LLM 被指示生成一个响应 $S$，该响应包含一组引用引用的陈述 $\{s_1,\mathrm{\dots },s_n\}$；每个陈述 $s_i$ 遵循一组引用 ${𝒞}_i=\{c_{i,1},c_{i,2},\mathrm{\dots }\}$，这些引用指的是 $𝒟$ 中的文档。 . 如果 $𝒟$ 不足以回答 $q$，则黄金响应将是拒绝陈述，例如，“我道歉，但我无法在搜索结果中找到你的问题的答案”。

2.2 何时需要拒绝？

为了将样本标记为地面真实拒绝，我们首先定义 可回答性 的概念：

拒绝响应不包含任何声明或引用，但提供了一条通用消息，传达了 LLM 无法响应 $q$ 的信息。

可回答性的细微差别。

确定可回答性可能具有挑战性。 为了确定可回答性，我们使用了一个系统来评估黄金声明与提供的文档之间的蕴涵性，该系统被称为自然语言推理（NLI）系统。 一个 NLI 系统可以从简单的精确匹配（EM）标识符到 LLM 甚至人类评估者不等，可回答性根据 $q,D$ 和 NLI 的偏差来确定 . 这些偏差在特定的 RAG 应用中可能是有用的，例如解决数学问题，其中文档提供公式，问题为变量赋值。 NLI 的选择取决于 RAG 系统是否需要 LLM 具备数学理解能力。 理想情况下，为了防止不当评估，用于构建黄金声明的 NLI 模型也应用于评估 LLM 响应。

在本文中，我们专注于评估 LLM 的通用理解能力，而不依赖于专业知识。 因此，我们使用两种 NLI 机制：1) 识别黄金声明中是否存在对声明的精确匹配，以及 2) 使用机器学习 (ML) 模型来确定文档是否可以蕴涵黄金声明。 基于 ML 的 NLI 模型用于多种目的，例如对齐数据集构建（数据/训练）和评估生成的响应（指标/测试）。 为此，我们采用了 Rashkin 等人 (2022) 中的 NLI 模型。 $\varphi (c_{ij},s_i)=1$ 如果 $c_{ij}$ (前提) 蕴涵 $s_i$ (假设)；否则为 0。 为了确定可回答性，我们采用 TRUE 基于方法 Honovich 等人 (2022) 来评估给定文档是否可以蕴涵黄金声明。

知识接地问题。

通常，LLM 被设计用于执行问答任务，其中响应生成严重依赖于他们在预训练、微调和对齐阶段获得的参数化（内部）知识 OpenAI (2023); Anthropic (2024)。 因此，它们的大部分知识都根植于参数化记忆中。 这使得它们本身不太适合 RAG 应用，在 RAG 应用中，LLM 生成的知识预计将以输入文档为基础。 RAG 類似於閱讀理解任務，其中答案必須來自提供的段落（RAG 中的文檔），而不是參加考試的人的先驗知識。 因此，任何依賴於參數化知識的依賴都可能導致陳述未完全以文檔為基礎，包括對無法回答的問題提供答案。 我们的调查表明，最先进的模型，如 GPT-4 和 Claude-3.5-Sonnet，即使在 RAG 设置中使用，也过度依赖于参数化知识。

2.3 RAG 中 LLM 的幻覺

對於 RAG 任務，我們將 LLM 中的 幻覺 定義為任何錯誤，其中生成的響應未以提供的文檔為基礎。 我們將幻覺分為五種類型：(1) 不準確的答案 - 生成的陳述 $S$ 沒有涵蓋黃金響應中的斷言，(2) 過度響應 - 模型回答了無法回答（拒絕）的問題，(3) 過度拒絕 - 模型拒絕回答可以回答的問題，(4) 過度引用 - 模型生成冗餘引用，(5) 不當引用 - 模型的引用不支持該陳述。

接下來，我們介紹一個綜合指標，以有效地衡量 LLM 中的幻覺。

3 RAG 中 LLM 的指標

給定一個問題 $q$ 和對應的真實響應 $A_G=\{a_{g1},\mathrm{\dots },a_{gn}\}$，其中包含黃金斷言，我們將從提供的文檔中獲得的斷言定義為 $A_D=\{a_{d1},\mathrm{\dots },a_{dn}\}$，響應中生成的斷言定義為 $A_R=\{a_{r1},\mathrm{\dots },a_{rn}\}$。 我們的目標是衡量 RAG 中 LLM 的兩個方面：1) 生成的斷言的正確性（響應真實性）；以及 2) 生成的引用的正確性（歸因基礎）。

現有指標的不足。

現有指標通過首先計算黃金斷言 $A_G$ Gao 等人 (2023b) 的每個樣本的準確匹配召回 (EM_r) 分數來衡量響應真實性，而不考慮這些斷言中有多少可以從 $D$ 中獲得。 接著對樣本的召回分數進行平均，以獲得數據集的單一分數。 此方法引入了不一致性：依賴於參數化知識 (${ℳ}_p$) 的模型可能會生成在 $D$ 中找不到的黃金斷言，導致召回值被人工誇大。 相反，一個理想的 LLM (${ℳ}_i$) 將僅依賴於 $D$ 生成響應（一個期望的特徵），並且會受到 $\frac{|A_G\cap A_D|}{|A_G|}$ 的上限召回限制，這取決於問題而異。 這種方法呈現了兩個主要問題：(1) 召回合併：由於測量範圍取決於 $D$ 中存在的斷言，因此無法在整個數據集中提供一致的、合併的 EM_r 分數，(2) 召回遊戲化：${ℳ}_p$ 可能具有較高的 EM_r 上限（高達 1），因為它們可以生成 $D$ 中不存在的黃金斷言（一個不期望的特徵），與完全依賴於 $D$ 的 ${ℳ}_i$ 不同。

答案校準。

为了解决现有评估指标中召回整合和游戏化的挑战，我们提出了新的指标，这些指标根据可以从$D$中获得的黄金断言的比例来衡量样本级的召回得分。具体而言，这包括计算$|A_G\cap A_D|$，它在校准黄金断言后衡量精确匹配 (EM) 召回。 这种方法为所有模型设置了 1 的最大召回限制。 对于数据集范围内的评分，我们使用两种方法整合每个样本的 EM 召回得分：1) EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$：LLM 回答 的样本上的平均召回得分，即 $A_R\ne \mathrm{\varnothing }$ 的样本；2) EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$：可以 回答 的样本上的平均召回得分，即 $A_G\cap A_D\ne \mathrm{\varnothing }$ 的样本。 . 这些指标如图 1所示，然后被组合成一个单一得分，即 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$，它作为衡量 LLM 如何将自己的断言定位在文档 $D$ 上的全面指标。这种组合指标不仅促进了召回整合，而且还解决了与召回游戏化相关的问题。

评分拒绝。

RAG 中 LLM 的一个重要能力是它能够根据提供的文档 $D$ 识别何时响应无法回答。为了衡量这一点，我们引入了一个称为“基于证据的拒绝”的指标。 该指标通过计算数据集范围内的准确性和召回率来评估模型的拒绝性能，包括真实可回答的案例和拒绝。 然后将这些值组合成它们各自的 F1 分数，F1_ref 用于拒绝，F1_ans 用于可回答的案例。 最终得分 F1${}_{\text{RG}}$ 是这两个 F1 分数的平均值，如 图 1 所示。

衡量归因证据性。

虽然 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 和 F1${}_{\text{CG}}$ 等响应真实性指标评估了生成断言的质量，但同样重要的是衡量这些断言在多大程度上得到了相关引文的支持——我们称之为“归因证据性”。 为此，我们采用了 Gao et al. (2023b) 中的两个子指标：引用召回率 (CR) 和引用精确率 (CP)。 为了计算 CR，我们首先使用 NLI 模型确定生成的陈述 $s_i$ 是否得到其引用的文档的支持。 ，从而获得样本级的召回得分 CR^$s_i$。 然后我们对所有样本求平均，得到最终的 CR 得分 (图 1)。 为了计算 CP，我们首先对每个陈述 $s_i$ 的引文 $c_{i,j}$ 进行评分，然后计算响应 $S$ 中所有引文的平均值（样本级评分）。 通过对所有样本的引文评分求平均值来计算整个数据集的引文评分。 为了提供一个用于归因基础的单一指标，我们计算了 CP 和 CR 的调和平均值，得到最终分数 F1${}_{\text{CG}}$。

因此，我们定义了一个新的指标 Trust-Score，如下所示：

$$\text{Trust-Score}=\frac{1}{3}(\text{F1}{}_{\text{RG}}+\text{EM}{}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}+\text{F1}{}_{\text{CG}}).$$

响应性。

为了衡量 LLM 的回答倾向，我们定义了 Responsiveness。 它是回答问题的比例，用回答率（AR%）表示，计算方法为 $\text{AR \%}=\frac{\text{\# answered}}{\text{\# total questions}}$。 预期模型对可回答的问题显示出较高的 AR%，对不可回答的问题显示出较低的 AR%，并且分数预计与数据集分布一致。

4 Trust-Align 框架

为了使 LLM 更加可信，我们提出了一个新的框架 Trust-Align。 该框架构建了一个 LLM 可信度对齐数据集，其中数据集中的每个样本都包含一个问题 $q$，一组检索到的文档 $D$，以及一对正（优选）和负（非优选）响应 ($r^{+}$, $r^{-}$)。 正响应对应于包含 $q$ 预期黄金声明以及指向文档的相应引文的答案。 如果 $D$ 不足以回答 $q$，则 $r^{+}$ 被分配拒绝响应，而 $r^{-}$ 是其非拒绝对应项。 我们分多个步骤构建数据集：1）获取一组高质量和多样化的问题，2）为每个问题获取文档，3）增强 $(q,D)$ 对以涵盖不同的幻觉类型，4）构建包含黄金声明的正响应，以及 5）通过提示微调模型并观察其幻觉来构建负（非优选）响应。

收集高质量问题。

数据集构建从收集来自源数据集（即 ASQA、QAMPARI 和 ELI5）的一组高质量（具有挑战性）和多样化的问题开始，这些问题被称为 种子样本。 为了收集此类样本，我们首先将数据集中的问题划分为 $k$ 个集群。 在识别出不同的集群之后，我们为每个集群分配一个质量分数，分数范围从 1 到 7。 集群的质量由在不需要额外信息的情况下回答问题的难易程度决定，即分数越高，难度越大。 然后，我们选择质量分数为 4 或更高的集群，并从这些顶级集群中抽取所需数量的问题。 假设我们有三个集群，$C_1,C_2,C_3$，它们的大小分别为 $N_1,N_2,N_3$，其中 $N_c=N_1+N_2+N_3$。 为了从这些集群中抽取 $N_s$ 个问题，我们从集群 $C_i$ 中抽取 $N_s\times \frac{C_i}{N_c}$ 个问题。 如果这个数字超过了集群中可用的问题数量，我们就会从过滤后的集群（质量分数低于 4 的集群）中随机抽取剩余的问题。 此过程确保种子集优先考虑高质量和多样性。 在本文中，我们分别将 $N_s$ 设置为 ASQA、QAMPARI 和 ELI5 的 3K、3K 和 4K，最终在种子集中约有 10K 个问题。

收集 D。

接下来，我们收集与种子集中每个问题相关的文档。 为此，我们查询维基百科和 Common Crawl 以检索 100 个最相关的文档。 我们过滤掉检索器无法检索到相关文档的种子问题。 此外，我们确定了 5 个对模型而言与 100 个文档同样有效的文档（就实现 EM 回收率而言）；我们将此类文档称为问题 $q$ 的 oracle 文档。 值得注意的是，为了计算 EM，黄金标准从相应的源数据集获取。

图 2: Trust-Align 框架概述。 左侧: 种子提示和增强提示 (Q-D 对) 的整理，以及检索阶段中可回答性标记过程的示例。 右侧: 响应配对数据生成过程。 首先，我们获得肯定答案，然后选择困难的否定答案。 最后，我们通过 DPO 对齐模型。

增强 (q,D) 集。

现在我们有了问题和最相关的（oracle）文档，我们的目标是创建不同类型的样本（即同一问题的相关文档的不同比例），这些样本可以触发 LLM 的多种幻觉(节 2.3)。 如 图 3 所示，对于可回答的问题，我们首先利用识别出的蕴涵模式生成所有可能的文档组合，然后选择 $k$ 涵盖不同模式的组合。 为了创建包含不可回答问题的样本，我们选择与黄金主张蕴涵文档相似的文档，但这些文档不蕴涵任何黄金主张。 为了最大限度地降低在引用索引中引入偏差的风险，我们在每个样本中对文档的顺序进行洗牌。 结果，我们生成了大约 70K 个问题-文档对。

在获得 $(q,D)$ 对以用于对齐数据集后，我们为每个对获得正面和负面响应 ($r^{+},r^{-}$)——数据集中的一个重要组成部分，它表明模型首选和非首选响应。 为此，我们引入了一个响应生成管道。

获得 ${𝐫}^{+}$。

我们开发了一个自动数据标记管道，该管道从黄金主张中合成自然响应，并将每个语句映射到相应的文档，以嵌入内联引用。 金标准答案来自源数据集 (ASQA, QAMPARI, ELI5) 并根据提供的文档进行校准，即过滤掉无法从 $D$ 中推导出的答案。我们首先根据提供的文档是否包含金标准答案将问题分成可回答和不可回答的样本。 对于可回答的样本，包含一个问题 $q$、一组文档 $𝒟$ 和一个 (校准过的) 金标准答案列表，我们提示 GPT-4 通过使用模板 (表 6) 将金标准答案拼接在一起，从而生成自然响应。 提示模板要求 GPT-4 用其在提供的列表中的索引 (例如，"[金标准答案 X]") 对使用的每个金标准答案进行标记，以便在之后将答案与文档进行匹配。 对于不可回答的问题，会分配一个拒绝响应。 节 B.1 提供了更多细节。 为了生成与每个生成的语句相对应的引用，我们将 "[金标准答案 X]" 标记映射到相应的文档。 首先，我们从一个句子中提取所有这样的标记 (该句子可能包含多个答案和标记)。 然后，我们贪婪地识别涵盖这些答案的最小文档组合，最大限度地减少过度引用。 该过程的细节在 图 4 中说明。

获得 ${𝐫}^{-}$。

为了创建高质量的偏好数据，我们的目标是获得高质量的否定 (不被偏好) 响应。 我们首先在源数据集的训练集上对 LLaMA-2-7b 进行微调，创建 ${ℳ}_{sft}$ (详细信息在 节 B.1 中)。 然后，我们在上面获得的数据集上测试 ${ℳ}_{sft}$，该数据集大约包含 70K 个问题，并发现 40K 个响应存在幻觉。 表 1 显示了严重程度计算 ($e_i$) 和每种幻觉类型的频率 ($w_i$)。 因此，我们可以计算每个样本的幻觉严重程度：

$$e_q=\sum _{i=1}^5{w}_i{e}_i,$$ (1)

Hallucination type	Frequency ($w_i$)		Severity ($e_i$)
Unwarranted Refusal	8,786	0.50	$I_{(A_g\ne \mathrm{\varnothing },A_r=\mathrm{\varnothing })}$
Over Responsiveness	13,067	0.50	$I_{(A_g=\mathrm{\varnothing },A_r\ne \mathrm{\varnothing })}$
Overcitation	12,656	0.34	1 - CP
Improper Citation	9,592	0.26	1 - CR
Inaccurate Claims	14,783	0.40	1 - EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$

表 1： ${ℳ}_{sft}$（40,985）中，每种幻觉所占的比例，可能存在重叠。 $w_i$显示了每种幻觉的严重程度计算。 $I_{\text{condition}}$ = 1 如果条件为真，否则为 0。 参见 图 5 以了解最后三个错误的详细细分。

为了获得良好的负样本，我们首先根据它们的严重程度评分 $e_q$ 对 40K 个响应中的每一个进行排名。然后，我们选择可回答和不可回答响应的对应样本的前 50%。 因此，我们展示了 Trust-Align 的对齐数据构建阶段，即获得具有所有期望属性的 19K 个样本 $(𝐪,𝐃,{𝐫}^{+},{𝐫}^{-})$。

5 实验设置

评估数据集。

我们在 ASQA Stelmakh 等人 (2023)、QAMPARI Amouyal 等人 (2023) 和 ELI5 Fan 等人 (2019) 中可归因的琐碎事实和长篇问答任务的测试集上进行评估。 此外，我们还包括 ExpertQA Malaviya 等人 (2024) 用于泛化评估。 对于每个问题，我们附加使用检索器获得的前 5 个文档。 对于 ELI5 和 ExpertQA，基本事实答案被分解为三个断言。 数据集统计信息显示在 第 6 节的顶部。

基线。

我们评估了 Trust-Align 框架在两种设置下的有效性 - 默认提示和拒绝提示，如 表 15 所示。 我们将使用 Trust-Align 框架训练的模型与五种具有竞争力的基线方法进行比较 - 上下文学习 (ICLCite) Gao 等人 (2023b)、事后属性 Gao 等人 (2023a)、事后搜索 Gao 等人 (2023b)、Self-RAG Asai 等人 (2024) 和 FRONT Huang 等人 (2024b)。 这些基线的详细信息在 第 G.3 节给出。

6 结果与分析

		ASQA (610 answerable, 338 unanswerable)					QAMPARI (295 answerable, 705 unanswerable)					ELI5 (207 answerable, 793 unanswerable)
		Responsiveness	Trustworthiness				Responsiveness	Trustworthiness				Responsiveness	Trustworthiness
		AR (%)	Truthfullness		Attr. Grdness	TRUST	AR (%)	Truthfullness		Attr. Grdness	TRUST	AR (%)	Truthfullness		Attr. Grdness	TRUST
	Prompt		EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$			EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$			EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$
		LLaMA-2-7b
ICL	R	0.00	0.00	26.28	0.00	8.76	0.00	0.00	41.35	0.00	13.78	0.50	0.00	46.71	0.00	15.57
PostCite	R	10.44	0.07	35.23	0.00	11.77	34.40	0.00	57.34	9.50	22.28	0.90	1.86	44.98	5.04	17.29
PostAttr	R	10.44	0.07	35.23	0.00	11.77	34.40	0.00	57.34	3.78	20.37	0.90	1.86	44.98	0.00	15.61
Self-RAG	R	100.00	45.19	39.15	63.49	49.28	96.00	6.81	28.23	19.95	18.33	73.50	14.94	40.20	13.80	22.98
FRONT	R	100.00	60.47	39.15	68.86	56.16	100.00	17.27	22.78	24.26	21.44	100.00	21.66	17.15	52.72	30.51
ICL	D	94.30	50.38	49.51	43.67	47.85	93.60	8.36	31.02	3.88	14.42	95.30	19.83	22.82	16.30	19.65
PostCite	D	88.71	2.30	50.82	0.98	18.03	56.30	0.00	49.18	7.73	18.97	83.90	11.95	30.05	4.90	15.63
PostAttr	D	87.24	2.32	51.56	0.43	18.10	51.10	0.00	49.50	4.70	18.07	84.00	11.94	29.74	0.93	14.20
Self-RAG	D	98.00	46.82	41.16	56.59	48.19	96.20	7.72	27.08	15.44	16.75	97.90	13.16	19.62	10.31	14.36
		LLaMA-2-13b
ICL	R	17.41	21.52	41.40	13.83	25.58	26.50	0.44	59.57	0.00	20.00	46.40	19.97	54.81	4.73	26.50
PostCite	R	90.51	2.21	49.91	1.53	17.88	100.00	0.00	22.78	8.05	10.28	76.60	2.27	38.05	0.72	13.68
PostAttr	R	90.51	2.21	49.91	0.17	17.43	100.00	0.00	22.78	2.95	8.58	76.60	2.27	38.05	0.09	13.47
Self-RAG	R	100.00	48.52	39.15	69.79	52.49	72.70	2.71	48.58	26.91	26.07	22.10	12.77	58.68	24.54	32.00
ICL	D	97.57	49.16	44.06	9.35	34.19	97.80	0.00	26.20	0.00	8.73	96.50	20.93	21.06	2.80	14.93
PostCite	D	89.77	0.04	50.33	0.00	16.79	63.00	0.00	47.20	7.14	18.11	7.00	3.62	45.31	4.73	17.89
PostAttr	D	89.24	0.04	51.46	0.00	17.17	58.50	0.00	48.86	4.56	17.81	6.70	3.66	48.41	0.71	17.59
Self-RAG	D	97.68	48.93	42.74	63.39	51.69	96.30	3.66	27.15	21.06	17.29	98.00	12.19	19.07	6.68	12.65
		LLaMA-3-8b
ICL	R	1.48	3.01	28.58	86.50	39.36	3.90	5.92	48.60	20.24	24.92	0.00	0.00	44.23	0.00	14.74
PostCite	R	77.53	32.98	53.31	28.01	38.10	87.00	6.10	34.52	8.42	16.35	62.00	20.80	45.88	8.06	24.91
PostAttr	R	77.53	32.98	53.31	5.95	30.75	87.00	6.10	34.52	1.64	14.09	62.00	20.80	45.88	1.25	22.64
ICL	D	89.66	58.28	55.62	61.59	58.50	70.80	5.82	50.50	4.81	20.38	84.60	23.69	33.11	31.03	29.28
PostCite	D	97.26	34.80	43.56	17.89	32.08	92.00	2.45	30.07	11.14	14.55	98.90	19.00	18.47	6.33	14.60
PostAttr	D	97.47	34.75	42.98	3.18	26.97	93.00	2.43	29.95	5.65	12.68	98.90	19.00	18.26	1.02	12.76
		Our Models
SFT-LLaMA-2-7b	R	80.17	53.21	63.43	79.61	65.42	31.60	33.76	71.13	46.37	50.42	29.50	21.58	63.30	39.59	41.49
SFT-LLaMA-3-8b	R	68.99	52.35	66.06	80.95	66.45	24.20	33.85	71.11	48.01	50.99	23.60	22.57	65.06	46.85	44.83
DPO-LLaMA-2-7b	R	65.30	52.48	66.12	83.94	67.51	31.10	32.09	71.83	51.33	51.75	21.60	22.54	63.27	48.43	44.75
DPO-LLaMA-3-8b	R	56.43	53.94	65.49	88.26	69.23	23.10	35.94	71.11	58.87	55.31	15.50	22.81	64.00	53.84	46.88
3-17 $\mathrm{\Delta }$			$\downarrow$4.34	$\uparrow$ 9.87	$\uparrow$26.67	$\uparrow$10.73		$\uparrow$33.23	$\uparrow$ 22.53	$\uparrow$31.96	$\uparrow$29.24		$\uparrow$ 10.04	$\uparrow$ 5.32	$\uparrow$29.30	$\uparrow$14.88

表 2: ASQA、QAMPARI 和 ELI5 评估数据集上的主要结果，以及 $\mathrm{\Delta }$ 值的比较基线 突出显示；AR% := 回答率（百分比）；EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ := 精确匹配 F1（校准）；F1${}_{\text{RG}}$ := 基于证据的拒绝 F1；F1${}_{\text{CG}}$ := 引用依据 F1；TRUST := 信任评分。 R := 使用拒绝提示。 D := 使用默认提示。

在 第 6 节中，我们介绍了总结的结果，并阐述了以下核心结论。

信任对齐 提高了可信度，相比基线方法更胜一筹。

使用 信任对齐 框架，我们的模型在 信任评分 上显著优于最佳基线，分别为 ASQA、ELI5 和 QAMPARI 提升了 10.73%、29.24% 和 14.88%（见 $\mathrm{\Delta }$ 行，第 6 节）。 这一改进表明，我们的模型更善于生成基于文档的回复。 由于 信任评分 是 EM${}_{}{}^{\text{F1}}\text{AC}$、F1${}_{\text{CG}}$ 和 F1${}_{\text{CG}}$ 的平均值，我们现在将检查 信任对齐 对每个分数的影响。

信任对齐 提高了模型的拒绝能力。

与 信任评分 排名最佳的基线相比，信任对齐 显着增强了模型正确拒绝或提供答案的能力。 这可以通过 F1${}_{\text{RG}}$ 分数的增加来证明：ASQA 为 9.87%、QAMPARI 为 22.53%、ELI5 为 5.32%。

信任对齐 增强了模型的引用质量。

与 信任对齐 一致，改善了模型提供充分支持其论点的引用的能力，在每个数据集上都超过了 信任评分 排名最佳的基线。 这反映在 F1${}_{\text{CG}}$ 分数的显著增加中：ASQA 为 26.67%，QAMPARI 为 31.96%，ELI5 为 29.30%。

Trust-Align 对 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 影响 mixed。

我们观察到 QAMPARI (33.23%) 和 ELI5 (10.04%) 的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 显着增加，但 ASQA 减少了 4.34%。 This mixed performance in ASQA can be explained by the composition of EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$, which is derived from EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$ and EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$ (Eq. 10).

如 Table 20 所示，尽管我们的模型的 AR% (56.43% vs. 89.66% 和 100%) 更低，但我们的模型实现了比 ICL with LLaMA-3-8b 和 FRONT 更高的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$ (52.72% vs. 49.83% 和 49.69%)。 这表明我们的模型对于 EM^$q$_AC (每个样本的 EM 回调) 具有更高的期望值，因为分母取决于已回答问题的数量。 在 Table 21 和 Table 22 中，QAMPARI 和 ELI5 也观察到类似的趋势。

然而，在 ASQA 中，我们的模型在 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 中表现不佳，因为 EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$ 的负面影响很大。 与基线相比 (68.20% vs. 95.25% 和 100%)，我们模型的可回答问题的召回率 (${\text{R}}_{\text{ans}}$) 更低，这些基线很少拒绝问题。 结果，EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$ 分子的求和项更少，而分母保持不变 (可回答问题的数量)。 这导致整体 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 分数降低。

为了进一步分析基线模型的性能，我们调查了它们回答能力在多大程度上依赖于参数知识与基于文档的信息，如 Section D.1 和 Section D.2 中所讨论的。

与 DPO 对齐的模型优于那些使用 SFT 训练的模型。

DPO 模型在所有数据集的 Trust-Score 中都优于 SFT 模型，ASQA 提高了 2.09% (LLaMA-2-7b) 和 2.78% (LLaMA-3-8b)，QAMPARI 提高了 1.33% (LLaMA-2-7b) 和 4.32% (LLaMA-3-8b)，ELI5 提高了 3.26% (LLaMA-2-7b) 和 2.05% (LLaMA-3-8b)。

SFT 微调也改善了所有关键指标：EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$、F1${}_{\text{RG}}$ 和 F1${}_{\text{CG}}$。 在使用 LLaMA-3-8b 的 ASQA 数据集上，我们观察到 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 增加了 30.8%，F1${}_{\text{RG}}$ 增加了 24.6%，F1${}_{\text{CG}}$ 增加了 67.1%。 然而，由于基础模型倾向于拒绝回答（AR% 从 68.99% 降至 1.48%），F1${}_{\text{CG}}$ 下降了 5.55%，在有限的响应集中产生了较高的 F1${}_{\text{CG}}$，这人为地夸大了其引用质量得分。

如在 ASQA 上使用 LLaMA-3-8b 所示（88.26% 对 80.95%），与 SFT 相比，DPO 进一步提高了 F1${}_{\text{CG}}$，表明更好的引用质量。 但是，DPO 在 EM${}_{}{}^{\text{F1}}\text{AC}$ 和 F1${}_{\text{RG}}$ 上的提升较小。 尽管在子指标上存在一些差异，但 DPO 模型在总体 Trust-Score 得分上表现更好。

Trust-Align 比提示更有效地增强可信度。

与 Trust-Align 对齐导致 Trust-Score 的显着改善，相比仅使用提示。 虽然添加拒绝提示对 Trust-Score 及其子组件的影响不一致，但它在更强大的模型（例如 LLaMA-2-13b 和 LLaMA-3-8b）中往往更有益。

仅仅依靠提示来教拒绝是无效的，因为模型的响应能力对提示变得过于敏感。 在默认提示下，模型很少拒绝（AR% 接近 100），而在 ICL 中添加拒绝提示会大幅降低 AR%，通常降至接近零，表明不加区别的拒绝。 这种缺乏细致入微的拒绝能力也见于事后方法。 在两个极端情况下，Trust-Score 得分都会受到影响，因为正确拒绝问题和较低的引用可靠性得分存在错误。 相反，Trust-Align 使模型能够识别并正确回答适当的问题，从而使 AR% 更接近最大可回答百分比，并提高 F1${}_{\text{RG}}$。

需要注意的是，当检索到的文档相同，响应能力不应成为比较 RAG 系统的主要指标。 TRUST 分数奖励准确的答案、适当的拒绝和正确的引用，同时对失败进行处罚。 响应能力低的系统在 TRUST 上得分很低，无论其总体响应率如何。

在 PostCite、PostAttr 和 Self-RAG 中，添加拒绝提示导致 Trust-Score 变化很小（例如，ASQA Self-RAG 使用 LLaMA-2-13b：51.69% 对 52.49%）。 子组件分析显示 F1${}_{\text{RG}}$（42.74% 对比 39.15%）几乎没有差异，表明拒绝提示并不能有效地帮助模型区分可回答和不可回答的问题。 这些发现突出了依赖提示来增强可信度的不可靠性，并强调了我们的系统在实现这一目标方面的稳健性。

6.1 分析

6.1.1 不同的数据合成技术

表 3 展示了我们数据构建方法的有效性。 添加针对五种错误类型的增强提示，分别将 ASQA、QAMPARI 和 ELI5 的Trust-Score 得分提高了 1.50%、1.78% 和 2.23%，突出了合成数据在提高可信度和减少幻觉方面的价值。 当省略特定幻觉类型的​​数据时，Trust-Score 得分会下降，强调每种子类型的​​重要性。 特别是，删除与拒绝相关的幻觉会显着影响 F1${}_{\text{RG}}$，ASQA 下降 2.79%，QAMPARI 下降 0.46%，ELI5 下降 2.03%，表明与拒绝相关的数据对于提高模型决定何时回答的能力至关重要，从而增强可信度。

为了验证我们的方法，我们将其与一个强大的基线进行了比较：GPT-4 评论者管道 Huang 等人 (2024a); Li 等人 (2024a); Huang 等人 (2024b)，这是一种自动数据收集方法，使用高级提示来迭代识别和纠正错误（详细信息见附录 F）。 我们的数据管道优于 GPT-4，特别是在 ELI5 中（提高了 4.12%），进一步证明了我们方法的有效性。

	ASQA					QAMPARI					ELI5
	Responsiveness	Trustworthiness				Responsiveness	Trustworthiness				Responsiveness	Trustworthiness
	AR (%)	Truthfullness		Attr. Grdness	TRUST	AR (%)	Truthfullness		Attr. Grdness	TRUST	AR (%)	Truthfullness		Attr. Grdness	TRUST
		EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$			EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$			EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$
DPO-LLaMA-2-7b	65.30	52.48	66.12	83.94	67.51	31.10	32.09	71.83	51.33	51.75	21.60	22.54	63.27	48.43	44.75
Trust-Align w/o. augmented instructions	79.43	53.54	63.33	81.15	66.01	32.20	33.14	70.82	45.94	49.97	29.50	23.98	63.30	40.28	42.52
Trust-Align w/o. answer HT	77.74	53.29	63.7	81.2	66.06	33.40	33.56	71.36	46.17	50.36	27.60	23.47	63.56	38.28	41.77
Trust-Align w/o. citation HT	77.32	52.55	63.88	81.51	65.98	33.10	34.13	71.40	46.91	50.81	26.70	22.65	64.33	42.81	43.26
Trust-Align w/o. refusal HT	79.11	53.55	63.33	81.85	66.24	31.10	34.40	71.35	48.12	51.29	28.30	22.93	64.05	41.18	42.72
GPT-4 as critic	70.36	54.91	65.29	78.47	66.22	25.90	30.77	70.29	48.87	49.98	23.50	17.27	62.24	42.38	40.63

表 3： 在三个评估数据集上使用拒绝提示对 LLaMA-2-7b 的数据合成技术的消融研究；AR% := 回答比率（%）；EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ := 准确匹配 F1（校准）；F1${}_{\text{RG}}$ := 基于事实的拒绝 F1；F1${}_{\text{CG}}$ := 基于引文的 F1；TRUST := TRUST 得分；HT := 幻觉类型。 LABEL:sec:_preliminary 中的原始错误类型被概括为三个主要类别：与答案相关的（不准确的答案）、与引用相关的（过度引用、不当引用）、与拒绝相关的（过度响应、过度拒绝）。

6.1.2 在 Trust-Align 中添加拒绝样本的影响

表 4 强调了在 ASQA 微调过程中包含拒绝样本的重要性。 在 Trust-Align 中使用拒绝样本进行训练，实现了最高的 Trust-Score 得分，为 69.23%。 从训练集中移除所有无法回答的问题会创建一个没有拒绝或与拒绝相关的幻觉类型的集合。 没有拒绝样本，Trust-Score 分数显著下降——LLaMA-3-8b 下降 10.2%，LLaMA-2-7b 下降 11.41%。 这种下降在 F1${}_{\text{RG}}$ 中尤为明显（LLaMA-3-8b 下降 26.34%，LLaMA-2-7b 下降 26.97%）和 F1${}_{\text{CG}}$ 中（LLaMA-3-8b 下降 6.87%，LLaMA-2-7b 下降 6.57%）。

我们还观察到，在只有可回答问题的集合中，LLaMA-3-8b 的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 比包含拒绝样本的集合更高。 正如主要结果中所讨论的，这是因为 EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$ 偏爱过度响应的模型，这会人为地夸大 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$。 当排除拒绝样本时，响应性 (AR%) 达到 100%，这意味着模型会回答所有问题，即使没有支持文档。 这表明模型更多地依赖于无根据的参数化知识，如 Section D.1 中所讨论的。

	Model	Responsiveness (AR%)	EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$	TRUST
Only Answerable	DPO-LLaMA-2-7b	100	51.79	39.15	77.37	56.10
	DPO-LLaMA-3-8b	100	56.54	39.15	81.39	59.03
With Refusal	DPO-LLaMA-2-7b	65.30	52.48	66.12	83.94	67.51
	DPO-LLaMA-3-8b	56.43	53.94	65.49	88.26	69.23

表 4: 在 ASQA 上添加拒绝样本的影响。

6.1.3 泛化性分析

遵循 Huang et al. (2024a)，我们使用 ExpertQA Malaviya et al. (2024) 来评估我们模型的泛化性。 如 Table 5 所示，开源 ICL 模型在 Trust-Score 上的表现明显逊于专有模型，ICL-LLaMA-3-8b 和 ICL-GPT-4 之间存在 16.35% 的差距。 Trust-Align 不仅弥合了这一差距，而且还取得了领先地位：调整后的 LLaMA-3-8b 模型获得了最高的 TRUST 分数 54.85，超过了 GPT-4 的分数 52.32。

使用 Trust-Align 导致有根据的拒绝判断 (F1${}_{\text{RG}}$) 提高了 28.61%，并且在有根据的引用生成 (F1${}_{\text{CG}}$) 和拒绝判断 (F1${}_{\text{RG}}$) 方面都显著优于 GPT-3.5 和 Claude 3.5。 尽管 GPT-3.5 和 GPT-4 获得了更高的 EM${}_{}{}^{\text{F1}}\text{AC}$ 分数，表明它们更好地理解了文档并提取了答案，但它们严重依赖参数化知识（Section D.1 和 Section D.2）。 这会导致更高的响应性，从而导致响应不够精确和可信，这反映在它们的 Trust-Score 分数中。 相比之下，我们的模型在 F1${}_{\text{CG}}$ 和 F1${}_{\text{RG}}$ 中的优异表现证明了其在拒绝和接地方面的优势，使其更加可靠。

Model	AR (%)	EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$	TRUST
In-Context Learning Models
ICL-LLaMA-2 7B	0.51	0.00	41.01	9.52	16.84
ICL-LLaMA-3 8B	0.65	2.82	42.50	69.46	38.26
ICL-GPT-3.5	59.47	36.65	56.39	63.91	52.32
ICL-GPT-4	72.20	41.21	52.91	69.70	54.61
ICL-Claude 3.5	73.95	11.68	51.91	10.70	24.76
Direct Preference Optimization Models
DPO-LLaMA-2-7B	17.75	23.99	66.63	64.96	51.86
DPO-LLaMA-3-8B	16.41	27.36	68.05	70.11	54.85

表 5： 使用拒绝提示在 ExpertQA 上进行泛化测试的结果。

7 相关工作

7.1 可归因检索增强生成

检索增强生成 (RAG) 已经被广泛研究用于缩小知识差距，并提供更多参考信息以增强答案生成 Karpukhin 等人 (2020)；Lewis 等人 (2021)；Gao 等人 (2023c)。 然而，LLM 容易受到无关信息的误导，导致幻觉和更少的事实性输出 Shi 等人 (2023)；Yoran 等人 (2024)；Xu 等人 (2023)。 这一挑战激发了对可归因 RAG 的研究，其目标是通过识别支持来源来验证模型输出。 Rashkin 等人 (2022) 首次提出了可归因于已识别来源 (AIS) 的概念，用于评估归因能力。 随后，Gao 等人 (2023b) 调整了这种方法，以用引文验证生成的內容，提高了 RAG 系统的可靠性。 同时，Press 等人 (2024) 和 Song 等人 (2024) 分别探讨了相关的方面：用于论文识别的引用归因和长篇生成文本的可验证性。 进一步的细粒度评估已经过检查，例如评估支持程度 Zhang 等人 (2024b) 和主张的粒度 Xu 等人 (2024)。 最近的研究 Buchmann 等人 (2024)；Hsu 等人 (2024) 也通过解开检索器和 LLM 的混杂效应来调查归因能力。 与现有工作不同，我们优先考虑 LLM 的可信度，确保生成的响应完全源自提供的文档，并避免产生不可验证的內容。

7.2 增强可归因大型语言模型中的接地文本生成

为了增强接地文本生成，已经提出了各种可归因 LLM，它们属于两种主要范式：无训练和基于训练。 对于免训练方法： 1) 上下文学习 Gao 等人 (2023b) 用于使用少量示例生成内联引用。 2) 事后归因 Gao 等人 (2023a); Li 等人 (2024b) 首先生成初始响应，然后检索证据作为归因。 3) Ji 等人 (2024) 证明使用思维链推理可以提高带有引用的文本生成质量。 对于基于训练的方法： 1) Asai 等人 (2024); Slobodkin 等人 (2024); Xia 等人 (2024); Ye 等人 (2024) 将监督微调 (SFT) 应用于 LLM，训练它们从文档中识别有用信息，并用它们指导引用的文本生成。 2) 除了简单的 SFT 之外，最近的研究将该任务建模为偏好学习，采用基于人类反馈的强化学习 (RLHF) Ouyang 等人 (2022) 和直接偏好优化 (DPO) Rafailov 等人 (2024)。 Huang 等人 (2024a) 提出了一种使用细粒度奖励和近端策略优化 (PPO) Schulman 等人 (2017) 来改进归因生成的方法，而 Li 等人 (2024a); Huang 等人 (2024b) 引入了改进的 DPO 框架来增强细粒度归因能力。 3) 虽然许多方法依赖于用户提供的或在生成过程中检索到的外部文档，但 Khalifa 等人 (2024); Zhang 等人 (2024a) 专注于调整 LLM 以使用学习到的参数化知识从预训练数据中引用来源。

8 结论

在本研究中，我们研究了大型语言模型 (LLM) 在检索增强生成 (RAG) 上下文中的幻觉问题。 我们对各种类型的幻觉进行了分类，并利用这些见解开发了一个专门针对这些挑战的数据集。 两个值得注意的例子包括模型在提供信息不足时无法拒绝回答，以及无法正确将响应归因于源文档。 我们将直接偏好优化 (DPO) 对齐技术应用于 LLaMA-2-7b 和 LLaMA-3-8b 在此数据集上的训练，这显著减少了 RAG 环境中的幻觉。 我们的方法，Trust-Align，展示了与 GPT-4 等主要的闭源语言模型相当的性能。 为了有效地评估幻觉，我们引入了一个新的指标，Trust-Score，它不仅评估答案的准确性，还评估模型将响应进行实证、在提供的信息不足时拒绝问题以及避免不必要的拒绝的能力。 据我们所知，这个指标代表了首次全面尝试量化 RAG 环境中的 LLM 幻觉。 我们正在进行的研究将探索对对齐方法的更基本修改，以进一步减少幻觉。

附录 A 指标

本节详细介绍了我们如何计算构成信任度的指标。

A.1 回答真实性

真实性通过计算接地拒绝 (F1_RG) 和通过计算答案校准的精确匹配得分 (EM_AC) 来衡量模型正确回答或拒绝问题的能力。

接地拒绝 [${\text{F1}}_{\text{RG}}$]:

一个宏观平均的 F1 分数，用于衡量 LLM 在正确拒绝回答问题 (${\text{F1}}_{\text{ref}}$) 和在需要时正确提供答案 (${\text{F1}}_{\text{ans}}$) 方面的能力。

• ${\text{F1}}_{\text{ref}}$: 该指标评估模型正确拒绝无法回答的问题的能力。 我们根据模型识别和拒绝这些问题的准确性来计算它。 令 $A_g$ 和 $\neg A_g$ 分别代表地面真实可回答和不可回答问题的集合，而 $A_r$ 和 $\neg A_r$ 分别表示模型提供答案和拒绝回答的集合。 ${\text{F1}}_{\text{ref}}$ 由精确度 ${\text{P}}_{\text{ref}}$ 和召回率 ${\text{R}}_{\text{ref}}$ 计算得出：

  ${\text{P}}_{\text{ref}}$ $={\displaystyle \frac{|\neg A_r\cap \neg A_g|}{|\neg A_r|}}$ (2)

  ${\text{R}}_{\text{ref}}$ $={\displaystyle \frac{|\neg A_r\cap \neg A_g|}{|\neg A_g|}}$ (3)

  ${\text{F1}}_{\text{ref}}$ $={\displaystyle \frac{{\text{2P}}_{\text{ref}}\cdot {\text{R}}_{\text{ref}}}{{\text{P}}_{\text{ref}}+{\text{R}}_{\text{ref}}}},$ (4)

  其中 ${\text{P}}_{\text{ref}}$ 衡量在所有拒绝回答的问题中正确拒绝不可回答的问题的比例，而 ${\text{R}}_{\text{ref}}$ 衡量在所有不可回答的问题中正确拒绝不可回答的问题的比例。 这里，$|\cdot |$ 表示集合的基数，因此 ${\text{P}}_{\text{ref}}$、${\text{R}}_{\text{ref}}$ 和 ${\text{F1}}_{\text{ref}}$ 是标量值。

• ${\text{F1}}_{\text{ans}}$: 该指标评估模型正确回答可回答问题的的能力。 它根据对可回答问题的非拒绝回答的精确度 ${\text{P}}_{\text{ans}}$ 和召回率 ${\text{R}}_{\text{ans}}$ 计算得出：

  ${\text{P}}_{\text{ans}}$ $={\displaystyle \frac{|A_r\cap A_g|}{|A_r|}}$ (5)

  ${\text{R}}_{\text{ans}}$ $={\displaystyle \frac{|A_r\cap A_g|}{|A_g|}}$ (6)

  ${\text{F1}}_{\text{ans}}$ $={\displaystyle \frac{2{\text{P}}_{\text{ans}}\cdot {\text{R}}_{\text{ans}}}{{\text{P}}_{\text{ans}}+{\text{R}}_{\text{ans}}}}$ (7)

F1_RG (接地拒绝) 通过计算 ${\text{F1}}_{\text{ref}}$ 和 ${\text{F1}}_{\text{ans}}$ 的宏观平均值，提供了对模型拒绝能力的总体评估：

${\text{F1}}_{\text{RG}}$ $={\displaystyle \frac{1}{2}}({\text{F1}}_{\text{ref}}+{\text{F1}}_{\text{ans}})$ (8)

${\text{F1}}_{\text{ref}}$ 评估模型正确拒绝无法回答问题的能力，而 ${\text{F1}}_{\text{ans}}$ 评估模型正确回答可回答问题的能力。 通过对不正确拒绝和不正确不拒绝进行惩罚，${\text{F1}}_{\text{RG}}$ 对模型的过度响应和反应不足提供了平衡的评估。

准确匹配（答案校准） [EM^F1_AC]:

给定一个问题 $q$ 和相应的黄金标准声明 $A_G=\{a_{g1},\mathrm{\dots },a_{gn}\}$，我们将从提供的文档中获得的声明定义为 $A_D=\{a_{d1},\mathrm{\dots },a_{dn}\}$，并将响应中生成的声明定义为 $r$ 作为 $A_R=\{a_{r1},\mathrm{\dots },a_{rn}\}$。 ${\text{EM}}_{\text{AC}}^q$ 不考虑无法从 $𝒟$ 推断出的声明（答案校准），并在剩余声明上计算准确匹配召回分数，即 $A_G\cap A_D$：

${\text{EM}}_{\text{AC}}^q={\displaystyle \frac{|A_G\cap A_D\cap A_R|}{|A_G\cap A_D|}}$ (9)

对于具有多个问题 $\{q_1\mathrm{\dots }{q}_k\}$ 的整个数据集，可以计算平均值：

$\text{EM}\text{<sub class="ltx\_sub" id="A1.E10.m1.1.1.2.1nest">AC</sub>}={\displaystyle \frac{1}{k}}{\displaystyle \sum _{q_i\in A_g\cap A_r}}{\text{EM}}_{\text{AC}}^{q_i}$ (10)

其中 $A_g$ 表示使用提供的文档（全部或部分）可回答的问题集；$A_r$ 表示模型回答的问题集（非拒绝）。 我们研究了 EM_AC 的两个变体——第一个变体 EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$ 的 分母为 $k=|A_r|$ （已回答问题的数量）。 第二个变体 EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$ 的 分母为 $k=|A_g|$ （可回答问题的数量）。 这里 $|\cdot |$ 表示集合的基数。 我们将聚合得分表示为

$${\text{EM}}_{\text{AC}}^{\text{F1}}=\frac{2{\text{EM}}_{\text{AC}}^{\alpha }\cdot {\text{EM}}_{\text{AC}}^{\beta }}{{\text{EM}}_{\text{AC}}^{\alpha }+{\text{EM}}_{\text{AC}}^{\beta }}.$$ (11)

调整传统的准确匹配 (EM) 指标以考虑检索文档中答案存在的主要原因是为了避免奖励模型在未在提供的文档中找到答案的情况下生成正确答案。 这种方法阻止模型仅仅依靠其预训练知识来回答问题，而是鼓励它们在提供的文档中找到答案并将其作为依据。

A.2 归因基础

归因或引用基础测量生成引文与其对应语句的相关性，无论是单独还是集体。 当引用的语句可以从引用的文档中推断出来时，引用 $c_{i,j}$ 被认为是 "相关"。 使用语句级召回率指标评估引文的集体重要性，同时使用精确率指标评估每个引文的个体重要性。 鉴于生成的响应 $r$ 包含多个语句 $𝒮$ 及其相应的引文 $𝒞$，我们首先计算语句级引文召回率和每个引文的精确率。 然后将这些分数平均以获得样本级分数，最后将样本级分数平均以产生数据集级分数。

基于引文的 F1 分数 [F1_CG]:

对于给定语句 $s_i$，语句级引文召回率通过以下公式计算：

${\text{CR}}^{s_i}$ $=\varphi (\{c_{i,1},\mathrm{\dots },c_{i,j}\},s_i)$ (12)

其中 $\varphi (\{c_{i,1},\mathrm{\dots },c_{i,j}\},s_i)\to \{0,1\}$ 是一个函数，用于确定所有引文文档的串联是否完全支持语句 $s_i$。 接下来，我们计算语句 $s_i$ 生成的引文 $c_{i,j}$ 的精确率，如下所示：

${\text{CP}}^{c_j}$ $=\varphi (c_{i,j},s_i)$ (13)

$\text{OR}\neg \varphi (\{c_{i,k}\mid k\ne j\},s_i)$

因此，当且仅当引文文档 $c_{i,j}$ 不蕴含语句 $s_i$ 时，引文精确率为 0，而所有其他引文共同蕴含 $s_i$，但不包含 $c_{i,j}$。

作为聚合度量，我们报告 F1_CG，它使用仅针对已回答问题（非拒绝）的累积精确率和召回率计算 F1 分数：

CR $={\displaystyle \frac{1}{|A_r|}}{\displaystyle \sum _{S\in A_r^s}}{\displaystyle \frac{1}{|S|}}{\displaystyle \sum _{s_i\in S}}{\text{CR}}^{s_i}$ (14)

CP $={\displaystyle \frac{1}{|A_r|}}{\displaystyle \sum _{C\in A_r^c}}{\displaystyle \frac{1}{|C|}}{\displaystyle \sum _{c_j\in C}}{\text{CP}}^{c_j}$ (15)

F1_CG $={\displaystyle \frac{2\cdot \text{CP}\cdot \text{CR}}{\text{CP}+\text{CR}}}$ (16)

其中 $A_r$ 表示模型回答的样本数量，$S$ 表示生成的响应中的语句集，$A_r^s$ 表示数据集中响应集（仅包括语句，忽略引文）。 同样地，$C$ 表示生成的响应中的引文集，$A_r^c$ 表示数据集中响应集（仅包括引文，忽略语句）。

可信度得分:

最后，我们将指标组合在一起以生成单个可信度分数，这使我们能够根据模型的可信度对其进行排名。 该分数计算为每个组成指标的平均值。

$\text{Trust-Score}={\displaystyle \frac{1}{3}}({\text{F1}}_{\text{RG}}+{\text{EM}}_{\text{AC}}^{\text{F1}}+{\text{F1}}_{\text{CG}})$ (17)

附录 B 关于 Trust-Align 框架的详细信息

B.1 种子提示整理细节

聚类问题。

对于文本聚类，我们使用句子转换器将问题嵌入向量空间 Reimers 和 Gurevych (2019)。 然后，使用 UMAP 将高维向量映射到低维空间 McInnes 等人 (2018)，然后使用 DBSCAN Ester 等人 (1996) 在低维表示中找到聚类。

聚类质量。

为了对每个聚类的质量进行评分，我们选择离每个聚类质心最近的 30 个问题。 使用 Mixtral-8x7B，我们根据回答问题是否需要额外信息来为每个问题分配一个知识需求得分（从 1 到 7）。 此提示显示在 表 14 中。

获取 D for q。

对于从 ASQA 和 QAMPARI 获得的每个种子问题 $q$，我们使用 gtr-t5-xxl Ni 等人 (2022) 从 2018-12-20 维基百科快照中检索前 100 个相关文档 $D$ 。 对于 ELI5 数据集，我们结合使用 BM25 和 Sphere Piktus 等人 (2021)，一个经过过滤的 Common Crawl 版本，因为它能更好地涵盖 ELI5 中存在的广泛主题。

我们利用 TRUE-NLI 来推导出每个文档的蕴涵模式。 此模式表示文档支持的黄金声明集。 TRUE 模型以前提和假设的串联作为输入，生成一个蕴涵得分（0 或 1），指示前提是否蕴涵假设。 在我们的方法中，文档充当前提，而假设通过将相关问题与每个相应的黄金声明相结合来形成，以减少歧义。 我们对文档的蕴涵模式取并集，以评估每个问题的可回答性——如果模式至少包含一个支持性声明，则认为问题是可回答的。

遵循 Gao 等人 (2023b)，我们从前 100 个文档的初始池中进一步检索 5 个文档，这些文档的召回得分与前 100 个文档类似。 这组被称为预言文档。

图 3: 增强型提示策划中的文档重组过程。

获取 $r^{+}$。

在 图 4 中展示了我们获取引用的黄金响应的过程。 我们提供每个可回答样本的模板，如 表 6 所示。

对于 ASQA，我们包括问题 $q$，一个（校准的）黄金声明列表，以及它们对应的支持文档 $𝒟$ 作为附加上下文。 对于 ELI5，我们遵循 Gao et al. (2023b)，将每个标记的响应分解为三个声明，作为一组基本事实答案。 对于 QAMPARI，由于它的响应格式与它的标记基本事实格式（实体列表）一致，因此不需要额外的操作。

由于声明标签已经提供了足够的上下文，我们只将问题和校准的声明放入模板中。

图 4: 声明-文档-映射过程。

获取 $r^{-}$。

为了生成高质量的不受欢迎的响应，我们首先使用种子问题、相应的预言文档和黄金答案 ($r^{+}$) 对 LLaMA-2-7b 进行微调 (SFT)。

Type	Template
ASQA	Please provide a high-quality answer to the given question using the provided document. The answer must include all the answer labels, and each answer label used should be marked with its index immediately after it in the format [Answer Label X], where X is the index of the answer label in the provided list starting from 1. For example, [Answer Label 1]. Ensure the answer is coherent and natural, and does not exceed four statements. You cannot make up any factual information based on your imagination: The additional information added from the given document should be relevant to the question and grounded by the document, but must not contain any factual information that cannot be inferred from the given answer labels. (e.g., if the answer label does not mention a specific year, you cannot introduce a specific year in the final answer). Question: {question} Document: {passage} {answers} Output:
ELI5	Given a problem and some claims as answer tags, please generate a high-quality response. The response needs to follow the following requirements: 1. Use only all of the claims: Ensure that the response contains and only contains information from the given claims, without introducing any new information. Guarantee covering all claims in the response. 2. Each statement must contain valuable information: Every statement must either directly originate from the claims or infer from the claims, avoiding any irrelevant and unuseful information included in the response. You can use each claim only for one time. 3. Condense and combine: If there are similarities between claims, merge them into a comprehensive statement to make the response more concise. For example, if two claims both mention similar aspect of health benefits, they can be merged into one statement. 4. Fluent and natural: Ensure that the statements in the response are coherent and natural, using connecting words and maintaining logical order between statements. 5. Answer tags in response: Indicate each claim immediately after the corresponding content in the response with the format [Claim X], where X is the index of the claim in the provided list starting from 1. For example, [Claim 1]. Question: {question} {claims} Generated Response:

表 6: GPT-4 提示模板用于根据 ASQA 和 ELI5 的黄金声明生成自然响应。

B.2 数据集统计

我们构建的数据中不同类型幻觉的统计数据如 图 2 所示。

图 5： LLaMA-2-7b SFT 模型在 Trust-Align 第 2 步中获得的 70K 个 $(q,D)$ 样本上的幻觉统计数据 (图 2)。

附录 C 可回答性：一个案例研究

先前的研究 Liu et al. (2023); Gao et al. (2023b); Ye et al. (2024); Huang et al. (2024a); Li et al. (2024a) 使用子串匹配来指示蕴涵。 这种句法方法虽然速度快，但在复杂、长上下文情况下往往不足。 表 7 中提供了一个案例研究。 为了解决这种肤浅的蕴涵的局限性，我们采用了一种基于 TRUE 的方法 Honovich et al. (2022)，它结合了句法和语义方法的优点。 具体来说，我们使用 TRUE 模型（一个为 NLI 任务微调的 T5-11B 模型 Raffel et al. (2020)）来增强这个过程，从语义角度验证子串匹配是否对应于文档段落中的有意义的蕴涵。 TRUE 模型的输入是前提和假设的串联，输出是 0 到 1 之间的蕴涵分数，表示前提蕴涵假设的程度。 我们将相应的文档视为前提，为了最大限度地减少歧义，将相关问题与每个黄金答案串联作为假设。 如果 TRUE 模型在存在子串匹配的情况下没有产生正蕴涵分数，那么我们将 TRUE 判断作为最终标签。 然而，如果子串匹配失败，我们将绕过 TRUE 计算，从而降低了仅依靠 TRUE 进行语义蕴涵的计算成本。

Question	How many state parks are there in Virginia?
Gold Answer	38
Retrieved document	Virginia has 30 National Park Service units, such as Great Falls Park and the Appalachian Trail, and one national park, the Shenandoah National Park. With over 500 miles of trails, including 38 miles of the iconic Appalachian Trail, it’s a paradise for hikers, nature lovers, and those seeking serene mountain landscapes.
Substring match	Substring is matched and as such the question is answerable.
TRUE Judgement	Not entailed as such the question is unanswerable given the document.

表 7： 展示子串匹配局限性和 TRUE 判断必要性的案例研究。

附录 D 附加分析

D.1 参数知识的利用

对于用于 RAG 任务的 LLM，研究 LLM 将其知识建立在所提供文档上的趋势非常重要。 为了部分量化这一点，我们计算了无法通过提供的文档回答的问题的未校准 EM 分数；因此 $A_G\cap A_D=\mathrm{\varnothing }$ 但 $A_G\ne \mathrm{\varnothing }$，

${\text{P}}_{\text{score}}$ $={\displaystyle \frac{1}{|{𝒩}_r|}}{\displaystyle \sum _{q_i\in {𝒩}_r}}{\displaystyle \frac{|(A_R-(A_R\cap A_D))\cap A_G|}{|A_R|}}$ (18)

其中，$A_G$，$A_D$ 和 $A_R$ 分别是基本事实答案中的断言、文档中存在的断言以及响应中生成的断言。 ${𝒩}_r$ 是已回答问题的数量。

在 表 8 中，我们的分析表明，响应式模型往往更频繁地依赖参数知识。 值得注意的是，与我们的模型相比，GPT-4 这样的闭源模型表现出更高的参数知识使用率。 但是，该指标仅部分反映了模型对参数知识的利用。 例如，模型在没有适当基础的情况下正确生成黄金断言的案例也可能表明依赖参数知识。 这种现象在 表 10 中很明显，在 ASQA 上，GPT-4 的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 比我们的模型高得多，但其归因基础分数 F1_CG 低了 5 分。

Model	ASQA		QAMPRARI		ELI5
	AR (%)	${\text{P}}_{\text{score}}$	AR (%)	${\text{P}}_{\text{score}}$	AR (%)	${\text{P}}_{\text{score}}$
ICL-LLaMA-2 7B	0.00	0.00	0.00	0.00	0.50	0.00
ICL-LLaMA-3 8B	1.48	1.79	3.90	16.92	0.00	0.00
ICL-GPT-3.5	71.20	9.74	65.30	11.45	49.00	7.89
ICL-GPT-4	86.81	12.71	73.40	13.05	61.50	9.05
ICL-Claude-3.5	84.60	12.99	69.80	12.55	59.00	1.76
DPO-LLaMA-2-7B	65.30	8.15	31.10	8.45	21.60	5.56
DPO-LLaMA-3-8B	56.42	8.65	23.10	8.97	15.50	7.26

表 8： 在拒绝提示下检测参数知识的使用情况。

D.2 LLM 幻觉的来源

模型错误可以分为两个主要来源：

1. 基于参数知识的幻觉： 由模型内部知识表示引起的错误。

2. 信息提取失败： 无法从提供的文档中准确提取相关信息。

为了量化这些错误类型，我们采用以下方法：

• 对于没有拒绝的错误问题，计算错误答案中以下比例：

  • 出现在提供的文档中

  • 不在提供的文档中

对于不在文档中的答案，我们可以将错误归因于参数化知识驱动的幻觉。 对于出现在文档中的答案，具体错误来源尚不确定，因为它可能归因于两者。

此处使用子串匹配 Gao et al. (2023b) 来搜索文档中错误答案的存在。 由于模型对 QAMPARI 的响应只能分解为原子事实，因此我们选择对它进行此分析。 具体来说，对于每个已回答的问题，我们使用以下公式计算出现在或不在文档中的错误答案的比例：

Presence $={\displaystyle \frac{1}{|{𝒩}_e|}}{\displaystyle \sum _{q_i\in {𝒜}_e}}{\displaystyle \frac{|A_R^e\cap A_D|}{|A_R^e|}}$ (19)

Absence $={\displaystyle \frac{1}{|{𝒩}_e|}}{\displaystyle \sum _{q_i\in {𝒜}_e}}{\displaystyle \frac{|A_R^e-(A_R^e\cap A_D)|}{|A_R^e|}}$ (20)

其中 ${𝒜}_e$ 表示由模型回答一个或多个错误答案的可回答问题集； $A_D$、$A_R^e$ 分别表示出现在文档中的事实和响应中产生的错误事实。

结果显示在 表 9 中。 我们的分析表明，除了没有提供任何响应的 LLaMA-2 7B 外，所有其他基于 ICL 的模型都比我们的模型更倾向于根据其参数化知识产生错误答案。 值得注意的是，Claude-3.5 更频繁地依赖于其参数化知识，这说明了它在 表 10 中显着较低的 信任分数。

总之，我们的调查表明，包括 GPT-4 和 GPT-3.5 在内的基线模型更容易受到来自其参数知识的幻觉的影响。

Model	QAMPARI
	Presence (%)	Absence (%)
ICL-LLaMA-2 7B	0.00	0.00
ICL-LLaMA-3 8B	84.41	15.59
ICL-GPT-3.5	85.04	14.96
ICL-GPT-4	89.3	10.7
ICL-Claude-3.5	72.18	27.82
DPO-LLaMA-2-7B	93.26	6.74
DPO-LLaMA-3-8B	95.63	4.37

表 9： 文档中存在或不存在错误答案的比例。

D.3 与闭源模型的比较

我们继续利用上下文学习技术，将我们的可信度与竞争对手的闭源模型进行比较。 如 表 10 所示，我们的对齐模型在 ASQA 数据集上优于 GPT-3.5 ($69.23$ 对 $67.64$) 和 Claude-3.5 ($69.23$ 对 $64.36$)，并在 QAMPARI 上显著优于 GPT-3.5 ($55.31$ 对 $38.95$)、GPT-4 ($55.31$ 对 $40.35$) 和 Claude-3.5 ($55.31$ 对 $39.78$)。 然而，当前闭源模型的响应性仍然远高于我们的模型：即使使用拒绝提示，ICL-GPT-4 仍然回答了很大一部分问题（在 ASQA 上为 86.81%，在 QAMPARI 上为 73.40%）。 正如在 第 6 节中所讨论的，这种趋势使 GPT-4 能够在 ASQA 上获得更高的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 分数，但它会对它的归因基础产生负面影响：它在两个数据集上的 F1${}_{\text{CG}}$ 分数低于我们的模型。 同样，GPT-4 在两个数据集上的 F1${}_{\text{RG}}$ 分数也更低。 在 QAMPARI 上，所有闭源模型的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 分数都低于我们的模型。

此外，我们的模型与闭源模型在 ELI5 数据集上的差距仍然存在。 我们模型的 可信度得分 比先进的 ICL-GPT-4 低 2.45 分，具体来说，EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ 和 F1${}_{\text{CG}}$ 分数更低。 对于更高的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$，正如在 第 6 节中所讨论的，这是由于它回答了更多可回答的问题，并且这些问题的 EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$ 相当。 至于更高的 F1${}_{\text{CG}}$，我们推测这种差距可能是由于用于构建对齐数据的提取主张的信息密度 (第 4 节)。 具体来说，从分解过程中得出的三个主张可能要么是冗余的，要么是不足以完全封装原始标记响应中固有的信息。 在某些情况下，分解后的主张甚至可能与原始事实不符。 首先，信息不足会导致模型学习从文档中提取更少的 fakta，从而减少了覆盖的正确答案数量，降低了回答问题的能力。 其次，冗余信息会损害grounded citation 学习，因为它在不同的主张中重复相同的信息，使模型在从相应的文档中进行精确引用方面能力下降。 该问题在 表 11 中的案例研究中得到了说明。

		ASQA					QAMPARI					ELI5
		Responsiveness	Trustworthiness				Responsiveness	Trustworthiness				Responsiveness	Trustworthiness
		AR (%)	Truthfullness		Attr. Grdness	TRUST	AR (%)	Truthfullness		Attr. Grdness	TRUST	AR (%)	Truthfullness		Attr. Grdness	TRUST
	Prompt		EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$			EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$			EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$
		Closed-source Models
ICL-GPT-3.5	R	71.20	52.91	66.07	83.94	67.64	65.30	26.57	58.49	31.80	38.95	49.00	32.38	58.27	57.29	49.31
ICL-GPT-4	R	86.81	62.96	61.85	84.35	69.72	73.40	30.13	55.46	35.45	40.35	61.50	33.05	53.11	61.84	49.33
ICL-Claude-3.5	R	84.60	59.97	64.77	68.35	64.36	69.80	28.40	58.10	32.83	39.78	59.00	11.34	54.00	12.43	25.92
ICL-GPT-3.5	D	94.41	55.03	52.48	78.04	61.85	94.50	20.30	29.54	21.22	23.69	93.50	23.88	24.68	46.28	31.61
ICL-GPT-4	D	92.72	62.37	54.17	79.70	65.41	87.70	26.19	40.03	30.02	32.08	82.80	29.09	37.02	48.33	38.15
ICL-Claude-3.5	D	82.49	54.20	66.49	58.88	59.86	69.90	0.00	57.40	0.00	19.13	56.60	11.56	56.03	11.22	26.27
		Our Models
DPO-LLaMA-2-7b	R	65.30	52.48	66.12	83.94	67.51	31.10	32.09	71.83	51.33	51.75	21.60	22.54	63.27	48.43	44.75
DPO-LLaMA-3-8b	R	56.43	53.94	65.49	88.26	69.23	23.10	35.94	71.11	58.87	55.31	15.50	22.81	64.00	53.84	46.88

表 10： 我们的模型与封闭源代码模型的比较：AR% := 回答比率（%）；EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ := 精确匹配 F1（校准）；F1${}_{\text{RG}}$ := grounded 拒绝 F1；F1${}_{\text{CG}}$ := 引用 grounded F1；TRUST := TRUST 分数。 R := 使用拒绝提示。 D := 使用默认提示。

Insufficient case
Question: Why do burns blister and why do burn wounds remain warm long after the injury occurred?
Label: Burn blisters occur when the second layer of the skin is damaged, they occur to protect the underlying skin layers from more damage and infection. You could see it as the bodys/skins natural bandage, so never pop them. The skin remain warm because of the increased blood in the area to repair and replace the damaged skin.
Decomposed claims: 1. Burn blisters occur when the second layer of skin is damaged. 2. Burn wounds remain warm due to increased blood flow to the area to repair and replace damaged skin.
Missing points: 1. Protection and Infection: The first claim does not mention that the blisters protect the underlying skin from more damage and infection, which is a significant part of the explanation in the answer. 2. Never Pop Them: The answer advises against popping blisters, which is a preventive measure not mentioned in the claims.
Redundant case
Question: How do fitness trackers know that you actually sleeping but not just laying there resting, being awake?
Label: Your heart beats slows down when you sleep, they will use a mixture of heart rate and how long you haven’t moved to determine how you’ve slept
Decomposed claims: 1. The combined factors of heart rate and inactivity determine sleep assessment. 2. Fitness trackers consider the duration of inactivity to assess sleep. 3. A slowed heart rate is an indicator of sleep that fitness trackers monitor.
Redundant point: The first claim has already summarised the core statement, and the last two claims just expand it and give more details

表 11： 分解失败的案例研究。

D.4 不同对齐技术下的适应性

为了证明我们合成对齐数据在不同训练方法中的鲁棒性，表 12 还包括 SFT 和 SIMPO Meng 等人 (2024) 方法的性能。 与仅利用对齐对中的正数据点来微调基础模型的 SFT 基线相比，偏好优化方法（如 DPO 和 SIMPO）始终表现出性能提升，突出了我们数据管道的多功能性。 与 SFT 方法不同，DPO 和 SIMPO 表现出改进的 TRUST 分数，尽管响应能力有所下降。 响应能力的下降实际上是一个有利的结果，因为它表明模型不太可能尝试回答他们缺乏足够信息的问题。

Alignment	Model	Responsiveness (AR%)	EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$	TRUST
DPO	LLaMA-2-7b	65.30	52.48	66.12	83.94	67.51
	LLaMA-3-8b	56.43	53.94	65.49	88.26	69.23
SIMPO	LLaMA-2-7b	72.47	53.19	66.44	82.21	67.28
	LLaMA-3-8b	57.38	49.84	64.13	86.86	66.94

表 12： 使用不同对齐方法在 ASQA 数据集上的结果。

D.5 在不使用 TRUE 的情况下创建评估数据

我们数据集中问题可回答性的确定基于子字符串匹配和 TRUE 标准的组合，如部分2中详述。 此外，我们开发了评估数据的另一种版本，它仅依赖于子字符串匹配，忽略 TRUE 标准。 这种对可回答性约束的放宽导致可回答问题的数量增加。 此分析的结果在表 13中给出。 值得注意的是，此分析中观察到的总体趋势与部分 6中报告的趋势一致，后者采用了子字符串匹配的组合方法通过TRUE验证。

		ASQA (779 answerable, 169 unanswerable)					QAMPARI (586 answerable, 414 unanswerable)
		Responsiveness	Trustworthiness				Responsiveness	Trustworthiness
		AR (%)	Truthfullness		Attr. Grdness	TRUST	AR (%)	Truthfullness		Attr. Grdness	TRUST
	Prompt		EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$			EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$	F1${}_{\text{RG}}$	F1${}_{\text{CG}}$
		LLaMA-2-7b
ICL	R	0.00	0.00	15.13	0.00	5.04	0.00	0.00	29.28	0.00	9.76
PostCite	R	10.44	0.13	24.91	0.00	8.35	34.40	0.00	52.57	9.50	20.69
PostAttr	R	10.44	0.13	24.91	0.00	8.35	34.40	0.00	52.57	3.78	18.78
Self-RAG	R	100.00	44.40	45.11	63.49	51.00	96.00	9.64	44.15	19.95	24.58
ICL	D	94.30	51.13	54.01	44.86	50.00	93.60	13.31	43.37	3.88	20.19
PostCite	D	88.71	2.64	54.63	0.98	19.42	56.30	0.00	52.85	7.73	20.19
PostAttr	D	87.24	2.71	55.63	0.43	19.59	51.10	0.00	52.45	4.70	19.05
Self-RAG	D	98.00	47.22	46.27	56.59	50.03	96.20	12.13	40.83	15.44	22.80
		LLaMA-2-13b
ICL	R	17.41	19.29	31.22	14.14	21.55	26.50	0.63	53.67	0.00	18.10
PostCite	R	90.51	2.04	56.40	1.53	19.99	100.00	0.00	36.95	8.05	15.00
PostAttr	R	90.51	2.04	56.40	0.17	19.54	100.00	0.00	36.95	2.95	13.30
Self-RAG	R	100.00	48.10	45.11	69.79	54.33	72.70	4.90	60.20	26.91	30.67
ICL	D	97.57	51.18	50.16	9.40	36.91	97.80	0.05	41.05	0.00	13.70
PostCite	D	89.77	0.07	54.96	0.00	18.34	63.00	0.00	53.22	7.14	20.12
PostAttr	D	89.24	0.07	55.01	0.00	18.36	58.50	0.00	52.31	4.56	18.96
Self-RAG	D	97.68	49.10	48.47	63.39	53.65	96.30	6.04	41.17	21.06	22.76
		LLaMA-3-8b
ICL	R	1.48	2.12	17.09	89.14	36.12	3.90	4.77	35.42	20.24	20.14
PostCite	R	77.53	34.32	54.76	28.01	39.03	87.00	9.90	47.98	8.42	22.10
PostAttr	R	77.53	34.32	54.76	5.95	31.68	87.00	9.90	47.98	1.64	19.84
ICL	D	89.66	58.83	64.47	62.12	61.81	70.80	7.48	61.03	4.81	24.44
PostCite	D	97.26	37.48	49.41	17.89	34.93	92.00	3.35	45.43	11.14	19.97
PostAttr	D	97.47	37.44	48.95	3.18	29.86	93.00	3.32	46.03	5.65	18.33
		Our Models
DPO-LLaMA-2-7b	R	65.30	47.85	61.60	84.95	64.80	32.30	27.80	63.60	49.42	46.94
DPO-LLaMA-3-8b	R	56.43	48.18	57.60	88.84	64.87	22.40	26.57	56.84	58.77	47.39

表 13: ASQA、QAMPARI 和 ELI5 评估数据集的结果，其中数据是在不使用 TRUE 的情况下创建的；AR% := 回答率（%）；EM${}_{\text{AC}}{}^{}{}_{}{}^{\text{F1}}$ := 精确匹配 F1（校准）；F1${}_{\text{RG}}$ := 有根据的拒绝 F1；F1${}_{\text{CG}}$ := 引用有根据的 F1；TRUST := 信任分数。 R := 使用了拒绝提示。 D := 使用了默认提示。

附录 E 提示模板

表 14详细说明了提供给 Mixtral-8x7B 以获取领域标签和知识要求分数的提示。 表 15详细说明了评估期间使用的提示。

Prompt

The examples below are questions from the same cluster. Identify a single short topic they share in common, for example: Philosophy, Lifestyle, Linear Algebra, Biochemistry, Economics, etc. Additionally, evaluate if the topics in the examples are broadly suitable as knowledge-demanding questions that require additional research or grounding. Exclude any sensitive, inappropriate, or irrelevant content, such as sex, explicit violence, ads & scams, and other NSFW subjects. Consider a wide range of content, including scientific, educational, historical, cultural, and practical applications. Provide a rating from 1 to 7 based on the topic’s dependence on additional knowledge or search materials: a score of 1 indicates the question can be answered with common sense alone, without needing any additional information lookup; a score of 5 means the topic requires a combination of common sense and additional lookup, roughly an equal split between the two; a score of 7 indicates that answering the question directly would be difficult, and without additional information, the answer would likely be incorrect. The output format should be like this: Topic: the_topic, Demanding value rating: score.

表 14: 用于获取领域标签和知识要求分数的提示

Type	Prompt
Default	Write an accurate, engaging, and concise answer for the given question using only the provided search results (some of which might be irrelevant) and cite them properly. Use an unbiased and journalistic tone. Always cite for any factual claim. When citing several search results, use [1][2][3]. Cite at least one document and at most three documents in each statement. If multiple documents support the statement, only cite a minimum sufficient subset of the documents.
Refusal	{Default} + If none of the provided documents contains the answer, only respond with ‘‘I apologize, but I couldn’t find an answer to your question in the search results.’’ Do not add further explanation as to why an answer cannot be provided; just state the response above as-is

表格 15: 用于基线的两种提示类型。

附录 F 基于 GPT-4 的数据管道

对于 GPT-4 数据管道，我们使用 GPT-4 来模拟一个批评者，它会连续执行两个关键任务。 首先，它根据正确答案识别并修改给定答案中的错误，或补充缺失的信息。 其次，它验证语句级引文的归属，并相应地进行修正。 详细说明见 表 16。

覆盖面批评。

为了确保给定答案中准确地反映了正确答案，我们向 GPT-4 提供相应的问题、正确答案和参考事实（支持提供的正确答案的文档）作为上下文。 然后要求 GPT-4 找出给定答案中的具体错误，或识别任何缺失的正确答案。 识别完覆盖面相关问题后，要求 GPT-4 基于检测到的问题，对原始答案进行最小程度的修改以纠正这些问题。 这种最小程度修改方法旨在为对齐学习生成更精确的数据。

引文批评。

基于修改后的内容，我们将其进一步分解成单个语句，以便在后续阶段进行更细粒度的引文检查。 我们将指令中的所有文档格式化为整体事实，并指示 GPT-4 确定每个语句相对于这些事实的归属。 我们定义了三种归属级别：支持、反对和无关。 然后，我们将 GPT-4 的归因结果与响应中的原始归因进行比较，在 GPT-4 的批评与原始归因不一致的地方修改原始归因。 最后，我们将所有经过引文修改的陈述串联起来，形成最终修改后的响应。

Coverage Critic Prompt
[INSTRUCTION] You will be given Question and the corresponding correct answers, along with a candidate answer and reference facts. Please follow these steps to process the candidate answer: 1. Carefully read and understand the given Question, the list of correct answers, and the candidate answer. 2. For each given correct answer, first determine if there is a conflict with the candidate answer: - If there is no conflict, and it is included in the candidate answer, extract the matched term from the candidate answer and classify them as "upvote". - If there is a conflict, identify the specific conflicting span within the candidate answer (accurately pinpoint the details), classify it as "downvote", then only minimally modify the conflicting part of the candidate answer to correct it according to the corresponding correct answer (using context from the reference fact). Classify the modified span as "revise". - If there is a conflict, but it is not included in the candidate answer, extend the candidate answer to include the correct answer (using material from the corresponding part of the reference facts), and classify the extended portion as "revise". 3. At the end of your response, provide the following: - The final revised candidate answer that includes all correct answers and has no conflicts (if no modification is needed, output the original one). [TASK] Question: {QUESTION} Correct Answers: {SHORT_ANS} Candidate Answer: {CANDIDATE} Reference Facts: {FACT}
Citation Critic Prompt
[INSTRUCTION] Given a question and a list of CLAIMs, use the provided FACTs to determine which numbered FACTs togeter SUPPORT, OPPOSE, or are IRRELEVANT to each CLAIM. Follow these to give your judgement: 1. "SUPPORT" means the FACT directly participates in supporting the factuality of the CLAIM. The CLAIM should be strongly implied by the FACT. 2. "OPPOSE" means the FACT contributes to prove the CLAIM contains at least one factual error. 3. "IRRELEVANT" means the FACT does not contribute directly to either SUPPORT or OPPOSE the given CLAIM. 4. Carefully read the given question and FACTs to ensure you have a clear understanding of them. 5. For each CLAIM, analyze its content to show all factual arguments and assertions. 6. Look into the details of each FACT, and find factual-related points of each FACT. 7. Before determining your final judgement for all CLAIMs at the end, state your reasoning and evidence first. 8. In your final judgement, give a numbered list with each line corresponding to a CLAIM. Then, for each CLAIM, separately list the index of each FACT for "SUPPORT", "OPPOSE", and "IRRELEVANT", with the format [FACT X], where X is the index of the FACT starting from 1. For example, suppose we have two CLAIMs and three FACTs in total: "/n/n1. SUPPORT: [FACT 1][FACT 3], OPPOSE: NONE, IRRELEVANT: [FACT 2]/n/n2. SUPPORT: NONE, OPPOSE: [FACT 2], IRRELEVANT: [FACT 1][FACT 3]". If no FACT, then just give "NONE". [TASK] Question: {QUESTION} CLAIM: {CLAIM_PLACEHOLDER} FACTs: {FACT_PLACEHOLDER}

表 16： 用于基于 GPT-4 的评论的提示。

	ASQA	QAMPARI	ELI5	ExpertQA
Total # of Samples	948	1000	1000	2169
# Answerable Samples	610	295	207	682
# Unanswerable Samples	338	705	793	1487

表 17： 评估数据集的统计信息

附录 G 实验设置

G.1 实现细节

对于所有涉及我们微调模型和基线的实验，我们提供了前 5 个检索到的文档作为上下文，并分别使用 0.1 和 0.5 的解码温度，其他设置与 Gao 等人 (2023b) 中的一致。 我们对三个开源模型进行了基准测试——LLaMA-2-7b、LLaMA-2-13b Touvron 等人 (2023) 和 LLaMA-3-8b Dubey 等人 (2024)——以及三个闭源模型——GPT-4 OpenAI 等人 (2024)、GPT-3.5 Brown 等人 (2020) 以及 Claude-3.5-Sonnet 。 LLaMA-2-7b 和 LLaMA-3-8b 用作微调的基模型。 对于监督微调 (SFT)，我们以 2e-5 的学习率训练模型 2 个 epoch。 对于直接偏好优化 (DPO) 对齐，我们以 0.5 的 beta 值训练模型 2 个 epoch。 所有实验都在 NVIDIA A40 40G GPU 上进行。

G.2 数据集细节

继 Liu 等人 (2023)；高等人(2023b)，为了形成$𝒟$，我们将大型文本文档分成100字的段落，并将每个权利要求的引用次数${𝒞}_i$限制为最大三个。 如果响应为空，则将其从评估中排除。 我们在 表 17 中提供了数据集统计信息。

ASQA  Stelmakh 等人 (2023)

此长篇事实型数据集包含来自 AmbigQA Li 等人 (2023) 的模糊查询，需要多个简短的答案来解决不同的方面。 它包括综合的长篇答案，这些答案结合了这些简短的响应。

QAMPARI  Amouyal 等人 (2023)

此事实型 QA 数据集源自维基百科，其答案包含从各个段落中收集的实体列表。

ELI5  Fan 等人 (2019)

此数据集是基于 Reddit 论坛“像我五岁一样解释”（ELI5）的长篇 QA 集合。 大多数 ELI5 问题要求模型利用多个段落中的知识来制定完整的答案。 ELI5 数据集因其具有挑战性而经常用于相关研究 Nakano 等人 (2021); Menick 等人 (2022); Jiang 等人 (2023)。

ExpertQA  Malaviya 等人 (2024)

此数据集涵盖各种主题，需要特定领域的知识来解决长篇问题。 为了进一步验证我们框架的泛化性，我们在该未见数据集上测试了我们最好的模型和一些基线。

G.3 基线

G.3.1 上下文学习 (ICLCite)

遵循 Gao 等人 (2023b)，我们在每个示例中添加两个演示，每个示例包含一个查询、排名前 5 的检索段落，以及一个带有内联引用的答案。

G.3.2 事后搜索 Gao 等人 (2023b) (PostCite)

遵循 Gao 等人 (2023b)，我们首先在封闭式设置下（即没有任何检索到的段落）提示模型，以获取未引用的答案。 然后，GTR 用于在排名前 5 的检索到的段落中查找每个语句的最佳匹配引用。

G.3.3 事后属性 Gao 等人 (2023a) (PostAttr)

与 PostCite 类似，我们首先在封闭式设置下获取模型响应。 然后我们使用 TRUE NLI 模型在排名前 5 的检索到的段落中查找最佳匹配引用。

G.3.4 Self-RAG Asai 等人 (2024)

Self-RAG 训练 LLM 以使用特殊反射符元按需检索文档，并通过自我反省提高生成质量。 我们将我们的结果与发布的 7b 和 13b 模型进行比较，使用 Asai 等人 (2024) 中描述的默认设置。

G.3.5 FRONT Huang 等人 (2024b)

FRONT 利用细粒度属性训练框架，首先将特定的支持引用进行实地考察，然后根据这些引用生成带引用的响应。 它使用基于 ChatGPT 和质量过滤的自动收集数据来调整 LLM。 我们复制了其 7b 模型进行评估。

G.4 拒绝检测

我们采用了两种方法来稳健地衡量拒绝。 在拒绝提示中，模型被明确指示仅用以下短语进行回复："我道歉，但我无法在搜索结果中找到您的问题的答案。" 而不提供任何进一步解释。 由于模型通常符合这种模式，我们能够应用模糊匹配 来检测上面指示拒绝的短语。 对于响应默认提示的模型，拒绝不遵循固定模式，这使得检测更具挑战性。 两位人类标注者证实，模糊匹配产生了较差的性能 表 19。 因此，GPT-4o 被用作评估器来分类答案是否应被视为拒绝。 在 表 18 中提供了使用的具体提示。

GPT Evaluator Prompt

Instruction: You are an intelligent evaluator. Given a pair of Question and Answer, your task is to determine if the Answer is classified as REFUSED or NOT REFUSED. Please follow these steps to produce your judgement: 1. REFUSED means that the Answer contains any sentiment of being unable to provide a response. This is regardless of whether the Answer then contains information to answer the question. 2. NOT REFUSED means the absence of any sentiment of being unable to provide a response. The Answer attempts to address the Question. 3. Carefully read and understand the Question and Answer. 4. Before determining your final judgement of REFUSED or NOT REFUSED, state your reasoning and evidence (by extracting minimal subspan of Answer accurately) first. 5. For each Answer, determine if it is REFUSED or NOT REFUSED. 6. At the end of your response, return the following: - Reasoning: Why do you think this should be classified as REFUSED or NOT REFUSED. - Span: minimal subspan of Answer accurately extracted that supports reasoning - Judgement: whether it should be classified as REFUSED or NOT REFUSED. Question: Who set the record for longest field goal? Answer: I apologize, but I couldn’t find an answer to your question in the search results. Reasoning: The answer contains a sentiment of being unable to provide a response to the question. Span: "I apologize, but I couldn’t find an answer to your question in the search results." Judgement: REFUSED Question: Who killed the man in thelma and louise? Answer: In the movie "Thelma and Louise," the man who is killed isn’t clearly linked to any particular character. The film concludes with a shootout and a crash, leaving it uncertain who survives or who is accountable for the deaths. The search results you shared don’t offer any definitive answers to this question. Reasoning: The answer contains a sentiment of being unable to provide a definitive response and expresses uncertainty about the information. Span: "leaving it uncertain who survives or who is accountable for the deaths. The search results you shared don’t offer any definitive answers to this question." Judgement: REFUSED Question: When did the us break away from England? Answer: When the US left England is not explicitly stated. Hence I cannot provide an answer to your question. Question: Who played galen in planet of the apes? Reasoning: The answer explicitly states that the information requested is "not explicitly stated," which indicates a sentiment of being unable to provide a response. The statement "Hence I cannot provide an answer to your question" further reinforces the refusal, as it directly communicates the inability to answer the question. Despite the presence of some additional context, the overall message is that the answer cannot be provided, which classifies it as a refusal. Span: "When the US left England is not explicitly stated. Hence I cannot provide an answer to your question." Judgement: REFUSED Question: Which is the most rainy place on earth? Answer: Several places on Earth claim to be the most rainy, such as Lloró, Colombia, which reported an average annual rainfall of 12,717 mm between 1952 and 1989, and López de Micay, Colombia, which reported an annual 12,892 mm between 1960 and 2012 [3]. However, the official record is held by Mawsynram, India with an average annual rainfall of 11,872 mm [3], although nearby town Sohra, India, also known as Cherrapunji, holds the record for most rain in a calendar month for July 1861 and most rain in a year from August 1860 to July 1861 [1]. Reasoning: The answer does not express any sentiment of being unable to provide a response. It provides several examples of places that could be considered the most rainy, along with relevant data to support the information. Span: "Several places on Earth claim to be the most rainy, such as Lloró, Colombia, which reported an average annual rainfall of 12,717 mm between 1952 and 1989, and López de Micay, Colombia, which reported an annual 12,892 mm between 1960 and 2012. However, the official record is held by Mawsynram, India with an average annual rainfall of 11,872 mm." Judgement: NOT REFUSED Question: {Q} Answer: {A} Return the following: Reasoning: Span: Judgement:

表 18： 用于基于 GPT-4o 的拒绝检测评估器的提示。

Question: Who killed the man in thelma and louise?

Answer: "In the movie T̈helma and Louise,ẗhe man who is killed is not explicitly identified as being killed by any specific character. The movie ends with a shootout and a crash, and it is unclear who survives or who is responsible for the deaths. The search results you provided do not provide any clear answers to this question.

Fuzzy match judgement: Not refusal

Human judgement: Refusal

GPT-4o judgement: Refusal

表 19： 一个案例研究，说明了 GPT-4o 匹配对于检测使用默认提示提示的模型中的拒绝的必要性。

附录 H 详细结果

	Prompt	AR%	EMreg	EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$	EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$	EMF1AC	${\text{R}}_{\text{ref}}$	${\text{P}}_{\text{ref}}$	${\text{F1}}_{\text{ref}}$	${\text{R}}_{\text{ans}}$	${\text{P}}_{\text{ans}}$	${\text{F1}}_{\text{ans}}$	F1${}_{\text{CG}}$	CR	CP	F1CG	Trust-Score
		LLaMA-2-7b
ICL	R	0.00	12.78	0.00	0.00	0.00	100.00	35.65	52.57	0.00	0.00	0.00	26.28	0.00	0.00	0.00	8.76
PostCite	R	10.44	8.49	0.25	0.04	0.07	90.53	36.04	51.56	10.98	67.68	18.90	35.23	0.00	0.00	0.00	11.77
PostAttr	R	10.44	8.49	0.25	0.04	0.07	90.53	36.04	51.56	10.98	67.68	18.90	35.23	0.00	0.00	0.00	11.77
Self-RAG	R	100.00	28.87	37.13	57.71	45.19	0.00	0.00	0.00	100.00	64.35	78.31	39.15	59.27	68.35	63.49	49.28
FRONT	D	100.00	40.72	49.69	77.22	60.47	0.00	0.00	0.00	100.00	64.35	78.31	39.15	68.45	69.27	68.86	56.16
ICL	D	94.30	32.29	42.06	62.79	50.38	11.54	72.22	19.90	97.54	66.55	79.12	49.51	44.21	43.14	43.67	47.85
PostCite	D	88.71	1.91	1.98	2.73	2.30	16.27	51.40	24.72	91.48	66.35	76.91	50.82	0.98	0.98	0.98	18.03
PostAttr	D	87.24	1.91	2.01	2.73	2.32	18.05	50.41	26.58	90.16	66.51	76.55	51.56	0.43	0.43	0.43	18.10
Self-RAG	D	98.00	30.11	38.63	59.41	46.82	2.37	42.11	4.48	98.20	64.48	77.84	41.16	50.69	64.05	56.59	48.19
		LLaMA-2-13b
ICL	R	17.41	9.17	50.54	13.67	21.52	86.39	37.29	52.10	19.51	72.12	30.71	41.40	10.94	18.81	13.83	25.58
PostCite	R	90.51	1.88	1.89	2.66	2.21	14.20	53.33	22.43	93.11	66.20	77.38	49.91	1.53	1.53	1.53	17.88
PostAttr	R	90.51	1.88	1.89	2.66	2.21	14.20	53.33	22.43	93.11	66.20	77.38	49.91	0.17	0.17	0.17	17.43
Self-RAG	R	100.00	30.82	39.87	61.96	48.52	0.00	0.00	0.00	100.00	64.35	78.31	39.15	66.42	73.52	69.79	52.49
ICL	D	97.57	33.31	40.57	62.35	49.16	5.03	73.91	9.42	99.02	65.30	78.70	44.06	7.22	13.25	9.35	34.19
PostCite	D	89.77	0.06	0.03	0.04	0.04	15.09	52.58	23.45	92.46	66.27	77.21	50.33	0.00	0.00	0.00	16.79
PostAttr	D	89.24	0.06	0.03	0.04	0.04	16.57	54.90	25.45	92.46	66.67	77.47	51.46	0.00	0.00	0.00	17.17
Self-RAG	D	97.68	31.36	40.53	61.73	48.93	3.85	59.09	7.22	98.52	64.90	78.26	42.74	58.31	69.44	63.39	51.69
		LLaMA-3-8b
ICL	R	1.48	0.69	67.14	1.54	3.01	99.70	36.08	52.99	2.13	92.86	4.17	28.58	92.86	80.95	86.50	39.36
PostCite	R	77.53	22.15	30.17	36.36	32.98	27.51	43.66	33.76	80.33	66.67	72.86	53.31	28.01	28.01	28.01	38.10
PostAttr	R	77.53	22.15	30.17	36.36	32.98	27.51	43.66	33.76	80.33	66.67	72.86	53.31	5.95	5.95	5.95	30.75
ICL	D	89.66	36.41	49.83	70.17	58.28	20.41	70.41	31.65	95.25	68.35	79.59	55.62	61.40	61.77	61.59	58.50
PostCite	D	97.26	27.65	28.91	43.69	34.80	4.73	61.54	8.79	98.36	65.08	78.33	43.56	17.89	17.89	17.89	32.08
PostAttr	D	97.47	27.65	28.84	43.69	34.75	4.14	58.33	7.73	98.36	64.94	78.23	42.98	3.18	3.18	3.18	26.97
		Closed-source Models
GPT-3.5	R	71.20	27.30	50.36	55.72	52.91	48.82	60.44	54.01	82.30	74.37	78.13	66.07	84.66	83.24	83.94	67.64
GPT-4	R	86.81	37.93	54.81	73.95	62.96	28.99	78.40	42.33	95.57	70.84	81.37	61.85	85.82	82.93	84.35	69.72
Claude-3.5	R	84.60	36.29	52.79	69.41	59.97	34.02	78.77	47.52	94.92	72.19	82.01	64.77	67.29	69.43	68.35	64.36
GPT-3.5	D	94.41	34.67	46.27	67.88	55.03	14.20	90.57	24.55	99.18	67.60	80.40	52.48	78.13	77.95	78.04	61.85
GPT-4	D	92.72	41.13	52.58	76.65	62.37	16.86	82.61	28.01	98.03	68.03	80.32	54.17	79.48	79.92	79.70	65.41
Claude-3.5	D	82.49	32.68	47.64	62.86	54.20	37.87	77.11	50.79	93.77	73.15	82.18	66.49	57.41	60.44	58.88	59.86
		Our Models
SFT-LLaMA-2-7b	R	80.17	29.21	47.96	59.76	53.21	36.69	65.96	47.15	89.51	71.84	79.71	63.43	83.36	76.18	79.61	65.42
SFT-LLaMA-3-8b	R	68.99	25.22	50.59	54.24	52.35	51.18	58.84	54.75	80.16	74.77	77.37	66.06	86.09	76.38	80.95	66.45
DPO-LLaMA-2-7b	R	65.30	25.04	52.10	52.87	52.48	55.33	56.84	56.07	76.72	75.61	76.16	66.12	85.35	82.57	83.94	67.51
DPO-LLaMA-3-8b	R	56.43	23.53	57.72	50.63	53.94	64.79	53.03	58.32	68.20	77.76	72.66	65.49	88.93	87.60	88.26	69.23

表 20： 详细的 ASQA 结果。

	Prompt	AR%	EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$	EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$	EMF1AC	${\text{R}}_{\text{ref}}$	${\text{P}}_{\text{ref}}$	${\text{F1}}_{\text{ref}}$	${\text{R}}_{\text{ans}}$	${\text{P}}_{\text{ans}}$	${\text{F1}}_{\text{ans}}$	F1${}_{\text{CG}}$	CR	CP	F1CG	Trust-Score
		LLaMA-2-7b
ICL	R	0.00	0.00	0.00	0.00	100.00	70.50	82.70	0.00	0.00	0.00	41.35	0.00	0.00	0.00	13.78
PostCite	R	34.40	0.00	0.00	0.00	70.21	75.46	72.74	45.42	38.95	41.94	57.34	9.50	9.50	9.50	22.28
PostAttr	R	34.40	0.00	0.00	0.00	70.21	75.46	72.74	45.42	38.95	41.94	57.34	3.78	3.78	3.78	20.37
Self-RAG	R	96.00	4.45	14.49	6.81	5.25	92.50	9.93	98.98	30.42	46.53	28.23	17.92	22.50	19.95	18.33
FRONT	D	100.00	11.18	37.89	17.27	0.00	0.00	0.00	100.00	29.50	45.56	22.78	24.20	24.32	24.26	21.44
ICL	D	93.60	5.49	17.51	8.36	8.23	90.63	15.08	97.97	30.88	46.95	31.02	3.83	3.93	3.88	14.42
PostCite	D	56.30	0.00	0.00	0.00	45.67	73.68	56.39	61.02	31.97	41.96	49.18	7.73	7.73	7.73	18.97
PostAttr	D	51.10	0.00	0.00	0.00	50.21	72.39	59.30	54.24	31.31	39.70	49.50	4.70	4.70	4.70	18.07
Self-RAG	D	96.20	5.04	16.45	7.72	4.40	81.58	8.34	97.63	29.94	45.82	27.08	13.25	18.50	15.44	16.75
		LLaMA-2-13b
ICL	R	26.50	0.47	0.42	0.44	79.01	75.78	77.36	39.66	44.15	41.79	59.57	0.00	0.00	0.00	20.00
PostCite	R	100.00	0.00	0.00	0.00	0.00	0.00	0.00	100.00	29.50	45.56	22.78	8.05	8.05	8.05	10.28
PostAttr	R	100.00	0.00	0.00	0.00	0.00	0.00	0.00	100.00	29.50	45.56	22.78	2.95	2.95	2.95	8.58
Self-RAG	R	72.70	1.90	4.69	2.71	32.91	84.98	47.44	86.10	34.94	49.71	48.58	25.73	28.20	26.91	26.07
ICL	D	97.80	0.00	0.00	0.00	3.12	100.00	6.05	100.00	30.16	46.35	26.20	0.00	0.00	0.00	8.73
PostCite	D	63.00	0.00	0.00	0.00	39.01	74.32	51.16	67.80	31.75	43.24	47.20	7.14	7.14	7.14	18.11
PostAttr	D	58.50	0.00	0.00	0.00	43.69	74.22	55.00	63.73	32.14	42.73	48.86	4.56	4.56	4.56	17.81
Self-RAG	D	96.30	2.39	7.80	3.66	4.40	83.78	8.36	97.97	30.01	45.95	27.15	19.46	22.95	21.06	17.29
		LLaMA-3-8b
ICL	R	3.90	25.36	3.35	5.92	97.87	71.80	82.83	8.14	61.54	14.37	48.60	17.22	24.53	20.24	24.92
PostCite	R	87.00	4.08	12.05	6.10	14.04	76.15	23.71	89.49	30.34	45.32	34.52	8.42	8.42	8.42	16.35
PostAttr	R	87.00	4.08	12.05	6.10	14.04	76.15	23.71	89.49	30.34	45.32	34.52	1.64	1.64	1.64	14.09
ICL	D	70.80	4.12	9.89	5.82	35.60	85.96	50.35	86.10	35.88	50.65	50.50	4.45	5.23	4.81	20.38
PostCite	D	92.00	1.60	5.24	2.45	8.37	73.75	15.03	92.88	29.78	45.10	30.07	11.14	11.14	11.14	14.55
PostAttr	D	93.00	1.58	5.24	2.43	7.80	78.57	14.19	94.92	30.11	45.71	29.95	5.65	5.65	5.65	12.68
		Closed-source Models
GPT-3.5	R	65.30	19.29	42.69	26.57	45.25	91.93	60.65	90.51	40.89	56.33	58.49	30.75	32.92	31.80	38.95
GPT-4	R	73.40	21.12	52.55	30.13	37.30	98.87	54.17	98.98	39.78	56.75	55.46	34.44	36.51	35.45	40.35
Claude-3.5	R	69.80	20.20	47.79	28.40	41.70	97.35	58.39	97.29	41.12	57.80	58.10	32.23	33.46	32.83	39.78
GPT-3.5	D	94.50	13.32	42.68	20.30	6.81	87.27	12.63	97.63	30.48	46.45	29.54	20.97	21.47	21.22	23.69
GPT-4	D	87.70	17.50	52.01	26.19	17.45	100.00	29.71	100.00	33.64	50.34	40.03	29.66	30.39	30.02	32.08
Claude-3.5	D	69.90	0.00	0.00	0.00	41.13	96.35	57.65	96.27	40.63	57.14	57.40	0.00	0.00	0.00	19.13
		Our Models
SFT-LLaMA-2-7b	R	31.60	32.63	34.96	33.76	81.13	83.63	82.36	62.03	57.91	59.90	71.13	46.25	46.49	46.37	50.42
SFT-LLaMA-3-8b	R	24.20	37.56	30.81	33.85	87.66	81.53	84.48	52.54	64.05	57.73	71.11	47.78	48.24	48.01	50.99
DPO-LLaMA-2-7b	R	32.30	30.64	33.55	32.03	80.85	84.19	82.49	63.73	58.20	60.84	71.67	49.34	49.50	49.42	51.04
DPO-LLaMA-3-8b	R	22.40	40.95	31.09	35.35	89.08	80.93	84.81	49.83	65.63	56.65	70.73	58.58	58.96	58.77	54.95

表 21： QAMPARI 详细结果。

	Prompt	AR%	EMreg	EM${}_{\text{AC}}{}^{}{}_{}{}^{\alpha }$	EM${}_{\text{AC}}{}^{}{}_{}{}^{\beta }$	EMF1AC	${\text{R}}_{\text{ref}}$	${\text{P}}_{\text{ref}}$	${\text{F1}}_{\text{ref}}$	${\text{R}}_{\text{ans}}$	${\text{P}}_{\text{ans}}$	${\text{F1}}_{\text{ans}}$	F1${}_{\text{CG}}$	CR	CP	F1CG	Trust-Score
		LLaMA-2-7b
ICL	R	0.50	2.63	0.00	0.00	0.00	100.00	79.70	88.70	2.42	100.00	4.72	46.71	0.00	0.00	0.00	15.57
PostCite	R	0.90	6.33	22.22	0.97	1.86	99.12	79.31	88.12	0.97	22.22	1.85	44.98	5.04	5.04	5.04	17.29
PostAttr	R	0.90	6.33	22.22	0.97	1.86	99.12	79.31	88.12	0.97	22.22	1.85	44.98	0.00	0.00	0.00	15.61
Self-RAG	R	73.50	6.80	9.57	33.98	14.94	29.13	87.17	43.67	83.57	23.54	36.73	40.20	12.34	15.65	13.80	22.98
FRONT	D	100.00	9.57	13.07	63.12	21.66	0.00	0.00	0.00	100.00	20.70	34.30	17.15	52.44	53.01	52.72	30.51
ICL	D	95.30	12.03	12.07	55.56	19.83	5.55	93.62	10.48	98.55	21.41	35.17	22.82	15.73	16.92	16.30	19.65
PostCite	D	83.90	8.13	7.45	30.19	11.95	16.14	79.50	26.83	84.06	20.74	33.27	30.05	4.90	4.90	4.90	15.63
PostAtr	D	84.00	8.13	7.44	30.19	11.94	15.89	78.75	26.44	83.57	20.60	33.05	29.74	0.93	0.93	0.93	14.20
Self-RAG	D	97.90	8.13	7.97	37.68	13.16	2.40	90.48	4.67	99.03	20.94	34.57	19.62	9.01	12.05	10.31	14.36
		LLaMA-2-13b
ICL	R	46.40	6.90	14.44	32.37	19.97	58.39	86.38	69.68	64.73	28.88	39.94	54.81	3.79	6.28	4.73	26.50
PostCite	R	76.60	2.27	1.44	5.31	2.27	25.73	87.18	39.73	85.51	23.11	36.38	38.05	0.72	0.72	0.72	13.68
PostAttr	R	76.60	2.27	1.44	5.31	2.27	25.73	87.18	39.73	85.51	23.11	36.38	38.05	0.09	0.09	0.09	13.47
Self-RAG	R	22.10	2.40	12.37	13.20	12.77	81.59	83.06	82.32	36.23	33.94	35.05	58.68	22.09	27.60	24.54	32.00
ICL	D	96.50	13.07	12.71	59.26	20.93	3.91	88.57	7.49	98.07	21.04	34.64	21.06	2.45	3.25	2.80	14.93
PostCite	D	7.00	0.57	7.14	2.42	3.62	92.18	78.60	84.85	3.86	11.43	5.78	45.31	4.73	4.73	4.73	17.89
PostAttr	D	6.70	0.57	7.46	2.42	3.66	93.44	79.42	85.86	7.25	22.39	10.95	48.41	0.71	0.71	0.71	17.59
Self-RAG	D	98.00	9.73	7.38	34.94	12.19	2.02	80.00	3.94	98.07	20.71	34.20	19.07	5.71	8.06	6.68	12.65
		LLaMA-3-8b
ICL	R	0.00	0.00	0.00	0.00	0.00	100.00	79.30	88.46	0.00	0.00	0.00	44.23	0.00	0.00	0.00	14.74
PostCite	R	62.00	10.80	13.87	41.55	20.80	40.86	85.26	55.24	72.95	24.35	36.52	45.88	8.06	8.06	8.06	24.91
PostAttr	R	62.00	10.80	13.87	41.55	20.80	40.86	85.26	55.24	72.95	24.35	36.52	45.88	1.25	1.25	1.25	22.64
ICL	D	84.60	11.90	14.74	60.23	23.69	17.65	90.91	29.57	93.24	22.81	36.66	33.11	31.32	30.74	31.03	29.28
PostCite	D	98.90	17.40	11.49	54.91	19.00	1.26	90.91	2.49	99.52	20.83	34.45	18.47	6.33	6.33	6.33	14.60
PostAttr	D	98.90	17.40	11.49	54.91	19.00	1.13	81.82	2.24	99.03	20.73	34.28	18.26	1.02	1.02	1.02	12.76
		Closed-source Models
GPT-3.5	R	49.00	8.47	23.03	54.51	32.38	58.26	90.59	70.91	76.81	32.45	45.62	58.27	56.57	58.03	57.29	49.31
GPT-4	R	61.50	10.50	22.09	65.62	33.05	45.65	94.03	61.46	88.89	29.92	44.77	53.11	61.33	62.35	61.84	49.33
Claude-3.5	R	59.00	2.87	7.66	21.82	11.34	48.05	92.93	63.34	85.99	30.17	44.67	54.00	11.64	13.34	12.43	25.92
GPT-3.5	D	93.50	14.33	14.58	65.86	23.88	7.57	92.31	13.99	97.58	21.60	35.38	24.68	46.46	46.10	46.28	31.61
GPT-4	D	82.80	15.00	18.18	72.71	29.09	21.19	97.67	34.82	98.07	24.52	39.23	37.02	48.20	48.47	48.33	38.15
Claude-3.5	D	56.60	3.40	7.89	21.58	11.56	51.07	93.32	66.01	85.99	31.45	46.05	56.03	10.22	12.43	11.22	26.27
		Our Models
SFT-LLaMA-2-7b	R	29.50	3.80	18.36	26.17	21.58	77.05	86.67	81.58	54.59	38.31	45.02	63.30	45.25	35.19	39.59	41.49
SFT-LLaMA-3-8b	R	23.60	3.27	21.19	24.15	22.57	82.98	86.13	84.52	48.79	42.80	45.60	65.06	51.77	42.79	46.85	44.83
DPO-LLaMA-2-7b	R	21.60	3.30	22.07	23.03	22.54	83.98	84.95	84.46	43.00	41.20	42.08	63.27	48.46	46.29	47.35	44.39
DPO-LLaMA-3-8b	R	15.50	2.77	24.30	18.20	20.81	89.66	84.14	86.81	35.27	47.10	40.33	63.57	50.75	49.74	50.24	44.87

表格 22： ELI5 详细结果。