大型语言模型 (LLM)，包括 GPT-3.5、LLaMA 和 PaLM，似乎知识渊博并且能够适应许多任务。然而，我们仍然不能完全相信他们的答案，因为 LLM 患有 \textbf{幻觉}\textemdash 捏造不存在的事实，在有意识或无意识的情况下欺骗用户。然而，它们存在和普遍存在的原因仍不清楚。在本文中，我们证明由随机标记组成的无意义提示也可以引发 LLM 做出幻觉反应。此外，我们提供了理论和实验证据，表明可以通过扰乱 Transformer 的输入序列来操纵 Transformer 来产生特定的预定义 Token 。这种现象迫使我们重新审视\emph{幻觉可能是对抗性例子的另一种观点}，它与传统对抗性例子具有相似的特征，作为 LLM 的基本属性。因此，我们以对抗性的方式将自动幻觉触发方法形式化为 \textit{幻觉攻击}。最后，我们探讨了受攻击的对抗性提示的基本属性，并提出了一种简单而有效的防御策略。我们的代码发布在 GitHub\footnote{this https URL} 上 ...
随着在线和离线文本数据的大量存在，迫切需要提取短语之间的关系并用几句话概括每个文档的主要内容。为此，最近在开放信息提取（OIE）方面进行了许多研究。 OIE 通过分析不同领域之间的关系来改进关系提取技术，并避免需要在句子中手动标记预先指定的关系。本文调查了 OIE 的最新方法及其在知识图（KG）、文本摘要和问答（QA）方面的应用。此外，本文还描述了 OIE 关系抽取的基本方法。它简要讨论了主要方法以及每种方法的优缺点。最后，它概述了 OIE、关系提取和 OIE 应用程序的挑战、悬而未决的问题和未来的工作机会 ...
自动知识图谱构建旨在制造结构化的人类知识。为此，历史上人们花费了大量精力从不同的数据源中提取信息丰富的事实模式。然而，最近，研究兴趣已转向获取信息数据之外的概念化结构化知识。此外，研究人员还一直在探索在多样化场景下处理复杂施工任务的新方法。因此，需要对范式进行系统审查，以组织数据级别之外的知识结构。为了满足这一需求，我们综合考察了300多种方法，总结了知识图谱构建的最新进展。知识图谱的构建分为三个步骤：知识获取、知识细化和知识演化。详细回顾了知识获取的过程，包括获取细粒度类型的实体及其与知识图的概念联系；解决共指问题；并提取复杂场景下的实体关系。该调查涵盖了知识细化的模型，包括知识图补全和知识融合。还系统地提出了处理知识演化的方法，包括条件知识获取、条件知识图补全和知识动态。我们提出了一些范式，以沿着数据环境、动机和架构的轴来比较这些方法之间的区别。此外，我们还提供了可访问资源的简介，可以帮助读者开发实用的知识图谱系统。调查最后讨论了未来探索的挑战和可能的方向 ...
大型语言模型（LLM）越来越多地在现实世界中部署，但它们仍然容易受到幻觉的影响，这些幻觉会产生流利而又不正确的响应并导致错误的决策。不确定性估计是一种检测此类幻觉的可行方法。例如，语义熵通过考虑多个采样响应的语义多样性来估计不确定性，从而识别幻觉 ...
准确量化大型语言模型 (LLM) 中的不确定性对于其可靠部署至关重要，尤其是在高风险应用程序中。当前用于测量 LLM 语义不确定性的最先进方法依赖于多个生成的响应之间严格的双向蕴含标准，并且还依赖于序列可能性。虽然有效，但这些方法常常高估不确定性，因为它们对细微的措辞差异、额外的正确信息和序列中的不重要单词很敏感。我们提出了一种利用语义嵌入来实现 LLM 语义不确定性更平滑、更稳健的估计的新方法。通过在不依赖于序列可能性的情况下捕获语义相似性，我们的方法本质上减少了答案中不相关单词引入的任何偏差。此外，我们通过将语义显式建模为联合概率模型中的潜在变量，引入了我们方法的摊销版本。这允许通过单次前向传播来估计嵌入空间中的不确定性，与现有的多遍方法相比，显着减少计算开销。跨多个问答数据集和前沿 LLM 的实验表明，我们基于嵌入的方法提供了比传统方法更准确、更细致的不确定性量化 ...
大型语言模型 (LLM) 越来越多地部署在不同的领域，但它们很容易生成事实上不正确的输出 - 通常称为“幻觉”。在现有的缓解策略中，基于不确定性的方法由于易于实施、独立于外部数据以及与标准 LLM 的兼容性而特别有吸引力。在这项工作中，我们引入了一种新颖且可扩展的基于不确定性的语义聚类框架，用于自动幻觉检测。我们的方法利用句子嵌入和层次聚类以及新提出的不一致度量 SINdex，以产生更同质的聚类并更准确地检测各种 LLM 的幻觉现象。对著名的开卷和闭卷 QA 数据集的评估表明，我们的方法比最先进的技术实现了高达 9.3% 的 AUROC 改进。广泛的消融研究进一步验证了我们框架中每个组件的有效性 ...
GPT-3 等生成式大型语言模型 (LLM) 能够对各种用户提示生成高度流畅的响应。然而，众所周知， LLM 会产生幻觉并做出不符合事实的陈述，这可能会破坏对其成果的信任。现有的事实核查方法要么需要访问输出概率分布（这可能不适用于 ChatGPT 等系统），要么需要通过单独的、通常很复杂的模块连接的外部数据库。在这项工作中，我们提出了“SelfCheckGPT”，这是一种简单的基于采样的方法，可用于以零资源方式（即无需外部数据库）对黑盒模型的响应进行事实检查。 SelfCheckGPT 利用了一个简单的想法，即如果 LLM 了解给定的概念，则样本响应可能是相似的并且包含一致的事实。然而，对于幻觉事实，随机采样的响应可能会出现分歧并相互矛盾。我们通过使用 GPT-3 从 WikiBio 数据集中生成有关个人的段落来研究这种方法，并手动注释生成的段落的真实性。我们证明 SelfCheckGPT 可以： i) 检测非事实和事实句子； ii) 根据事实性对段落进行排名。我们将我们的方法与几个基线进行比较，结果表明，与灰盒方法相比，我们的方法在句子级幻觉检测中具有更高的 AUC-PR 分数，在段落级事实性评估中具有更高的相关性分数 ...
大型语言模型（LLM）很容易产生幻觉，产生看似合理但实际上不正确的陈述。这项工作通过三个主要贡献来研究这种故障模式的内在架构起源。首先，为了能够可靠地跟踪内部语义故障，我们提出了分布式语义跟踪（DST），这是一个统一的框架，集成了已建立的可解释性技术，以生成模型推理的因果图，将意义视为上下文的函数（分布语义）。其次，我们查明幻觉不可避免的模型层，确定模型的内部表示与事实不可逆转地偏离的特定承诺层。第三，我们确定了这些失败的根本机制。我们观察到不同计算路径之间的冲突，我们使用双过程理论的视角来解释：快速、启发式关联路径（类似于系统 1）和缓慢、深思熟虑的上下文路径（类似于系统 2），导致可预测的故障模式，例如推理捷径劫持。我们的框架量化上下文路径连贯性的能力揭示了与幻觉率的强烈负相关性（$\rho = -0.863$），这意味着这些失败是内部语义弱点的可预测后果。结果是对 Transformer 架构中幻觉如何、何时以及为何发生的机械解释 ...
现有的语言模型训练技术可能与事实不符：如果我们通过模仿学习来训练模型，它们可能会重现人类所犯的错误；如果我们训练它们生成人类评价较高的文本，它们可能会输出人类评估者无法检测到的错误。我们建议通过以纯粹无监督的方式直接寻找语言模型内部激活中的潜在知识来规避这个问题。具体来说，我们引入了一种仅在未标记的模型激活的情况下准确回答是/否问题的方法。它的工作原理是在激活空间中找到满足逻辑一致性属性的方向，例如语句及其否定具有相反的真值。我们表明，尽管不使用监督和模型输出，我们的方法仍然可以恢复大型语言模型中表示的多样化知识：在 6 个模型和 10 个问答数据集上，它的平均准确率比零样本准确率高 4%。我们还发现，即使提示模型生成错误答案，它也能将提示灵敏度降低一半并继续保持高精度。我们的结果为发现语言模型所知道的内容（不同于它们所说的内容）迈出了第一步，即使我们无法访问明确的地面实况标签 ...
大型语言模型（LLM）的幻觉问题极大地限制了它们的可靠性和可信度。人类有一个自我意识过程，使我们能够在面对查询时认识到我们不知道的事情。受此启发，我们的论文研究了 LLM 是否可以在响应生成之前估计自己的幻觉风险。我们从训练数据源和 15 个不同的自然语言生成 (NLG) 任务（涵盖 700 多个数据集）方面广泛分析了 LLM 的内部机制。我们的实证分析揭示了两个关键见解：（1）LLM 内部状态表明他们是否在训练数据中看到了查询； (2) LLM 内部状态表明他们可能产生幻觉或不考虑该查询。我们的研究探索了特定的神经元、激活层和标记，它们在 LLM 对不确定性和幻觉风险的感知中发挥着至关重要的作用。通过探测估计器，我们利用 LLM 自我评估，在运行时实现了 84.32% 的平均幻觉估计准确率 ...