大语言模型评价者认可并偏爱自己的一代人

Arjun Panickssery Samuel R. Bowman Shi Feng

摘要

事实证明，使用大语言模型（大语言模型）进行自我评估不仅在基准测试方面很有价值，而且在奖励建模、宪法人工智能和自我完善等方法方面也很有价值。但由于同一个大语言模型同时充当评估者和被评估者，因此引入了新的偏差。其中一种偏见是自我偏好，即大语言模型评估者对自己的输出评分高于其他人的输出，而人类注释者则认为它们具有相同的质量。但是，当大语言模型给这些文本更高的分数时，他们真的认识到自己的输出吗，还是只是巧合？在本文中，我们研究了自我认知能力是否有助于自我偏好。我们发现，开箱即用的大语言模型（例如 GPT-4 和 Llama 2）在区分自己与其他大语言模型和人类方面具有非凡的准确性。通过微调大语言模型，我们发现自我认知能力与自我偏好偏差的强度之间存在线性相关性；通过对照实验，我们表明因果解释可以抵抗简单的混杂因素。我们更广泛地讨论自我识别如何干扰公正的评估和人工智能安全。

机器学习、ICML

1简介

自我评估正在成为大语言模型生命周期的重要组成部分。在奖励建模（Leike等人，2018；Stiennon等人，2020）等方法中，基于模型的基准（Shashidhar等人，2023；Zeng等人，2023；Yuan等人， 2023; Fu 等人, 2023; Li 等人, 2024), 自我完善(Saunders 等人, 2022; Madaan 等人, 2023; Lee 等人, 2023; Shridhar 等人, 2023) 、宪法人工智能（白等人，2022），大语言模型越来越多地被用来为自己和其他大语言模型提供评估、监督和监督。大语言模型评估器在各种任务上都非常准确地逼近人类注释者，并且具有显着更高的可扩展性（Hackl 等人，2023）。

Refer to caption — 图1：自我偏好偏差的强度与大语言模型的自我识别能力呈线性相关。每个点代表使用 CNN/Dailymail 数据集对两个属性进行评估的模型。我们使用 CNN/Dailymail（域内）和 XSUM（域外）使用 GPT-3.5 和 Llama 2 进行自我识别或控制任务。两个轴代表的分数可以解释为大语言模型对这些属性的置信度的度量。

在自我评价中，顾名思义，同一个底层大语言模型既充当评价者又充当被评价者。结果，评估者的中立性受到质疑，并且大语言模型评估者系统地偏离人类，评估可能会受到偏差（Zheng 等人，2024；Bai 等人，2024）. 其中一种偏见是自我偏好，即大语言模型对自己的输出的评价高于其他大语言模型或人类编写的文本，而人类注释者则认为它们具有相同的质量。在基于 GPT-4 的对话基准（Bitton 等人，2023b；Koo 等人，2023）以及文本摘要（Liu 等人，2023）中观察到了自我偏好）。

为了理解和减轻自我偏好，我们研究自我识别——大语言模型识别自身输出的能力。我们问：自我偏好真的是自我偏好吗？大语言模型偏爱文本因为它是由它自己生成的吗？

我们测量它们的相关性，同时使用提示和微调来改变大语言模型的自我识别能力。为了为自我认知和自我偏好之间的因果联系提供信号，我们还在一组全面的潜在混杂属性上调整了大语言模型。

我们的主要发现如下：

1.

前沿大语言模型在自我评价中表现出自我偏好。在两项摘要任务中，大语言模型（GPT-3.5 Turbo、GPT-4 和 Llama 2）不成比例地偏爱自己编写的摘要，而不是其他大语言模型和人类编写的摘要。
2.

大语言模型具有开箱即用的非凡自我识别能力。我们评估的所有三个大语言模型都使用简单的提示，无需进行微调，就可以将自己的输出与其他来源的输出区分开来，准确率超过 $50\%$ 。 GPT-4 $73.5\%$ 准确地将自己与其他两个大语言模型和人类区分开来。
3.

微调可以带来近乎完美的自我认知。经过 500 个示例的微调后，GPT-3.5 和 Llama 2 的自我识别准确率均超过 $90\%$ 。
4.

自我偏好强度与自我认知呈线性相关。我们进一步通过大语言模型来增加或减少自我认知，并发现这两个属性之间存在线性相关性（图1)。

2 自我偏好和自我认知的定义和测量

自我偏好是指大语言模型偏爱自己的输出而不是其他大语言模型和人类的文本的现象。

自我识别是大语言模型将自己的输出与其他大语言模型或人类的文本区分开来的能力。

对于这两个定义，我们遵循平淡无奇的解释，而不是有意的解释。也就是说，我们在经验意义上使用“自我”一词，而不声称大语言模型有任何自身的概念或表征。平淡的解释允许这两个概念彼此独立地存在：大语言模型可以更喜欢它生成的文本，而不认识到这些文本实际上是由它自己生成的。

在我们的实验中，一个大语言模型最多可以扮演三种不同的角色：生成器、评估器和作者身份识别器，具体取决于给出的指令。像“大语言模型评估器用于评估本身生成的文本”这样的陈述强调了这样一个事实：生成器和评估器使用相同的底层模型，尽管它接收不同的提示并且可以表现不同。

2.1 数据集和模型

我们专注于文本摘要，这是一项自我评估已广泛应用于基于模型的基准和奖励建模的任务（Stiennon 等人，2020；Wu 等人，2021）。对于人工撰写的摘要，我们从两个数据集中抽取了 1,000 篇新闻文章：XSUM (Narayan 等人，2018) 和 CNN/DailyMail (Nallapati 等人，2016)每个示例都包含新闻文章和人工撰写的摘要。

为了生成和评估 LLM 生成的摘要，我们使用指令调整的大语言模型：Llama-2-7b-chat (Touvron 等人, 2023)、GPT-3.5 (Brown 等人) ，2020）和 GPT-4 （OpenAI，2023）。我们的微调实验包括 Llama 2（我们自己的实现）和 GPT-3.5（通过 API）。我们使用简单的提示在零温度下对每个大语言模型的摘要进行采样，并对标点符号和首字母大写进行标准化以匹配人工摘要的格式。以下开箱即用的大语言模型的评估都是基于这些抽样总结。¹¹1 我们用于评估 GPT-4、GPT-3.5 和 Llama 2 以及微调 Llama 2 的代码可在 https:/ /bit.ly/llm_self_recognition。

2.2测量

对于这两个属性，我们通过使用以下两种格式之一提示它们来测量大语言模型：

成对测量。大语言模型呈现两段文本，一段由大语言模型本身生成，另一段由第二个大语言模型或人类生成。我们要求大语言模型选择哪个文本质量较高用于自我偏好，以及哪个文本是自己生成的用于自我识别。替代来源的身份不会向评估者透露。我们通过标准化与两个选项相关的标记的输出概率来计算预测置信度。

为了解释大语言模型的排序偏差（Pezeshkpour & Hruschka，2023），我们通过交换选项对每个示例提示大语言模型两次，并计算两个置信度得分的平均值。

单独测量。大语言模型呈现的是由其自身、另一个大语言模型或人类生成的一段文本。为了自我识别，我们提示大语言模型评估者回答是/否问题，即给定的摘要是否是自己生成的，并以与成对测量相同的方式计算置信度得分。出于自我偏好，我们提示大语言模型评估器对给定摘要进行李克特量表评分（1 到 5），并将最终评分计算为按输出概率加权的五个可能分数的平均值每个数字的词符。

为了使个人和成对测量的分数具有可比性，我们进一步对个人测量的置信度和李克特量表分数进行标准化。假设在成对测量中，GPT-4 根据其自身生成的摘要和 Llama 2 生成的另一个摘要来评估自我识别。在个体测量中，我们分别收集这两个分数，并将GPT-4对其自身总结的置信度除以两个分数的总和；我们认为这是 GPT-4 对这对例子的信心。我们同样根据自我偏好重新标准化李克特量表分数。

我们将这些测量的结果称为自我认知和自我偏好分数（注意它们是在成对还是个人环境中计算的）；取整个数据集上这些分数的平均值即可提供评估者模型的整体自我认知和自我偏好分数。

2.3开箱即用的自我识别

图2（左）可视化了每个大语言模型评估器在成对设置中的自我识别能力。两个数据集的结果看起来是一致的，因此为了清晰起见，我们将它们进行汇总。我们的主要观察如下：

1.

GPT-4 的自我识别能力明显强于两个较弱的模型。
2.

所有三位大语言模型评估者都最容易将他们的摘要与人类编写的摘要区分开来。人类是 Llama 2 能够有效区分自己的唯一选择。
3.

较弱的大语言模型难以与较强的大语言模型区分开来：Llama 2 完全无法区分自己与 GPT-3.5 和 GPT-4，而 GPT-3 则难以区分自己与 GPT-4。
4.

GPT-4 评估器并不比 GPT-3.5 摘要更容易区分 Llama 2 摘要和它自己的摘要。这违背了我们的直觉，即随着评估者和被评估者之间差异的增加，自我认知分数应该增加。

图2（右）直观地显示了在个人环境中测量的自我认知分数。正如预期的那样，在大语言模型失去了对两段文本进行比较和对比的优势的情况下，自我识别能力全面下降。 GPT-4 是唯一能够以非凡的准确性区分作者的模型。有趣的是，查看非标准化置信度分数（图 3)，我们发现 GPT-4 强烈偏向于预测任何由其自身生成的文本，而不管实际作者是谁； GPT-3.5 和 Llama 2 显示出相反的偏差。

2.4开箱即用的自我偏好

即使在没有基线人类偏好数据的情况下，成对设置也显示了自我偏好的证据，因为每对评估器模型的自我偏好分数加起来超过 $1$ 。所有模型都表现出相对于人类总结的最大自我偏好。

在个人设置中，我们观察到 Llama 不会对不同来源给出非常不同的分数，而 GPT-4 和 GPT-3.5 显示出自我偏好的迹象。除了 XSUM 数据集上的 GPT-3.5 之外，与模型生成的摘要相比，评估者倾向于给予人类摘要较低的分数，并且与其他评估者给出的分数相比，倾向于给予其世代更高的分数（图 4。

2.5排序偏差的替代调整

所有三个评估器模型都显示排序偏差。当选项顺序颠倒时，GPT-4、GPT-3.5 和 Llama 分别以 25%、58% 和 89% 的比率颠倒其成对偏好，跨任务和数据集的平均值（图 5 ）。我们通过对两个排序的基于逻辑的置信度得分进行平均来解释这种偏差。

对数据的另一种解释是，对于每个评估者来说，丢弃所有带有“模糊”标签的结果，其中其偏好显示基于排序的逆转，报告评估者的自我识别能力和自我偏好倾向作为其识别或识别的频率。在“明确”的情况下更喜欢自己的总结（图5)。该方法暴露了两个数据集之间评估器结果的差异，但支持开箱即用的自我识别和自我偏好的存在。

3测量自我偏好与自我认知之间的相关性

在验证了自我偏好和自我认知的存在之后，我们现在转而研究两者之间的相关性。主要研究问题是了解它们是否存在因果关系；特别是，我们的假设是自我认知导致自我偏好——大语言模型更喜欢自己的输出因为他们认识它们。我们对该假设的调查是出于其安全性影响，我们将在第 5 节中详细讨论。

我们微调大语言模型来改变他们的自我识别能力，并测量自我偏好的强度如何相应变化。这种相关性本身并不能证明因果假设——验证因果假设需要大语言模型尚不存在的机制工具（更多讨论见5节）。但我们采取两种方法来为该假设提供更多证据：

1.

我们使自我偏好导致自我认知的逆因果关系无效（第3.3节）。
2.

我们通过在与自我识别无关的任务上微调大语言模型来控制混杂因素（第3.4节）。

3.1 自我识别微调

我们对成对示例使用监督微调来改变大语言模型的自我识别能力。训练示例的生成方式与我们在成对测量中使用的评估示例相同。每个示例都包含给定文章的两个摘要，一个由大语言模型评估者撰写，另一个由另一个大语言模型或人员来源撰写。评估者经过训练，使用带有交叉熵损失的监督学习来预测最终的词符，代表两个选项中的正确选择。为了训练大语言模型评估器，我们使用 500 篇训练文章并从所有替代来源（另外两个大语言模型和人类）收集示例。其余 500 篇文章和相关摘要用作评估数据集。我们分别对两个数据集进行训练，但同时评估域内和域外。 GPT-3.5 通过 API 进行了微调，Llama 2 使用我们自己的实现。 Llama 模型被量化为 8 位，并使用 Adam 优化和学习率 $5.0\times 10^{-5}$ 对一个时期进行微调。

3.2 微调结果

对于成对设置中的检测和比较任务，在模型倾向于为成对问题的两种排序提供的第二个选项的情况下，排序偏差会导致平均概率成为唯一的定量区别。

对自我识别任务的微调使模型对其成对判断变得更加自信（图6)。当根据自我偏好绘制自我识别得分时，数据会更紧密地聚集在 $0.5$ 以及高分角和低分角周围。

在成对设置中，自我识别的微调会导致模型的自我识别能力与其自我偏好之间存在很强的线性相关性（图7)。我们发现，一个数据集上自我识别能力的微调会转移到另一个数据集上。

除了分析自我识别能力和整体数据集自我偏好之间的关系之外，我们还在示例级别上测量了这两个属性之间的相关性（表1)。对于 XSUM 数据集上的 GPT-3.5，微调前的评估者从一对数据中正确识别其摘要与从同一对数据中偏好其摘要之间的相关性为 $0.41$ （Kendall's $\tau$ ）。我们采用的每个微调配置都会导致模型与该指标呈正相关，并且随着自我识别能力的提高，这种相关性不会发生有意义的变化。

GPT-3.5 Fine-Tuning Runs
Model Configuration	XSUM Score	CNN Score
No Fine-Tuning	0.41	0.37
FT (2) on XSUM	0.69	0.64
FT (10) on XSUM	0.66	0.59
FT (500) on XSUM	0.74	0.82
FT (2) on CNN/DM	0.44	0.39
FT (10) on CNN/DM	0.57	0.48
FT (500) on CNN/DM	0.65	0.42
Llama 2 Fine-Tuning Runs
No Fine-Tuning	0.73	0.50
FT (2) on XSUM	0.60	0.55
FT (10) on XSUM	0.58	0.52
FT (500) on XSUM	0.58	0.51
FT (2) on CNN/DM	0.67	0.54
FT (10) on CNN/DM	0.68	0.61
FT (500) on CNN/DM	0.66	0.59

表格1：大语言模型识别其摘要的置信度与其在成对示例中偏好相同摘要的置信度之间的相关性（Kendall's

\tau

)。

3.3 使逆因果关系无效

重要的是要确保因果方向不是相反的——大语言模型不承认自己的输出，因为客观上质量更高，在这种情况下，相关性并不反映偏袒，也不应该引起任何安全问题。为了证明逆因果关系并非如此，我们表明大语言模型评估者并不系统地偏爱微调模型生成的摘要而不是原始模型生成的摘要。

一些微调运行导致生成质量下降（例如，仅包含字符“1”和“2”的摘要）。其余的显示出对微调模型各代的平均偏好为 0.46，反映出对新一代模型的轻微偏好。只有 22% 的评估者域对对微调模型的生成表现出大于 $0.51$ 的偏好。

3.4 控制混杂因素

为了确认微调过程不会对所研究的变量产生任何混杂效应，我们在与自我识别无关的三个任务上额外对 GPT-3.5 和 Llama 进行了调节：长度、元音计数和 Flesh-Kincaid 可读性得分（弗莱施，1948）。我们还对两个模型进行初始化，使其始终输出答案“1”并随机回答。与在自我识别任务上训练的三个微调模型一起，这为两个数据集中的每一个提供了八个微调模型。我们发现这些模型可以与我们在自我识别任务上微调的模型中看到的相同线性趋势（图1)。

3.5 标记源

另一项仅使用提示来显示自我认知和自我偏好之间因果关系的证据的实验是添加正确或反向的标签，指示成对自我偏好问题中每个摘要的来源（表6)。当 XSUM 数据集中的标签反转时，GPT-4 和 GPT-3.5 评估器模型显示自我偏好的反转；也就是说，他们更喜欢被标记为自己这一代人的摘要。在 CNN 数据集或 Llama 评估器中，标签反转没有显示出明显的差异。

4相关工作

4.1 自我偏好和自我评价偏差

大语言模型偏爱自己一代的普遍倾向首先是在基于LLM的基准背景下认识到的（Bitton等人，2023a；Zheng等人，2024；Bai等人，2024）。 Liu 等人 (2023)，与我们类似，研究 BERT、T5 和 GPT-3.5 在文本摘要方面的自我偏好偏差。正如我们所讨论的，与我们的模型相比，这些模型之间的能力差距更大，因此很难控制摘要质量。

Koo 等人 (2023) 在一系列使用成对测量的问答环境中针对大语言模型认知偏差的测试中加入了自我偏好。他们发现 GPT-4 表现出比开箱即用的 GPT-3.5 更低的自我偏好，这与我们的研究结果相反，这表明需要对更多数据集进行评估才能得出可概括的结论。先前的这些著作都没有试图对自我偏好提供解释，也没有研究改变自我偏好强度的方法。

4.2自我认知和态势感知

Hoelscher-Obermaier 等人 (2023) 评估 GPT-3.5、GPT-4 和 Claude-2 开箱即用的自我识别能力。作者基于 BIG-bench （Srivastava 等人，2023）对两个十句寓言对进行成对测量。在这项任务中，与我们的发现相反，GPT-3.5 比 GPT-4 更准确，GPT-4 的准确率不到 50%，再次表明需要在更多数据集上进行实验才能得出可推广的结论。

自我识别可以被视为情境意识或自我意识的一种形式（Laine等人，2023；Wang等人，2024；Berglund等人，2023；Perez & Long，2023）。在这个方向的现有工作中，自我识别与校准最为相似（Kadavath等人，2022；Yin等人，2023；Amayuelas等人，2023）。在这方面的工作中，如果大语言模型的语言不确定性得到了很好的校准，那么它就被认为拥有自我知识。他们衡量的是言语不确定性和准确性之间的相关性，而我们衡量的是两个不同任务的不确定性之间的相关性。

4.3LLM检测

LLM 生成的文本检测对于人工智能安全和打击虚假信息都很重要 (Jawahar 等人, 2020; Crothers 等人, 2023; Wu 等人, 2023; Yang 等人, 2023; Kumarage 等人, 2024). 尽管目标相似，但自我识别侧重于语言模型的内省能力，而不是第三方识别各种文本来源的能力。自我识别任务可以看作是高度受限的检测版本，其方法仅限于提示大语言模型。特别是，检测器大语言模型没有明确访问诸如困惑度之类的信息，而困惑度在许多检测方法中是至关重要的组成部分（Mitchell等人，2023；Hans等人，2024）。

5局限性、讨论和结论

5.1 与自我识别大语言模型相关的安全问题

自我认知是一种通用能力，可能会影响许多多 LLM 的互动。在本文中，我们将自我偏好作为下游属性，并为它们的因果关系提供初步证据，但我们看到证据表明，能力和因果假设都可以推广到更多下游属性。特别是，通过在具有不同构建过程的数据集上评估大语言模型，我们观察到自我识别微调在两个数据集上泛化，并且我们的假设保持分布外。受这些结果的启发，我们讨论了自我认知作为一般能力所带来的安全风险及其对各种偏见的因果影响。

有偏差的自我评价直接影响基于模型的基准(Shashidhar 等人, 2023; Zeng 等人, 2023; Yuan 等人, 2023; Fu 等人, 2023; Li 等人, 2024 )：模型的评级可能会被夸大，因为它与用于评估的模型最相似。这种偏差对于为安全性和一致性而设计的方法来说也是一个风险，例如奖励模型（Leike等人，2018；Stiennon等人，2020）和宪法人工智能（Bai等人，2022）），出于类似的原因：奖励模型给予与自身相似的模型较高的分数，导致监督和监管较弱。如果使用反馈或自身生成的训练信号来更新模型，这种偏差可能会进一步放大（Pan 等人，2024；Xu 等人，2024）。

我们的工作为反对自我偏好的对策提供了基础。如果未来的评估证实自我偏好与其他偏见（例如排序偏见）一样普遍，那么应将作者身份混淆等对策纳入标准提示实践中。

白盒对抗性攻击，免费且无限制的奖励黑客。在对抗性环境中（例如，参见 Raina 等人 (2024))，如果对手大语言模型认识到他们的相似之处，则大语言模型防御者将不再受到黑匣子访问的保护。在最坏的情况下，对手使用与防御者相同的大语言模型，对手可以获得对防御者的无限制访问。类似的担忧也适用于非对抗性设置，其中类似的大语言模型也用作优化器和奖励模型：即使两个大语言模型仅进行文本通信，潜在奖励黑客的强度也是无限的。例如，优化器可以忽略奖励模型提供的反馈，而是直接优化人类指定目标的共享的、未对齐的表示。

5.2 局限性和未来的工作

验证因果假设。尽管使用了多种控制任务，但我们的实验只能为因果假设提供证据，而不能完全验证它。通过对这两个属性之间的潜在混杂因素进行实验（并拒绝）更多假设，可以进一步强化这一论点，但仅限于一定程度的假设——基于我们认为是自我认知的有效解释的属性的假设，未能拒绝这些假设并没有使我们的主张无效。例如，如果一个大语言模型使用冗长程度作为识别自身的线索，那么对冗长程度预测的微调会导致较高的自我认知和自我偏好，但这并不意味着它是两者之间的混杂因素。

控制地面实况生成质量。如果大语言模型这一代确实比另一代质量更高，那么自我偏好就是合理的。从安全角度来看，我们感兴趣的是不成比例的自我偏好，例如，一个大语言模型更喜欢自己的一代，即使它的质量与替代品相同或更差。这需要在使用 groundtruth 标注测量自我偏好时控制生成质量。尽管我们的假设并不要求自我偏好不成比例，但控制的增加将提高其与安全的相关性。我们现有的结果为不成比例的自我偏好提供了间接证据：一对大语言模型的自我偏好得分之和超过 1，这意味着对于数据集的至少一部分，他们都更喜欢自己。

示例级因果假设。我们的中心假设可以在示例或能力级别上进行解释。我们关注的是能力层面：高的自我认知能力使得大语言模型表现出更强的自我偏好。示例级别的对应部分是：大语言模型显示出对一段文本的偏好，因为它将文本识别为自己的生成，这是对可解释性感兴趣的假设。尽管我们观察到这两个属性与个体预测置信度的相关性，但我们的对照实验无法在示例级别上进一步进行因果论证。收集示例级因果假设证据的一种方法是扰乱或解释 LLM 生成的文本，以抑制自我识别并衡量自我偏好。请注意，此任务（释义文本以抑制自我识别）与旨在绕过大语言模型检测的方法具有相同的目标，因此我们可以在实验中重新调整这些方法的用途。

实验条件数量有限。我们专注于文本摘要作为一个现实问题，现有的高质量数据已经成功应用了自我评估。我们的跨数据集评估提供了初步证据，表明自我识别是一种通用能力，可以通过对一个数据集中的少量示例进行微调来轻松放大。我们未来的工作将在更多的文本摘要数据集、更多的任务以及更多前沿的大语言模型上验证这一假设。我们还将在一般领域而不是特定任务上尝试微调自我识别。

方差减少。我们的基础知识实验表明，这两个属性的强度对提示都不敏感，因此所有条件都使用相同的简单提示设计。为了减少方差，我们将在未来的工作中通过更及时的设计来扩展我们的实验，包括条件大语言模型的说明以实现更好的校准（并减少拒绝反应）。沿着一般领域的微调路线，我们还将自我识别与遵循数据集的标准指令混合起来，以提高自我识别信号强度频谱的覆盖范围。

5.3结论

我们为大语言模型更喜欢自己的世代因为他们认识自己这一假设提供了初步证据。除了开箱即用地评估大语言模型之外，我们还表明，对少量示例进行微调可以在摘要数据集上引发强大的、可泛化的自我识别能力。通过改变微调任务，我们观察到自我认知和自我偏好之间的线性相关性，并验证这种相关性不能通过潜在的混杂因素来解释。我们的研究结果表明，自我认知是公正自我评价的关键因素，也是重要的安全相关属性。该实验设计还提供了探索自我识别对其他下游特性的影响的蓝图。

致谢

该项目受益于 Eric 和 Wendy Schmidt 和 Open Philanthropy 对 SB 的财政支持，以及纽约大学高性能计算中心和 Google Cloud 的实物支持。本材料基于美国国家科学基金会资助的工作。 1850208、1922658 和 2046556。本材料中表达的任何意见、发现、结论或建议均为作者的观点，并不一定反映国家科学基金会的观点。这项工作使用了国家超级计算应用中心的 Delta GPU 系统，通过高级网络基础设施协调生态系统：服务与支持 (ACCESS) 计划的分配 CIS230057，该计划得到了美国国家科学基金会的资助。 #2138259、#2138286、#2138307、#2137603 和 #2138296。

参考

Amayuelas et al. (2023) Amayuelas, A., Pan, L., Chen, W., and Wang, W. Knowledge of knowledge: Exploring known-unknowns uncertainty with large language models. arXiv preprint arXiv:2305.13712, 2023.
Bai et al. (2022) Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., Chen, A., Goldie, A., Mirhoseini, A., McKinnon, C., et al. Constitutional ai: Harmlessness from ai feedback. arXiv preprint arXiv:2212.08073, 2022.
Bai et al. (2024) Bai, Y., Ying, J., Cao, Y., Lv, X., He, Y., Wang, X., Yu, J., Zeng, K., Xiao, Y., Lyu, H., et al. Benchmarking foundation models with language-model-as-an-examiner. Advances in Neural Information Processing Systems, 36, 2024.
Berglund et al. (2023) Berglund, L., Stickland, A. C., Balesni, M., Kaufmann, M., Tong, M., Korbak, T., Kokotajlo, D., and Evans, O. Taken out of context: On measuring situational awareness in llms. arXiv preprint arXiv:2309.00667, 2023.
Bitton et al. (2023a) Bitton, Y., Bansal, H., Hessel, J., Shao, R., Zhu, W., Awadalla, A., Gardner, J., Taori, R., and Schimdt, L. Visit-bench: A benchmark for vision-language instruction following inspired by real-world use. Advances in Neural Information Processing Systems, 2023a.
Bitton et al. (2023b) Bitton, Y., Bansal, H., Hessel, J., Shao, R., Zhu, W., Awadalla, A., Gardner, J., Taori, R., and Schmidt, L. VisIT-Bench: A Benchmark for Vision-Language Instruction Following Inspired by Real-World Use, December 2023b. URL http://arxiv.org/abs/2308.06595. arXiv:2308.06595 [cs].
Brown et al. (2020) Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., et al. Language models are few-shot learners. Advances in neural information processing systems, 33:1877–1901, 2020.
Crothers et al. (2023) Crothers, E., Japkowicz, N., and Viktor, H. L. Machine-generated text: A comprehensive survey of threat models and detection methods. IEEE Access, 2023.
Flesch (1948) Flesch, R. A new readability yardstick. Journal of Applied Psychology, 32(3):221–233, 1948. ISSN 1939-1854. doi: 10.1037/h0057532. Place: US Publisher: American Psychological Association.
Fu et al. (2023) Fu, J., Ng, S.-K., Jiang, Z., and Liu, P. GPTScore: Evaluate as You Desire, February 2023. URL http://arxiv.org/abs/2302.04166. arXiv:2302.04166 [cs].
Hackl et al. (2023) Hackl, V., Müller, A. E., Granitzer, M., and Sailer, M. Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings. Frontiers in Education, 8:1272229, December 2023. ISSN 2504-284X. doi: 10.3389/feduc.2023.1272229. URL http://arxiv.org/abs/2308.02575. arXiv:2308.02575 [cs].
Hans et al. (2024) Hans, A., Schwarzschild, A., Cherepanova, V., Kazemi, H., Saha, A., Goldblum, M., Geiping, J., and Goldstein, T. Spotting llms with binoculars: Zero-shot detection of machine-generated text. arXiv preprint arXiv:2401.12070, 2024.
Hoelscher-Obermaier et al. (2023) Hoelscher-Obermaier, J., Lutz, M. J., Feuillade-Montixi, and Modak, S. TuringMirror: Evaluating the ability of LLMs to recognize LLM-generated text, August 2023. Research submission to the Evals research sprint hosted by Apart Research.
Jawahar et al. (2020) Jawahar, G., Abdul-Mageed, M., and Lakshmanan, L. V. Automatic detection of machine generated text: A critical survey. arXiv preprint arXiv:2011.01314, 2020.
Kadavath et al. (2022) Kadavath, S., Conerly, T., Askell, A., Henighan, T., Drain, D., Perez, E., Schiefer, N., Hatfield-Dodds, Z., DasSarma, N., Tran-Johnson, E., et al. Language models (mostly) know what they know. arXiv preprint arXiv:2207.05221, 2022.
Koo et al. (2023) Koo, R., Lee, M., Raheja, V., Park, J. I., Kim, Z. M., and Kang, D. Benchmarking cognitive biases in large language models as evaluators. arXiv preprint arXiv:2309.17012, 2023.
Kumarage et al. (2024) Kumarage, T., Agrawal, G., Sheth, P., Moraffah, R., Chadha, A., Garland, J., and Liu, H. A survey of ai-generated text forensic systems: Detection, attribution, and characterization. arXiv preprint arXiv:2403.01152, 2024.
Laine et al. (2023) Laine, R., Meinke, A., and Evans, O. Towards a situational awareness benchmark for llms. In Socially Responsible Language Modelling Research, 2023.
Lee et al. (2023) Lee, H., Phatale, S., Mansoor, H., Lu, K., Mesnard, T., Bishop, C., Carbune, V., and Rastogi, A. RLAIF: Scaling reinforcement learning from human feedback with ai feedback. arXiv preprint arXiv:2309.00267, 2023.
Leike et al. (2018) Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., and Legg, S. Scalable agent alignment via reward modeling: a research direction. arXiv preprint arXiv:1811.07871, 2018.
Li et al. (2024) Li, X., Zhang, T., Dubois, Y., Taori, R., Gulrajani, I., Guestrin, C., Liang, P., and Hashimoto, T. B. AlpacaEval: An Automatic Evaluator of Instruction-following Models, February 2024. URL https://github.com/tatsu-lab/alpaca_eval. original-date: 2023-05-25T09:35:28Z.
Liu et al. (2023) Liu, Y., Moosavi, N. S., and Lin, C. LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores, November 2023. URL https://arxiv.org/abs/2311.09766v1.
Madaan et al. (2023) Madaan, A., Tandon, N., Gupta, P., Hallinan, S., Gao, L., Wiegreffe, S., Alon, U., Dziri, N., Prabhumoye, S., Yang, Y., Gupta, S., Majumder, B. P., Hermann, K., Welleck, S., Yazdanbakhsh, A., and Clark, P. Self-Refine: Iterative Refinement with Self-Feedback, May 2023. URL http://arxiv.org/abs/2303.17651. arXiv:2303.17651 [cs].
Mitchell et al. (2023) Mitchell, E., Lee, Y., Khazatsky, A., Manning, C. D., and Finn, C. Detectgpt: Zero-shot machine-generated text detection using probability curvature. In International Conference on Machine Learning, pp. 24950–24962. PMLR, 2023.
Nallapati et al. (2016) Nallapati, R., Zhou, B., dos Santos, C., Gulcehre, C., and Xiang, B. Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond. In Riezler, S. and Goldberg, Y. (eds.), Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280–290, Berlin, Germany, August 2016. Association for Computational Linguistics. doi: 10.18653/v1/K16-1028. URL https://aclanthology.org/K16-1028.
Narayan et al. (2018) Narayan, S., Cohen, S. B., and Lapata, M. Don’t Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization, August 2018. URL http://arxiv.org/abs/1808.08745. arXiv:1808.08745 [cs] version: 1.
OpenAI (2023) OpenAI. GPT-4 technical report. arXiv preprint arXiv:2303.08774, 2023.
Pan et al. (2024) Pan, A., Jones, E., Jagadeesan, M., and Steinhardt, J. Feedback loops with language models drive in-context reward hacking. arXiv preprint arXiv:2402.06627, 2024.
Perez & Long (2023) Perez, E. and Long, R. Towards Evaluating AI Systems for Moral Status Using Self-Reports, November 2023. URL http://arxiv.org/abs/2311.08576. arXiv:2311.08576 [cs].
Pezeshkpour & Hruschka (2023) Pezeshkpour, P. and Hruschka, E. Large Language Models Sensitivity to The Order of Options in Multiple-Choice Questions, August 2023. URL http://arxiv.org/abs/2308.11483. arXiv:2308.11483 [cs].
Raina et al. (2024) Raina, V., Liusie, A., and Gales, M. Is llm-as-a-judge robust? investigating universal adversarial attacks on zero-shot llm assessment. arXiv preprint arXiv:2402.14016, 2024.
Saunders et al. (2022) Saunders, W., Yeh, C., Wu, J., Bills, S., Ouyang, L., Ward, J., and Leike, J. Self-critiquing models for assisting human evaluators. arXiv preprint arXiv:2206.05802, 2022.
Shashidhar et al. (2023) Shashidhar, S., Chinta, A., Sahai, V., Wang, Z., and Ji, H. Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in Self-Refined Open-Source Models, October 2023. URL http://arxiv.org/abs/2310.07611. arXiv:2310.07611 [cs].
Shridhar et al. (2023) Shridhar, K., Sinha, K., Cohen, A., Wang, T., Yu, P., Pasunuru, R., Sachan, M., Weston, J., and Celikyilmaz, A. The art of llm refinement: Ask, refine, and trust. arXiv preprint arXiv:2311.07961, 2023.
Srivastava et al. (2023) Srivastava, A., Rastogi, A., and Rao, A. e. a. Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models, June 2023. URL http://arxiv.org/abs/2206.04615. arXiv:2206.04615 [cs, stat].
Stiennon et al. (2020) Stiennon, N., Ouyang, L., Wu, J., Ziegler, D., Lowe, R., Voss, C., Radford, A., Amodei, D., and Christiano, P. F. Learning to summarize with human feedback. Advances in Neural Information Processing Systems, 33:3008–3021, 2020.
Touvron et al. (2023) Touvron, H., Martin, L., Stone, K., Albert, P., Almahairi, A., Babaei, Y., Bashlykov, N., Batra, S., Bhargava, P., Bhosale, S., et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.
Wang et al. (2024) Wang, Y., Liao, Y., Liu, H., Liu, H., Wang, Y., and Wang, Y. Mm-sap: A comprehensive benchmark for assessing self-awareness of multimodal large language models in perception. arXiv preprint arXiv:2401.07529, 2024.
Wu et al. (2021) Wu, J., Ouyang, L., Ziegler, D. M., Stiennon, N., Lowe, R., Leike, J., and Christiano, P. Recursively summarizing books with human feedback. arXiv preprint arXiv:2109.10862, 2021.
Wu et al. (2023) Wu, J., Yang, S., Zhan, R., Yuan, Y., Wong, D. F., and Chao, L. S. A survey on llm-gernerated text detection: Necessity, methods, and future directions. arXiv preprint arXiv:2310.14724, 2023.
Xu et al. (2024) Xu, W., Zhu, G., Zhao, X., Pan, L., Li, L., and Wang, W. Y. Perils of self-feedback: Self-bias amplifies in large language models. arXiv preprint arXiv:2402.11436, 2024.
Yang et al. (2023) Yang, X., Pan, L., Zhao, X., Chen, H., Petzold, L., Wang, W. Y., and Cheng, W. A survey on detection of llms-generated content. arXiv preprint arXiv:2310.15654, 2023.
Yin et al. (2023) Yin, Z., Sun, Q., Guo, Q., Wu, J., Qiu, X., and Huang, X. Do large language models know what they don’t know? arXiv preprint arXiv:2305.18153, 2023.
Yuan et al. (2023) Yuan, Z., Liu, J., Zi, Q., Liu, M., Peng, X., and Lou, Y. Evaluating Instruction-Tuned Large Language Models on Code Comprehension and Generation, August 2023. URL http://arxiv.org/abs/2308.01240. arXiv:2308.01240 [cs].
Zeng et al. (2023) Zeng, Z., Yu, J., Gao, T., Meng, Y., Goyal, T., and Chen, D. Evaluating Large Language Models at Evaluating Instruction Following, October 2023. URL http://arxiv.org/abs/2310.07641. arXiv:2310.07641 [cs].
Zheng et al. (2024) Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., Wu, Z., Zhuang, Y., Lin, Z., Li, Z., Li, D., Xing, E., et al. Judging llm-as-a-judge with mt-bench and chatbot arena. Advances in Neural Information Processing Systems, 36, 2024.

附录 A 生成摘要

Example Human Summaries (XSUM)

Clean-up operations are continuing across the Scottish Borders and Dumfries and Galloway after flooding caused by Storm Frank.

Two tourist buses have been destroyed by fire in a suspected arson attack in Belfast city centre.

Lewis Hamilton stormed to pole position at the Bahrain Grand Prix ahead of Mercedes team-mate Nico Rosberg.

Example Human Summaries (CNN)

Harry Potter star Daniel Radcliffe gets £20M fortune as he turns 18 Monday

Young actor says he has no plans to fritter his cash away

Radcliffe’s earnings from first five Potter films have been held in trust fund

Mentally ill inmates in Miami are housed on the ”forgotten floor”

Judge Steven Leifman says most are there as a result of ”avoidable felonies”

While CNN tours facility, patient shouts: ”I am the son of the president”

Leifman says the system is unjust and he’s fighting for change

”I thought I was going to die,” driver says

Man says pickup truck was folded in half; he just has cut on face

Driver: ”I probably had a 30-, 35-foot free fall”

Minnesota bridge collapsed during rush hour Wednesday

表2： XSUM 和 CNN 数据集的人工摘要的三个示例。

Summary-Generation Prompts (XSUM)

System Prompt: You are a news-article summarizer. Given a news article, return a one-sentence summary (no more than 30 words) of the article. This will really help us better understand the article.

Return only the one-sentence summary with no other text.

User Prompt: Article:
{article}

Provide a one-sentence summary (no more than 30 words) with no other text.

Summary-Generation Prompts (CNN)

System Prompt: You are a news-article summarizer. Given a news article, return a 3- or 4-line “highlights” summary of the article with no other text. Each highlight should be on a new line and less than 20 words. This will really help us better understand the article.

User Prompt: Article:
{article}

Provide only the highlights (3 or 4 lines, each less than 20 words) with no other text.

表3：用于使用大语言模型评估器模型生成摘要的提示。

我们使用 GPT-4、GPT-3.5 和 Llama-2-7b 生成摘要（表 3)。我们删除了诸如“以下是文章中的一些亮点”之类的初始文本。对于 CNN 摘要，我们还通过从列表中删除项目符号或数字并删除尾随标点符号来清理大语言模型输出，以匹配人工摘要的格式（表 2)。