摘要

通过强化学习 (RLHF) 从人类偏好中学习的普遍部署依赖于两个重要的近似：第一个假设可以用逐点奖励代替成对偏好。 第二个假设基于这些逐点奖励训练的奖励模型可以从收集的数据推广到策略采样的分布外数据。 最近，直接偏好优化(DPO)被提出作为一种绕过第二次近似并直接从收集的数据中学习策略的方法，而无需奖励建模阶段。 然而，该方法仍然严重依赖第一近似。

在本文中，我们试图对这些实用算法有更深入的理论理解。 特别是，我们推导出一个名为 $\mathrm{\Psi }$PO 的新通用目标，用于从人类偏好中学习，该偏好以成对偏好表示，因此绕过了两种近似。 这个新的总体目标使我们能够对 RLHF 和 DPO （作为 $\mathrm{\Psi }$PO的特殊情况）的行为进行深入分析并确定其潜在的陷阱。 然后，我们通过将 $\mathrm{\Psi }$ 简单地设置为 Identity 来考虑 $\mathrm{\Psi }$PO 的另一个特殊情况，为此我们可以导出有效的优化过程，证明性能保证并通过一些示例证明其相对于DPO的实证优越性。

1简介

从人类偏好（Christiano 等人，2017 年）中学习是自然语言处理文献中采用的一种范式，目的是使预训练（Radford 等人，2018 年；Ramachandran 等人，2016 年）和指令微调（Wei 等人，2022 年）生成语言模型更好地与人类需求相一致。 它包括首先收集大量数据，其中每个数据由上下文、成对的上下文延续（也称为 generations）以及指示哪一个 generation 最好的成对人类偏好组成。 然后，从收集的数据中学习在给定背景下生成好 的 generations 的策略。 我们将从人类偏好中学习的问题描述为离线上下文 bandit 问题（Lu等人，2010）。 这个 bandit 问题的目标是，在给定一个上下文的情况下选择一个动作（扮演生成者的角色），该动作在确保赌徒策略接近某个已知参考策略的约束下，最受人类评分者青睐。 接近已知参考策略的约束可以通过使用 KL 正则化 (Geist 等人, 2019) 来满足，其作用是避免模型漂移 (Lazaridou 等人, 2020 ; 卢等人, 2020).

解决从人类偏好中学习问题的一个突出方法是通过强化学习从人类反馈中学习（RLHF，Ouyang等，2022年; Stiennon等，2020年），首先训练一个奖励模型，以分类器的形式对喜欢和不喜欢的动作进行训练。 然后通过强化学习训练 bandit 策略，以最大化学习到的奖励模型，同时最小化与参考策略的距离。 最近，RLHF已成功用于解决生成语言模型与人类偏好匹配的问题（Ouyang等人，2022）。 此外，最近的工作，例如直接偏好优化（DPO，Rafailov等人，2023）和（SLiC-HF，Zhao等人，2023）已经表明，可以直接根据人类偏好优化 bandit 策略，无需学习奖励模型。 他们还表明，在选择的标准语言任务上，它们与最先进的 RLHF 具有竞争力，同时它们更易于实现并且需要更少的资源。

尽管取得了实际的成功，但人们对这些实用方法的理论基础知之甚少。 值得注意的特殊例外情况是（Wang 等人，2023；Chen 等人，2022）和之前的关于偏好的工作（Busa-Fekete 等人，2014，2013） ) 以及与 bandits 和 RL 的对抗(Novoseller 等人, 2020; Pacchiano 等人, 2023)。 然而，这些理论工作侧重于为标准 bandit 设置中的 regret 界限提供理论保证，而没有涉及RLHF、DPO和SLiC-HF。

在这项工作中，我们的重点是通过介绍用于学习人类偏好的实用算法的简单而通用的理论表示来弥合理论与实践之间的差距。 特别是，我们表明可以将 RLHF 和 DPO 的目标函数描述为专门用成对偏好表示的更一般目标的特殊情况。 我们将此目标称为 $\mathrm{\Psi }$-偏好优化目标 ($\mathrm{\Psi }$PO) ，其中 $\mathrm{\Psi }$ 是任意非递减映射。 然后，我们在 RLHF 和 DPO 的特殊情况下分析这个目标函数，并研究其潜在的缺陷。 我们对 RLHF 和 DPO 的理论研究表明，原则上它们都容易受到过度拟合的影响。 这是因为这些方法依赖于这样一个强有力的假设：成对偏好可以通过 Bradley-Terry (BT) 模型化用 ELo-score（逐点奖励）替代（Bradley 和 Terry，1952）。 特别是，当（采样的）偏好是确定性或接近确定性时，这种假设可能会出现问题，因为它会导致过度拟合偏好数据集，而代价是忽略 KL 正则化项（参见第 4.2。 然后，我们提出了一个简单的解决方案来避免过度拟合的问题，即通过将 $\mathrm{\Psi }$ 设置为 $\mathrm{\Psi }$PO 中的同一性。 这种方法称为 Identity-PO (IPO)，并且通过构造绕过偏好的 BT 模型化假设（参见第 5 节）。 最后，我们提出了一个实用的解决方案，通过采样损失函数（参见第5.2节），根据经验优化这个简化版本的$\mathrm{\Psi }$PO并且，我们在简单的 bandit 示例上将其性能与 DPO 进行了比较，为我们的理论发现提供了实证支持（参见第 5.3 节和第 5.4 节） ）。

2 符号

剩下的部分，我们以 DPO (Rafailov 等人, 2023) 的符号为基础。 给定一个上下文 $x\in 𝒳$，其中 $𝒳$ 是上下文的有限空间，我们假设一个有限的动作空间$𝒴$。 策略$\pi \in {\mathrm{\Delta }}_{𝒴}^{𝒳}$将每个上下文关联起来$x\in 𝒳$ 离散概率分布 $\pi (.|x)\in {\mathrm{\Delta }}_{𝒴}$，其中 ${\mathrm{\Delta }}_{𝒴}$ 是 $𝒴$ 上的离散分布集合。 我们表示 $\mu \in {\mathrm{\Delta }}_{𝒴}^{𝒳}$行为策略。 从给定的上下文 $x$ 中，设 $y,y^{\prime }\sim \mu (x)$ 是由参考策略独立生成的两个操作。 然后将这些结果呈现给表达对某一代的偏好的人类评估者，表示为 $y_w\succ y_l$，其中 $y_w$ 和 $y_l$ 表示 $\{y,y^{\prime }\}$ 分别。 然后，我们写出真正的人类偏好$p^{*}(y\succ y^{\prime }|x)$在知道上下文 $x$ 的情况下，$y$优于 $y^{\prime }$ 的概率。 概率来自于我们询问他们的偏好的人的选择的随机性。 所以$p^{*}(y\succ y^{\prime }|x)={𝔼}_h[𝕀\{h\text{prefers}y\text{to}{y}^{\prime }\text{given}x\}]$,其中，期望值是对人类 $h$ 的期望值。我们还引入了一代人$y$对已知$x$的分布$\mu$的预期偏好、noted $p^{*}(y\succ \mu |x)$, via the following equation:

$$p^{*}(y\succ \mu |x)=\underset{y^{\prime }\sim \mu (.|x)}{𝔼}[p^{*}(y\succ y^{\prime }|x)].$$

对于任意两个政策 $\pi ,\mu \in {\mathrm{\Delta }}_{𝒴}^{𝒳}$和上下文分布 $\rho$，我们将政策 $\pi$ 对 $\mu$ 的总偏好表示为

$$p_{\rho }^{*}(\pi \succ \mu |x)=\underset{\begin{array}{c}x\sim \rho \\ y\sim \pi (.|x)\end{array}}{𝔼}[p^{*}(y\succ \mu |x)].$$

在实践中，我们不会直接观察 $p^{*}$ ，而是观察样本 $I(y,y^{\prime }|x)$来自伯努利分布，其均值为$p^{*}(y\succ y^{\prime }|x)$(i.e.,$I(y,y^{\prime }|x)$ is $1$ with probability$p^{*}(y\succ y^{\prime }|x)$和 $0$、其中 $N$ 是数据集大小。 此外，对于一般有限集 $𝒮$、离散概率分布 $\eta \in {\mathrm{\Delta }}_{𝒮}$ 和实函数 $f\in {ℝ}^{𝒮}$、我们注意到 $f$ 在 $\eta$ 下的期望为${𝔼}_{s\sim \eta }[f(s)]={\sum }_{s\in 𝒮}f(s)\eta (s)$. 对于有限数据集 $𝒟={(s_i)}_{i=1}^N$、其中每个 $i$ 都有 $s_i\in 𝒮$ 实函数 $f\in {ℝ}^{𝒮}$、我们将 $f$ 在 $𝒟$ 下的 经验期望表示为${𝔼}_{s\sim D}[f(s)]=\frac{1}{N}{\sum }_{i=1}^{N}f(s_i)$.

3背景

3.1 根据人类反馈进行强化学习 (RLHF)

标准RLHF范式（Christiano等人，2017；Stiennon等人，2020）由两个主要阶段组成：（i）学习奖励模型； (ii) 使用学习到的奖励进行策略优化。 在这里，我们回顾一下这些阶段。

3.1.1 学习奖励模型

学习奖励模型包括训练一个二元分类器，以使用逻辑回归损失来区分首选和不首选的操作。 对于分类器，一个流行的选择是 Bradley-Terry 模型：对于给定的上下文 $x$ 和动作 $y$，我们表示逐点奖励，也可以解释为 Elo 分数， $y$ 由 $r(x,y)$ 给定 $x$。 Bradley-Terry 模型表示偏好函数 $p(y\succ y^{\prime }|x)$ （分类器）作为奖励差异的 sigmoid：

$$p(y\succ y^{\prime }|x)=\sigma \left(r(x,y)-r(x,y^{\prime })\right),$$ (1)

其中$\sigma (\cdot )$表示sigmoid函数，起到归一化的作用。 给定数据集 $𝒟={(x_i,y_{w,i}\succ y_{l,i})}_{i=1}^N$可以通过优化以下函数来学习奖励函数逻辑回归损失

$$ℒ(r)=-{𝔼}_{(x,y_w,y_l)\sim 𝒟}\left[\log \left(p(y_w\succ y_l|x)\right)\right].$$ (2)

假定 $p^{*}(y\succ y^{\prime }|x)$符合布拉德利-特里模型、我们可以证明，随着数据集 $𝒟$ 的增大、$p(y\succ y^{\prime }|x)$ becomes a more and more accurate对真实$p^{*}(y\succ y^{\prime }|x)$并在极限收敛于$p^{*}(y\succ y^{\prime }|x)$.

3.1.2 利用学习奖励进行策略优化

利用奖励（Elo 分数）$r(x,y)$，RLHF 目标就是通过以下 KL 规则化目标函数，优化出使预期奖励最大化的策略 $\pi \in {\mathrm{\Delta }}_{𝒴}^{𝒳}$，同时使 $\pi$ 与某个参考策略 ${\pi }_{\text{ref}}\in {\mathrm{\Delta }}_{𝒴}^{𝒳}$ 之间的距离最小：

$$J(\pi )={𝔼}_{\pi }[r(x,y)]-\tau D_{\text{KL}}(\pi ||{\pi }_{\text{ref}}),$$ (3)

其中上下文 $x$ 来自 $\rho$，动作 $y$ 来自 $\pi (.|x)$。 散度$D_{\text{KL}}(\pi ||{\pi }_{\text{ref}})$定义如下：

$$D_{\text{KL}}(\pi ||{\pi }_{\text{ref}})={𝔼}_{x\sim \rho }[\text{KL}(\pi (.|x)||{\pi }_{\text{ref}}(.|x))].$$

其中：

$$\text{KL}(\pi (.|x)||{\pi }_{\text{ref}}(.|x))={𝔼}_{y\sim \pi (.|x)}\left[\log \left(\frac{\pi (y|x)}{{\pi }_{\text{ref}}(y|x)}\right)\right].$$

方程 (3) 中的目标本质上是通过 PPO (Schulman 等人, 2017) 或类似方法进行优化。

RLHF+PPO的组合在实践中取得了巨大成功（例如，InsturctGPT和GPT-4 Ouyang等人，2022；OpenAI，2023）。

3.2直接偏好优化

上述 RL 范式的另一种方法是直接偏好优化（DPO; Rafailov 等人，2023），它完全避免了奖励模型。 给定经验数据集 $𝒟$,DPO 优化的损失作为 $\pi$ 的函数，由下式给出

$\underset{\pi }{\min }{𝔼}_{(x,y_w,y_l)\sim 𝒟}[-\log \sigma ($ $\tau \log \left({\displaystyle \frac{\pi (y_w|x)}{\pi (y_l|x)}}\right)-$

$\tau \log \left({\displaystyle \frac{{\pi }_{\text{ref}}(y_w|x)}{{\pi }_{\text{ref}}(y_l|x)}}\right))].$ (4)

就其人口形式而言，损失表现为

$\underset{\pi }{\min }\underset{\begin{array}{c}x\sim \rho \\ y,y^{\prime }\sim \mu \end{array}}{𝔼}[-p^{*}(y\succ y^{\prime }|x)$ $\log \sigma (\tau \log \left({\displaystyle \frac{\pi (y|x)}{\pi (y^{\prime }|x)}}\right)-$

$\tau \log \left({\displaystyle \frac{{\pi }_{\text{ref}}(y|x)}{{\pi }_{\text{ref}}(y^{\prime }|x)}}\right))].$ (5)

Rafailov et al. (2023) show that when (i) the Bradley-Terry model in Equation (1) perfectly fits the preference data and (ii) the optimal reward function $r$ is obtained from the loss in Equation (2), then the global optimisers of the RLHF objective in Equation (3) and the DPO objective in Equation (3.2) perfectly coincide. 事实上，这种对应关系更普遍。请参阅附录B中的命题4。

4 偏好优化的总体目标

本文的核心概念贡献是基于最大化偏好的非线性函数，提出 RLHF 的总体目标。 为此，我们考虑一个一般的非递减函数 $\mathrm{\Psi }:[0,1]\to ℝ$，一个参考策略 ${\pi }_{\text{ref}}\in {\mathrm{\Delta }}_{𝒴}^{𝒳}$，和一个实正则化参数 $\tau \in {ℝ}_{+}^{*}$，并将 $\mathrm{\Psi }$-偏好优化目标 ($\mathrm{\Psi }$PO) 定义为

$\underset{\pi }{\max }\underset{\begin{array}{c}x\sim \rho \\ y\sim \pi (.|x)\\ y^{\prime }\sim \mu (.|x)\end{array}}{𝔼}[\mathrm{\Psi }(p^{*}(y\succ y^{\prime }|x))]-\tau D_{\text{KL}}(\pi ||{\pi }_{\text{ref}}).$ (6)

该目标平衡了偏好概率的潜在非线性函数与 KL 正则化项的最大化，从而鼓励策略接近参考 ${\pi }_{\text{ref}}$。 这是由方程 (3) 的形式推动的，我们将在下一小节中看到它严格概括了 RLHF 和 DPO，当BT模型成立时。

4.1 深入分析DPO和RLHF

在剩下的部分中，为了便于表示，我们省略了对 $x$ 的依赖。 这不失一般性，并且以下所有结果对于所有 $x\in \text{𝚂𝚞𝚙𝚙}(\rho )$。

我们首先将DPO和RLHF与方程(6)中的$\mathrm{\Psi }$-偏好目标连接起来，在特殊选择下$\mathrm{\Psi }(q)=\log (q/(1-q))$。 更准确地说，以下命题建立了这种联系。

Proposition 1。

假设 $\mathrm{\Psi }(q)=\log (q/(1-q))$。 当Bradley-Terry模型对于$p^{*}$成立时，即存在$r:𝒴\to ℝ$ 这样

$p^{*}(y\succ y^{\prime })=\sigma (r(y)-r(y^{\prime })),$

然后是方程 (6)、方程 (3) 中的 RLHF 目标以及标准 DPO< 的最优策略/t5> 方程 (3.2) 中的目标是相同的。

证明。

请注意，在 Bradley-Terry 模型成立的假设下，我们有

$\underset{y^{\prime }\sim \mu }{𝔼}[\mathrm{\Psi }(p^{*}(y\succ y^{\prime }))]$ $=\underset{y^{\prime }\sim \mu }{𝔼}\left[\mathrm{\Psi }\left({\displaystyle \frac{e^{r(y)}}{e^{r(y)}+e^{r(y^{\prime })}}}\right)\right]$

$=\underset{y^{\prime }\sim \mu }{𝔼}[\log (e^{r(y)}/e^{r(y^{\prime })})]$

$=\underset{y^{\prime }\sim \mu }{𝔼}[r(y)-r(y^{\prime })]$

$=r(y)-\underset{y^{\prime }\sim \mu }{𝔼}[r(y^{\prime })].$

这等于方程 (3) 中的奖励，直到一个加性常数，因此，方程 (6) 和优化方程 (3) 中的目标是相同的。 进一步，如Rafailov 等人(2023)所示，方程(3.2)中DPO目标的最优策略和方程中的目标(3) 是相同的，给出了命题的陈述。 ∎

将此命题应用于存在解析解的方程 (6) 的目标函数，表明在 BT 假设下，DPO 和 RLHF可以写成

${\pi }^{*}(y)\propto {\pi }_{\text{ref}}(y)\exp \left({\tau }^{-1}{𝔼}_{y^{\prime }\sim \mu }[\mathrm{\Psi }(p^{*}(y\succ y^{\prime }))]\right).$ (7)

公式 7 的推导是众所周知的结果，并在 App 中提供。 A.1 以确保完整性。

4.2 弱正则化和过拟合

值得退后一步并反问上述目标引导我们发现什么样的策略。 这种高度非线性的偏好概率转换意味着，对于已经接近1的偏好概率的微小增加和对处于 $50\%$ 左右的偏好概率的较大增加一样受到激励，这可能是不太理想的。 即使在传递性设置中，logit 偏好（博弈论术语中的 Elo 分数）的最大化也可能产生反直觉的效果（Bertrand 等人，2023）。

请看这样一个简单的例子：我们有两个动作 $y$ 和 $y^{\prime }$，使得$p^{*}(y\succ y^{\prime })=1$，即 $y$ 总是优于 $y^{\prime }$。 那么 Bradley-Terry 模型将需要 $(r(y)-r(y^{\prime }))\to +\mathrm{\infty }$ 满足 (1 如果我们将其插入最优政策（7）中，就会得到$\frac{{\pi }^{*}(y^{\prime })}{{\pi }^{*}(y)}=0$(即 ${\pi }^{*}(y^{\prime })=0$)，与 KL-正则化所使用的常数 $\tau$ 无关。 因此，偏好的确定性越大，KL 正则化的强度就越弱。

KL 正则化的弱点在有限数据体系中变得更加明显，我们只能访问偏好 $\widehat{p}(y\succ y^{\prime })$。 即使真正的偏好是，例如$p^{*}(y\succ y^{\prime })=0.8$、根据经验，当我们只有几个数据点进行估计时，这是很有可能的$\widehat{p}(y\succ y^{\prime })=1$,在这种情况下，经验最优政策将使$\pi (y^{\prime })=0$，适用于任何$\tau$。 这意味着过度拟合可能是一个重大的经验问题，尤其是当上下文和动作空间非常大（就像大型语言模型一样）时。

为什么标准RLHF在实践中对这个问题更加稳健？ 虽然 DPO 据称的优点是它避免了拟合奖励函数的需要，但我们观察到，在实践中，当经验偏好概率位于集合 $\{0,1\}$，奖励函数最终欠拟合 。 存在$\{0,1\}$ 偏好概率训练是无限的，但这些值是可以避免的，实际上奖励函数的正则化已被观察到是实践中 RLHF 的一个重要方面(Christiano 等人， 2017）。 因此，奖励函数的欠拟合对于获得针对参考策略 ${\pi }_{\text{ref}}$ 和 充分正则化的最终策略至关重要。 DPO在避免奖励函数的训练时，失去了欠拟合的奖励函数所提供的策略的正则化。

虽然提前停止等标准经验实践仍然可以用作正则化的附加形式来减少这种过度拟合，但在下一节中，我们将介绍 $\mathrm{\Psi }$PO 的修改 目标，即使偏好是确定性的，最优经验策略也可以接近 ${\pi }_{\text{ref}}$。

5 IPO：具有恒等映射的$\mathrm{\Psi }$PO

我们在上一节中观察到，DPO容易出现过度拟合，这是由于$\mathrm{\Psi }$的无界性以及没有训练明确的奖励函数的组合。 不直接训练奖励函数是DPO的明显优势，但我们也希望避免过度拟合的问题。

对 DPO 的分析激发了对有界 $\mathrm{\Psi }$ 的选择，确保方程 6 中的 KL 正则化即使在 $\{0,1\}$ - 值偏好，如使用经验数据集时经常出现这种情况。 通过将 $\mathrm{\Psi }$ 视为方程 (6) 中的恒等映射，给出了要考虑的特别自然的目标形式，从而导致总偏好的直接正则化优化：

$\underset{\pi }{\max }{p}_{\rho }^{*}(\pi \succ \mu )-\tau D_{\text{KL}}(\pi ||{\pi }_{\text{ref}}).$ (8)

优化方程 (8) 目标函数的标准方法是通过 RLHF 并选择奖励 $r(y)=p^{*}(y\succ \mu )$。 然而，都使用强化学习并估计奖励模型$r(y)$可能成本高昂。 受到DPO的启发，人们希望为方程(8)的优化问题设计一种经验解决方案，它可以直接从偏好数据集中学习。 因此，它将能够完全避免强化学习和奖励建模。

5.1 推导和计算高效的算法

与DPO一样，将方程(8)重新表达为离线学习目标将是有益的。 为了推导这样的表达式，我们首先遵循Rafailov等人(2023)的推导，将最优策略的分析表达式操纵成一个寻根问题系统。 与上一节一样，我们从符号中删除了对上下文 $x$ 的依赖，因为所有参数都可以在每个上下文的基础上应用。

寻根问题。 让 $g(y)={𝔼}_{y^{\prime }\sim \mu }[\mathrm{\Psi }(p^{*}(y\succ y^{\prime }))]$。 然后我们有

${\pi }^{*}(y)\propto {\pi }_{\text{ref}}(y)\exp ({\tau }^{-1}g(y)).$ (9)

对于任意$y,y^{\prime }\in \text{𝚂𝚞𝚙𝚙}({\pi }_{\text{ref}})$，因此我们有

${\displaystyle \frac{{\pi }^{*}(y)}{{\pi }^{*}(y^{\prime })}}={\displaystyle \frac{{\pi }_{\text{ref}}(y)}{{\pi }_{\text{ref}}(y^{\prime })}}\exp ({\tau }^{-1}(g(y)-g(y^{\prime }))).$ (10)

通过让

$h^{*}(y,y^{\prime })=\log \left({\displaystyle \frac{{\pi }^{*}(y){\pi }_{\text{ref}}(y^{\prime })}{{\pi }^{*}(y^{\prime }){\pi }_{\text{ref}}(y)}}\right)$

重新排列方程 (10)，我们得到

$h^{*}(y,y^{\prime })={\tau }^{-1}\left(g(y)-g(y^{\prime })\right).$ (11)

现在的核心思想是考虑一个策略$\pi$，定义

$h_{\pi }(y,y^{\prime })=\log \left({\displaystyle \frac{\pi (y){\pi }_{\text{ref}}(y^{\prime }}{\pi (y^{\prime }){\pi }_{\text{ref}}(y)}}\right),$

并旨在求解方程：

$h_{\pi }(y,y^{\prime })={\tau }^{-1}\left(g(y)-g(y^{\prime })\right).$ (12)

IPO 的损失。 现在，我们从 Rafailov 等人 (2023) 所采用的分析方法出发，在 $\mathrm{\Psi }$ 作为同一函数的特定情况下，对公式 (6) 进行离线计算。 在这种情况下，方程 (12) 简化为

$h_{\pi }(y,y^{\prime })={\tau }^{-1}\left(p^{*}(y\succ \mu )-p^{*}(y^{\prime }\succ \mu )\right).$

我们首先将这些寻根问题重新表示为单个优化问题 $L(\pi )$：

$L(\pi )=\underset{y,y^{\prime }\sim \mu }{𝔼}\left[{\left(h_{\pi }(y,y^{\prime })-{\displaystyle \frac{p^{*}(y\succ \mu )-p^{*}(y^{\prime }\succ \mu )}{\tau }}\right)}^2\right].$ (13)

我们可以很容易地证明，对于 ${\pi }^{*}$ 的选择，我们有 $L({\pi }^{*})=0$。 因此 ${\pi }^{*}$ 是 $L(\pi )$。 以下定理证明了该解的唯一性。

Theorem 2 （全局/局部最优的唯一性）.

假设$\text{𝚂𝚞𝚙𝚙}(\mu )=\text{𝚂𝚞𝚙𝚙}({\pi }_{\text{ref}})$并将 $\mathrm{\Pi }$ 定义为是政策 $\pi$ 的集合，使得$\text{𝚂𝚞𝚙𝚙}(\pi )=\text{𝚂𝚞𝚙𝚙}(\mu )$. 那么$\pi \mapsto L(\pi )$在$\mathrm{\Pi }$中有一个唯一的局部/全局最小值，即${\pi }^{*}$。

证明。

假设${\pi }^{*}\in \mathrm{\Pi }$，根据定义$\forall \pi \in \mathrm{\Pi },L(\pi )\ge 0$为$L(\pi )$ 此外，根据公式 (11)，可以立即得出 $L({\pi }^{*})=0$、因此我们推导出 ${\pi }^{*}$ 是 $L$ 的全局最优值。现在我们证明，在 $\mathrm{\Pi }$ 中，$L$ 没有其他局部/全局最小值。

我们写$J=\text{𝚂𝚞𝚙𝚙}(\mu )$。 我们通过对数向量 $s\in {ℝ}^J$ 对集合 $\mathrm{\Pi }$ 进行参数化、设置${\pi }_s(y)=\exp (s(y))/{\sum }_{y^{\prime }\in J}\exp (s(y^{\prime }))$for $y\in J$,and ${\pi }_s(y)=0$ otherwise. 让我们写成 $ℒ(s)=L({\pi }_s)$ 目标作为 logits $s$

$ℒ(s)$ $={𝔼}_{y,y^{\prime }\sim \mu }[[{\displaystyle \frac{p^{*}(y\succ \mu )-p^{*}(y^{\prime }\succ \mu )}{\tau }}$ (14)

${-(s(y)-s(y^{\prime }))-\log \left({\displaystyle \frac{{\pi }_{\text{ref}}(y^{\prime })}{{\pi }_{\text{ref}}(y)}}\right)]}^2].$

目标是 logits $s$ 的二次函数。此外，通过展开上面的二次方，我们看到损失可以表示为平方和

${\displaystyle \sum _{y,y^{\prime }\in J}}\mu (y)\mu (y^{\prime }){(s(y)-s(y^{\prime }))}^2$ (15)

加上线性项和常数项。 因此，这是一个正半定二次方程，因此是凸的。 因此我们推断出损失的所有局部最小化 $ℒ(s)$ 也是全局最小化器 （Boyd 和 Vandenberghe，2004 年，第 1 章） 4）. 我们现在注意到，由于 ${\pi }_s$ 是一个从 $s$ 到 $\pi$ 的连续射影，因此从局部最小值的定义中可以很容易地证明，$L$ 的每个局部最小值 $\pi$ 都对应于 $ℒ$ 的局部最小值 ${𝒮}_{\pi }$ 的集合。 因此，$L$ 的所有局部最小值也是全局最小值。

最后，方程 (15) 中的二次方不远离 0 增加的唯一方向 $s$ 是当所有括号内的项保持为 0 时；也就是说，在方向 $(1,\mathrm{\dots },1)\in {ℝ}^J$。 因此，$ℒ(s)$ 是严格凸的，除了方向 $(1,\mathrm{\dots },1)$。 （Boyd 和 Vandenberghe，2004 年，第 1 章） 3）. 但是，沿 $e=(1,\mathrm{\dots },1)$不会修改所得到的策略 ${\pi }_s$，因为对于 $y\in J$、

${\pi }_{s+\lambda e}(y)={\displaystyle \frac{e^{s(y)+\lambda }}{{\sum }_{y^{\prime }\in J}{e}^{s(y^{\prime })+\lambda }}}={\displaystyle \frac{e^{s(y)}}{{\sum }_{y^{\prime }\in J}{e}^{s(y^{\prime })}}}={\pi }_s(y).$

严格的凸性与 ${\pi }^{*}$ 是全局最小值这一事实相结合，证明 ${\pi }^{*}$ 是 $\mathrm{\Pi }$ （Boyd 和 Vandenberghe，2004 年，第 1 章） 4）. ∎

5.2 IPO的抽样损失

为了获得 IPO 的采样损失，我们需要证明我们可以对方程右侧 (13) 建立无偏估计。 为此，我们考虑Population IPO损失：

$\underset{y,y^{\prime }\sim \mu }{𝔼}\left[{\left(h_{\pi }(y,y^{\prime })-{\tau }^{-1}I(y,y^{\prime })\right)}^2\right],$ (16)

其中 $I(y,y^{\prime })$取自伯努利分布，其均值为$p^{*}(y\succ y^{\prime })$,i.e.,$I(y,y^{\prime })$为$1$，如果$y$优于$y^{\prime }$（发生这种情况的概率为probability $p^{*}(y\succ y^{\prime })$),和偏好数据集中的 $0$，并参考记录的偏好，从 $I(y,y^{\prime })$ 中获取样本。 下面的命题通过证明方程 (13) 到方程 (16) 的相等性来证明它们的转换是正确的。

Proposition 3。

方程 (13) 和方程 (16) 中的表达式是相等的，直到独立于 $\pi$ 的加性常数。

证明。

这种等价并非完全微不足道，因为一般来说条件期望

$𝔼[h_{\pi }(Y,Y^{\prime })-{\tau }^{-1}I(Y,Y^{\prime })|Y=y,Y^{\prime }=y^{\prime }]$

不等于方程(13)中出现的相应数量，即

$h_{\pi }(y,y^{\prime })-{\tau }^{-1}\left(p^{*}(y\succ \mu )-p^{*}(y^{\prime }\succ \mu )\right).$

我们需要利用 $y$ 和 $y^{\prime }$ 的分布之间的对称性，并利用 $h_{\pi }(y,y^{\prime })$分解为 $y$ 和 $y^{\prime }$ 的加法函数。 为了证明这种损失相等，只需关注在方程 (13) 和 (16) 中展开二次方程时获得的“交叉项”即可；也就是说，要显示

$\underset{y,y^{\prime }\sim \mu }{𝔼}\left[h_{\pi }(y,y^{\prime })I(y,y^{\prime })\right]$

$=$ $\underset{y,y^{\prime }\sim \mu }{𝔼}\left[h_{\pi }(y,y^{\prime })(p^{*}(y\succ \mu )-p^{*}(y^{\prime }\succ \mu ))\right].$

现在，从右边开始并使用速记符号${\pi }_y=\log (\pi (y))$,${\pi }_y^{\text{R}}=\log ({\pi }_{\text{ref}}(y))$,$p_y=p^{*}(y\succ \mu )$,同样，对于 $y^{\prime }$，我们有

$\underset{y,y^{\prime }\sim \mu }{𝔼}\left[h_{\pi }(y,y^{\prime })(p^{*}(y\succ \mu )-p^{*}(y^{\prime }\succ \mu ))\right]$

$=$ $\underset{y,y^{\prime }\sim \mu }{𝔼}\left[({\pi }_y-{\pi }_{y^{\prime }}+{\pi }_{y^{\prime }}^{\text{R}}-{\pi }_y^{\text{R}})(p_y-p_{y^{\prime }})\right]$

$=$ $\underset{y,y^{\prime }\sim \mu }{𝔼}[{\pi }_y{p}_y-{\pi }_y{p}_{y^{\prime }}-{\pi }_{y^{\prime }}{p}_y+{\pi }_{y^{\prime }}$

$+p_{y^{\prime }}+{\pi }_{y^{\prime }}^{\text{R}}{p}_y-{\pi }_{y^{\prime }}^{\text{R}}{p}_{y^{\prime }}-{\pi }_y^{\text{R}}{p}_y+{\pi }_y^{\text{R}}{p}_{y^{\prime }}]$

$=$ $\underset{y,y^{\prime }\sim \mu }{𝔼}\left[(2p_y-1){\pi }_y-(2p_y-1){\pi }_y^{\text{R}}\right],$

其中我们使用了 $y$ 和 $y^{\prime }$ 和 ${𝔼}_{y\sim \mu }[p_y]=1/2$。 转向左侧，我们有

$\underset{y,y^{\prime }\sim \mu }{𝔼}\left[h_{\pi }(y,y^{\prime })I(y,y^{\prime })\right]$

$=$ $\underset{y,y^{\prime }\sim \mu }{𝔼}\left[\left({\pi }_y-{\pi }_{y^{\prime }}+{\pi }_{y^{\prime }}^{\text{R}}-{\pi }_y^{\text{R}}\right)I(y,y^{\prime })\right]$

$=$ $\underset{y\sim \mu }{𝔼}\left[\left({\pi }_y-{\pi }_y^{\text{R}}\right)\underset{y^{\prime }\sim \mu }{𝔼}[I(y,y^{\prime })\mid y]\right]$

$+\underset{y^{\prime }\sim \mu }{𝔼}\left[\left(-{\pi }_{y^{\prime }}+{\pi }_{y^{\prime }}^{\text{R}}\right)\underset{y\sim \mu }{𝔼}[I(y,y^{\prime })\mid y^{\prime }]\right]$

$=$ $\underset{y,y^{\prime }\sim \mu }{𝔼}\left[{\pi }_y{p}_y-{\pi }_{y^{\prime }}(1-p_{y^{\prime }})+{\pi }_{y^{\prime }}^{\text{R}}(1-p_{y^{\prime }})-{\pi }_y^{\text{R}}{p}_y\right]$

$=$ $\underset{y,y^{\prime }\sim \mu }{𝔼}\left[(2p_y-1){\pi }_y-(2p_y-1){\pi }_y^R\right],$

我们使用 ${𝔼}_{y^{\prime }\sim \mu }I(y,y^{\prime })=p_y$ 和 ${𝔼}_{y\sim \mu }I(y,y^{\prime })=1-p_{y^{\prime }}$ 根据需要，这表明损失相等。 ∎

我们现在讨论如何使用经验数据集来近似方程 (16) 中的损失。 正如我们之前的讨论一样，经验数据集 $𝒟$ 的形式为 ${(y_{w,i},y_{l,i})}_{i=i}^N$。 请注意，每个数据点 $(y_{w_{,}i},y_{l,i})$为公式 (16) 的经验近似值贡献了两个项，其中 $(y,y^{\prime },I(y,y^{\prime }))=(y_{w,i},y_{l,i},1)$,and also $(y,y^{\prime },I(y,y^{\prime }))=(y_{l,i},y_{w,i},0)$. 这种对称性对于利用很重要，并且可以减少损失的方差。 因此，总体经验损失由下式给出

${\displaystyle \frac{1}{2}}\underset{(y_w,y_l)\sim D}{𝔼}\left[{(h_{\pi }(y_w,y_l)-{\tau }^{-1})}^2+h_{\pi }{(y_l,y_w)}^2\right]$ $=$

${\displaystyle \frac{1}{2}}\underset{(y_w,y_l)\sim D}{𝔼}\left[{(h_{\pi }(y_w,y_l)-{\tau }^{-1})}^2+h_{\pi }{(y_w,y_l)}^2\right]$ ,

直到一个常数等于：

$\underset{(y_w,y_l)\sim D}{𝔼}\left[{\left(h_{\pi }(y_w,y_l)-{\displaystyle \frac{{\tau }^{-1}}{2}}\right)}^2\right].$ (17)

这种损失的简化形式为 IPO 优化政策 $\pi$ 的方式提供了一些有价值的见解：(i) IPO 只需增加对数似然比即可从偏好数据集中学习 $\log (\pi (y_w)/\pi (y_l))$ 通过常数 $\frac{{\tau }^{-1}}{2}$ 因此，正则化越弱，$y_w$ 与 $y_l$。 (ii) IPO 与 DPO 不同，始终将其解决方案规范化为 ${\pi }_{\text{ref}}$ 通过控制对数似然比之间的距离 $\log (\pi (y_w)/\pi (y_l))$和$\log ({\pi }_{\text{ref}}(y_w)/{\pi }_{\text{ref}}(y_l))$

5.3说明性示例

为了说明我们的算法和 DPO 之间的质的差异，我们将考虑一些简单的案例。 为了简单起见，我们假设没有上下文$x$，即我们处于 bandit 设置中。

5.3.1 渐近设置

我们首先考虑只有 2 个动作的简单情况，$y_1$ 和 $y_2$，以及它们之间的确定性偏好：$p^{*}(y_1\succ y_2)=1$。 假设我们从统一的 ${\pi }_{\text{ref}}$ 和 $\mu$ 开始。 我们从第 4.2 中知道，DPO 将收敛于确定性策略 ${\pi }^{*}(y_1)=1$ 、${\pi }^{*}(y_2)=0$，而无论 $\tau$ 的值是什么。 因此，即使正则化系数$\tau$非常大，这也与均匀的${\pi }_{\text{ref}}$有很大不同。

现在，让我们推导出IPO的最优政策。 我们有 $p^{*}(y_1\succ \mu )=3/4$ 和 $p^{*}(y_2\succ \mu )=1/4$。 将其与 $\mathrm{\Psi }=I$ 一起代入 (9) 公式，可以得出${\pi }^{*}(y_1)=\frac{\exp (0.75{\tau }^{-1})}{\exp (0.75{\tau }^{-1})+\exp (0.25{\tau }^{-1})}=\sigma (0.5{\tau }^{-1})$ 以及 ${\pi }^{*}(y_2)=\sigma (-0.5{\tau }^{-1})$，其中 $\sigma$ 是 sigmoid 函数。 因此，我们可以看到，如果我们采用 $\tau \to +\mathrm{\infty }$ 这样的大正则化，则 ${\pi }^{*}$ 收敛到统一策略 ${\pi }_{\text{ref}}$；反之 $\tau \to +0$，那么${\pi }^{*}(y_1)\to 1$ 且 ${\pi }^{*}(y_2)\to 0$，这就是确定性最优策略。 正则化参数 $\tau$ 现在实际上可以用来控制我们与 ${\pi }_{\text{ref}}$ 的接近程度。

5.4 采样首选项

到目前为止，我们依赖于方程（1）中的封闭形式最优策略(9) 来研究 DPO 和 IPO 的稳定性，但该方程不适用于更复杂的设置，比如我们只能访问采样的偏好而不是 $p^{\star }$。 不过，我们仍然可以通过选择一个参数 ${\pi }_{\theta }$ 来找到最优策略的精确近似值，并通过数据集上的经验损失和基于梯度的迭代更新来优化 $\theta$ 。 我们将使用这种方法来展示两个非渐进的例子，在这两个例子中，DPO过度拟合了偏好数据集，忽略了${\pi }_{\text{ref}}$：当一个行动 $y$ 赢得所有其他行动 DPO 时，${\pi }_{\theta }(y)$ 推至 1，与 $\tau$ 无关、反之，当一个行动 $y$ 从未赢得其他行动 DPO 时，${\pi }_{\theta }(y)$ 将再次推至 0，而与 $\tau$ 无关。 在相同的场景中，IPO不会收敛到这些退化的解决方案，而是仍然接近于${\pi }_{\text{ref}}$，基于正则化的强度$\tau$。

对于这两种情况，我们考虑一个离散空间 $𝒴=\{y_a,y_b,y_c\}$ with 3 actions,并选择一个数据对 $𝒟=\{(y_{w,i},y_{l,j})\}$. 给定$𝒟$，我们利用等式中的经验损失。 3.2 和等式。 13找到DPO和IPO的最优政策。 我们使用向量 $\theta \in {ℝ}^3$ 将策略编码为 ${\pi }_{\theta }(y_i)=\text{softmax}{(\theta )}_i$，并使用 Adam 针对 $18000$ 步骤优化它们（Kingma 和 Ba，2014）学习率 $0.01$ 和小批量大小 $9$。 小批量是使用统一采样和 $𝒟$ 替换来构建的。 策略和损失均使用flax python框架（Bradbury等人，2018；Heek等人，2023）实现，Adam实现来自optax （Babuschkin 等人，2020）。 对于每组超参数，我们使用不同的种子重复实验 10 次，并报告平均值和 95% 置信区间。 所有实验均在具有 4 核和 32GB RAM 的现代云虚拟机上执行。

IPO 避免贪婪策略

对于第一个示例，我们对每个唯一的操作对进行一次采样，以收集包含 3 个观察到的偏好的数据集 $𝒟$。 由于成对偏好的对称性，仅对 3 个偏好进行采样只能产生两种结果（取决于操作的排列）：

${𝒟}_1=\{(y_a,y_b),(y_b,y_c),(y_a,y_c)\},$

${𝒟}_2=\{(y_a,y_b),(y_b,y_c),(y_c,y_a)\},$

我们关注 ${𝒟}_1$，它代表总排序，而不是 ${𝒟}_2$，代表一个循环。 实验结果如图 1 所示，其中，我们报告了不同 $\tau$ 值的学习曲线。 我们观察到，对于所有 $\tau$ 值，DPO 始终收敛于确定性策略。 换句话说，无论正则化项有多强，DPO 都完全忽略参考策略，并收敛到数据集中首选的操作。 另一方面，IPO防止政策在正则化较强时变得贪婪。

图1： ${𝒟}_1$的IPO和DPO行动概率学习曲线比较

IPO 不排除动作

在第一个示例中，DPO 收敛于确定性策略，因为一个操作严格支配所有其他操作，并且损失继续推高其可能性直至饱和。 相反的效果发生在逻辑相反的条件下，即，当一个动作在数据集中没有至少取得胜利时，DPO 会将其概率设置为 0，而不管 $\tau$。 虽然这比第一个例子的破坏性要小（单个概率受到干扰，而之前整个政策因过度实现的行动而扭曲），但它在现实世界的数据中也更为常见。 特别是，当动作空间很大但数据集很小时，某些动作必然会很少或仅被采样一次，从而可能永远不会观察到胜利。 特别是因为我们没有关于其性能的数据，为了安全起见，$\pi$应该接近${\pi }_{\text{ref}}$，但是DPO 的目标并不提倡这一点。

在最后一个示例中，数据集由两个观察到的偏好组成 ${𝒟}_3=\{(y_a,y_b),(y_b,y_a)\}$ 并保留对 $(y_a,y_c)$ 我们再次使用 Adam 计算解决方案，并在图 2 中报告不同 $\tau$ 值的结果。 我们在这里再次观察到，无论我们对目标的正则化有多强，DPO 都会完全忽略先前的 ${\pi }_{\text{ref}}$，而 IPO 逐渐降低 $\tau$ 未观察到行动的概率。

图2： ${𝒟}_3$的IPO和DPO行动概率学习曲线比较

6 结论和未来工作

我们提出了一个统一的目标，称为$\mathrm{\Psi }$PO，用于从偏好中学习。 它统一了RLHF和DPO方法。 此外，我们还介绍了 $\mathrm{\Psi }$PO 的特殊情况，称为 IPO，它允许直接从偏好中学习，无需奖励建模阶段，也无需依赖于 Bradley-Terry 模型假设，该假设假设成对偏好可以用逐点奖励替代。 这很重要，因为它可以避免过度拟合问题。 仅当可以导出经验采样损失函数时，这种理论贡献才在实践中有用。 这就是我们在第5节中所做的，我们证明IPO可以被表述为一个寻根问题，从中可以导出经验采样损失函数。 IPO损失函数简单、易于实现且理论上合理。 最后，在 5.3 节 和 5.4 节，我们提供了说明性示例，其中我们强调了当偏好完全已知以及对偏好进行采样时 DPO 的不稳定性。 这些最小的实验足以证明 IPO 比 DPO 更适合从抽样偏好中学习。 未来的工作应该将这些实验扩展到更复杂的设置，例如基于人类偏好数据的训练语言模型。

附录

附录A证明

A.1 正则化argmaximum的存在唯一性

为了完整起见，我们简要回顾一下以下正则化准则的 argmaximum 的存在性和唯一性证明，该证明也可以在 Rafailov 等人 (2023) 的工作中找到：

${ℒ}_{\tau }(\delta )$ $={𝔼}_{s\in \delta }[f(s)]-\tau \text{KL}(\delta ||\eta ),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s)f(s)-\tau \text{KL}(\delta ||\eta ),$

其中 $𝒮$ 是有限集，$f\in {ℝ}^{𝒮}$ 是将 $𝒮$ 中的元素映射为实数的函数、$\tau \in {ℝ}_{+}^{*}$一个严格的正实数、$\delta \in {\mathrm{\Delta }}_{𝒮}$ and$\eta \in {\mathrm{\Delta }}_{𝒮}$ 是 $𝒮$ 上的离散概率分布。 特别是，我们记得离散概率分布 $\delta \in {\mathrm{\Delta }}_{𝒮}$可以识别为正实函数$\delta \in {ℝ}_{+}^{𝒮}$ 验证：

$$\sum _{s\in 𝒮}\delta (s)=1.$$

现在，如果我们定义 softmax 概率 ${\delta }^{*}\in {\mathrm{\Delta }}_{𝒮}$ 为：

$$\forall s\in 𝒮,{\delta }^{*}(s)=\frac{\eta (s)\exp ({\tau }^{-1}f(s))}{{\sum }_{s^{\prime }\in 𝒮}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))},$$

那么，根据前面的定义，我们得到以下结果：

$${\delta }^{*}=\underset{\delta \in {\mathrm{\Delta }}_{𝒮}}{\arg \max }{ℒ}_{\tau }(\delta )$$

证明。

${\displaystyle \frac{{ℒ}_{\tau }(\delta )}{\tau }}$ $={\displaystyle \sum _{s\in 𝒮}}\delta (s){\displaystyle \frac{f(s)}{\tau }}-\text{KL}(\delta ||\eta ),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s){\displaystyle \frac{f(s)}{\tau }}-{\displaystyle \sum _{s\in 𝒮}}\delta (s)\log \left({\displaystyle \frac{\delta (s)}{\eta (s)}}\right),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s)\left({\displaystyle \frac{f(s)}{\tau }}-\log \left({\displaystyle \frac{\delta (s)}{\eta (s)}}\right)\right),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s)\left(\log \left(\exp ({\tau }^{-1}f(s))\right)-\log \left({\displaystyle \frac{\delta (s)}{\eta (s)}}\right)\right),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s)\left(\log \left({\displaystyle \frac{\eta (s)\exp ({\tau }^{-1}f(s))}{\delta (s)}}\right)\right),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s)\left(\log \left({\displaystyle \frac{\eta (s)\exp ({\tau }^{-1}f(s))\frac{{\sum }_{s^{\prime }\in 𝒮}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))}{{\sum }_{s^{\prime }\in 𝒮}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))}}{\delta (s)}}\right)\right),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s)\left(\log \left({\displaystyle \frac{\frac{\eta (s)\exp ({\tau }^{-1}f(s))}{{\sum }_{s^{\prime }\in 𝒮}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))}}{\delta (s)}}\right)\right)+{\displaystyle \sum _{s\in 𝒮}}\delta (s)\log \left({\displaystyle \sum _{s^{\prime }\in 𝒮}}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))\right),$

$={\displaystyle \sum _{s\in 𝒮}}\delta (s)\left(\log \left({\displaystyle \frac{{\delta }^{*}(s)}{\delta (s)}}\right)\right)+\log \left({\displaystyle \sum _{s^{\prime }\in 𝒮}}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))\right),$

$=-\text{KL}(\delta ||{\delta }^{*})+\log \left({\displaystyle \sum _{s^{\prime }\in 𝒮}}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))\right).$

根据 KL 的定义，我们现在 ${\delta }^{*}={\arg \max }_{\delta \in {\mathrm{\Delta }}_{𝒮}}[-\text{KL}(\delta ||{\delta }^{*})]$ 如下：

$$-\text{KL}(\delta ||{\delta }^{*})=\frac{{ℒ}_{\tau }(\delta )}{\tau }-\log \left(\sum _{s^{\prime }\in 𝒮}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))\right)$$

其中$\log \left({\sum }_{s^{\prime }\in 𝒮}\eta (s^{\prime })\exp ({\tau }^{-1}f(s^{\prime }))\right)$是一个常数（不依赖于 $\delta$），$\tau$是一个正乘法项、then $-\text{KL}(\delta ||{\delta }^{*})$和 ${ℒ}_{\tau }(\delta )$ 具有相同的 argmaximum。 证明到此结束。 ∎

A.2非唯一性，当$\text{𝚂𝚞𝚙𝚙}(\pi (\cdot ))\ne \text{𝚂𝚞𝚙𝚙}(\mu )$:

请注意，如果我们搜索 $\pi$ 的支持严格大于 $\mu$ 的支持的解决方案，则可能有多个解决方案。 让我们用一个简单的例子来说明这个案例。 只有一个状态$x$和3个动作$y_1,y_2,y_3.$ 参考策略 ${\pi }_{\text{ref}}$ 在 $\{y_1,y_2,y_3\}$，而策略 $\mu$ 分配的概率为$1/2$，$y_1$ 和 $y_2$ 和 $0$。

因此损失为 $L(\pi )=2{\left({\tau }^{-1}\left(p^{*}(y_1\succ \mu )-p^{*}(y_2\succ \mu )\right)-\log \frac{\pi (y_1)}{\pi (y_2)}\right)}^2$。 我们推导出任何政策 $\pi =(p,q,1-p-q)$ such that$\frac{p}{q}=e^{{\tau }^{-1}(p^{*}(y_1\succ \mu )-p^{*}(y_2\succ \mu ))}$是 $L(\pi )$ 的全局最小值。

特别是，有无数种与最优解 ${\pi }^{*}$ 不同的解。 问题来自于这样一个事实：当 $\mu$ 的支持没有覆盖整个动作空间时，没有足够的约束来唯一地表征 ${\pi }^{*}$。 假设 ${\pi }_{\text{ref}}$ 和 $\mu$ 的支持重合使我们能够恢复解的唯一性，如定理2。

附录 B其他结果

在本节中，我们将展示 DPO 和 RLHF 的等价性，无论偏好模型是否 $p^{*}$对应于Bradley-Terry模型。 请注意，存在最小化器的假设是为了排除通过将某些操作的奖励设为 $+/-\mathrm{\infty }$。

Proposition 4。

考虑偏好模型 $p^{*}$，这样存在 Bradley-Terry 损失的最小化器

$\underset{r}{\arg \min }-\underset{\begin{array}{c}x\sim \rho \\ y\sim \mu (\cdot |x)\\ y^{\prime }\sim \mu (\cdot |x)\end{array}}{𝔼}[p^{*}(y\succ y^{\prime }|x)\log \sigma (r(x,y)-r(x,y^{\prime }))].$

然后，方程 (3.2) 中的 DPO 目标和方程 (3) 中的 RLHF 目标的最优策略>) 奖励模型作为上述 Bradley-Terry 损失的最小化器是相同的，无论 $p^{*}$ 是否对应于布拉德利-特里偏好模型。

证明。

回想一下，给定奖励函数 $r$ 的最优策略 ${\pi }_r^{*}$方程 (3) 中的目标由 ${\pi }_r^{*}(y|x)\propto {\pi }_{\text{ref}}(y|x)\exp ({\tau }^{-1}r(x,y))$ 因此可以得出结论

$-\underset{\begin{array}{c}x\sim \rho \\ y,y^{\prime }\sim \mu (\cdot |x)\end{array}}{𝔼}[p(y\succ y^{\prime }|x)\log \sigma (r(x,y)-r(x,y^{\prime }))]$

$=$ $-\underset{\begin{array}{c}x\sim \rho \\ y,y^{\prime }\sim \mu (\cdot |x)\end{array}}{𝔼}\left[p(y\succ y^{\prime }|x)\log \sigma \left(\tau \log \left({\displaystyle \frac{{\pi }_r^{*}(y|x)}{{\pi }_r^{*}(y^{\prime }|x)}}\right)-\tau \log \left({\displaystyle \frac{{\pi }_{\text{ref}}(y|x)}{{\pi }_{\text{ref}}(y^{\prime }|x)}}\right)\right)\right].$

换句话说，$r$的布拉德利-特里奖励目标值就是${\pi }_r^{*}$的DPO目标值。 我们还记得地图 $r\mapsto {\pi }_r^{*}$ 是满射的。

现在，假设 $r$ 对于 Bradley-Terry 奖励目标而言是最佳的，这意味着 ${\pi }_r^{*}$ 对于 RLHF 目标而言是最佳的。 如果 ${\pi }_r^{*}$ 对于 DPO 目标不是最优的，则存在另一种策略 ${\pi }^{\prime }$ 为 DPO2> 损失获得严格较低的值。 但是存在一个奖励函数 $r^{\prime }$，使得 ${\pi }^{\prime }={\pi }_{r^{\prime }}^{*}$、such as $r^{\prime }(x,y)=\tau \log ({\pi }^{\prime }(y|x)/{\pi }_{\text{ref}}(y|x))$,因此，$r^{\prime }$ 得到的布拉德利-特里损失比 $r$ 低，这是一个矛盾。

同样，如果 ${\pi }^{*}$ 对于 DPO 目标是最优的，则相应的奖励函数 $r(x,y)=\tau \log ({\pi }^{*}(y|x)/{\pi }_{\text{ref}}(y|x))$ 必须是 Bradley 的最佳选择 -特里奖励损失。 因此，RLHF 目标的相应优化器为$\pi (y|x)\propto {\pi }_{\text{ref}}(y|x)\exp ({\tau }^{-1}\tau \log ({\pi }^{*}(y|x)/{\pi }_{\text{ref}}(y|x)))={\pi }^{*}(y|x)$,根据要求。 ∎