大型语言模型 (LLM) 的偏好调整依赖于高质量的人类偏好数据，而收集这些数据通常既昂贵又耗时。虽然现有方法可以使用经过训练的奖励模型或专有模型作为偏好注释的判断者，但它们具有显着的缺点：训练奖励模型仍然依赖于初始人类数据，并且使用专有模型会施加许可限制，从而抑制商业使用。在本文中，我们介绍了定制密度比（CDR），这是一种无需训练且高效的方法，利用现成的 LLM 进行偏好数据注释 ...