基本信息 - LLM Evaluators Recognize and Favor Their Own Generations

arxiv LLM Evaluators Recognize and Favor Their Own Generations

阅读

Star 0

名称: LLM Evaluators Recognize and Favor Their Own Generations

首页: https://yiyibooks.cn/arxiv/2404.13076v1/index.html

原始地址: https://arxiv.org/abs/2404.13076

描述

事实证明，使用大型语言模型 (LLM) 进行自我评估不仅在基准测试方面很有价值，而且在奖励建模、宪法人工智能和自我完善等方法方面也很有价值。但由于同一个 LLM 同时充当评估者和被评估者，因此引入了新的偏见。其中一种偏见是自我偏好， LLM 评估者对自己的输出评分高于其他人的输出，而人类注释者则认为它们具有相同的质量 ...