- 名称
- WaterBench: Towards Holistic Evaluation of Watermarks for Large Language Models
- 描述
为了减少大型语言模型 (LLM) 的潜在滥用,最近的研究开发了水印算法,该算法限制生成过程,为水印检测留下不可见的痕迹。由于任务的两阶段性质,大多数研究分别评估生成和检测,从而对公正、彻底和适用的评估提出了挑战。在本文中,我们介绍了第一个LLM水印综合基准测试WaterBench,其中我们设计了三个关键因素:(1)对于基准测试程序,为了确保同类比较,我们首先调整每种水印方法的超参数达到相同的水印强度,然后共同评估它们的生成和检测性能 ...