在这项工作中，我们明确表明，现代 LLM 倾向于首先生成正确的事实，然后“偏离”并随后生成错误的事实：偶尔会观察到这种情况，但从未正确测量过。我们开发了一个语义漂移分数，用于衡量生成文本中正确和不正确事实之间的分离程度，并在生成维基百科风格的传记时证实我们的假设。这种先正确后错误的生成模式表明，通过了解何时停止生成可以提高事实准确性 ...