凭借对双向上下文进行建模的能力，BERT 等基于去噪自编码的预训练比基于自回归语言建模的预训练方法具有更好的性能。然而，依赖于用掩码破坏输入，BERT 忽略了掩码位置之间的依赖性，并遭受预训练微调差异的影响。鉴于这些优点和缺点，我们提出了 XLNet，一种广义的自回归预训练方法，它 (1) 通过最大化分解顺序的所有排列的预期可能性来学习双向上下文，(2) 由于其自回归克服了 BERT 的局限性公式 ...