arxiv StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding

阅 读

Star 0
名称
StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding
首页
https://yiyibooks.cn/arxiv/1908.04577v3/index.html
原始地址
https://arxiv.org/pdf/1908.04577
描述
最近，预先训练的语言模型BERT（及其可靠优化的版本Roberta）吸引了自然语言理解（NLU）的广泛关注，并在各种NLU任务中实现了最先进的准确性，例如情感分类，自然语言推断，语义推断，语义上的文本相似性和问题答案。受Elman的线性探索工作的启发[8]，我们通过将语言结构纳入预训练中，将BERT扩展到新的模型structbert。具体来说，我们将训练构造构成两个辅助任务，以充分利用单词和句子的顺序顺序，这些单词和句子分别在单词和句子级别上利用语言结构 ...