上下文单词表示通常在非结构化、无标签文本上进行训练，不包含任何现实世界实体的明确基础，并且通常无法记住有关这些实体的事实。我们提出了一种将多个知识库（KB）嵌入到大规模模型中的通用方法，从而通过结构化的、人工管理的知识来增强它们的表示。对于每个知识库，我们首先使用集成的实体链接器来检索相关的实体嵌入，然后通过单词到实体注意的形式更新上下文单词表示 ...