基本信息 - TimeLMs: Diachronic Language Models from Twitter

arxiv TimeLMs: Diachronic Language Models from Twitter

阅读

Star 0

名称: TimeLMs: Diachronic Language Models from Twitter

首页: https://yiyibooks.cn/arxiv/2202.03829v2/index.html

原始地址: https://arxiv.org/abs/2202.03829

描述

尽管时间变量很重要，但它在 NLP 和语言模型文献中基本上被忽视了。在本文中，我们提出了 TimeLM，这是一组专门研究历时 Twitter 数据的语言模型。我们表明，持续学习策略有助于增强基于 Twitter 的语言模型处理未来和未分发推文的能力，同时使其与标准化和更单一的基准相比具有竞争力 ...