在本文中，我们提出了一个多任务深度神经网络（MT-DNN），用于跨多种自然语言理解（NLU）任务的学习表示。 MT-DNN不仅利用大量的交叉任务数据，而且还受益于正规化效应，该效应会导致更一般的表示形式，以适应新的任务和域。 MT-DNN扩展了在刘等人中提出的模型 ...
我们描述了KVLink，这是一种在大语言模型（LLMS）中重复使用高效键值（KV）的方法。在许多LLM应用程序中，不同的输入可以共享重叠的上下文，例如在多个查询中出现的同一检索的文档。但是，LLMS仍然需要为每个查询编码整个上下文，从而导致冗余计算 ...
发现包括稀有物品在内的频繁项目集的问题受到了很大的关注。采矿过程需要足够灵活，以一次提取频繁和罕见的规律性。另一方面，最近已经证明，约束编程是解决数据挖掘任务的灵活方法 ...
本文提供了对法律领域中自动摘要技术，数据集，模型和评估方法的系统最新调查。通过特定的源选择标准，我们彻底审查了跨越现代“ Transformer ”自然语言处理（NLP）的120篇论文（NLP），从而填补了有关此问题的现有系统调查的空白。我们沿几个轴线介绍了现有的研究，并讨论了未来研究的趋势，挑战和机会 ...
当测量某个量的特定值的概率与该值的幂成反比时，该量被称为遵循幂律，也称为齐普夫定律或帕累托分布。幂律广泛出现在物理学、生物学、地球和行星科学、经济和金融、计算机科学、人口学和社会科学中。例如，城市规模、地震、太阳耀斑、月球陨石坑、战争和人们的个人财富的分布似乎都遵循幂律 ...
人工智能的一个主要障碍是模型更快地解决新问题并且不会忘记以前获得的知识的能力较差。为了更好地理解这个问题，我们研究了持续学习的问题，其中模型一次又一次地观察有关一系列任务的示例。首先，我们提出了一组指标来评估模型在连续数据上的学习情况 ...