使用问答（QA）对来训练和评估大型语言模型（LLM）引起了相当大的关注。然而，很少有可用的 QA 数据集是基于科学文献中的知识。在这里，我们通过提出自动生成科学问题答案（SciQAG）来弥补这一差距，这是一个自动生成和评估来自已发表的科学文献的科学问答对的框架 ...

语言不是随机创建的，而是为了传达信息。语言及其潜在含义之间存在很强的关联，导致稀疏的联合分布根据其相关性达到巨大的峰值。此外，这些峰值恰好与由于稀疏性引起的语言的边际分布匹配 ...

在本文中，我们利用涉及视觉和语言互动的人类感知过程来生成对未修剪视频的连贯段落描述。我们提出了视觉语言（VL）特征，这些特征由两种模式组成，即 ...

大型语言模型（LLMS）越来越多地用作分类与不同域相关的文本并同时进行几个标签（类）分类的骨干。遇到域移动时，例如 ...

域的适应性旨在使大型语言模型（LLMS）在训练阶段有效地概括域数据集。但是，诸如模型参数的大小和训练数据的规模之类的因素是一般影响者，并且不能反映域适应性绩效的细微差别。本文研究了影响域适应性绩效的细粒因素，分析了“单词”在培训数据中对摘要任务的特定影响 ...

顺序推荐（SR）任务涉及根据用户过去的交互来预测用户可能与之交互的下一个项目。 SR 模型检查用户操作的顺序，以识别更复杂的行为模式和时间动态。最近的研究证明了 LLM 对顺序推荐系统的巨大影响，无论是将顺序推荐视为语言建模还是作为用户表示的支柱 ...

大型语言模型（LLM）的生成建议取得了显着的成功，但其实际部署却是昂贵的，尤其是由于自回归解码引起的推理延迟过多。对于无损耗的LLM解码加速度，投机解码（SD）已成为有前途的解决方案。但是，由于需要生成TOP-K项目，因此将SD应用于生成建议提出了独特的挑战（i ...

尽管大语言模型（LLMS）取得了重大进步，但推理模型的主要缺点是它们的巨大 Token 用法，从而增加了计算成本，资源需求和响应时间。在这项工作中，我们重新审视了增强学习的核心原则（RL），并通过数学分析表明，产生冗长响应的趋势本质上是源于训练过程中基于RL的优化。这一发现质疑了较长响应固有地提高推理准确性的普遍假设 ...