大型神经网络将大部分计算花费在浮点张量乘法上。在这项工作中，我们发现浮点乘法器可以用一个高精度的整数加法器来近似。我们提出了线性复杂度乘法 L-Mul 算法，该算法通过整数加法运算来近似浮点数乘法 ...
LLM 生成的推理步骤可能不完整，因为它们模仿了在预训练数据中发现的日常交流中常见的逻辑跳跃：潜在的基本原理经常是隐含的（未说明的）。为了应对这一挑战，我们引入了 RATIONALYST，这是一种推理过程监督模型，基于对从未标记数据中提取的大量基本原理注释进行预训练。我们从网络规模的未标记数据集（Pile）和推理数据集的组合中提取了 79k 个基本原理，并以最少的人为干预 ...
思想链（CoT）提示揭示了大型语言模型能够通过中间步骤执行复杂的推理。 CoT 提示主要分为三种方法。第一种方法利用简单的提示，例如“让我们一步一步思考”，在得出答案之前生成一个连续的思维过程 ...
个性化在许多语言任务和应用程序中起着至关重要的作用，因为具有相同需求的用户可能会根据个人兴趣更喜欢不同的输出。这导致了各种个性化方法的发展，旨在适应大型语言模型（LLM）以生成符合用户偏好的定制输出。其中一些涉及为每个用户微调独特的个性化LLM，这对于广泛应用来说过于昂贵 ...
强化学习（RL）是增强任务导向对话（TOD）系统的强大方法。然而，现有的强化学习方法往往主要关注生成任务，例如对话策略学习（DPL）或响应生成（RG），而忽略了用于理解的对话状态跟踪（DST）。这种狭隘的关注限制了系统通过忽视理解和生成之间的相互依赖来实现全局最优性能 ...
近年来，蛋白质基础模型的发展激增，显着提高了从 3D 结构预测和蛋白质设计到构象动力学的蛋白质预测和生成任务的性能。然而，由于缺乏统一的评估框架，人们对这些模型的功能和局限性仍然知之甚少。为了填补这一空白，我们引入了 ProteinBench，这是一个旨在提高蛋白质基础模型透明度的整体评估框架 ...
本文介绍了一种称为逐句语音摘要（Sen-SSum）的新颖方法，该方法以逐句的方式从语音文档生成文本摘要。 Sen-SSum 将自动语音识别 (ASR) 的实时处理与语音摘要的简洁性相结合。为了探索这种方法，我们提供了 Sen-SSum 的两个数据集：Mega-SSum 和 CSJ-SSum ...
由于数学表达式的结构复杂且符号多样，公式识别面临重大挑战。尽管公式识别模型不断进步，但这些模型采用的评估指标（例如 BLEU 和编辑距离）仍然表现出明显的局限性。他们忽视了同一个公式具有不同的表示形式，并且对训练数据的分布高度敏感，从而导致公式识别评估的不公平性 ...
现实世界对话数据的可用性不断增加，为研究人员研究用户与聊天机器人的交互提供了令人兴奋的机会。然而，这些数据的庞大数量使得手动检查单个对话变得不切实际。为了克服这一挑战，我们推出了 WildVis，这是一种交互式工具，可以实现快速、多功能和大规模的对话分析 ...
最近的研究表明，大型语言模型（LLM）的数学问题解决能力可以通过集成外部工具（例如代码解释器）和采用多轮思想链（CoT）推理来增强。虽然当前的方法侧重于合成数据生成和监督微调（SFT），但本文研究了互补的直接偏好学习方法，以进一步提高模型性能。然而，现有的直接偏好学习算法最初是针对单轮聊天任务而设计的，并没有完全解决工具集成数学推理任务所需的多轮推理和外部工具集成的复杂性 ...