尽管变形金刚在自然语言处理中表现出色，但他们的注意机制的庞大记忆要求限制了他们处理更长背景的能力。先前的方法，例如经常性记忆或基于检索的增强，要么损害了注意力的随机灵活性（即 ...

开发能够以人类水平的安全性和效率在复杂环境中行驶的自动驾驶汽车是自动驾驶研究的核心目标。实现这一目标的常见方法是模仿学习，即训练智能体模仿从现实世界驾驶场景中收集的人类专家演示。然而，人类感知和自动驾驶汽车传感器之间的差异可能会引入\textit{模仿差距}，导致模仿学习失败 ...

该技术报告提出了一种培训视频基础模型的经济高效策略。我们提出了一个中型的研究模型，使用665,000 H100 GPU小时，其大约70亿参数（7B）称为Seaweed-7B。尽管接受了适度的计算资源培训，但与更大尺寸的当代视频生成模型相比，Seaweed-7B表现出竞争激烈的性能 ...

多个聚类旨在从不同方面发现数据的各种潜在数据。通过利用数据中的复杂模式和关系，深层多种聚类方法实现了出色的性能。但是，现有的作品难以灵活地适应数据分组中各种用户特定的需求，这可能需要对每个集群进行手动了解 ...

随着自动驾驶系统的成熟，运动预测已受到越来越多的关注，这是计划的关键要求。特别重要的是交互式情况，例如合并，未保护的转弯等，在这些情况下，预测单个对象运动不足 ...

人类标记数据中的偏见和错误对机器学习提出了重大挑战，尤其是在有可能有缺陷的地面真相数据的监督学习中。这些缺陷，包括诊断错误和社会偏见，风险通过使用最大似然估计训练的模型来传播和放大。我们介绍了反思性的LLM对话框架RLDF，该框架在单个LLM或不同LLM的多个实例之间利用结构化的对话对话，以发现各种观点和正确的矛盾 ...

广义类别发现（GCD）是一个务实但尚未充满疏忽的问题，它要求模型通过利用旧类的标记样本来自动群集和发现新型类别。挑战是未标记的数据都包含旧类和新类。与参数分类器一起利用伪标记的早期作品分别处理新旧类，这使它们之间的准确性不平衡 ...

大型语言模型（LLM）通过合并推理过程在解决问题方面取得了重大进步。但是，这种增强的推理能力会导致推断期间的产出 Token 数量增加，从而导致更高的计算成本。为了应对这一挑战，我们提出了TWT（无需 Token 的思考），这种方法通过习惯推理蒸馏使用多教老师的指导来降低推理时间成本，同时保持高性能 ...