我们引入 OLMoE，这是一种完全开放、最先进的语言模型，利用稀疏专家混合 (MoE)。 OLMoE-1B-7B 有 70 亿个 (B) 参数，但每个输入 Token 仅使用 1B。我们在 5 万亿个 Token 上对其进行预训练，并进一步对其进行调整以创建 OLMoE-1B-7B-Instruct ...
AI代理的目的是通过将基于文本的推理与外部工具调用相结合来解决复杂的任务。不幸的是，AI代理很容易受到促使注射攻击的攻击，在这些攻击中，外部工具返回的数据劫持了代理执行恶意任务。为了衡量AI代理的对抗性鲁棒性，我们介绍了AgentOjo，这是对代理的评估框架，该框架可以通过不受信任的数据执行工具 ...
持续学习（CL）旨在学习新数据，同时记住先前获得的知识。与CL进行图像分类相反，用于对象检测的CL面临其他挑战，例如丢失的注释问题。在这种情况下，以前任务的图像可能包含未知类的实例，这些实例可能会重新出现为未来任务中的标记，从而导致任务干扰基于重播的方法 ...
由于其在实践中的使用，开放世界对象检测（OWOD）最近引起了很多关注。挑战是模型如何检测新颖的课程，然后逐步学习它们，而不会忘记以前已知的课程。以前的方法在强烈监督或弱监督的新颖级别数据中取决于新型级别检测，这可能不适用于实际应用 ...
基于视觉的运动估计和3D重建，它们具有许多应用（例如，自动驾驶，用于空中设备的导航系统和增强现实的导航系统）正在受到极大的研究关注 ...
将大语言模型与人类偏好保持一致对于安全部署至关重要。虽然直接偏好优化（DPO）为从人类反馈中学习提供了有效的替代方法，但传统的DPO方法受到对单个偏好对的依赖的限制。最近的工作（例如Curriculum-DPO）使用基于成对区分性（PD）的一维难度课程集成了多对，但忽略了输入提示本身的复杂性 ...
大型语言模型（LLM）的最新进展已通过其减少的表示错误并结合了外部知识来发展多语言语音和机器翻译。但是，这两个翻译任务通常都利用梁搜索解码和TOP-1假设选择进行推理。这些技术难以充分利用各种n最好的假设中的丰富信息，这使得它们对于需要单个高质量的输出序列的翻译任务降低了 ...
大型语言模型（LLM）广泛用于自然语言理解和文本生成。 LLM模型依赖于称为LLM解码的时间耗尽的步骤来生成输出 Token 。几项先前的工作着重于使用并行性技术（例如批处理和投机解码）提高LLM解码的性能 ...
