AI代理的目的是通过将基于文本的推理与外部工具调用相结合来解决复杂的任务。不幸的是,AI代理很容易受到促使注射攻击的攻击,在这些攻击中,外部工具返回的数据劫持了代理执行恶意任务。为了衡量AI代理的对抗性鲁棒性,我们介绍了AgentOjo,这是对代理的评估框架,该框架可以通过不受信任的数据执行工具 ...
持续学习(CL)旨在学习新数据,同时记住先前获得的知识。与CL进行图像分类相反,用于对象检测的CL面临其他挑战,例如丢失的注释问题。在这种情况下,以前任务的图像可能包含未知类的实例,这些实例可能会重新出现为未来任务中的标记,从而导致任务干扰基于重播的方法 ...
由于其在实践中的使用,开放世界对象检测(OWOD)最近引起了很多关注。挑战是模型如何检测新颖的课程,然后逐步学习它们,而不会忘记以前已知的课程。以前的方法在强烈监督或弱监督的新颖级别数据中取决于新型级别检测,这可能不适用于实际应用 ...
基于视觉的运动估计和3D重建,它们具有许多应用(例如,自动驾驶,用于空中设备的导航系统和增强现实的导航系统)正在受到极大的研究关注 ...
将大语言模型与人类偏好保持一致对于安全部署至关重要。虽然直接偏好优化(DPO)为从人类反馈中学习提供了有效的替代方法,但传统的DPO方法受到对单个偏好对的依赖的限制。最近的工作(例如Curriculum-DPO)使用基于成对区分性(PD)的一维难度课程集成了多对,但忽略了输入提示本身的复杂性 ...
大型语言模型(LLM)的最新进展已通过其减少的表示错误并结合了外部知识来发展多语言语音和机器翻译。但是,这两个翻译任务通常都利用梁搜索解码和TOP-1假设选择进行推理。这些技术难以充分利用各种n最好的假设中的丰富信息,这使得它们对于需要单个高质量的输出序列的翻译任务降低了 ...
大型语言模型(LLM)广泛用于自然语言理解和文本生成。 LLM模型依赖于称为LLM解码的时间耗尽的步骤来生成输出 Token 。几项先前的工作着重于使用并行性技术(例如批处理和投机解码)提高LLM解码的性能 ...
低级适应性(LORA)是一种自然的方法,可以在通信受限的机器学习设置(例如联合学习的跨设备)中进行填充。在联邦学习的背景下研究洛拉的先前工作重点是改善洛拉对异质性和隐私性的稳健性。在这项工作中,我们考虑了进一步提高联邦洛拉(Lora)的沟通效率的技术 ...