在许多应用程序中,音频和音乐的发电已经成为至关重要的任务,但是现有的方法面临着重大局限性:它们在跨模式的统一功能的情况下孤立地运作,遭受了稀缺的高质量,多模式训练数据的困扰,并且难以有效地整合多样的投入。在这项工作中,我们提出了Audiox,这是一种统一的扩散 Transformer 模型,用于任何启发和音乐发电。与以前的域特异性模型不同,Audiox可以同时以高质量生成通用音频和音乐,同时提供灵 ...
过程奖励建模(PRM)对于复杂的推理和决策任务至关重要,中间步骤的准确性显着影响总体结果。现有的PRM方法主要构成分类问题,采用跨凝结损失来独立评估每个步骤的正确性。此方法可以导致次优奖励分布,并且不能充分解决步骤之间的相互依赖性 ...
检索增强生成(RAG)通过集成从外部知识源检索的相关信息来增强语言模型的输出。然而,当检索过程涉及隐私数据时,RAG系统可能面临严重的隐私风险,可能导致敏感信息的泄露。为了解决这个问题,我们建议使用合成数据作为检索数据的隐私保护替代方案 ...
基于大型语言模型(LLM)的代理商在各种复杂的现实世界应用中表现出强大的功能。但是,当过去的示范记录是恶意的时,具有折衷记忆库的LLM代理可能很容易产生有害输出。在本文中,我们提出了一种新颖的记忆注射攻击,即Minja,该攻击仅通过查询和输出观察结果与代理商进行交互,从而使恶意记录进入记忆库中 ...
大型语言模型(LLM)代理人越来越能够自主进行网络攻击,对现有应用构成了重大威胁。这种日益增长的风险凸显了迫切需要进行现实世界中的基准评估LLM代理利用Web应用程序漏洞的能力。但是,现有的基准缺乏,因为它们仅限于抽象的捕获国旗竞赛或缺乏全面的覆盖范围 ...
检索增强的生成(RAG)系统已成为减轻LLM幻觉并增强其在知识密集型领域的性能的有前途解决方案。但是,这些系统容易受到对抗性中毒攻击的影响,其中将恶意段落注入检索数据库中可能会误导该模型以生成事实不正确的输出。在本文中,我们研究了抹布系统的检索和发电组成部分,以了解如何增强其对这种攻击的鲁棒性 ...
Humanoids in Hospitals: A Technical Study of Humanoid Surrogates for Dexterous Medical Interventions
在人口老龄化和劳动力短缺的推动下,对医护人员的需求不断增长,对医院带来了重大挑战。人形机器人可以通过利用人类的灵巧性和适应性来协助医疗程序来减轻这些压力。这项工作进行了一项探索性研究,该研究对人形机器人的可行性,通过远程运行执行直接临床任务 ...
尽管大型语言模型(LLMS)在自然语言任务上表现出色,但它们通常在精确的正式推理和严格的问题规范方面挣扎。我们提出MCP-Solver,这是模型上下文协议的原型实现,该协议证明了LLMS和约束编程系统之间系统整合的潜力。我们的实施为约束模型的创建,编辑和验证提供了接口 ...