检索增强的生成(RAG)显着提高了大语言模型(LLMS)的事实准确性和域的适应性。这一进步使他们能够在医疗保健,金融和企业应用程序等敏感领域的广泛部署。 RAG通过整合外部知识来减轻幻觉,但引入了隐私风险和安全风险,特别是数据泄露风险和数据中毒风险 ...
长期以来,将最相似的矢量嵌入到给定的查询中一直是无数现实世界应用的关键组成部分。最近引入的检索演示一代是最突出的例子之一。对于许多这些应用程序,数据库通过插入新数据并删除过时的数据来演变 ...
在本文中,我们表明,当Genai-Power应用程序之间的通信依赖于基于抹布的推断时,攻击者可以发起我们称为Morris-II的计算机蠕虫样链反应。这是通过制定对抗性自我复制提示来完成的,从而触发生态系统中的一系列间接及时注射级联,并强迫每个受影响的应用程序执行恶意动作并损害其他应用程序的抹布。我们评估了蠕虫在Genai驱动的电子邮件助手的Genai生态系统中创建一系列机密用户数据提取的性能,并分 ...
后门攻击通过注射触发器和修改标签来毒害训练数据的子集,从而将人造漏洞引入模型中。已经探索了各种触发设计策略来攻击文本分类器,但是,捍卫此类攻击仍然是一个开放的问题。在这项工作中,我们提出了BFClass,这是一个新型的有效的无背后培训框架,用于文本分类 ...
由大型语言模型(LLM)提供动力的当前推荐系统通常由于缺乏明确的逻辑结构而使其推理能力不足。为了解决此限制,我们介绍了COT-REC,该框架通过合并两个关键过程:用户偏好分析和项目感知评估,将思想链(COT)推理集成到LLM驱动的建议中。 COT-REC分为两个关键阶段:(1)确定用户偏好和项目感知的个性化数据提取,以及(2)个性化数据应用程序,在此信息中利用此信息来完善建议 ...
最近的任何模型(SAM)已成为一种新的范式视觉基础模型,展示了有效的零弹性概括和灵活的提示。尽管SAM在各个领域发现了应用和适应,但其主要限制在于无法掌握对象语义。在本文中,我们介绍了Sambor,以将SAM与端到端框架中的开放式对象检测器无缝整合 ...
已经证明,深度神经网络正面临着一种称为后门攻击的新威胁,对手可以通过中毒培训数据集将后门注入神经网络模型。当输入包含一些特殊模式称为后门触发器时,带有后门的模型将执行恶意任务,例如对手指定的错误分类。在文本分类系统中,模型中插入的后门会导致垃圾邮件或恶意语音逃脱检测 ...
鉴于视觉 Transformer 的力量,新的学习范式,预训练然后提示,使其更加有效地解决下游的视觉识别任务。在本文中,我们从后门攻击的角度确定了对这种范式的新型安全威胁。具体来说,在这项工作中,一个称为开关 Token 的额外提示 Token 可以打开后门模式 ...