基于大语言模型（LLM）的检索增强生成（RAG）系统已成为问题回答和内容产生等任务至关重要的。但是，由于固有的脆弱性，它们对公众舆论和信息传播的影响不断增加，使它们成为安全研究的关键。先前的研究主要解决了针对事实或单质操作的攻击 ...
大型语言模型（LLM）表现出了令人印象深刻的自然语言处理能力，但面临诸如幻觉和过时的知识之类的挑战。检索演出的一代（RAG）已成为减轻这些问题的最先进方法。尽管RAG增强了LLM输出，但它仍然容易受到中毒攻击的影响 ...
在本文中，我们全面研究了现代大型语言模型（LLM）的潜在滥用，以产生可信的错误信息及其随后对信息密集型应用程序的影响，尤其是开放域问题答案（ODQA）系统。我们建立了一个威胁模型，并模拟潜在的滥用情景，无论是无意的还是故意的），以评估LLM可以在多大程度上用于产生错误信息。我们的研究表明，LLM可以充当有效的错误信息发生器，从而导致ODQA系统的性能显着降解 ...
检索增强生成（RAG）通过集成从外部知识源检索的相关信息来增强语言模型的输出。然而，当检索过程涉及隐私数据时，RAG系统可能面临严重的隐私风险，可能导致敏感信息的泄露。为了解决这个问题，我们建议使用合成数据作为检索数据的隐私保护替代方案 ...
基于大型语言模型（LLM）的代理商在各种复杂的现实世界应用中表现出强大的功能。但是，当过去的示范记录是恶意的时，具有折衷记忆库的LLM代理可能很容易产生有害输出。在本文中，我们提出了一种新颖的记忆注射攻击，即Minja，该攻击仅通过查询和输出观察结果与代理商进行交互，从而使恶意记录进入记忆库中 ...
检索增强的生成（RAG）系统已成为减轻LLM幻觉并增强其在知识密集型领域的性能的有前途解决方案。但是，这些系统容易受到对抗性中毒攻击的影响，其中将恶意段落注入检索数据库中可能会误导该模型以生成事实不正确的输出。在本文中，我们研究了抹布系统的检索和发电组成部分，以了解如何增强其对这种攻击的鲁棒性 ...
检索增强的生成（RAG）系统通过整合外部知识库来增强大语模型（LLMS）。但是，这种集成引入了一个新的安全威胁：对手可以利用检索机制将恶意内容注入知识库，从而影响生成的响应。基于此攻击向量，我们提出了Ctrlrag，这是一种新型的攻击方法，专为黑框设置中的抹布系统设计，它与现实世界情景相符 ...
在几种现实世界中，在几种现实服务中的检索型发电（RAG）系统的普遍存在引发了人们对其安全性的严重关注。抹布系统通过在私人知识基础上运作的检索机制来提高大语言模型（LLM）的生成能力，后者意外接触可能会导致严重的后果，包括违反私人和敏感信息。本文提出了一项黑盒攻击，以迫使抹布系统泄漏其私人知识库，该知识基础与现有方法不同的是自适应和自动 ...
这项研究介绍了毒rag，这是针对基于检索的基于启动（RAG）的推荐系统的对抗数据中毒攻击的框架。毒rag操纵项目元数据，例如标签和描述，以影响推荐结果。使用通过大语言模型（LLM）生成的项目元数据和通过OpenAI API得出的嵌入，我们探索了对抗性中毒攻击对提供商侧的影响，在此攻击旨在促进长尾项目并降低流行者 ...
配备有检索增强生成（RAG）的多模式大语言模型（MLLM）都利用了他们丰富的参数知识和动态，外部知识在诸如问题回答之类的任务中表现出色。尽管RAG通过将与查询相关的外部知识的响应接地来增强MLLM，但这种依赖构成了一个关键但毫无疑问的安全风险：知识中毒攻击，其中错误的信息或无关的知识被故意注入外部知识基础，以操纵模型输出，以使模型输出不正确，甚至有害。为了在多模式抹布中暴露这种漏洞，我们提出了MM-PoisonRag，这是一种新型的知识中毒攻击框架，具有两种攻击策略：局部中毒攻击（LPA），该攻击（LPA）在有针对性的操纵中注入了特定的文本和图像，以涉及全球性中毒攻击（GPA），以涉足MM，以在MM中提供了较高的指导 ...