信息提取（IE）旨在从简单的自然语言文本中提取结构知识。最近，生成式大型语言模型（LLM）在文本理解和生成方面表现出了卓越的能力。因此，人们提出了大量的工作来将 LLM 整合到基于生成范式的 IE 任务中。为了对 IE 任务的 LLM 工作进行全面系统的回顾和探索，在这项研究中，我们调查了该领域的最新进展。我们首先通过根据各种 IE 子任务和技术对这些作品进行分类来提供广泛的概述，然后我们对最先进的方法进行实证分析，并发现 LLM IE 任务的新兴趋势。基于进行的彻底审查，我们确定了一些技术见解和有前景的研究方向，值得在未来的研究中进一步探索。我们维护一个公共存储库并持续更新 GitHub 上的相关作品和资源（\href{此 https URL}{LLM4IE 存储库}） ...
检索增强生成 (RAG) 通过集成外部知识、生成具有增强的事实正确性和查询特定上下文的响应来弥补大型语言模型 (LLM) 的静态知识限制。但同时也引入了语料库中毒等新的攻击面。现有的防御方法大多依赖于模型的内部知识，这与RAG的设计理念相冲突。为了弥补这一差距，EcoSafeRAG 使用句子级处理和诱饵引导的上下文多样性检测，通过分析候选文档的上下文多样性来识别恶意内容，而不依赖于 LLM 内部知识。实验表明，EcoSafeRAG 通过即插即用部署提供最先进的安全性，同时提高干净场景 RAG 性能，同时保持实际运营成本（与 Vanilla RAG 相比，延迟相对 1.2 美元\倍， Token 减少 48\%-80\%） ...
社交媒体平台上的信息传播通常被认为主要通过明确的社交关系进行，例如关注者或朋友关系。然而，信息经常传播到这些可观察的联系之外——通过外部网站、搜索引擎或算法推荐——创建隐式链接。隐式链接的存在如何影响扩散过程仍不清楚。在本研究中，我们使用四个大型数据集研究 Twitter 上隐式链接的特征。我们的分析表明，距离社交网络原始来源较远的用户更有可能通过隐式链接进行传播。尽管隐式链接对总体传播量的贡献小于显式链接，但它们在跨不同且拓扑遥远的社区传播内容方面发挥着独特的作用。我们进一步检查与隐式链接形成相关的用户属性，并表明这些特征在网络中分布不均匀，并且表现出中等水平的同质性和单质性。总之，这些发现表明隐性链接对信息传播产生有意义的影响，并强调将其纳入传播和社会影响模型的重要性 ...
大型语言模型（LLM）的快速发展在各种下游任务中取得了令人瞩目的成功。然而， LLM 的巨大潜力和卓越能力，如果由于其开放性而被用于邪恶目的，也会引发新的安全和隐私问题。例如， LLM 可能被用来抄袭或模仿写作，从而侵犯原始内容的版权，或者根据某些源文本随意创建虚假信息。在某些情况下， LLM 甚至可以分析来自互联网的文本以推断个人隐私。不幸的是，之前的文本保护研究无法预见强大的 LLM 的出现，使其在新的背景下不再有效。为了弥补这一差距，我们引入了Silent Guardian（SG），这是一种针对LLM的文本保护机制，它允许LLM在收到受保护的文本时拒绝生成响应，从而防止来自源的恶意使用文本。具体来说，我们首先提出截断保护示例（TPE）的概念。通过仔细修改要保护的文本，TPE可以诱导LLM首先采样结束 Token ，从而直接终止交互。此外，为了在文本数据的离散空间中有效地构建TPE，我们提出了一种称为超级定制保护（STP）的新型优化算法，该算法不仅效率高，而且在优化过程中保持了文本的语义一致性。综合实验评估表明，SG在各种配置下都能有效保护目标文本，在某些情况下达到几乎100%的保护成功率。值得注意的是，SG还表现出相对良好的可迁移性和鲁棒性，使其在实际场景中的应用成为可能。我们的代码可以在这个 https URL 上找到 ...
通过检索增强生成 (RAG) 增强的大型语言模型 (LLM) 在生成准确响应方面表现出了改进的性能。然而，对外部知识库的依赖引入了潜在的安全漏洞，特别是当这些知识库可公开访问和修改时。虽然之前的研究已经暴露了 RAG 系统中的知识中毒风险，但现有的攻击方法存在严重的局限性：它们要么需要注入多个中毒文档（导致隐蔽性差），要么只能在简单的查询上有效发挥作用（限制了现实世界的适用性）。本文揭示了一种针对 RAG 系统的更现实的知识中毒攻击，该攻击通过仅毒害单个文档来实现成功的攻击，同时对涉及多个元素之间复杂关系的复杂多跳问题保持有效。我们提出的 AuthChain 解决了三个挑战，以确保 LLM 能够可靠地检索和信任中毒文档，即使针对大型知识库和 LLM 自己的知识也是如此。六个流行的 LLM 的广泛实验表明，与最先进的基线相比，AuthChain 实现了显着更高的攻击成功率，同时针对 RAG 防御机制保持了卓越的隐秘性 ...
尽管检索增强生成（RAG）在利用外部知识方面显示出有前途的能力，但由于 RAG 的模块化性质、长格式响应的评估和测量的可靠性，对 RAG 系统的全面评估仍然具有挑战性。在本文中，我们提出了一个细粒度的评估框架 RAGChecker，它包含了一套用于检索和生成模块的诊断指标。元评估验证了 RAGChecker 与人类判断的相关性明显优于其他评估指标。使用 RAGChecker，我们评估了 8 个 RAG 系统，并对它们的性能进行了深入分析，揭示了 RAG 架构设计选择中富有洞察力的模式和权衡。 RAGChecker 的指标可以指导研究人员和从业者开发更有效的 RAG 系统。这项工作已在 https URL 上开源 ...
检索增强生成 (RAG) 通过提供外部知识来实现准确和最新的响应，从而增强大型语言模型 (LLM)。然而，这种对外部来源的依赖暴露了安全风险，攻击者可以将有毒文档注入知识库，以引导生成过程产生有害或误导性的输出。在本文中，我们提出了基于梯度的掩码 Token 概率（GMTP），这是一种新颖的防御方法，用于检测和过滤敌对制作的文档。具体来说，GMTP 通过检查检索器相似性函数的梯度来识别高影响力标记。然后对这些关键标记进行屏蔽，并通过屏蔽语言模型 (MLM) 检查它们的概率。由于注入的 Token 通常表现出明显较低的屏蔽 Token 概率，这使得 GMTP 能够轻松检测恶意文档并实现高精度过滤。实验表明，GMTP 能够消除 90% 以上的中毒内容，同时保留相关文档，从而在不同的数据集和对抗性设置中保持强大的检索和生成性能 ...
即使腐败率较低，检索增强生成（RAG）系统也容易受到将有毒通道注入检索集的攻击。我们表明，现有的攻击并非设计为隐蔽的，因此无法进行可靠的检测和缓解。我们使用基于可区分性的安全游戏将隐身形式化。如果设计一些有毒的通道来控制响应，它们就必须将自己与良性通道区分开来，本质上会损害隐身性。这促使攻击者需要严格分析生成$\unicode{x2014}$中涉及的中间信号，例如注意力模式或下一个 Token 概率分布$\unicode{x2014}$，以避免容易检测到的操纵痕迹。利用注意力模式，我们提出了一个段落级别分数$\unicode{x2014}$标准化段落注意力分数$\unicode{x2014}$，我们的注意力方差过滤器算法使用它来识别和过滤潜在的中毒段落。此方法可以缓解现有攻击，与基准防御相比，准确度提高高达 $\sim 20 \%$。为了探索基于注意力的防御的局限性，我们设计了更隐秘的自适应攻击来掩盖此类痕迹，实现高达 35 \%$ 的攻击成功率，并强调了提高隐身性的挑战 ...
大型语言模型 (LLM) 已经改变了自然语言处理 (NLP)，使应用程序能够从内容生成到决策支持。检索增强生成（RAG）通过整合外部知识来改进 LLM ，但也引入了安全风险，特别是数据中毒，即攻击者将中毒文本注入知识数据库以操纵系统输出。尽管已经提出了各种防御措施，但它们常常难以抵御高级攻击。为了解决这个问题，我们引入了 RAGuard，这是一种旨在识别中毒文本的检测框架。 RAGuard首先扩大检索范围，增加干净文本的比例，降低检索到有毒内容的可能性。然后，它应用逐块困惑过滤来检测异常变化，并应用文本相似性过滤来标记高度相似的文本。这种非参数方法增强了 RAG 的安全性，大规模数据集上的实验证明了其在检测和减轻中毒攻击（包括强自适应攻击）方面的有效性 ...
检索增强生成（RAG）系统利用外部知识增强大型语言模型（LLM），但容易受到语料库中毒和污染攻击，从而损害输出完整性。现有的防御措施通常采用积极的过滤，导致有价值信息不必要的丢失并降低生成的可靠性。为了解决这个问题，我们提出了一种用于可信 RAG 的两阶段语义过滤和无冲突框架。在第一阶段，我们在实体意图关系提取器（EIRE）的指导下执行具有语义和基于集群的过滤的联合过滤器。 EIRE 从用户查询和过滤文档中提取实体、潜在目标和实体关系，对它们的语义相关性进行评分，并有选择地将有价值的文档添加到干净的检索数据库中。在第二阶段，我们提出了一个EIRE引导的冲突感知过滤模块，该模块在最终答案生成之前分析查询、候选答案和检索到的知识之间的语义一致性，过滤掉可能误导模型的内部和外部矛盾。通过这个两阶段过程，SeCon-RAG 有效地保留了有用的知识，同时减轻了冲突污染，从而在生成稳健性和输出可信度方面实现了显着改进。跨各种 LLM 和数据集的广泛实验表明，所提出的 SeCon-RAG 明显优于最先进的防御方法 ...