思想链 (CoT) 和相关基于原理的工作的最新进展显着提高了大型语言模型 (LLM) 在复杂推理任务中的性能。随着多模态大语言模型（MLLM）的发展，增强其解决复杂多模态推理问题的能力是一个关键前沿。然而，将多模式纳入 CoT 的基本原理尚未得到彻底研究 ...
近年来，多模态大语言模型（MLLM）通过对大量高质量图像文本数据集进行训练，取得了重大进展，使它们能够普遍很好地理解图像。然而，在文本中明确传达细粒度或空间密集信息（例如掩模）的固有困难给 MLLM 带来了挑战，限制了它们回答需要理解详细或局部视觉元素的问题的能力。受检索增强生成（RAG）概念的启发，本文提出了一种新的视觉提示方法来整合从专业视觉模型（例如视觉模型）中收集的细粒度外部知识 ...
与需要离散优化的文本输入不同，使用图像输入增强语言模型可以通过持续优化实现更有效的越狱攻击。然而，新的多模态融合模型使用不可微函数对所有输入模态进行标记，这阻碍了直接攻击。在这项工作中，我们引入了分词器快捷方式的概念，它使用连续函数来近似分词并实现连续优化 ...
近年来，视觉语言模型（VLM）在人工智能领域取得了显着进步，改变了各个领域的任务。尽管功能强大，但这些模型很容易受到越狱攻击，从而损害其安全性和可靠性。本文探讨了 VLM 中越狱性和隐秘性之间的权衡，提出了一种新的算法来检测非隐秘越狱攻击并增强模型的鲁棒性 ...
尽管视觉语言模型 (VLM) 具有出色的多模态功能，但它已被证明很容易受到越狱攻击，这些攻击是推理时间攻击，会导致模型输出带有棘手提示的有害响应。因此，必须保护 VLM 免遭潜在越狱，以确保其在实际应用中的可信部署。在这项工作中，我们重点关注 VLM 的黑盒防御，以抵御越狱攻击 ...
大型语言模型 (LLM) 的安全对齐很容易受到手动和自动越狱攻击，这会触发 LLM 输出有害内容。然而，目前的越狱 LLM 的方法，嵌套了整个有害提示，不能有效隐藏恶意意图，并且很容易被一致的 LLM 识别和拒绝。本文发现，将恶意提示分解为单独的子提示可以通过以碎片化、不易检测的形式呈现来有效地掩盖其潜在的恶意意图，从而解决这些限制 ...
大型语言模型（LLM）用于创意写作、代码生成和翻译，根据输入序列生成文本，但容易受到越狱攻击，其中精心设计的提示会导致有害的输出。大多数越狱提示方法使用越狱模板的组合，然后询问问题来创建越狱提示。然而，现有的越狱提示设计普遍存在语义差异过大的问题，导致无法抵御以简单语义指标为阈值的防御 ...
ChatGPT和GPT-4的卓越成就引发了人们对通用人工智能（AGI）大语言模型领域的兴趣和研究浪潮。这些模型提供了接近人类思维的智能解决方案，使我们能够利用通用人工智能来解决各种应用中的问题。然而，在遥感（RS）领域，关于实现 AGI 的科学文献仍然相对较少 ...
视觉语言基础模型（VLFM）在各种多模态任务上取得了显着进展，例如图像字幕、图像文本检索、视觉问答和视觉基础。然而，大多数方法依赖于通用图像数据集的训练，并且地理空间数据的缺乏导致对地观测的性能不佳。最近提出了许多地理空间图像文本对数据集和对其进行微调的 VLFM ...
由于缺乏足够的基准来系统地评估大型语言模型 (LLM) 抵抗生成有害内容的能力，其安全性仍然是一个关键问题。以前针对自动化红队的努力涉及静态或模板化的非法请求集和对抗性提示，鉴于越狱攻击的不断发展和可组合性质，这些提示的实用性有限。我们提出了一种新颖的可组合越狱攻击的动态基准，以超越静态数据集以及攻击和危害的分类法 ...