当前对LLM的对抗鲁棒性的研究集中在自然语言领域中的离散输入操作，可以将其直接转移到封闭源模型中。但是，这种方法忽略了开源模型的稳定发展。随着开源模型的提高，确保其安全性也变得越来越急切 ...
大型语言模型（LLM）变得越来越流行。他们的紧急功能可以归因于他们的大规模培训数据集。但是，这些数据集通常包含不良或不适当的内容e ...
通过检索外部数据来减轻幻觉和过时的知识问题，检索增强的生成（RAG）可以增强大语言模型（LLM）。受益于促进多样化数据源和支持忠实推理的强大能力，知识图（kg）在抹布系统中越来越多地采用，从而引起了基于kg的抹布（kg-rag）方法。尽管抹布系统广泛应用于各种应用中，但最近的研究也揭示了其在数据中毒攻击中的脆弱性，其中将恶意信息注入外部知识来源可能会误导该系统产生错误或有害的响应 ...
经过80年的研究，数百万篇论文和广泛的应用，现代数据压缩方法正在慢慢达到其极限。然而，奢侈的6G通信速度要求为革命性的数据压缩思想提出了一个主要的开放问题。我们以前已经表明，在合理的假设下，所有理解或学习都是压缩 ...
大型语言模型（LLMS）在实现人工智能的现实世界决策任务中表现出了巨大的希望，尤其是当微调以利用其固有的常识和推理能力时，同时量身定制了特定应用程序时。但是，这个微调过程引入了相当大的安全性和安全性漏洞，尤其是在安全至关重要的网络物理系统中。在这项工作中，我们提出了第一个综合框架，用于在体现的AI中针对基于LLM的决策系统（BALD）的后门攻击，系统地探索攻击表面和触发机制 ...
基于密集的嵌入文本检索$ \ unicode {x2013} $通过深度学习编码从语料库中检索$ \ unicode {x2013} $已成为一种有力的方法，即获得最先进的搜索结果并普及使用增强生成（RAG）。尽管如此，与其他搜索方法一样，基于嵌入的检索可能会受到搜索引擎优化（SEO）攻击的影响，在这种攻击中，对手通过向Corpora引入对抗性段落来促进恶意内容。为了忠实地评估并洞悉此类系统对SEO的敏感性，这项工作提出了Gaslite Attack，这是一种基于数学原则的基于梯度的搜索方法，用于生成对抗性段落而不依赖语料库内容或修改模型 ...
基于学习的概率模型可以与熵编码器结合使用，以进行数据压缩。但是，由于基于学习的模型的复杂性很高，因此在很大程度上忽略了它们作为文本压缩机的实际应用。为了解决这个问题，我们的工作着重于低复杂性设计，同时保持压缩性能 ...
我们考虑基于统计数据建模，然后是基于预测的编码的无损压缩，其中输入数据的准确统计模型可实质性改善压缩。我们提出了DZIP，这是一种通用压缩机，用于顺序数据，该数据利用了神经网络（NNS）的众所周知的建模能力进行预测，然后进行算术编码。 DZIP使用基于自适应和半自适应训练的新型混合体系结构 ...
我们挑战了普遍的假设，即LLM必须完全依靠子字 Token 进行高质量的文本生成。为此，我们提出了“生成预验证的思想形式”（GPTHF），这是一种层次 Transformer 语言模型，能够通过将文本压缩到句子嵌入并采用句子注意机制来生成文本。 GPTHF保留了GPT的体系结构，仅通过动态稀疏注意性掩码修改 Token 交互 ...
大型语言模型（LLMS）的最新进展启用了令人兴奋的LLM集成应用程序，该应用程序通过利用其先进的语言理解能力来执行基于文本的任务。但是，随着LLM的改善，对它们的攻击也是如此。提示注射攻击是一个重要的威胁：它们欺骗模型与原始应用程序的说明偏离，而是遵循用户指令 ...