专家混合大语言模型（MoE-LLM）标志着语言模型向前迈出了重要一步，然而，它们在实践中遇到了两个关键挑战：1）专家参数导致相当大的内存消耗和加载延迟； 2）当前激活的专家是多余的，因为许多 Token 可能只需要一个专家。受这些问题的推动，我们研究了 MoE-LLM 并做出了两个关键观察：a) 不同的专家在激活重建误差、路由分数和激活频率方面表现出不同的行为，突出了它们不同的重要性，b) 并非所 ...

大型语言模型（LLMS）在各种应用程序上展示了出色的功能时，由于其大量模型大小，在推理期间提出了重大挑战，尤其是在部署在边缘设备上时。激活稀疏性提供了一种有希望的解决方案，可以减少计算和记忆运动，从而更有效地推断，尤其是对于小批量的智障应用程序。但是，目前的方法面临非雷鲁激活函数的限制，这是大多数高级LLM的基础，或者需要进行重大持续训练 ...

检索增强的生成（RAG）显着提高了大语言模型（LLMS）的事实准确性和域的适应性。这一进步使他们能够在医疗保健，金融和企业应用程序等敏感领域的广泛部署。 RAG通过整合外部知识来减轻幻觉，但引入了隐私风险和安全风险，特别是数据泄露风险和数据中毒风险 ...

长期以来，将最相似的矢量嵌入到给定的查询中一直是无数现实世界应用的关键组成部分。最近引入的检索演示一代是最突出的例子之一。对于许多这些应用程序，数据库通过插入新数据并删除过时的数据来演变 ...

在本文中，我们表明，当Genai-Power应用程序之间的通信依赖于基于抹布的推断时，攻击者可以发起我们称为Morris-II的计算机蠕虫样链反应。这是通过制定对抗性自我复制提示来完成的，从而触发生态系统中的一系列间接及时注射级联，并强迫每个受影响的应用程序执行恶意动作并损害其他应用程序的抹布。我们评估了蠕虫在Genai驱动的电子邮件助手的Genai生态系统中创建一系列机密用户数据提取的性能，并分 ...

后门攻击通过注射触发器和修改标签来毒害训练数据的子集，从而将人造漏洞引入模型中。已经探索了各种触发设计策略来攻击文本分类器，但是，捍卫此类攻击仍然是一个开放的问题。在这项工作中，我们提出了BFClass，这是一个新型的有效的无背后培训框架，用于文本分类 ...

由大型语言模型（LLM）提供动力的当前推荐系统通常由于缺乏明确的逻辑结构而使其推理能力不足。为了解决此限制，我们介绍了COT-REC，该框架通过合并两个关键过程：用户偏好分析和项目感知评估，将思想链（COT）推理集成到LLM驱动的建议中。 COT-REC分为两个关键阶段：（1）确定用户偏好和项目感知的个性化数据提取，以及（2）个性化数据应用程序，在此信息中利用此信息来完善建议 ...

最近的任何模型（SAM）已成为一种新的范式视觉基础模型，展示了有效的零弹性概括和灵活的提示。尽管SAM在各个领域发现了应用和适应，但其主要限制在于无法掌握对象语义。在本文中，我们介绍了Sambor，以将SAM与端到端框架中的开放式对象检测器无缝整合 ...