大型语言模型(LLM)代理通过使用外部工具与环境进行交互,在各种应用程序中表现出显着的性能。但是,集成外部工具会引入安全风险,例如间接提示注射(IPI)攻击。尽管为IPI攻击设计了防御措施,但由于对适应性攻击的测试不足,它们的鲁棒性仍然值得怀疑 ...
由于越来越多的培训多模式的代理可以操作图形用户界面(GUIS)以完成用户任务,因此他们面临着间接及时注射的威胁,攻击是将误导性指示嵌入到代理商的视觉环境中的攻击,例如弹出或聊天消息,以及被误解为预期任务的一部分。一个典型的例子是环境注入,其中操纵GUI元素以影响代理行为,而无需直接修改用户提示。为了解决这些新兴攻击,我们提出了EVA,这是一个间接提示注射的红色小组框架,通过连续监视GUI上的代理商 ...
自动化结构化的临床访谈可能会彻底改变心理保健的可及性,但现有的大型语言模型(LLMS)方法无法与精神病诊断方案保持一致。我们提出了Magi,这是第一个将金色标准的迷你国际神经精神访谈(MINI)转变为通过协调的多代理协作而自动计算工作流程的框架。 MAGI通过四个专业剂动态地导航临床逻辑:1)访谈树引导剂依附于迷你分支结构,2)一种自适应问题,融合诊断,同情和移情的自适应问题,解释判断剂,3)判断 ...
由于模型上下文协议(MCP),大型语言模型(LLMS)现在可以访问广泛的外部工具。这大大扩展了他们作为各种代理商的能力。但是,LLMS完全依靠工具的文本描述来决定使用哪些工具 - 令人惊讶的脆弱过程 ...
工具选择是LLM代理的关键组成部分。该过程通过两步机制 - \ emph {reterieval}和\ emph {selection} - 从工具库中选择最合适的工具作为给定任务。在这项工作中,我们介绍了\ textit {toolhijacker},这是一种新颖的提示注射攻击定位工具在No-Box方案中的选择 ...
基于大语言模型的代理利用工具来修改环境,彻底改变了AI与物理世界的相互作用。与仅依靠历史对话的传统NLP任务不同,这些代理必须考虑更复杂的因素,例如在做出选择时,例如工具间关系,环境反馈和以前的决策。当前的研究通常通过多转对话来评估代理 ...
本文研究了使用增强学习(RL)增强大语言模型(LLM)代理的推理能力的方法。具体而言,我们专注于多转弯工具使用的方案,可以自然地将其建模为马尔可夫决策过程(MDP)。尽管现有的方法经常在强盗设置中对轨迹级优势估算进行多转弯LLM代理进行训练,但他们在多个决策步骤中为转向级的信用分配而苦苦挣扎,从而将其在多转弯推理任务上的绩效限制了 ...
大型语言模型(LLM)的越来越多导致移动计算中的新范式 - 供电的移动AI代理 - 可直接在智能手机上进行分解和自动化复杂任务。但是,这些代理的安全含义在很大程度上尚未得到探索。在本文中,我们介绍了对移动LLM代理的首次全面安全分析,其中包括三个代表性类别:由原始设备制造商开发的系统级AI代理(e ...