检索增强生成 (RAG) 系统通过从知识数据库检索相关文档来响应查询,然后通过将 LLM 应用于检索到的文档来生成答案。我们证明,在包含不受信任内容的数据库上运行的 RAG 系统容易受到我们称为干扰的新型拒绝服务攻击。攻击者可以向数据库添加一个“拦截器”文档,该文档将被检索以响应特定查询,并导致 RAG 系统不回答该查询 - 表面上是因为它缺乏信息或因为答案不安全 ...
本文研究了DNNS加速器的设计空间权衡,旨在为所有四种密集或稀疏激活/重量张量的组合实现竞争性能和效率指标。为此,我们系统地检查了在优化的致密芯上支持稀疏性的间接费用。这些开销是根据参数建模的,该参数指示乘数如何从相邻的乘数或未来周期中借用非零操作 ...
我们介绍了PowerGridWorld软件包,为用户提供了一个轻巧,模块化和可自定义的框架,以创建以电力系统为中心的多代理健身房环境,这些框架很容易与现有的培训框架(RL)集成在一起。尽管存在许多用于培训多代理RL(MARL)策略的框架,但没有一个可以迅速原型并开发环境本身,尤其是在异质(复合,多设备)动力系统的背景下,需要电力流解决方案来定义网格级变量和成本。 PowerGridWorld是一个 ...
本文介绍了Artemis,这是一种端到端的自动驾驶框架,将自回归轨迹计划与Experture(MOE)结合在一起。传统的模块化方法患有错误传播,而现有的端到端模型通常采用静态的一弹性推理范例,而这些推理范式不足以捕获环境的动态变化。 Artemis通过顺序生成轨迹航路点来采用不同的方法,保留关键的时间依赖性,同时动态路由特定于场景的查询到专门的专家网络 ...
密集的大语言模型(LLMS)将面临关键效率瓶颈,因为它们都会激活所有参数,无论输入复杂性如何。尽管现有的稀疏方法(静态修剪或动态激活)部分解决了这一问题,但它们要么缺乏对上下文或模型结构需求的适应性,要么缺乏产生过度的计算开销。受人脑的双重过程机制的启发 - 用于骨干的稀疏性和结构重新分析(P600)的预测性编码(N400) - 我们建议Clada,A \ textIt {\ textBf {\ ...
大型语言模型(LLM)的快速发展导致了各种行业的LLM代理商广泛部署,包括客户服务,内容生成,数据分析甚至医疗保健。但是,随着越来越多的LLM代理的部署,出现了一个主要问题:这些代理没有标准的方式与外部工具或数据源进行通信。缺乏标准化协议使代理商难以合作或有效地进行扩展,并且限制了他们处理复杂的现实世界任务的能力 ...
最近,自然语言一直是人类机器人相互作用的主要媒介。但是,它固有的缺乏机器人控制空间精度引起了诸如歧义和冗长的挑战。为了解决这些局限性,我们介绍了机器人视觉指导(ROVI),这是一种新颖的范式,可通过以对象为中心的手绘符号表示来指导机器人任务 ...
本文提出了一种学习新型4D体现世界模型的有效方法,该方法预测了3D场景随时间的动态演变,以响应体现的代理的动作,从而提供了空间和时间的一致性。我们建议通过对RGB-DN(RGB,DEPTH和正常)视频进行培训来学习4D世界模型。这不仅通过将详细的形状,配置和时间更改纳入其预测中,超过了传统的2D模型,而且还使我们能够有效地学习具有体现的代理的准确的逆动力学模型 ...