我们介绍了表演者, Transformer 体系结构,这些架构可以估算具有可证明精度的常规(SoftMax)全级注意 Transformer ,但仅使用线性(而不是二次)空间和时间复杂性,而无需依靠任何先验,例如稀疏性或低级度。为了近似SoftMax的注意内核,表演者通过正交正交随机特征方法(Favor+)使用新颖的快速注意,这对于可扩展的内核方法可能具有独立的兴趣。 Favor+还可以用于有效地 ...
对语音(TTS)系统的文本评估具有挑战性和资源密集型。作品之间不容易比较主观指标,例如平均意见分数(MOS)。客观指标经常使用,但很少针对主观指标进行验证 ...
多代理系统协调基于LLM的代理,以代表用户执行任务。在实际应用程序中,多代理系统将不可避免地与不受信任的输入(例如恶意的Web内容,文件,电子邮件附件等)进行交互。使用最近提出的一些多代理框架作为具体示例,我们证明了对抗内容可以在系统中抢劫和通信以调用不安全的媒介和功能性 ...
信息传播预测对于了解在线社交网络的结构和组织至关重要,并且对于阻止谣言的传播,影响最大化,政治宣传等对谣言的传播至关重要。这种限制激发了我们首次提出时间感知的个性化信息扩散预测的问题,并告诉时间何时通知目标用户 ...
文本嵌入对于诸如文本检索和语义文本相似性(STS)等任务至关重要。最近,审计的语言模型的出现,以及统一的基准测试,例如嵌入基准(MTEB),促进了多功能通用文本嵌入模型的开发。高级嵌入模型通常是使用大规模多任务数据和跨多个任务的联合培训开发的 ...
远程操作是收集人类演示的重要工具,但用灵巧的双手控制机器人仍然是一个挑战。现有的远程操作系统很难处理协调两只手进行复杂操作的复杂性。我们推出了bunny-visionpro,这是一种利用vr耳机的实时双手灵巧远程操作系统... ...
代理AI系统建立在大型语言模型(LLMS)上并通过多代理配置部署,正在重新定义跨企业和社会领域的智能自主权,协作和决策。本综述在基于LLM的代理多代理系统(AMA)的背景下对信任,风险和安全管理(TRISM)进行了结构化分析。首先,我们研究了代理AI的概念基础,其与传统AI代理的架构差异以及实现可扩展,使用工具自主权的新兴系统设计 ...
现代大语言模型的规模和计算特征导致人们对开发专门为训练和推理量身定制的专门内核产生了兴趣。现有的内核主要针对计算利用率进行优化,以大批量培训和推理设置为目标。但是,低批量推理,内存带宽和内核发射开销的贡献是重要的因素,对于许多感兴趣的应用程序,例如在边缘部署和对潜伏期敏感的应用程序中仍然很重要 ...