大型语言模型（LLMS）由于高内存和运行时成本而难以处理长输入序列。内存仪的模型已成为解决此问题的有前途的解决方案，但是当前方法受到有限的内存能力的阻碍，需要昂贵的重新训练才能与新的LLM集成。在这项工作中，我们引入了一个关联内存模块，该模块可以与任何预先训练（冷冻）基于注意力的LLM耦合而无需重新训练，从而使其能够处理任意长的输入序列 ...

最近的细分市场模型（SAM）代表了缩放分割模型的重大突破，在RGB模式下的各种下游应用程序中提供了强劲的性能。但是，将SAM直接应用于新兴的视觉方式，例如深度和事件数据会导致多模式分割任务中的次优性能。在本文中，我们首次尝试通过提出针对不同输入视觉方式的低级适应专家（MOE-LORA）的混合物来调整SAM的多模式语义分割 ...

强化学习（RL）最近在机器人控制方面取得了巨大的成功。但是，RL中的大多数作品都在模拟的环境中运行（例如， ...

最近的工作表明， Transformer 模型能够对不同的NLP任务进行多任务处理，并有效地适应了新任务。但是，这些多任务模型的潜力可能会受到限制，因为它们使用相同的所有任务参数集。相比之下，人类通过对哪些技能和知识相关的适当推定并仅执行必要的计算来解决更加灵活的方式 ...

声学场景分类（ASC）是计算听觉场景分析中的关键研究问题，它旨在认识环境的独特声学特征。 ASC任务的挑战之一是训练和测试数据之间的域移动。自2018年以来，ASC挑战一直集中在ASC模型跨不同记录设备上的概括 ...

本文介绍了 xRAG，一种专为检索增强生成而定制的创新上下文压缩方法。 xRAG 将密集检索中的文档嵌入（传统上仅用于检索）重新解释为检索模态的特征。通过采用模态融合方法，xRAG 将这些嵌入无缝集成到语言模型表示空间中，有效地消除了对其文本对应项的需求，并实现了极高的压缩率 ...

大型语言模型（LLM）需要持续的知识更新，以保持不断变化的世界事实，从而促使终身模型编辑任务的制定。尽管近年来见证了单次和批次编辑的各种技术的开发，但在面对终身编辑时，这些方法要么无法应用或进行次优。在本文中，我们介绍了Lemoe，这是用于终身模型编辑的专家（MOE）适配器的高级混合物 ...

本文提出了一个范式，该范式将一般大规模预认证的模型（PTM）适应语音情感识别任务。尽管PTM对人工通用情报有了新的启示，但它们是考虑到一般任务的，因此，它们对特定任务的功效可以进一步提高。此外，由于其相当大的尺寸，在实际应用中采用PTM可能会具有挑战性 ...