LLM驱动的多代理协作(MAC)系统在功能级别的自动软件开发方面表现出了令人印象深刻的功能。但是,他们对人类设计的极大依赖将其适应性限制在现实世界软件开发的各种需求中。为了解决这一限制,我们介绍了Evomac,这是一种新型的Mac网络自我发展范式 ...
近年来,视觉语言模型显示出令人印象深刻的进展。但是,现有的模型在很大程度上仅限于基于转弯的互动,每个转弯都必须逐步进行(即 ...
许多现实世界应用(例如医疗保健和工业)中的多元时间序列数据信息丰富,但由于缺乏标签和高维度而具有挑战性 ...
长尾识别是具有挑战性的,因为它要求模型从尾部类别中学习良好的表示,并解决所有类别的失衡。在本文中,我们提出了一个新颖的生成和微调框架LTGC,以通过利用生成的内容来处理长尾识别。首先,受大型模型中丰富的隐性知识的启发(e ...
人类通过在时间和空间体验中利用长期记忆来执行复杂的任务擅长执行复杂的任务。相反,当前的大型语言模型(LLMS)努力在动态的多房间3D环境中有效地计划和行动。我们认为,该限制的一部分是由于LLM中缺乏适当的3D时空记忆建模所致 ...
尽管在各个领域取得了广泛的成功,但即使考虑到3D与3D相关的电感偏差(如翻译不变性和旋转式率),也考虑到3D原子图域(例如分子)的域(例如分子)的跨数据集的表现良好。在本文中,我们证明了 Transformer 可以很好地概括为3D原子图和当前的Equibormer,这是一个图形神经网络利用 Transformer 体系结构的强度,并结合了基于不可征服(IRREPS)的SE(3)/E(3)/E(3) - 等级特征。首先,我们仅通过用量量的产品替换了变形金刚中的原始操作,提出了一种简单有效的体系结构 ...
多代理协作通过在多个连接的代理之间启用信息共享来增强自动驾驶系统的安全性,可靠性和流动性有很大的希望。但是,现有的多代理通信方法受到现有通信媒体的局限性的阻碍,包括高带宽需求,代理异质性和信息丢失。为了应对这些挑战,我们介绍了Langcoop,这是一种用于协作自主驾驶的新范式,它利用自然语言作为一种紧凑而表现力的媒介进行跨性别的交流 ...
双方图表示学习的基本挑战是如何提取信息性的节点嵌入。自学学习(SSL)是应对这一挑战的有前途的范式。最新的两分图SSL方法基于对比度学习,该方法通过区分阳性和负节点对来学习嵌入 ...
增加嵌入层的尺寸已显示可以有效地提高建议模型的性能,但逐渐导致其大小超过工业推荐系统中的trabytes,从而增加了计算和存储成本的增加。为了在维持模型性能的同时节省资源,我们提出了鲨鱼,这是我们在推荐的工业场景系统中总结的模型压缩实践。鲨鱼由两个主要组成部分组成 ...
当神经网络依次学习任务时,灾难性的遗忘仍然是一个重大挑战。弹性重量巩固(EWC)试图通过引入贝叶斯风格的正则化损失来解决此问题,以保留以前学到的任务的知识。但是,EWC依赖于laplace近似,在该拉普拉斯近似中,假设模型参数不相关,则将Hessian简化为Fisher Information矩阵的对角线 ...