人类通过在时间和空间体验中利用长期记忆来执行复杂的任务擅长执行复杂的任务。相反,当前的大型语言模型(LLMS)努力在动态的多房间3D环境中有效地计划和行动。我们认为,该限制的一部分是由于LLM中缺乏适当的3D时空记忆建模所致 ...
尽管在各个领域取得了广泛的成功,但即使考虑到3D与3D相关的电感偏差(如翻译不变性和旋转式率),也考虑到3D原子图域(例如分子)的域(例如分子)的跨数据集的表现良好。在本文中,我们证明了 Transformer 可以很好地概括为3D原子图和当前的Equibormer,这是一个图形神经网络利用 Transformer 体系结构的强度,并结合了基于不可征服(IRREPS)的SE(3)/E(3)/E(3) - 等级特征。首先,我们仅通过用量量的产品替换了变形金刚中的原始操作,提出了一种简单有效的体系结构 ...
多代理协作通过在多个连接的代理之间启用信息共享来增强自动驾驶系统的安全性,可靠性和流动性有很大的希望。但是,现有的多代理通信方法受到现有通信媒体的局限性的阻碍,包括高带宽需求,代理异质性和信息丢失。为了应对这些挑战,我们介绍了Langcoop,这是一种用于协作自主驾驶的新范式,它利用自然语言作为一种紧凑而表现力的媒介进行跨性别的交流 ...
双方图表示学习的基本挑战是如何提取信息性的节点嵌入。自学学习(SSL)是应对这一挑战的有前途的范式。最新的两分图SSL方法基于对比度学习,该方法通过区分阳性和负节点对来学习嵌入 ...
增加嵌入层的尺寸已显示可以有效地提高建议模型的性能,但逐渐导致其大小超过工业推荐系统中的trabytes,从而增加了计算和存储成本的增加。为了在维持模型性能的同时节省资源,我们提出了鲨鱼,这是我们在推荐的工业场景系统中总结的模型压缩实践。鲨鱼由两个主要组成部分组成 ...
当神经网络依次学习任务时,灾难性的遗忘仍然是一个重大挑战。弹性重量巩固(EWC)试图通过引入贝叶斯风格的正则化损失来解决此问题,以保留以前学到的任务的知识。但是,EWC依赖于laplace近似,在该拉普拉斯近似中,假设模型参数不相关,则将Hessian简化为Fisher Information矩阵的对角线 ...
数据缩放和标准化评估基准已推动了自然语言处理和计算机视觉的重大进展。但是,机器人技术在扩展数据和建立评估协议方面面临着独特的挑战。收集现实世界的数据是资源密集且效率低下的,而在实际情况下进行基准测试仍然很复杂 ...
众所周知,生物制剂可以在他们的生活中学习许多不同的任务,并能够重新审视以前的任务和行为,而表现几乎没有损失。相比之下,人工代理人容易“灾难性遗忘”,因此,随着新的任务的获取,对先前任务的性能会迅速恶化。最近使用鼓励参数与以前的任务相关的方法来解决这一缺点 ...
大型语言模型(LLMS)通常在可视化任务中遇到的努力,例如绘制图,图表,成功取决于代码正确性和视觉语义。现有的指令调查数据集缺乏执行的监督,并为迭代代码校正提供了有限的支持,从而导致脆弱且不可靠的情节生成。我们提出了Viscode-200k,这是一种用于基于Python的可视化和自我纠正的大规模指令调整数据集 ...
作为信息提取(IE)的重要任务,事件事件因果关系提取(ECRE)旨在识别和分类自然语言文本中事件提及之间的因果关系。但是,现有对ECRE的研究强调了两个关键挑战,包括缺乏文档级建模和因果幻觉。在本文中,我们提出了一种知识引导的二进制问题回答(KNOWQA)方法,其中包括ECRE的事件结构,由两个阶段组成:事件结构构建和二进制问题回答 ...