机械性解释性领域旨在研究单个神经元在深神经网络中的作用。但是,单个神经元具有多元化作用并为多个(无关)特征编码的能力,从而使他们的解释变得困难。我们提出了一种通过将多种神经元分解为多个单义学“虚拟”神经元的方法来解开任何深神经网络多义的方法 ...
大型语言模型(LLM)中的一个新兴主题是其在时间序列预测中的应用,表征了时间序列的主流和图案特征。一个相关但很少探索和更具挑战性的问题是LLM是否可以检测和解释时间序列异常,这是各种现实世界应用程序中的关键任务。在本文中,我们研究了LLM的功能,特别是GPT-4和LLAMA3在检测和解释时间序列中的异常方面 ...
可以在各种环境中自主操作的人形机器人有可能帮助解决工厂中的劳动力短缺,在房屋中协助老年人并殖民新行星。尽管在许多设置中,针对人形机器人的经典控制器表现出了令人印象深刻的结果,但它们在推广和适应新环境方面具有挑战性。在这里,我们提出了一种完全基于学习的人类人体运动的方法 ...
具有扩散模型的逆分子设计具有材料和药物发现进展的巨大潜力。尽管无条件的分子产生成功,但将多种特性(例如合成评分和气体渗透性)作为条件约束到扩散模型中仍然没有探索。我们介绍用于多条件分子生成的图扩散 Transformer (图DIT) ...
培训最先进的大语言模型需要大量的干净和多样化的文本数据。但是,构建合适的多语言数据集仍然是一个挑战。在这项工作中,我们介绍了HPLT V2,这是一系列高质量的多语言单语言和平行语料库 ...
我们提出种子(\ textbf {se} mantic \ textbf {e}视觉脑\ textbf {d} ecoding的估值,这是一种用于评估视觉脑解码模型的语义解码性能的新颖指标。它集成了三个互补指标,每个指标都捕获了图像之间语义相似性的不同方面。使用仔细的人类判断数据,我们证明种子与人类评估达到了最高的一致性,表现优于其他广泛使用的指标 ...
尽管做出了巨大的努力,但神经网络的可解释性仍然是一个难以捉摸的目标,先前的研究未能对大多数单个神经元对网络输出的影响提供简洁的解释。这种局限性是由于大多数神经元的多性性性质,因此给定的神经元参与了多个无关的网络状态,从而使该神经元的解释变得复杂。在本文中,我们应用了神经科学和信息理论开发的工具,既提出了一种新颖的实用方法来解释性,以及对多义和代码密度的理论见解 ...
准确的医疗保健预测对于改善患者预后至关重要。现有工作主要利用注意力或图形网络等高级框架来捕获电子健康记录中复杂的协作(CO)信号。但是,由于有限的共发生和量身定制的方法,对罕见疾病的预测仍然具有挑战性 ...