多模态分子表示学习联合对分子图及其文本描述进行建模，通过整合结构和语义信息，对药物毒性、生物活性和理化性质进行更稳健和可靠的预测，从而提高预测准确性和可解释性。然而，现有的多模态方法存在两个关键限制：（1）它们通常仅在最终编码器层执行跨模态交互，从而忽略了层次语义依赖性； (2)它们缺乏统一的原型空间来实现模态之间的稳健对齐。为了解决这些限制，我们提出了 ProtoMol，一种原型引导的多模式框架，可以实现分子图和文本描述之间的细粒度集成和一致的语义对齐 ...
多模态情感分析已成为理解不同沟通渠道中人类情感的重要工具。虽然现有方法取得了重大进展，但它们往往难以有效地区分和整合模态共享信息和模态特定信息，从而限制了多模态学习的性能。为了应对这一挑战，我们提出了多模态情感分析分层自适应专家（HAEMSA），这是一种协同结合进化优化、跨模态知识转移和多任务学习的新颖框架 ...
生物分子建模与自然语言（BL）的整合已成为人工智能、化学和生物学交叉领域的一个有前途的跨学科领域。这种方法利用文本数据源中包含的生物分子的丰富、多方面的描述来增强我们的基本理解并实现下游计算任务，例如生物分子属性预测。通过自然语言表达的细致入微的叙述与通过各种分子建模技术描述的生物分子的结构和功能细节的融合，为全面表示和分析生物分子开辟了新的途径 ...
组织病理学仍然是癌症诊断和预后的金标准。随着转录组分析的出现，转录组学与组织学相结合的多模式学习提供了更全面的信息。然而，现有的多模态方法受到固有的多模态异质性、多尺度整合不足以及对配对数据的依赖的挑战，限制了临床适用性 ...
多模式表示学习旨在捕获多种模式的共享语义信息和互补的语义信息。但是，各种方式的内在异质性提出了实现有效的跨模式协作和整合的重大挑战。为了解决这个问题，我们介绍了DeCalign，这是一种新型的层次跨模式对齐框架，旨在将多模式表示形式与模态唯一（异质）和模态 - 共鸣（均匀）（同质）特征 ...
分子特性预测对于药物发现和毒性评估等应用至关重要。虽然图神经网络（GNN）通过将分子建模为分子图显示了有希望的结果，但它们对数据驱动学习的依赖限制了它们的泛化能力，特别是在存在数据不平衡和不同分子子结构的情况下。现有的方法常常忽视不同子结构对分子特性的不同贡献，而对它们进行统一处理 ...
多模式病理-基因组分析在癌症生存预测中变得越来越重要。然而，现有研究主要利用多实例学习来聚合斑块级特征，忽略了病理图像中上下文和层次细节的信息丢失。此外，病理学和基因组学之间数据粒度和维度的差异导致显着的模态不平衡 ...
解决缺失的模式和有限的标记数据对于推进稳健的多模式学习至关重要。我们提出了 Robult，这是一个可扩展的框架，旨在通过保留特定于模态的信息并通过新颖的信息论方法利用冗余来缓解这些挑战。 Robot 优化了两个核心目标：(1) 软正未标记 (PU) 对比损失，可最大限度地提高与任务相关的特征对齐，同时在半监督设置中有效利用有限的标记数据；(2) 潜在重建损失，可确保保留独特的模态特定信息 ...
多模态学习显着有利于癌症生存预测，尤其是病理图像和基因组数据的整合。尽管多模态学习在癌症生存预测方面具有优势，但多模态数据中的大量冗余使其无法提取有区别性和紧凑的信息：（1）大量与模态内任务无关的信息模糊了可区分性，特别是对于具有许多病理学斑块和基因组数据中数千条通路的十亿像素全幻灯片图像（WSI），导致“模态内” （2）模态间的重复信息在多模态数据的表示中占主导地位，这使得模态特定的信息容易被忽略，从而导致“模态间冗余”问题 ...
在多模态表示学习中，模态之间的协同交互不仅提供补充信息，而且还通过特定的交互模式创造独特的结果，这是任何单一模态都无法单独实现的。现有方法可能难以有效捕获全方位的协同信息，从而导致在此类交互至关重要的任务中表现不佳。这是特别有问题的，因为协同信息构成了多模态表示的基本价值主张 ...