Disentangled Multi-modal Learning of Histology and Transcriptomics for Cancer Characterization

组织病理学仍然是癌症诊断和预后的金标准。随着转录组分析的出现，转录组学与组织学相结合的多模式学习提供了更全面的信息。然而，现有的多模态方法受到固有的多模态异质性、多尺度整合不足以及对配对数据的依赖的挑战，限制了临床适用性 ...

DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning

多模式表示学习旨在捕获多种模式的共享语义信息和互补的语义信息。但是，各种方式的内在异质性提出了实现有效的跨模式协作和整合的重大挑战。为了解决这个问题，我们介绍了DeCalign，这是一种新型的层次跨模式对齐框架，旨在将多模式表示形式与模态唯一（异质）和模态 - 共鸣（均匀）（同质）特征 ...

Adaptive Substructure-Aware Expert Model for Molecular Property Prediction

分子特性预测对于药物发现和毒性评估等应用至关重要。虽然图神经网络（GNN）通过将分子建模为分子图显示了有希望的结果，但它们对数据驱动学习的依赖限制了它们的泛化能力，特别是在存在数据不平衡和不同分子子结构的情况下。现有的方法常常忽视不同子结构对分子特性的不同贡献，而对它们进行统一处理 ...

Multimodal Cancer Survival Analysis via Hypergraph Learning with Cross-Modality Rebalance

多模式病理-基因组分析在癌症生存预测中变得越来越重要。然而，现有研究主要利用多实例学习来聚合斑块级特征，忽略了病理图像中上下文和层次细节的信息丢失。此外，病理学和基因组学之间数据粒度和维度的差异导致显着的模态不平衡 ...

Robult: Leveraging Redundancy and Modality Specific Features for Robust Multimodal Learning

解决缺失的模式和有限的标记数据对于推进稳健的多模式学习至关重要。我们提出了 Robult，这是一个可扩展的框架，旨在通过保留特定于模态的信息并通过新颖的信息论方法利用冗余来缓解这些挑战。 Robot 优化了两个核心目标：(1) 软正未标记 (PU) 对比损失，可最大限度地提高与任务相关的特征对齐，同时在半监督设置中有效利用有限的标记数据；(2) 潜在重建损失，可确保保留独特的模态特定信息 ...

Prototypical Information Bottlenecking and Disentangling for Multimodal Cancer Survival Prediction

多模态学习显着有利于癌症生存预测，尤其是病理图像和基因组数据的整合。尽管多模态学习在癌症生存预测方面具有优势，但多模态数据中的大量冗余使其无法提取有区别性和紧凑的信息：（1）大量与模态内任务无关的信息模糊了可区分性，特别是对于具有许多病理学斑块和基因组数据中数千条通路的十亿像素全幻灯片图像（WSI），导致“模态内” （2）模态间的重复信息在多模态数据的表示中占主导地位，这使得模态特定的信息容易被忽略，从而导致“模态间冗余”问题 ...

InfMasking: Unleashing Synergistic Information by Contrastive Multimodal Interactions

在多模态表示学习中，模态之间的协同交互不仅提供补充信息，而且还通过特定的交互模式创造独特的结果，这是任何单一模态都无法单独实现的。现有方法可能难以有效捕获全方位的协同信息，从而导致在此类交互至关重要的任务中表现不佳。这是特别有问题的，因为协同信息构成了多模态表示的基本价值主张 ...

Complementarity-driven Representation Learning for Multi-modal Knowledge Graph Completion

多模态知识图补全（MMKGC）旨在通过利用多模态和结构实体信息来揭示多模态知识图中隐藏的世界知识。然而，多模态知识图谱中固有的不平衡（其中模态分布因实体而异）给利用额外模态数据进行稳健的实体表示带来了挑战。现有的 MMKGC 方法通常依赖于注意力或基于门的融合机制，但忽略了多模态数据中包含的互补性 ...

Fragment-Wise Interpretability in Graph Neural Networks via Molecule Decomposition and Contribution Analysis

图神经网络通过利用分子图中编码的丰富结构信息在预测分子特性方面取得了显着的成功。然而，它们的黑盒性质降低了可解释性，这限制了人们对它们对药物发现和材料设计等重要应用的预测的信任。此外，由于纠缠的消息传递动力学，现有的解释技术通常无法可靠地量化单个原子或子结构的贡献 ...

UniCorn: A Unified Contrastive Learning Approach for Multi-view Molecular Representation Learning

最近，在CV和NLP领域开发预训练的基础模型时出现了明显的趋势。但是，对于分子预训练，缺乏能够有效应用于各种分子任务的通用模型，因为现有的普遍训练方法对特定类型的下游任务具有有效性。此外，缺乏对现有训练方法的深入了解，包括2D图屏蔽，2d-3d对比度学习和3D Denoising，这阻碍了分子基础模型的进步 ...