- 名称
- DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning
- 描述
多模式表示学习旨在捕获多种模式的共享语义信息和互补的语义信息。但是,各种方式的内在异质性提出了实现有效的跨模式协作和整合的重大挑战。为了解决这个问题,我们介绍了DeCalign,这是一种新型的层次跨模式对齐框架,旨在将多模式表示形式与模态唯一(异质)和模态 - 共鸣(均匀)(同质)特征 ...
多模式表示学习旨在捕获多种模式的共享语义信息和互补的语义信息。但是,各种方式的内在异质性提出了实现有效的跨模式协作和整合的重大挑战。为了解决这个问题,我们介绍了DeCalign,这是一种新型的层次跨模式对齐框架,旨在将多模式表示形式与模态唯一(异质)和模态 - 共鸣(均匀)(同质)特征 ...