- 名称
- InfMasking: Unleashing Synergistic Information by Contrastive Multimodal Interactions
- 描述
在多模态表示学习中,模态之间的协同交互不仅提供补充信息,而且还通过特定的交互模式创造独特的结果,这是任何单一模态都无法单独实现的。现有方法可能难以有效捕获全方位的协同信息,从而导致在此类交互至关重要的任务中表现不佳。这是特别有问题的,因为协同信息构成了多模态表示的基本价值主张 ...
在多模态表示学习中,模态之间的协同交互不仅提供补充信息,而且还通过特定的交互模式创造独特的结果,这是任何单一模态都无法单独实现的。现有方法可能难以有效捕获全方位的协同信息,从而导致在此类交互至关重要的任务中表现不佳。这是特别有问题的,因为协同信息构成了多模态表示的基本价值主张 ...