基本信息

多模态学习因其整合不同模态信息的能力而受到关注。然而，它经常受到多式联运不平衡问题的阻碍，其中某些方式占主导地位，而其他方式仍未得到充分利用。尽管最近的研究提出了多种方法来缓解这一问题，但缺乏全面和公正的比较。在本文中，我们根据各种主流多模态不平衡算法用于减轻不平衡的策略，将其系统地分为四组。为了便于对这些方法进行综合评估，我们引入了BalanceBenchmark，这是一个包含多个广泛使用的多维数据集和从性能、不平衡度和复杂度三个角度的评估指标的基准。为了确保公平比较，我们开发了一个模块化且可扩展的工具包，可以标准化不同方法的实验工作流程。基于使用 BalanceBenchmark 的实验，我们确定了不同方法组在性能、平衡度和计算复杂度方面的特征和优势的几个关键见解。我们期望此类分析能够激发更有效的方法来解决未来的不平衡问题以及基础模型。该工具包的代码可从此 https URL 获取 ...