基础模型的新兴领域需要能够利用这些模型使用的各种类型的大量有价值数据的高级数据处理机制。然而，当前的景观提出了传统数据处理框架无法有效处理的独特挑战，尤其是在多模式复杂性的情况下。作为响应，我们介绍了数据简介2 ...
我们介绍 MMVU，这是一个全面的专家级、多学科基准，用于评估视频理解中的基础模型。 MMVU 包括 3,000 个专家注释的问题，涵盖四个核心学科的 27 个科目：科学、医疗保健、人文与社会科学以及工程。与之前的基准测试相比，MMVU 具有三个关键的进步 ...
对比语言-图像预训练（CLIP）因其卓越的零样本性能和对下游任务的出色可迁移性而引起了广泛关注。然而，训练如此大规模的模型通常需要大量的计算和存储，这对使用消费级计算机的普通用户造成了障碍。受这一观察的启发，在本文中，我们研究了如何在仅一个 Nvidia RTX3090 GPU 和 1 TB 存储数据集的情况下实现具有竞争力的性能 ...