VL-PET: Vision-and-Language Parameter-Efficient Tuning via Granularity Control

随着预训练的语言模型（PLM）的模型大小迅速增长，对于模型培训和存储而言，完整的微调变得非常昂贵。在视觉和语言（VL）中，提出了参数有效的调整（PET）技术来整合模块化修饰（例如 ...

LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models

软提示学习最近成为使用一些培训示例将V＆L模型适应下游任务的首选方法之一。但是，当在同一域中看不见的类别测试时，当前的方法显着过度拟合了训练数据，患有大量准确性降解。为此，在本文中，我们做出以下4个贡献：（1）减轻基类过度适应，我们提出了一种新颖的语言意识到的软提示（LASP）学习方法（LASP）学习方法，即文本到文本跨性别损失损失，以最大程度地提示所学习的提示的可能性，以与预先定义的手工制作的文本提示正确地分类 ...

Multi-Modal Adapter for Vision-Language Models

诸如剪辑之类的大型预训练视觉模型（例如剪辑）在不需要重新培训的情况下展示了各种图像分类任务的最先进性能。几乎没有弹出的剪辑与现有的专业体系结构进行了竞争，这些架构经过了下游任务的培训。最近的研究表明，使用轻量级适应方法可以进一步提高剪辑的性能 ...

Parameter-efficient Tuning of Large-scale Multimodal Foundation Model

在大规模预训练的进展中，参数效率的转移学习在人工智能的不同子场上获得了巨大的流行。核心是将模型调整为只有一小部分参数的下游任务。最近，研究人员在多模式任务中利用了这种验证的技术，并实现了令人鼓舞的结果 ...

Multimodal Contrastive Training for Visual Representation Learning

我们开发了一种学习视觉表示的方法，该方法由内部和模式间相似性保护目标的结合驱动，该方法包含多模式数据。与现有的视觉预训练方法（在单个域中求解代理预测任务）不同，我们的方法利用了每种模式中的内在数据属性，并同时从交叉模式相关性中利用了语义信息，从而提高了学习视觉表示的质量。通过在具有不同类型的对比损失的统一框架中包括多模式训练，我们的方法可以学习更强大和通用的视觉特征 ...

Exploiting Diffusion Prior for Real-World Image Super-Resolution

我们提出了一种新颖的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识来实现​​盲超分辨率（SR）。具体来说，通过使用我们的时间感知编码器，我们可以在不改变预先训练的合成模型的情况下实现有希望的恢复结果，从而保留生成先验并最小化训练成本。为了弥补扩散模型固有的随机性造成的保真度损失，我们采用了可控的特征包装模块，该模块允许用户通过在推理过程中简单地调整标量值来平衡质量和保真度 ...

ID-Aligner: Enhancing Identity-Preserving Text-to-Image Generation with Reward Feedback Learning

扩散模型的快速发展引发了多样化的应用。身份保留文本到图像生成（ID-T2I）因其广泛的应用场景（例如人工智能肖像和广告）而受到广泛关注。虽然现有的 ID-T2I 方法已经取得了令人印象深刻的结果，但仍然存在一些关键挑战：（1）很难准确地保持参考肖像的身份特征，（2）生成的图像缺乏审美吸引力，特别是在执行身份保留时，以及（3） ）存在无法同时兼容基于LoRA和基于Adapter的方法的限制 ...

Chain-of-Thought Hub: A Continuous Effort to Measure Large Language Models' Reasoning Performance

随着大型语言模型（LLM）的不断开发，它们的评估变得越来越重要但也具有挑战性。这项工作提出了 Chain-of-Thought Hub，这是一个针对大型语言模型的多步推理能力的开源评估套件。我们对这种设置感兴趣有两个原因：（1）从 GPT 和 PaLM 模型家族的行为来看，我们观察到复杂的推理可能是弱 LLM 和强 LLM 之间的关键区别； （2）我们设想大型语言模型成为下一代计算平台，并培育基于LLM的新应用生态系统，这自然需要基础模型能够执行通常涉及语言和逻辑运算组合的复杂任务 ...

Device-Cloud Collaborative Recommendation via Meta Controller

设备端机器学习可以在本地客户端轻量级部署推荐模型，从而减少基于云的推荐器的负担，同时支持更多的实时用户功能。尽管如此，基于云的推荐器增强的模型能力和从数据十亿规模的项目池中高效生成候选者，在行业中仍然非常重要。整合之前两种范式优点的尝试主要采用顺序机制，该机制在基于云的推荐之上构建设备端推荐器... ...

PAL: Program-aided Language Models

最近，大型语言模型（LLM）在测试时提供了一些示例（“微小提示”）时，表现出了执行运算术和符号推理任务的令人印象深刻的能力。这种成功在很大程度上要归功于如每个“思维链”之类的提示方法，这些方法利用LLM通过将问题描述分解为步骤来理解问题描述，并解决问题的步骤。由于熟练了这种逐步分解，LLM经常在解决方案部分出现逻辑和算术错误，即使问题串联正确... ...