Federated Low-Rank Adaptation with Differential Privacy over Wireless Networks

在分布式边缘设备上微调大型预训练的基础模型（FMS）提出了巨大的计算和隐私挑战。联合的微调（FEDFT）通过促进协作模型培训而无需共享原始数据来减轻一些隐私问题。为了减轻资源有限设备上的计算负担，将低级适应性（LORA）与联合学习相结合，启用了参数有效的微调 ...

Low-Rank Adaptation for Foundation Models: A Comprehensive Review

基金会模型的快速发展受培训，该网络接受了多样化的，广泛的数据集团彻底改变了人工智能，从而在自然语言处理，计算机视觉和科学发现等领域跨越了前所未有的进步。但是，这些模型的大量参数计数通常达到数十亿或万亿，在使其适应特定的下游任务时面临着重大挑战。低级适应性（LORA）已成为缓解这些挑战的一种高度有希望的方法，为使用最小的计算开销提供了一种参数效率的机制来微调基础模型 ...

Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models

多模式的大型语言模型（LLM）是通过整合多种模式（例如文本，图像和音频）来彻底改变客户支持和操作的关键。联合及时学习（FPL）是一种最近提出的方法，它结合了预训练的多模式LLM，例如视觉语言模型与联合学习，以创建个性化的，具有隐私的AI系统。但是，平衡个性化，概括和隐私的竞争目标仍然是一个重大挑战 ...

Communication-Efficient Multimodal Federated Learning: Joint Modality and Client Selection

多模式联合学习（FL）旨在丰富客户在多种模式中收集测量的FL设置中的模型培训。但是，对多模式FL的主要挑战仍然没有解决，尤其是在异质网络设置中：（i）每个客户收集的方式集将是多种多样的，（ii）沟通限制阻止客户将其所有经过本地训练的模式上传到上传到该模型服务器。在本文中，我们提出了具有联合模式和客户选择（MMFEDMC）的多模式联合学习，这是一种新的FL方法，可以应对多模式环境中上述挑战 ...

Federated Large Language Models: Current Progress and Future Directions

大型语言模型正在迅速普及，并在实际应用中得到广泛采用。虽然训练数据的质量至关重要，但数据收集过程中会出现隐私问题。联合学习提供了一种解决方案，允许多个客户在不共享本地数据的情况下协作培训 LLM ...

Critic-V: VLM Critics Help Catch VLM Errors in Multimodal Reasoning

视觉语言模型（VLM）在多模态推理任务中显示出显着的进步。然而，由于幻觉的图像理解或不完善的推理路径等问题，它们仍然经常产生不准确或不相关的响应。为了应对这些挑战，我们引入了 Critic-V，这是一种受 Actor-Critic 范式启发的新颖框架，旨在提高 VLM 的推理能力 ...