BBTv2: Towards a Gradient-Free Future with Large Language Models

大多数下游适应方法通过梯度下降来调整预训练模型（PTM）的全部或部分参数，其中调整成本随着模型大小的增长而线性增加。相比之下，无梯度方法仅需要 PTM 的前向计算来调整提示，保留了高效调整和部署的优势。不过，过去关于无梯度调整的工作经常引入梯度下降来寻求良好的提示初始化，并且缺乏跨任务和 PTM 的通用性 ...

ZooPFL: Exploring Black-box Foundation Models for Personalized Federated Learning

当个性化联邦学习（FL）遇到大型基础模型时，各种资源限制带来了新的挑战。除了数据、计算和通信成本等典型限制之外，对模型的访问也通常受到限制。本文致力于解决资源有限和个性化的挑战 ...

Grounding Foundation Models through Federated Transfer Learning: A General Framework

诸如 GPT-4 之类的基础模型（FM）具有丰富的知识和强大的突发能力，在各种自然语言处理和计算机视觉任务中取得了显着的成功。通过使 FM 适应特定领域的任务或用特定领域的知识来增强 FM 的基础，使我们能够充分发挥 FM 的潜力。然而，基础 FM 面临着一些挑战，主要源于有限的计算资源、数据隐私、模型异构性和模型所有权 ...

Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data

由于大型语言模型 (LLM) 表现出无与伦比的性能和泛化能力，LLM 被广泛使用并集成到各种应用程序中。当涉及到联邦学习场景中常见的敏感领域时，严格的数据安全和隐私法规严格禁止直接在私有数据上使用外部 LLM 。对于本地客户来说，利用 LLM 来改进特定领域的小语言模型（SLM），其特点是计算资源有限和特定领域的数据，引起了相当多的研究关注 ...

PDSS: A Privacy-Preserving Framework for Step-by-Step Distillation of Large Language Models

在现实应用程序的背景下，利用大型语言模型（LLM）执行特定领域的任务通常面临两个主要挑战：特定领域的知识隐私和资源受限。为了解决这些问题，我们提出了 PDSS，一种用于逐步提炼 LLM 的隐私保护框架。 PDSS 在服务器-客户端架构上工作，其中客户端将扰动的提示传输到服务器的 LLM 以生成基本原理 ...

FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models

最近对联合大语言模型 (LLM) 的研究主要集中在使客户能够协作地微调其本地部署的同类 LLM，或者将知识从基于服务器的 LLM 转移到下游客户端的小语言模型 (SLM)。然而，服务器的LLM和客户端的SLM的同时相互增强仍然存在很大的差距。为了弥补这一差距，我们提出了 FedMKT，这是一种适用于大型和小型语言模型的参数高效的联合相互知识转移框架 ...

An Upload-Efficient Scheme for Transferring Knowledge From a Server-Side Pre-trained Generator to Clients in Heterogeneous Federated Learning

异构联合学习 (HtFL) 可以在具有不同模型架构的客户端之间共享特定于任务的知识，同时保护隐私。尽管最近的研究取得了进展，但由于数据和模型的异质性，HtFL 知识的转移仍然很困难。为了解决这个问题，我们引入了一个公共的预训练生成器（例如 ...

When Foundation Model Meets Federated Learning: Motivations, Challenges, and Future Directions

基础模型 (FM) 和联邦学习 (FL) 的交叉提供了互惠互利，提供了独特的机会来释放人工智能研究的新可能性，并解决人工智能和现实应用中的关键挑战。 FL 扩展了 FM 数据的可用性，并实现计算共享、分散训练过程并减轻 FL 参与者的负担。它促进协作式 FM 开发、流程民主化并促进包容性和创新 ...

FuseFL: One-Shot Federated Learning through the Lens of Causality with Progressive Model Fusion

一次性联合学习 (OFL) 通过仅聚合一次训练模型，显着降低了 FL 中的通信成本。然而，先进的 OFL 方法的性能远远落后于普通的 FL。在这项工作中，我们提供了一个因果视图，发现 OFL 方法的性能下降来自于隔离问题，这意味着由于数据异质性，OFL 中的局部隔离训练模型可能很容易拟合虚假相关性 ...

Surrogate Model Extension (SME): A Fast and Accurate Weight Update Attack on Federated Learning

在联邦学习（FL）和许多其他分布式训练框架中，协作者可以在本地保存自己的私有数据，并且仅在多次迭代后共享用本地数据训练的网络权重。梯度反转是一系列隐私攻击，可从生成的梯度中恢复数据。表面上，FL 可以在一定程度上防止权重更新时的梯度反转攻击，因为单个步骤的梯度被多次局部迭代的梯度累积所隐藏 ...