Theoretically Principled Federated Learning for Balancing Privacy and Utility

我们提出了一个通过扭曲模型参数来保护隐私的保护机制的通用学习框架，这有利于隐私和效用之间的权衡。该算法适用于从失真映射到真实值的任意隐私测量。它可以在联邦学习的每一轮通信中为每个客户端上的每个模型参数实现个性化的效用-隐私权衡 ...

Unveiling the Vulnerability of Private Fine-Tuning in Split-Based Frameworks for Large Language Models: A Bidirectionally Enhanced Attack

预训练大型语言模型 (LLM) 的最新进展对各个领域产生了重大影响。使这些模型适应特定任务通常涉及使用私有的、特定于领域的数据进行微调（FT）。然而，出于隐私方面的考虑，这些数据并未公开，而且部署 LLM 的计算需求给资源有限的数据持有者带来了挑战 ...

When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods

随着对数据隐私问题的日益关注，最近的研究在隐私敏感的自然语言处理（NLP）任务上使用联邦学习（FL）取得了重大进展。许多文献表明，在 FL 范式中完全微调预训练语言模型 (PLM) 可以缓解数据异构性问题，并缩小与集中训练的性能差距。然而，大型 PLM 给 FL 系统带来了高昂的通信开销和本地模型适应成本 ...

Integration of Large Language Models and Federated Learning

随着大型语言模型（LLM）的参数规模不断扩大，迫切需要解决高质量数据的稀缺问题。对此，现有研究试图通过将联邦学习（FL）纳入 LLM 来取得突破。相反，考虑到 LLM 在任务泛化方面的出色表现，研究人员也尝试将 LLM 应用到FL中来应对相关领域的挑战 ...

CAPE: Context-Aware Private Embeddings for Private Language Learning

基于深度学习的语言模型在情感分析、主题标记、意图分类等许多应用中取得了最先进的结果。使用这些模型获取文本表示或嵌入提供了对从语言和上下文线索中学习到的个人身份信息进行编码的可能性，这可能会给声誉或隐私带来风险。为了改善这些问题，我们提出了上下文感知私有嵌入（CAPE），这是一种在嵌入训练期间保护隐私的新颖方法 ...

No Free Lunch Theorem for Security and Utility in Federated Learning

在多方共同从各自的数据中学习模型的联邦学习场景中，选择合适的算法存在两个相互冲突的目标。一方面，在 \textit{semi-honest} 合作伙伴存在的情况下，必须尽可能保证私人和敏感的训练数据的安全，而另一方面，必须在不同各方之间交换一定量的信息，以确保出于学习效用。这样的挑战需要保护隐私的联邦学习解决方案，该解决方案最大限度地提高学习模型的效用，并维护参与方私人数据的可证明的隐私保证 ...

InferDPT: Privacy-Preserving Inference for Black-box Large Language Model

ChatGPT 等大型语言模型 (LLM) 极大地简化了文本生成任务。然而，他们也对数据泄露和未经授权的数据收集等隐私风险表示担忧。现有的隐私保护推理解决方案面临着与计算时间和通信成本相关的实际挑战 ...

Backdoor Pre-trained Models Can Transfer to All

预训练的通用语言模型一直是实现现实世界自然语言处理 (NLP) 应用程序的主要组成部分。然而，带有后门的预训练模型可能会对应用程序构成严重威胁。现有的自然语言处理中的后门攻击大多是在微调阶段通过在目标类中引入恶意触发器来进行的，因此极大地依赖于微调任务的先验知识 ...

Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization

联邦学习（FL）是一种很有前景的范式，可以利用去中心化数据进行协作模型训练。然而，大型语言模型（LLM）的训练过程通常会导致重要参数的更新，这限制了FL技术在实际场景中处理LLM的适用性。及时调整可以显着减少要更新的参数数量，但会导致性能下降或训练效率低下 ...

Analysis of Privacy Leakage in Federated Large Language Models

随着联邦学习 (FL) 作为大型语言模型 (LLM) 应用程序的训练和调优协议的快速采用，最近的研究强调需要对 FL 进行重大修改以适应大规模的 LLM。虽然作为回应，对协议进行了重大调整，但目前缺乏对改编后的 FL 协议的全面隐私分析。为了解决这一差距，我们的工作从理论和实践的角度深入研究了用于培训 LLM 的 FL 隐私分析 ...