FDLoRA: Personalized Federated Learning of Large Language Model via Dual LoRA Tuning

大型语言模型（LLM）已成为各个领域的重要组成部分，但是他们的培训需要大量的计算资源和大量标记的数据。为个人用户（客户）培训LLM的强大培训LLM构成了一个挑战。为了应对这一挑战，直观的想法是引入联合学习（FL），该学习可以在分布式私人数据上进行协作培训模型 ...

Heroes: Lightweight Federated Learning with Neural Composition and Adaptive Local Update in Heterogeneous Edge Networks

联合学习（FL）使分布式客户能够在不暴露其私人数据的情况下进行协作训练模型。但是，由于资源有限，很难实施有效的FL。大多数现有的作品都会压缩传输梯度或修剪全球模型以降低资源成本，但将压缩或修剪的参数放在不优化的情况下，从而降低了培训性能 ...

Network Adaptive Federated Learning: Congestion and Lossy Compression

为了实现跨分布式数据的隐私和学习的双重目标，联合学习（FL）系统依赖于一组客户和服务器之间的大型文件（模型更新）的频繁交换。由于此类FL系统暴露于广泛的网络资源中的拥堵或实际上是原因。有损压缩可用于减少交换文件和关联延迟的大小，而费用为模型更新增加噪声 ...

Joint Participation Incentive and Network Pricing Design for Federated Learning

联合学习通过与服务器共享用户的本地模型参数（而不是原始数据）来保护用户的数据隐私。但是，当大型用户通过联合学习训练大型机器学习模型时，动态变化且经常进行繁重的沟通开销会给网络运营商带来巨大压力。操作员可以选择动态地改变网络价格，这最终会影响服务器和用户的收益 ...

Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning

联合学习（FL）允许多个客户合作培训模型，而无需披露本地数据。但是，现有作品无法解决FL中的所有这些实际问题：有限的通信资源，动态网络条件和异质客户属性，这些属性减慢了FL的收敛性。为了应对上述挑战，我们提出了一个具有自适应客户选择和梯度压缩的异质性吸引的FL框架，称为FedCG ...

Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge

我们设想了机器学习（ML）技术的移动边缘计算（MEC）框架，该框架利用分布的客户数据和计算资源来培训高性能ML模型，同时保留客户隐私。为了实现这个未来的目标，这项工作旨在扩展联合学习（FL）（FL），这使得对模型的保护培训可以与实用的蜂窝网络中的异构客户合作。 FL协议迭代地要求随机客户端从服务器下载可训练的模型，使用自己的数据更新它，并将更新的模型上传到服务器，同时要求服务器汇总多个客户端更新以进一步改善模型 ...

Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

联合学习是一个分布式优化范式，它使大量资源有限的客户节点能够合作训练模型而无需数据共享。几项工作通过计算数据异质性，通信和计算限制以及部分客户参与来分析联合学习的融合。但是，他们假设客户参与度无偏见，其中随机选择客户的数据大小 ...

Addressing Heterogeneity in Federated Learning via Distributional Transformation

联合学习（FL）允许多个客户协作培训深度学习模型。 FL的一个主要挑战是何时数据分布是异质的，即 ...

DynamicFL: Balancing Communication Dynamics and Client Manipulation for Federated Learning

联合学习（FL）是分布式机器学习（ML）范式，旨在通过利用数百万个边缘设备的分散数据来训练全球模型。与集中学习相比，FL可以通过明确下载其数据来保留客户的隐私。但是，鉴于地理分布的边缘设备（e ...

Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA

对预训练的大语言模型（LLMS）的联合微调可以使各种数据集的特定于任务适应，同时保留数据隐私。但是，客户资源中的较大模型大小和异质性构成了重大的计算和通信挑战。为了解决这些问题，在本文中，我们提出了一种新型的异质适应性联合低级适应性（LORA）微调LLM框架（HAFL） ...