Joint Participation Incentive and Network Pricing Design for Federated Learning

联合学习通过与服务器共享用户的本地模型参数（而不是原始数据）来保护用户的数据隐私。但是，当大型用户通过联合学习训练大型机器学习模型时，动态变化且经常进行繁重的沟通开销会给网络运营商带来巨大压力。操作员可以选择动态地改变网络价格，这最终会影响服务器和用户的收益 ...

Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning

联合学习（FL）允许多个客户合作培训模型，而无需披露本地数据。但是，现有作品无法解决FL中的所有这些实际问题：有限的通信资源，动态网络条件和异质客户属性，这些属性减慢了FL的收敛性。为了应对上述挑战，我们提出了一个具有自适应客户选择和梯度压缩的异质性吸引的FL框架，称为FedCG ...

Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge

我们设想了机器学习（ML）技术的移动边缘计算（MEC）框架，该框架利用分布的客户数据和计算资源来培训高性能ML模型，同时保留客户隐私。为了实现这个未来的目标，这项工作旨在扩展联合学习（FL）（FL），这使得对模型的保护培训可以与实用的蜂窝网络中的异构客户合作。 FL协议迭代地要求随机客户端从服务器下载可训练的模型，使用自己的数据更新它，并将更新的模型上传到服务器，同时要求服务器汇总多个客户端更新以进一步改善模型 ...

Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

联合学习是一个分布式优化范式，它使大量资源有限的客户节点能够合作训练模型而无需数据共享。几项工作通过计算数据异质性，通信和计算限制以及部分客户参与来分析联合学习的融合。但是，他们假设客户参与度无偏见，其中随机选择客户的数据大小 ...

Addressing Heterogeneity in Federated Learning via Distributional Transformation

联合学习（FL）允许多个客户协作培训深度学习模型。 FL的一个主要挑战是何时数据分布是异质的，即 ...

DynamicFL: Balancing Communication Dynamics and Client Manipulation for Federated Learning

联合学习（FL）是分布式机器学习（ML）范式，旨在通过利用数百万个边缘设备的分散数据来训练全球模型。与集中学习相比，FL可以通过明确下载其数据来保留客户的隐私。但是，鉴于地理分布的边缘设备（e ...

Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA

对预训练的大语言模型（LLMS）的联合微调可以使各种数据集的特定于任务适应，同时保留数据隐私。但是，客户资源中的较大模型大小和异质性构成了重大的计算和通信挑战。为了解决这些问题，在本文中，我们提出了一种新型的异质适应性联合低级适应性（LORA）微调LLM框架（HAFL） ...

Federated LoRA with Sparse Communication

低级适应性（LORA）是一种自然的方法，可以在通信受限的机器学习设置（例如联合学习的跨设备）中进行填充。在联邦学习的背景下研究洛拉的先前工作重点是改善洛拉对异质性和隐私性的稳健性。在这项工作中，我们考虑了进一步提高联邦洛拉（Lora）的沟通效率的技术 ...

Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources

联合学习（FL）最近已应用于大语言模型（LLMS）的参数效率微调。尽管有希望，但由于客户的异质资源和数据分布，它引起了重大挑战。这项研究介绍了Flexlora，这是一种简单而有效的LLM微调汇总计划，在传统FL中降低了``桶效应''的````桶效应'''，从而限制了客户提供充足资源的潜力，从而将他们绑定到了资源最少的参与者的能力 ...

Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models

基金会模型（FMS）很好地适应了具有微调和联合学习（FL）的特定领域或任务，从而有可能使用智障本地数据对FMS进行隐私性微调。对于FMS的联合微调，我们考虑具有最大数十亿个小型参数尺寸的FMS，最大为10亿个数字，被称为“ evice FMS（ODFM”），可以在设备上进行推理以进行推理，但只能通过参数有效方法进行微调。在我们的工作中，我们通过提出一种使用异质性低级别近似值（Loras）（即Hetlora）提出一种新方法来解决ODFM联合微调的数据和系统异质性问题 ...