联合学习（FL）可以在中央服务器协调从许多客户分配的数据中进行学习的设置中的隐私问题。客户在本地培训并将他们学习的模型传达给服务器；本地模型的聚合需要频繁地在客户端和中央服务器之间进行大量信息。我们提出了一种新颖，简单有效的方式，可以根据来自客户的收集模型的收集模型，以提供信息丰富的更新并估算未传达的本地更新 ...
尽管DRL（深度强化学习）已成为比现有手工制作的通信协议做出更好决策的强大工具，但它面临着重大局限性：1）选择适当的神经网络体系结构并设置超参数对于达到所需的性能水平至关重要，需要域名专业化。 2）DRL模型中的决策过程通常是不透明的，通常被描述为“黑匣子”。 3）DRL模型是饥饿的数据 ...
Cross-Silo Federated学习提供了一种有希望的解决方案，可以协作培训强大的AI模型，而不会损害本地数据集的隐私，例如医疗保健，财务状况以及缺乏集中数据设施的科学项目 ...
Federated Learning（FL）是一种创新的分布式机器学习范式，使多方能够在不共享其原始数据的情况下协作训练模型，从而保留数据隐私。交流效率涉及跨索洛FL的问题，特别是由于网络异质性和与地理分布的筒仓相关的波动。这些问题的大多数解决方案都集中在改变FL算法但牺牲培训性能的算法改进上 ...
我们通过对学习的$ a $ a $ a $ $ b $矩阵的不对称分析的镜头进行联合学习的洛拉。为此，我们发现$ A $矩阵负责学习通用知识，而$ b $矩阵专注于捕获特定于客户的知识。基于这一发现，我们介绍了联合Share-a-a-Rank Apaptation（FEDSA-LORA），该改编（FEDSA-LORA）使用两个低级别训练的矩阵$ a $ a $ a $ and $ b $来对重量更新进行建模，但只有$ a $ a $矩阵与服务器共享用于聚合 ...
由于对大型语言模型有效进行微调的需求，低级适应（Lora）已被广泛用作最有效的参数有效的微调方法之一。然而，尽管洛拉提高了效率，但准确性仍然可以提高。在此，我们采用了一种新颖的观点来评估洛拉等级的特征 ...
基于 Transformer 的大型语言模型（LLM）在各种任务中取得了巨大的成功。然而，由于资源限制和沟通开销，对联合学习（FL）设置中的这种大规模模型（FL）设置中的微调构成了重大挑战。低级适应性（LORA）通过训练紧凑，低级矩阵而不是完全微调的大型模型来解决这些问题 ...
自2019年GPT2--1.5B发明以来，大型语言模型（LLM）已从专用模型转变为多功能基础模型。但是，LLM表现出令人印象深刻的零射击能力，需要对本地数据集进行微调和大量的部署资源 ...
大型语言模型（LLM）已成为各个领域的重要组成部分，但是他们的培训需要大量的计算资源和大量标记的数据。为个人用户（客户）培训LLM的强大培训LLM构成了一个挑战。为了应对这一挑战，直观的想法是引入联合学习（FL），该学习可以在分布式私人数据上进行协作培训模型 ...
联合学习（FL）使分布式客户能够在不暴露其私人数据的情况下进行协作训练模型。但是，由于资源有限，很难实施有效的FL。大多数现有的作品都会压缩传输梯度或修剪全球模型以降低资源成本，但将压缩或修剪的参数放在不优化的情况下，从而降低了培训性能 ...