Semi-Decentralized Federated Learning with Collaborative Relaying

我们提出了一种半分散式联邦学习算法，其中客户端通过将邻居的本地更新中继到中央参数服务器（PS）来进行协作。在与 PS 的每一轮通信中，每个客户端都会计算来自其相邻客户端的更新的本地共识，并最终将其自己的更新及其邻居的更新的加权平均值传输到 PS。我们适当优化这些平均权重，以确保PS处的全局更新是无偏的，并减少PS处的全局更新的方差，从而提高收敛速度 ...

Decentralized Federated Learning: Fundamentals, State of the Art, Frameworks, Trends, and Challenges

近年来，联邦学习（FL）在不共享敏感数据的情况下训练协作模型方面获得了相关性。自诞生以来，集中式 FL (CFL) 一直是文献中最常见的方法，其中一个中央实体创建一个全局模型。然而，由于瓶颈、系统故障的脆弱性增加以及影响负责全局模型创建的实体的可信度问题，集中式方法会导致延迟增加 ...

Position-aware Graph Neural Networks

学习捕获节点在更广泛的图结构中的位置的节点嵌入对于图上的许多预测任务至关重要。然而，现有的图神经网络（GNN）架构在捕获给定节点相对于图的所有其他节点的位置/地点方面能力有限。在这里，我们提出了位置感知图神经网络（P-GNN），这是一类用于计算位置感知节点嵌入的新型 GNN ...

Self-supervised Learning on Graphs: Deep Insights and New Direction

众所周知，深度学习的成功需要大量昂贵的注释数据。这导致了自我监督学习（SSL）的发展，旨在通过在未标记数据上创建特定领域的借口任务来缓解这一限制。与此同时，人们越来越有兴趣以图神经网络（GNN）的形式将深度学习推广到图领域 ...

Parallel and Distributed Graph Neural Networks: An In-Depth Concurrency Analysis

图神经网络（GNN）是深度学习中最强大的工具之一。他们通常以高精度解决非结构化网络上的复杂问题，例如节点分类、图分类或链路预测。然而，GNN 的推理和训练都很复杂，并且它们独特地将不规则图处理的特征与密集和规则的计算结合起来 ...

FedEgo: Privacy-preserving Personalized Federated Graph Learning with Ego-graphs

图作为包含结构和特征信息的特殊信息载体，广泛应用于图挖掘，例如图神经网络（GNN） ...

Deep Learning for Community Detection: Progress, Challenges and Opportunities

由于社区代表了相似的观点、相似的功能、相似的目的等，因此社区检测在科学探究和数据分析中都是一个重要且极其有用的工具。然而，随着深度学习技术以令人印象深刻的性能处理高维图数据的能力不断增强，传统的社区检测方法（例如谱聚类和统计推断）正在被淘汰 ...

Distributed learning of deep neural network over multiple agents

在医疗保健和金融等领域，标记数据和计算资源的短缺是开发机器学习算法时的一个关键问题。为了解决基于神经网络的系统的训练和部署中标记数据稀缺的问题，我们提出了一种新技术来在多个数据源上训练深度神经网络。我们的方法允许使用来自多个实体的数据以分布式方式训练深度神经网络 ...

SplitFed: When Federated Learning Meets Split Learning

联邦学习（FL）和分割学习（SL）是两种流行的分布式机器学习方法。两者都遵循模型到数据的场景；客户在不共享原始数据的情况下训练和测试机器学习模型。由于客户端和服务器之间的机器学习模型架构分开，SL 比 FL 提供更好的模型隐私 ...

Federated Graph Representation Learning using Self-Supervision

联合图表示学习 (FedGRL) 为图结构化数据带来了分布式训练的优势，同时解决了与数据管理相关的一些隐私和合规性问题。然而，一些有趣的现实世界图数据特征即。当前 FedGRL 设置中未考虑标签缺陷和下游任务异质性 ...