arxiv An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems

阅 读

Star 0
名称
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems
首页
https://yiyibooks.cn/arxiv/2101.10761v2/index.html
原始地址
https://arxiv.org/abs/2101.10761
描述
深度神经网络的大小的最新增加使有效的分布式培训具有挑战性。许多建议利用了梯度的可压缩性，并提出了有损压缩技术，以加快分布式训练的通信阶段。然而，压缩是以降低模型质量和额外计算开销的成本来实现的 ...