arxiv GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism

阅 读

Star 0
名称
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
首页
https://yiyibooks.cn/arxiv/1811.06965v5/index.html
原始地址
https://arxiv.org/pdf/1811.06965
描述
扩展深度限制神经网络容量被认为是提高多种不同机器学习任务模型质量的有效方法。在许多情况下，将模型容量提高到超出单个加速器的内存容量需要开发特殊的算法或基础设施。这些解决方案通常是于特定的体系结构的，并且不会转移到其他任务... ...