arxiv Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

名称
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
首页
https://yiyibooks.cn/arxiv/1502.03167v3/index.html
原始地址
https://arxiv.org/abs/1502.03167
描述
训练深度神经网络很复杂,因为在训练过程中,随着前一层参数的变化,每层输入的分布也会发生变化。由于需要较低的学习率和仔细的参数初始化,这会减慢训练速度,并且使得训练具有饱和非线性的模型变得非常困难。我们将这种现象称为内部协变量偏移,并通过标准化层输入来解决该问题 ...