本文介绍了一种基于名为Sofim的正规Fisher信息矩阵（FIM）的新的随机优化方法，该方法可以有效利用FIM近似Hessian Matrix，以在机器学习模型的大规模随机优化中查找Newton的梯度更新。它可以看作是自然梯度下降的一种变体，在这种变体中，通过使用正规FIM来解决存储和计算完整FIM的挑战，并直接通过Sherman-Morrison矩阵倒置找到梯度更新方向。此外，像流行的亚当方法一样，SOFIM使用梯度的第一刻，由于异质数据而引起的小批次跨越非平稳目标问题 ...