An overview of gradient descent optimization algorithms

梯度下降优化算法虽然越来越流行，但经常被用作黑盒优化器，因为很难对其优点和缺点进行实际解释。本文旨在为读者提供有关不同算法行为的直觉，以便他们能够使用它们。在本概述的过程中，我们研究了梯度下降的不同变体，总结了挑战，介绍了最常见的优化算法，回顾了并行和分布式设置中的架构，并研究了优化梯度下降的其他策略 ...

Leveraging Spatial and Temporal Correlations in Sparsified Mean Estimation

我们研究在中央服务器估计分布在多个节点上的一组向量的平均值的问题（每个节点一个向量）。当向量是高维时，发送整个向量的通信成本可能会令人望而却步，并且它们可能必须使用稀疏化技术。虽然大多数现有的稀疏均值估计工作与数据向量的特征无关，但在联邦学习等许多实际应用中，可能存在空间相关性（不同节点发送的向量的相似性）或时间相关性（数据中的相似性）由单个节点通过算法的不同迭代发送）在数据向量中 ...

Inference on the proportion of variance explained in principal component analysis

主成分分析 (PCA) 是一种长期存在且经过充分研究的降维方法。它基于这样的假设：数据中的基础信号具有低等级，因此可以使用少量维度来很好地概括。 PCA 的输出通常使用碎石图表示，该图显示每个主成分解释的方差比例 (PVE) ...

Creating a Spatial Vulnerability Index for Environmental Health

极端自然灾害的频率和强度不断增加。我们环境的这些自然变化加上人为污染，对全球经济、社会和健康产生了巨大影响。国际研究文献中越来越多地了解环境对人类健康（环境健康）的影响 ...