深度学习在许多现实世界任务中的成功引发了人们对理解深度学习在复杂任务的训练和泛化方面的力量和局限性的巨大努力，但迄今为止进展有限。在这项工作中，我们研究深度线性神经网络（DLNN）中学习的统计机制，其中单个单元的输入输出函数是线性的。尽管单元是线性的，但 DLNN 中的学习是非线性的，因此研究其属性揭示了非线性深度神经网络 (DNN) 的一些特征 ...
深度神经网络架构通常由重复的结构元素组成。我们引入了一种新方法来揭示这些模式，并且可以广泛应用于深度学习的研究。与电源板如何帮助理清和组织复杂的电缆连接类似，这种方法将神经元视为交互中的附加自由度，从而简化了结构并增强了对深层神经网络内交互的直观理解 ...
扩散生成模型通过反转逐步向数据样本添加噪声的过程，将噪声转换为数据。受到物理学中重整化组概念的启发，该组分析不同尺度的系统，我们通过探索三个关键设计方面重新审视扩散模型：1）扩散过程运行的表示形式的选择（例如 ...
我们展示了卷积深度神经网络预测 4x4 Ising 模型最近邻能量的能力。利用其在这项任务中的成功，我们激发了对更大的 8x8 Ising 模型的研究，表明深度神经网络可以在仅看到配置空间的极小部分后学习最近邻 Ising 哈密顿量。此外，我们表明神经网络已经以足够的精度学习了能量和磁化算子来复制低温伊辛相变 ...
由于配分函数及其导数通常难以处理，因此将概率模型与数据拟合通常很困难。在这里，我们提出了一种新的参数估计技术，不需要计算棘手的归一化因子或从模型的平衡分布中采样。这是通过建立将观测到的数据分布转换为模型分布的动力学，然后将数据分布与运行动力学无限短时间产生的分布之间的 KL 散度最小化作为目标来实现的 ...
深度学习是一组广泛的技术，它使用多层表示来直接从结构化数据中自动学习相关特征。最近，此类技术在计算机视觉、语音识别和自然语言处理等多种困难的机器学习任务上取得了破纪录的结果。尽管深度学习取得了巨大成功，但从理论上讲，为什么这些技术在特征学习和压缩方面如此成功，人们却知之甚少 ...
关于深度神经网络（DNN）如何从输入图像中提取特征的理论理解尚不清楚，但人们普遍认为提取是通过粗粒度过程分层执行的。它让我们想起了统计物理学中重整化群（RG）的基本概念。为了探索 DNN 和 RG 之间可能的关系，我们使用应用于伊辛模型的受限玻尔兹曼机（RBM）并构建由 RBM 生成的模型参数（特别是温度）流 ...
我们提出了一种使用基于归一化流的深度生成模型的变分重整化群（RG）方法。该模型执行从物理空间到互信息减少的潜在空间的分层变量变化转换。相反，神经网络直接将独立高斯噪声映射到遵循逆 RG 流的物理配置 ...
尽管实际应用已经快速发展，但深度学习的理论解释仍处于起步阶段。深度学习执行复杂的粗粒度化。由于粗粒度是重正化群 (RG) 的关键成分，因此 RG 可以提供与深度学习直接相关的有用理论框架 ...
深度学习和神经网络的最新进展导致人们对生成模型在统计和凝聚态物理中的应用越来越感兴趣。特别是，受限玻尔兹曼机（RBM）和变分自动编码器（VAE）作为特定类别的神经网络已成功应用于物理特征提取和表示学习的背景下。然而，尽管取得了这些成功，但人们对其代表性特性和局限性的理解仍然有限 ...