我们提出了一种使用基于归一化流的深度生成模型的变分重整化群（RG）方法。该模型执行从物理空间到互信息减少的潜在空间的分层变量变化转换。相反，神经网络直接将独立高斯噪声映射到遵循逆 RG 流的物理配置 ...
尽管实际应用已经快速发展，但深度学习的理论解释仍处于起步阶段。深度学习执行复杂的粗粒度化。由于粗粒度是重正化群 (RG) 的关键成分，因此 RG 可以提供与深度学习直接相关的有用理论框架 ...
深度学习和神经网络的最新进展导致人们对生成模型在统计和凝聚态物理中的应用越来越感兴趣。特别是，受限玻尔兹曼机（RBM）和变分自动编码器（VAE）作为特定类别的神经网络已成功应用于物理特征提取和表示学习的背景下。然而，尽管取得了这些成功，但人们对其代表性特性和局限性的理解仍然有限 ...
我们研究了重整化群（RG）和深度神经网络之间的类比，其中后续的神经元层类似于沿着 RG 的连续步骤。特别是，我们通过显式计算抽取 RG 下的一维和二维 Ising 模型以及前馈神经网络中作为深度函数的相对熵或 Kullback-Leibler 散度来量化信息流。我们观察到质量相同的行为，其特征是单调增加到参数相关的渐近值 ...
在本文中，我们重点关注深度神经网络的可解释性。我们的工作受到统计力学中重正化群（RG）的推动。 RG起到了连接微观性质和宏观性质的桥梁作用，其粗粒度化过程与神经网络算法前向传播中的层间计算非常相似 ...
我们引入了一种使用可微分编程来模拟自旋模型的新颖框架，这种方法利用了机器学习和计算效率的进步。我们专注于三个不同的自旋系统：Ising 模型、Potts 模型和 Cellular Potts 模型，展示了我们的框架在建模这些复杂系统时的实用性和可扩展性。此外，该框架允许优化自旋模型，可以通过定义的目标函数调整系统的参数 ...
神经科学领域和人工神经网络（ANN）的发展相互影响，借鉴并促进了最初在统计力学中发展的许多概念。值得注意的是，霍普菲尔德网络和玻尔兹曼机是伊辛模型的版本，伊辛模型是一个在统计力学中广泛研究了一个多世纪的模型。在本章的第一部分，我们概述了人工神经网络的原理、模型和应用，强调了它们与统计力学和统计学习理论的联系 ...
Transformer 是最先进的深度学习模型，由堆叠注意力和逐点、完全连接的层组成，旨在处理顺序数据。 Transformer 不仅在自然语言处理 (NLP) 中无处不在，而且最近还激发了新一轮计算机视觉 (CV) 应用研究浪潮。在这项工作中，应用视觉变换器（ViT）来预测二维伊辛模型模拟的状态变量 ...
本文探讨了记忆增强神经网络 (MANN)，深入研究它们如何将类人记忆过程融入人工智能中。它涵盖了不同的记忆类型，如感觉记忆、短期记忆和长期记忆，将心理学理论与人工智能应用联系起来。该研究调查了 Hopfield 网络、神经图灵机、相关矩阵存储器、Memformer 和神经注意力记忆等先进架构，解释了它们的工作原理和优势所在 ...
我们引入了具有连续状态和相应更新规则的现代 Hopfield 网络。新的Hopfield网络可以以指数方式存储（与关联空间的维度）许多模式，通过一次更新检索模式，并且具有指数级的小检索错误。它具有三种类型的能量最小值（更新的固定点）：（1）对所有模式进行全局定点平均，（2）对模式子集进行亚稳态平均，以及（3）存储单个模式的固定点 ...