我们研究了重整化群（RG）和深度神经网络之间的类比，其中后续的神经元层类似于沿着 RG 的连续步骤。特别是，我们通过显式计算抽取 RG 下的一维和二维 Ising 模型以及前馈神经网络中作为深度函数的相对熵或 Kullback-Leibler 散度来量化信息流。我们观察到质量相同的行为，其特征是单调增加到参数相关的渐近值 ...
在本文中，我们重点关注深度神经网络的可解释性。我们的工作受到统计力学中重正化群（RG）的推动。 RG起到了连接微观性质和宏观性质的桥梁作用，其粗粒度化过程与神经网络算法前向传播中的层间计算非常相似 ...
我们引入了一种使用可微分编程来模拟自旋模型的新颖框架，这种方法利用了机器学习和计算效率的进步。我们专注于三个不同的自旋系统：Ising 模型、Potts 模型和 Cellular Potts 模型，展示了我们的框架在建模这些复杂系统时的实用性和可扩展性。此外，该框架允许优化自旋模型，可以通过定义的目标函数调整系统的参数 ...
神经科学领域和人工神经网络（ANN）的发展相互影响，借鉴并促进了最初在统计力学中发展的许多概念。值得注意的是，霍普菲尔德网络和玻尔兹曼机是伊辛模型的版本，伊辛模型是一个在统计力学中广泛研究了一个多世纪的模型。在本章的第一部分，我们概述了人工神经网络的原理、模型和应用，强调了它们与统计力学和统计学习理论的联系 ...
Transformer 是最先进的深度学习模型，由堆叠注意力和逐点、完全连接的层组成，旨在处理顺序数据。 Transformer 不仅在自然语言处理 (NLP) 中无处不在，而且最近还激发了新一轮计算机视觉 (CV) 应用研究浪潮。在这项工作中，应用视觉变换器（ViT）来预测二维伊辛模型模拟的状态变量 ...
本文探讨了记忆增强神经网络 (MANN)，深入研究它们如何将类人记忆过程融入人工智能中。它涵盖了不同的记忆类型，如感觉记忆、短期记忆和长期记忆，将心理学理论与人工智能应用联系起来。该研究调查了 Hopfield 网络、神经图灵机、相关矩阵存储器、Memformer 和神经注意力记忆等先进架构，解释了它们的工作原理和优势所在 ...
我们引入了具有连续状态和相应更新规则的现代 Hopfield 网络。新的Hopfield网络可以以指数方式存储（与关联空间的维度）许多模式，通过一次更新检索模式，并且具有指数级的小检索错误。它具有三种类型的能量最小值（更新的固定点）：（1）对所有模式进行全局定点平均，（2）对模式子集进行亚稳态平均，以及（3）存储单个模式的固定点 ...
思想链 (CoT) 在增强大型语言模型 (LLM) 的推理性能方面占有重要地位。虽然一些研究侧重于通过检索增强等方法提高 CoT 准确性，但对于 CoT 为何取得如此成功的严格解释仍不清楚。在本文中，我们通过提出以下问题来分析两种不同设置下的 CoT 方法：（1）对于零样本 CoT，为什么提示模型“让我们一步一步思考”会显着影响其输出？ （2）对于few-shot CoT，为什么在质疑模型之前提供例子可以显着提高其推理能力？为了回答这些问题，我们从 Hopfieldian 角度进行了自上而下的可解释分析，并提出了一种读取和控制方法来控制 CoT 的准确性 ...
尽管机器学习 (ML) 技术在解决涉及大维数据的问题方面非常强大，但解释拟合参数的结果仍然是一项极其重要的挑战性任务，尤其是在物理应用中。这项工作展示了如何在铁磁 Ising 模型中实现这一目标，铁磁 Ising 模型是统计物理学中多项机器学习研究的主要目标。这里证明了通过主成分分析（这些研究中的常用方法）对相和序参数的成功无监督识别，检测到每次自旋的磁化强度随温度（相变的实际控制参数）具有最大的变化 ...
这项工作将深度神经网络映射到经典的伊辛自旋模型，允许使用统计热力学来描述它们。状态密度表明结构在经过训练后会在权重中出现——与训练不良的网络相比，训练有素的网络涵盖更广泛的可实现能量。这些结构在整个网络中传播，并且在各个层中观察不到 ...