这项工作提出了一种混合建模方法，用于数据驱动的学习以及未知物理过程和闭包参数化的表示。这些混合模型适用于某些变量的动力学机制描述未知，但可以获得系统状态演化相当准确的观测数据的情况。在这项工作中，我们提出机器学习来解释缺失的物理现象，然后使用数据同化来纠正预测 ...
伊辛机是耦合自旋伊辛模型的硬件实现，它对人工智能 (AI) 起源的无监督学习算法的发展产生了影响。然而，由于监督训练方法与伊辛机器物理学相匹配的复杂性，它们在人工智能中的应用受到了限制，尽管这些方法对于实现高精度至关重要。在这项研究中，我们展示了一种通过平衡传播算法以监督方式训练伊辛机的新颖方法，取得了与基于软件的实现相当的结果 ...
我们引入平衡传播，这是一种基于能量的模型的学习框架。它只涉及一种神经计算，在训练的第一阶段（做出预测时）和第二阶段（在揭示目标或预测误差之后）执行。尽管该算法像反向传播一样计算目标函数的梯度，但它不需要第二阶段的特殊计算或电路，其中误差是隐式传播的 ...
让大型语言模型（LLM）能够处理更广泛的复杂任务（例如编码、数学）引起了许多研究人员的极大关注 ...
二阶训练方法比梯度下降具有更好的收敛特性，但由于其计算开销，在实践中很少用于大规模训练。这可以被视为硬件限制（由数字计算机施加）。在这里，我们表明，当采用适当的硬件时，自然梯度下降（NGD）（一种二阶方法）每次迭代的计算复杂度与一阶方法相似 ...
对复杂预测模型（例如深度神经网络）的完全贝叶斯处理将实现严格的不确定性量化和包括模型选择在内的更高级别任务的自动化。然而，对许多参数进行贝叶斯后验采样的棘手性阻碍了贝叶斯方法在最需要的地方的使用。热力学计算已成为加速机器学习中操作（例如矩阵求逆）的范例，并且基于朗之万方程到噪声物理系统动力学的映射 ...
机器学习中的优化，无论是理论上还是应用上，目前都以一阶梯度方法（例如随机梯度下降）为主。尽管理论特性很强，但涉及数据的二阶导数和/或二阶统计的二阶优化方法却远不那么流行，因为它们的计算、内存和通信成本过高。为了弥合理论和实际优化之间的差距，我们提出了二阶预处理方法（具体来说，全矩阵 Adagrad 的变体）的可扩展实现，连同一些关键的算法和数值改进，提供了显着的收敛性与最先进的深度模型上的传统一阶方法相比，挂钟时间得到了改进 ...
基于深度神经网络 (DNN) 的算法正在成为未来无线通信系统中许多物理和 MAC 层功能的重要工具，包括大型多天线信道。然而，训练此类模型通常需要大量高维通道测量数据集，而获得这些数据集非常困难且昂贵。本文介绍了一种使用基于扩散的模型生成合成无线信道数据的新方法，以生成准确反映真实无线环境的用户特定信道 ...
本文旨在释放一类著名的生成人工智能 (GAI) 方法的潜力，即扩散模型 (DM)，用于移动通信。首先，提出了一种DM驱动的通信架构，它引入了两个关键范例，即 ...
许多人工智能 (AI) 算法都受到物理学的启发并采用随机波动。我们将这些受物理启发的人工智能算法统一在一个我们称为热力学人工智能的数学框架下，将它们连接起来。该框架可以描述看似不同的算法类别，例如，（1）生成扩散模型，（2）贝叶斯神经网络，（3）蒙特卡洛采样和（4）模拟退火 ...