The statistical thermodynamics of generative diffusion models: Phase transitions, symmetry breaking and critical instability

生成扩散模型在生成建模的许多领域取得了令人瞩目的性能。虽然这些模型背后的基本思想来自非平衡物理学、变分推理和随机微积分，但在本文中，我们表明可以使用平衡统计力学工具来理解这些模型的许多方面。使用这种重新表述，我们表明生成扩散模型经历了与对称破缺现象相对应的二阶相变 ...

How to Train Your Energy-Based Models

基于能量的模型 (EBM)，也称为非归一化概率模型，指定未知归一化常数的概率密度或质量函数。与大多数其他概率模型不同，EBM 不会对归一化常数的易处理性施加限制，因此参数化更加灵活，并且可以对更具表现力的概率分布族进行建模。然而，EBM 的归一化常数未知使得训练特别困难 ...

Valid Two-Sample Graph Testing via Optimal Transport Procrustes and Multiscale Graph Correlation with Applications in Connectomics

测试两个图是否来自同一分布在许多现实世界场景中都很有趣，包括脑网络分析。在随机点积图模型下，非参数假设检验框架包括使用邻接谱嵌入（ASE）嵌入图，然后使用中值翻转启发式对齐嵌入，最后应用非参数最大均值差异（MMD） ) 测试以获得 p 值。使用果蝇大脑网络生成的合成数据，我们表明中值翻转启发式结果会导致无效测试，并证明用于对齐的最佳传输 Procrustes (OTP) 可以解决无效问题 ...

Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models

从社交网络到生物研究和推荐系统，分析图表的需求在各个领域都无处不在。因此，启用大型语言模型（LLM）处理图形的能力是迈向更高级通用智能的重要一步。然而，当前关于图分析的 LLM 基准要求模型直接对描述图拓扑的提示进行推理，因此仅限于只有几十个节点的小图 ...

Passage Re-ranking with BERT

最近，在语言建模任务上预训练的神经模型，例如 ELMo (Peters 等人, 2017)、OpenAI GPT (Radford 等人, 2018) 和 BERT (Devlin 等人) ...

Machine learning with neural networks

这些是我在瑞典哥德堡的哥德堡大学和查尔姆斯理工大学为科学家和工程师讲授的神经网络机器学习课程的讲义。该材料分为三个部分：Hopfield 网络、标记数据的监督学习以及未标记数据集的学习算法。第一部分介绍随机循环网络：Hopfield 网络和玻尔兹曼机 ...

Gaussian Processes: A Quick Introduction

高斯过程 (GP) 的简要介绍。该文档的三个部分考虑了 GP 的回归、分类和降维 ...

An Introduction to Gaussian Process Models

在过去的二十年中，由于偏差方差权衡以及与贝叶斯数学的紧密联系等一些有益的特性，高斯过程回归越来越多地用于动态系统建模。作为数据驱动的方法，高斯过程是非线性函数回归的强大工具，无需太多先验知识。与大多数其他技术相比，高斯过程建模不仅提供平均预测，还提供模型保真度的度量 ...

Some Fractional and Multifractional Gaussian Processes: A Brief Introduction

本文简要介绍了自然现象和人造系统建模中常用的一些重要的分数和多重分数高斯过程。这些过程包括分数布朗运动（标准型和黎曼-刘维尔型）、多重分数布朗运动、分数和多重分数奥恩斯坦-乌伦贝克过程、分数和多重雷斯-贝塞尔运动。简要提及了这些过程的可能应用 ...

Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo

深度高斯过程 (DGP) 是高斯过程的分层概括，它将经过良好校准的不确定性估计与多层模型的高度灵活性相结合。这些模型的最大挑战之一是精确推理很棘手。当前最先进的推理方法，变分推理（VI），采用后验分布的高斯近似 ...