Diffusion Models for Generative Artificial Intelligence: An Introduction for Applied Mathematicians

生成式人工智能 (AI) 是指创建合成但真实的输出的算法。扩散模型目前在图像生成人工智能方面提供了最先进的性能。它们还构成了更通用工具的关键组件，包括文本到图像生成器和大型语言模型 ...

Implicit Generation and Generalization in Energy-Based Models

基于能量的模型 (EBM) 由于其似然建模的通用性和简单性而颇具吸引力，但传统上很难训练。我们提出了在连续神经网络上扩展基于 MCMC 的 EBM 训练的技术，并展示了其在 ImageNet32x32、ImageNet128x128、CIFAR-10 和机器人手轨迹的高维数据域上的成功，获得了比其他似然模型更好的样本，并接近当代 GAN 方法的性能，同时涵盖所有数据模式。我们强调隐式生成的一些独特功能，例如组合性和损坏的图像重建和修复 ...

Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey

这是关于玻尔兹曼机 (BM)、受限玻尔兹曼机 (RBM) 和深度置信网络 (DBN) 的教程和调查论文。我们从概率图模型、马尔可夫随机场、吉布斯采样、统计物理学、伊辛模型和霍普菲尔德网络所需的背景开始。然后，我们介绍了BM和RBM的结构 ...

Deep Generative Models on 3D Representations: A Survey

生成模型旨在通过生成新实例来学习观察数据的分布。随着神经网络的出现，深度生成模型，包括变分自动编码器（VAE）、生成对抗网络（GAN）和扩散模型（DM），在合成 2D 图像方面取得了显着进展。最近，研究人员开始将注意力从 2D 空间转移到 3D 空间，因为考虑到 3D 数据与我们的物理世界更加紧密地结合在一起，并且具有巨大的实际潜力 ...

Beyond Statistical Similarity: Rethinking Metrics for Deep Generative Models in Engineering Design

变分自动编码器 (VAE)、生成对抗网络 (GAN)、扩散模型和 Transformer 等深度生成模型在图像和语音合成、自然语言处理和药物发现等各种应用中显示出了巨大的前景。然而，当应用于工程设计问题时，评估这些模型的性能可能具有挑战性，因为基于可能性的传统统计指标可能无法完全满足工程应用的要求。本文同时也是对工程设计中深度生成模型（DGM）评估指标的回顾和实用指南 ...

Deep Generative Modeling with Backward Stochastic Differential Equations

本文提出了一种名为 BSDE-Gen 的新型深度生成模型，它将后向随机微分方程（BSDE）的灵活性与深度神经网络的强大功能相结合，用于生成高维复杂目标数据，特别是在图像生成领域。生成建模过程中随机性和不确定性的结合使 BSDE-Gen 成为生成高维数据的有效且自然的方法。本文提供了 BSDE-Gen 的理论框架，描述了其模型架构，提出了用于训练的最大平均差异（MMD）损失函数，并报告了实验结果 ...

How Good Are Deep Generative Models for Solving Inverse Problems?

深度生成模型，例如扩散模型、GAN 和 IMLE，在解决逆问题方面表现出了令人印象深刻的能力。然而，模型生成的解决方案的有效性 ...

A Likelihood Based Approach to Distribution Regression Using Conditional Deep Generative Models

在这项工作中，我们探索了分布回归统计框架下条件深层生成模型的理论特性，其中响应变量位于高维环境空间中，但集中在潜在的低维流形周围。更具体地说，我们研究了用于估计这些模型的基于可能性的方法的大样本特性。我们的结果导致了筛最大似然估计器 (MLE) 的收敛速度，用于估计 Hellinger (Wasserstein) 度量中给定预测变量的响应的条件分布（及其对应的退化对应物） ...

A Gentle Introduction and Tutorial on Deep Generative Models in Transportation Research

深度生成模型（DGM）近年来迅速发展，由于其学习复杂数据分布和生成合成数据的能力而成为各个领域的重要工具。它们在交通研究中的重要性日益得到认可，特别是对于交通数据生成、预测和特征提取等应用。本文对 DGM 进行了全面的介绍和教程，重点关注其在交通运输中的应用 ...

A Primer on Variational Inference for Physics-Informed Deep Generative Modelling

变分推理 (VI) 是一种计算高效且可扩展的近似贝叶斯推理方法。它在不确定性量化的准确性和实际可处理性之间取得了平衡。由于其内置的贝叶斯正则化和灵活性，这是物理相关问题的基本品质，它在生成建模和反演任务方面表现出色 ...