Self-Supervised Learning for Time Series Analysis: Taxonomy, Progress, and Prospects

自监督学习（SSL）最近在各种时间序列任务上取得了令人印象深刻的表现。 SSL最突出的优点是减少了对标记数据的依赖。基于预训练和微调策略，即使少量的标记数据也能实现高性能 ...

Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation

随机神经元和硬非线性在深度学习模型中出于多种原因可能很有用，但在许多情况下它们提出了一个具有挑战性的问题：如何估计损失函数相对于此类随机或非非线性输入的梯度平滑神经元？也就是说，我们可以通过这些随机神经元“反向传播”吗？我们研究了这个问题、现有的方法，并比较了适用于不同环境的四种解决方案 ...

Conditional Diffusion Based on Discrete Graph Structures for Molecular Graph Generation

学习分子图的基本分布并生成高保真样本是药物发现和材料科学中的一个基本研究问题。然而，准确地建模分布和快速生成新颖的分子图仍然是至关重要且具有挑战性的目标。为了实现这些目标，我们提出了一种基于离散图结构（CDGS）的新颖条件扩散模型，用于分子图生成 ...

Add and Thin: Diffusion for Temporal Point Processes

时间点过程 (TPP) 框架内的自回归神经网络已成为连续时间事件数据建模的标准。尽管这些模型可以以一种超前的方式表达性地捕获事件序列，但由于其顺序性质导致的误差累积，它们本质上限制了长期预测应用。为了克服这些限制，我们推导了 ADD-THIN，这是一种针对整个事件序列运行的 TPP 原则性概率去噪扩散模型 ...

Autoregressive Diffusion Model for Graph Generation

基于扩散的图生成模型最近在图生成方面获得了有希望的结果。然而，现有的基于扩散的图生成模型大多是在去量化的邻接矩阵空间中应用高斯扩散的一次性生成模型。这种策略可能会遇到模型训练困难、采样速度慢以及无法合并约束的问题 ...

CoDi: Co-evolving Contrastive Diffusion Models for Mixed-type Tabular Synthesis

随着人们对表格数据的日益关注，将合成表应用于各种任务的尝试已经扩展到各种场景。由于生成建模的最新进展，表格数据合成模型生成的假数据变得复杂且现实。然而，对表格数据的离散变量（列）进行建模仍然存在困难 ...

A Continuous Time Framework for Discrete Denoising Models

我们为离散数据的去噪扩散模型提供了第一个完整的连续时间框架。这是通过将前向噪声过程和相应的反向时间生成过程表述为连续时间马尔可夫链（CTMC）来实现的。该模型可以使用连续时间版本的 ELBO 进行有效训练 ...

Protein Design with Guided Discrete Diffusion

蛋白质设计的一种流行方法是将生成模型与条件采样的判别模型相结合。生成模型对合理的序列进行采样，而判别模型则指导搜索具有高适应度的序列。鉴于其在条件采样方面的广泛成功，分类器引导的扩散模型是蛋白质设计的一个有希望的基础，导致许多人开发用于具有反向折叠的结构的引导扩散模型以恢复序列 ...

Point Cloud Pre-training with Diffusion Models

预训练模型，然后在下游任务上对其进行微调，已经在 2D 图像和 NLP 领域取得了巨大的成功。然而，由于点云的无序和非均匀密度特性，探索点云的先验知识并预训练点云主干并不是一件容易的事。在本文中，我们提出了一种新颖的预训练方法，称为点云扩散预训练（PointDif） ...

BiDM: Pushing the Limit of Quantization for Diffusion Models

扩散模型（DM）由于其优异的生成质量而得到了显着的发展并广泛应用于各种应用中。然而，DM 昂贵的计算和大量的参数阻碍了它们在资源有限的场景中的实际使用。作为有效的压缩方法之一，量化允许 DM 通过减少位宽同时保持生成性能来实现存储节省和推理加速 ...