潜在空间中基于分数的扩散的混合类型表格数据合成

Hengrui Zhang¹ Jiani Zhang² Balasubramaniam Srinivasan² Zhengyuan Shen²
Xiao Qin² Christos Faloutso² Huzefa Rangwala^2,3 George Karypis²
¹Computer Science Department, University of Illinois at Chicago ²Amazon Web Services
³Computer Science, George Mason University
hzhan55@uic.edu {zhajiani,srbalasu,donshen}@amazon.com
{drxqin,faloutso,rhuzefa,gkarypis}@amazon.com Work conducted during an internship at Amazon Web ServicesCorresponding authorHuzefa Rangwala is on LOA as a Professor of Computer Science at George Mason University. This paper describes work performed at Amazon

摘要

表格数据生成的最新进展极大地提高了综合数据质量。然而，由于表格数据的分布错综复杂且数据类型混合，将扩散模型扩展到表格数据具有挑战性。本文介绍了 TabSyn，这是一种通过利用变分自动编码器 (VAE) 制作的潜在空间中的扩散模型来合成表格数据的方法。所提出的 TabSyn 的主要优点包括 (1) 通用性：通过将各种数据类型转换为单个统一空间并显式捕获数据类型来处理广泛的数据类型的能力。列关系，(2) 质量：优化潜在嵌入的分布，以增强扩散模型的后续训练，有助于生成高质量的合成数据，(3) 速度：与现有的基于扩散的方法相比，反向步骤数量少得多，合成速度更快。对具有五个指标的六个数据集进行的广泛实验表明，TabSyn 优于现有方法。具体来说，与最具竞争力的基线相比，它将列分布和成对列相关估计的错误率降低了 86% 和 67%。代码已在 https://github.com/amazon-science/tabsyn 上提供。

1简介

Refer to caption — 图1： TabSyn 获胜：我们的 TabSyn 方法在五个数据质量指标上始终优于 SOTA 表格数据生成方法。

表格数据合成具有广泛的应用，例如增强训练数据（Fonseca＆Bacao，2023），保护私有数据实例（Assefa等人，2021；Hernandez等人，2022），并估算缺失值（Zheng & Charoenphakdee，2022）。表格数据生成的最新进展显着提高了合成数据的质量(Xu 等人, 2019; Borisov 等人, 2023; Liu 等人, 2023b)，但合成数据与实际数据仍有很大差距。真实的。为了进一步提高生成质量，研究人员探索将在图像合成任务中表现出色的扩散模型（Ho等人，2020年；Rombach等人，2022年）用于表格数据生成（Kim等人，2022年；Kotelnikov等人，2023年；Kim等人，2023年；Lee等人，2023年）。尽管这些方法取得了进展，但为表格数据定制扩散模型仍面临一些挑战。与由具有局部空间相关性的纯连续像素值组成的图像数据不同，表格数据特征具有复杂且变化的分布（徐等人，2019），使得学习多列的联合概率变得困难。此外，典型的表格数据通常包含混合数据类型，即连续（例如数字特征）和离散（例如分类特征）变量。标准扩散过程假设具有高斯噪声扰动的连续输入空间，这导致了分类特征的额外挑战。现有的解决方案要么使用 one-hot 编码（Kim 等人，2023；Liu 等人，2023b）和模拟位编码（Zheng & Charoenphakdee，2022）等技术将分类特征转换为数值特征。或对数值和分类特征采用两个独立的扩散过程（Kotelnikov 等人，2023；Lee 等人，2023）。然而，事实证明，简单的编码方法会导致性能不佳（Lee等人，2023），并且针对不同数据类型学习单独的模型使得模型捕获共现模式变得具有挑战性不同类型的数据。因此，我们寻求在数值和分类特征的联合空间中开发一种扩散模型，以保留列间相关性。

本文提出了TabSyn，这是一种表格数据合成的原理方法。 TabSyn 首先将原始表格数据转换为连续嵌入空间，在该空间中，具有高斯噪声的完善扩散模型变得可行。随后，我们在嵌入空间中学习基于分数的扩散模型，以捕获潜在嵌入的分布。为了学习信息丰富、平滑的潜在空间，同时保持解码器的重建能力，我们专门为表格结构数据设计了变分自动编码器（VAE （Kingma & Welling，2013）)模型。我们提出的 VAE 模型包括 1）Transformer 架构编码器和解码器，用于对列间关系进行建模并获取 Token 级表示，从而促进 Token 级任务。 2）自适应损失权重，动态调整重建损失权重和KL散度权重，使模型在保持正则化嵌入空间的同时逐渐提高重建性能。 3）最后，当在潜在空间中应用扩散模型时，我们采用简化的前向扩散过程，添加相对于时间的线性标准偏差的高斯噪声。我们通过理论分析和实证证明，这种方法可以减少逆向过程中的误差，从而提高采样速度。 TabSyn的优点有三个：（1）通用性:混合类型特征处理 - TabSyn转换将不同的输入特征（包括数字、分类等）放入统一的嵌入空间中。 (2) 质量:高生成质量 - 通过VAE模型的定制设计，表格数据被映射到良好形状的正则化潜在空间，例如标准正态分布。这将大大简化后续扩散模型（Vahdat等人，2021）的训练，使TabSyn更具表现力，并使其能够生成高质量的合成数据。 (3) 速度：利用所提出的线性噪声调度，我们的TabSyn可以用少于 $20$ 个反向步骤生成高质量的合成数据，即明显少于现有方法。

认识到表格数据合成方法缺乏统一和全面的评估，我们进行了广泛的实验，其中涉及使用超过五个在六个混合类型表格数据集上将 TabSyn 与七种最先进的方法进行比较不同的评估指标。实验结果表明 TabSyn 始终优于以前的方法（见图1)。具体来说，TabSyn 将列分布形状估计（即单密度）和成对列相关估计（即成对相关）任务中的平均误差降低了 $86\%$ 和 $67\%$ 比最具竞争力的基线。此外，我们还证明 TabSyn 在两个下游表格数据任务、机器学习效率和缺失值插补方面实现了具有竞争力的性能。具体来说，经过充分学习的无条件 TabSyn 能够应用于缺失值插补，而无需重新训练。此外，彻底的消融研究和可视化案例研究证实了我们开发的方法的基本原理和有效性。

2相关作品

用于表格数据生成的深度生成模型。

表格数据的生成模型变得越来越重要并具有广泛的应用Assefa 等人 (2021);郑和 Charoenphakdee (2022)；埃尔南德斯等人 (2022)。为了处理不平衡的分类特征，Xu 等人 (2019) 在流行的生成对抗网络 (Goodfellow 等人, 2014) 和 VAE （Kingma & Welling，2013），分别。去年，人们提出了多种用于合成表格数据生成的先进方法。具体来说，GOGGLE (Liu 等人, 2023b) 成为第一个对列之间的依赖关系进行显式建模的人，提出了一种基于 VAE 的模型，使用图神经网络作为编码器和解码器模型。受到大型语言模型在自然语言分布建模方面取得的成功的启发，GReaT 将表中的每一行转换为自然句子，并使用自回归 GPT2 学习句子级分布。近年来，物理扩散过程激发了深度学习领域的许多高级研究。例如，DIFFormer (Wu 等人, 2023) 通过约束扩散过程开发了一种可扩展的几何数据 Transformer 模型，而 Denoising Diffusion 模型在图像生成方面取得了巨大成功(Ho 等人，2020）。 STaSy (Kim 等人, 2023)、TabDDPM (Kotelnikov 等人, 2023) 和 CoDi (Lee 等人, 2023) 同时适用用于合成表格数据生成的流行的基于扩散的生成模型。

潜在空间中的生成建模。

虽然数据空间中的生成模型取得了巨大的成功，但潜在生成模型已经展示了多种优势，包括更紧凑和解缠结的表示、对噪声的鲁棒性以及控制生成样式的更大灵活性（van den Oord等人，2017； Razavi 等人，2019；Esser 等人，2021)。例如，最近的 GAN 文献（Li 等人，2022）通过潜在空间中的对抗性学习证明了卓越的可控性。最近，潜在扩散模型（LDM）（Rombach 等人，2022；Vahdat 等人，2021）在图像生成方面取得了巨大成功，因为它们比普通扩散模型表现出更好的缩放特性和表现力。数据空间(Ho 等人, 2020; Song 等人, 2021b; Karras 等人, 2022)。 LDM 在图像生成方面的成功也启发了它们在视频（Blattmann 等人，2023）和音频数据（Liu 等人，2023a）中的应用。据我们所知，所提出的工作是第一个探索潜在扩散模型在一般表格数据生成任务中的应用的工作。

3 使用 TabSyn 生成综合表格数据

图2给出了TabSyn的概述。在3.1节中，我们首先正式定义表格数据生成任务。然后，我们在3.2和3.3节中介绍了TabSyn的自动编码和扩散过程的设计细节。我们在附录A中总结了训练和采样算法。

3.1 表格数据生成的问题定义

令 $M_{{\rm num}}$ 和 $M_{{\rm cat}}$ 分别为数字列和分类列的数量。每行都表示为数字特征和分类特征 ${\bm{x}}=[{\bm{x}}^{{\rm num}},{\bm{x}}^{{\rm cat}}]$ 的向量，其中 ${\bm{x}}^{{\rm num}}\in{\mathbb{R}}^{M_{{\rm num}}}$ 和 ${\bm{x}}^{{\rm cat}}\in{\mathbb{R}}^{M_{{\rm cat}}}$ 。具体来说，第 $i$ 个分类属性具有 $C_{i}$ 个有限候选值，因此我们有 $x_{i}^{{\rm cat}}\in\{1,\cdots,{C_{i}}\},\forall i$ 。本文重点关注无条件生成任务。通过表格数据集 ${\mathcal{T}}=\{{\bm{x}}\}$ ，我们的目标是学习参数化生成模型 $p_{\theta}({\mathcal{T}})$ ，通过该模型可以生成真实且多样化的合成表格数据 $\hat{{\bm{x}}}\in\hat{{\mathcal{T}}}$ 。

3.2 表格数据的自动编码

表格数据是由混合类型的列特征组成的高度结构化的数据，不同的列具有不同的含义并且彼此高度依赖。这些特征使得设计近似编码器来建模并有效利用列之间的丰富关系变得具有挑战性。受 Transformers 在表格数据分类/回归方面取得的成功（Gorishniy 等人，2021）的启发，我们首先为每一列学习一个独特的分词器，然后词符（列）方面的表示为输入到 Transformer 中以捕获列之间复杂的关系。

特征标记器。特征分词器将每一列（数值列和分类列）转换为 $d$ 维向量。首先，我们使用 one-hot 编码来预处理分类特征，即 $x_{i}^{{\rm cat}}\Rightarrow{\bm{x}}_{i}^{{\rm oh}}\in{\mathbb{R}}^{1\times C_{i}}$ 。每条记录表示为 ${\bm{x}}=[{\bm{x}}^{{\rm num}},{\bm{x}}_{1}^{{\rm oh}},\cdots,{\bm{x}}_{M_{{\rm cat}}}^{{\rm oh}}]\in{\mathbb{R}}^{M_{{\rm num}}+\sum_{i=1}^{M_{{\rm cat}}}C_{i}}$ 。然后，我们对数值列应用线性变换，并为分类列创建嵌入查找表，其中每个类别都分配有一个可学习的 $d$ 维向量，即

\begin{split}{\bm{e}}^{{\rm num}}_{i}=x^{{\rm num}}_{i}\cdot{\bm{w}}^{{\rm num}}_{i}+{\bm{b}}_{i}^{{\rm num}},\;\;{\bm{e}}^{{\rm cat}}_{i}={{\bm{x}}}^{{\rm oh}}_{i}\cdot{\bm{W}}^{{\rm cat}}_{i}+{\bm{b}}^{{\rm cat}}_{i},\end{split}

(1)

其中 ${\bm{w}}^{{\rm num}}_{i},{\bm{b}}^{{\rm num}}_{i},{\bm{b}}^{{\rm cat}}_{i}\in{\mathbb{R}}^{1\times d}$ 、 ${\bm{W}}^{{\rm cat}}_{i}\in{\mathbb{R}}^{C_{i}\times d}$ 是标记器 ${\bm{e}}^{{\rm num}}_{i},{\bm{e}}^{{\rm cat}}_{i}\in{\mathbb{R}}^{1\times d}$ 的可学习参数。现在，每条记录都表示为所有列嵌入的堆栈

{\bm{E}}=[{\bm{e}}^{{\rm num}}_{1},\cdots,{\bm{e}}^{{\rm num}}_{M_{{\rm num}}},{\bm{e}}^{{\rm cat}}_{1},\cdots,{\bm{e}}^{{\rm cat}}_{M_{{\rm cat}}}]\in{\mathbb{R}}^{M\times d}.

(2)

Transformer 编码和解码。与典型的 VAE 一样，我们使用编码器来获取潜在变量的均值和对数方差。然后，我们通过重新参数化技巧获得潜在嵌入。然后将潜在嵌入通过解码器以获得重建的词符矩阵 $\hat{{\bm{E}}}\in{\mathbb{R}}^{M\times d}$ 。详细架构参见附录D。

解标记器。最后，我们将去标记器应用于每列恢复的词符表示以重建列值。去标记器的设计与标记器的设计是对称的：

\begin{split}&\hat{x}^{{\rm num}}_{i}={{\hat{{\bm{e}}}}^{{\rm num}}_{i}}\cdot\hat{{\bm{w}}}_{i}^{{\rm num}}+\hat{b}^{{\rm num}}_{i},\;\;\hat{{\bm{x}}}^{{\rm oh}}_{i}={\rm Softmax}({\hat{{\bm{e}}}^{{\rm cat}}_{i}}\cdot\hat{{\bm{W}}}_{i}^{{\rm cat}}+\hat{{\bm{b}}}^{{\rm cat}}_{i}),\\ &\hat{{\bm{x}}}=[{\hat{x}}^{{\rm num}}_{1},\cdots,{\hat{x}}^{{\rm num}}_{M_{{\rm num}}},{\hat{{\bm{x}}}}^{{\rm oh}}_{1},\cdots,{\hat{{\bm{x}}}}^{{\rm oh}}_{M_{{\rm cat}}}],\end{split}

(3)

其中 $\hat{{\bm{w}}}^{{\rm num}}_{i}\in{\mathbb{R}}^{d\times 1},\hat{b}^{{\rm num}}_{i}\in{\mathbb{R}}^{1\times 1}$ , ${\bm{W}}^{{\rm cat}}_{i}\in{\mathbb{R}}^{d\times C_{i}},\hat{{\bm{b}}}^{{\rm cat}}_{i}\in{\mathbb{R}}^{1\times C_{i}}$ 是detokenizer的参数。

使用自适应权重系数进行训练。

VAE模型通常使用经典的ELBO损失函数来学习，但这里我们使用 $\beta$ -VAE (Higgins等人, 2016)，其中系数 $\beta$ 平衡重建损失和KL散度损失的重要性

\begin{split}{\mathcal{L}}=\ell_{\rm{recon}}({\bm{x}},\hat{{\bm{x}}})+\beta\ell_{\rm kl}.\end{split}

(4)

$\ell_{\rm recon}$ 是输入数据和重建数据之间的重建损失， $\ell_{\rm kl}$ 是对潜在空间的均值和方差进行正则化的KL散度损失。在普通 VAE 模型中， $\beta$ 设置为 $1$ ，因为这两个损失项对于从高斯噪声生成高质量合成数据同样重要。然而，在我们的模型中， $\beta$ 预计会更小，因为我们不需要嵌入的分布精确遵循标准高斯分布，因为我们有一个额外的扩散模型。因此，我们建议在训练过程中自适应地安排 $\beta$ 的尺度，鼓励模型在保持适当的嵌入形状的同时实现较低的重建误差。

使用初始（最大值） $\beta=\beta_{\rm max}$ ，我们监控历元重建损失 $\ell_{\rm recon}$ 。当 $\ell_{\rm recon}$ 在预定义的epoch数内未能减少时（这表明KL散度主导了整体损失），权重由 $\beta=\lambda\beta,\lambda<1$ 安排。此过程一直持续到 $\beta$ 接近预定义的最小值 $\beta_{\min}$ 。这种策略简单但非常有效，我们在4节中凭经验证明了设计的有效性。

3.3潜在空间中基于分数的生成建模

通过去噪进行训练和采样。

充分学习 VAE 模型后，我们通过编码器提取潜在嵌入，并将编码器的输出展平为 ${\bm{z}}={\rm Flatten}({\rm Encoder}({\bm{x}}))\in{\mathbb{R}}^{1\times Md}$ ，使得记录的嵌入是向量而不是矩阵。为了了解嵌入 $p({\bm{z}})$ 的底层分布，我们考虑以下前向扩散过程和反向采样过程（Song等人，2021b；Karras等人，2022）：

	$\displaystyle{\bm{z}}_{t}$	$\displaystyle={\bm{z}}_{0}+\sigma(t)\bm{\varepsilon},\;\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}}),$	$\displaystyle(\text{Forward Process})$		(5)
	$\displaystyle{\rm d}{\bm{z}}_{t}$	$\displaystyle=-2\dot{\sigma}(t)\sigma(t)\nabla_{{\bm{z}}_{t}}\log p({\bm{z}}_{t}){\rm d}t+\sqrt{2\dot{\sigma}(t)\sigma(t)}{\rm d}\bm{\omega}_{t},$	$\displaystyle(\text{Reverse Process})$		(6)

其中 ${\bm{z}}_{0}={\bm{z}}$ 是编码器的初始嵌入， ${\bm{z}}_{t}$ 是时间 $t$ 时的扩散嵌入， $\sigma(t)$ 是噪声级别。在逆过程中， $\nabla_{{\bm{z}}_{t}}\log p_{t}({\bm{z}}_{t})$ 是 ${\bm{z}}_{t}$ 的得分函数， $\bm{\omega}_{t}$ 是标准维纳过程。扩散模型的训练是通过去噪分数匹配（Karras等人，2022）来实现的：

\mathcal{L}={\mathbb{E}}_{{\bm{z}}_{0}\sim p({\bm{z}}_{0})}{\mathbb{E}}_{t\sim p(t)}{\mathbb{E}}_{\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}})}\|\bm{\epsilon}_{\theta}({\bm{z}}_{t},t)-\bm{\varepsilon})\|_{2}^{2},\;~{}\text{where}~{}{\bm{z}}_{t}={\bm{z}}_{0}+\sigma(t)\bm{\varepsilon},

(7)

其中 $\bm{\epsilon}_{\theta}$ 是一个神经网络（称为去噪函数），使用扰动数据 ${\bm{x}}_{t}$ 和时间 $t$ 来近似高斯噪声。然后 $\nabla_{{\bm{z}}_{t}}\log p({\bm{z}}_{t})=-{\bm{\epsilon}_{\theta}({\bm{z}}_{t},t)}/{\sigma(t)}$ 。模型训练完成后，可以通过式（1）的逆过程获得合成数据。 6。 TabSyn的详细算法描述在附录A中提供。详细推导见附录B。

噪声级 $\sigma(t)$ 的时间表。

噪声水平 $\sigma(t)$ 定义了在不同时间步扰动数据的噪声规模，并显着影响最终的微分方程解轨迹（Song等人，2021b；Karras等人，2022）. 根据 Karras 等人 (2022) 中的建议，我们设置与线性关系的噪声级别 $\sigma(t)=t$ 。时间。我们在命题 1 中表明，线性噪声水平计划在逆过程中导致最小的近似误差：

Proposition 1。

考虑方程(6)中从 ${\bm{z}}_{t_{b}}$ 到 ${\bm{z}}_{t_{a}}(t_{b}>t_{a})$ 的反向扩散过程，数值解 $\hat{{\bm{z}}}_{t_{a}}$ 具有最小的近似误差 ${\bm{z}}_{t_{a}}$ 当 $\sigma(t)=t$ 时。

请参阅附录C中的证明。命题1的一个自然推论是，小的近似误差允许我们增加两个时间步之间的间隔，从而减少采样步骤的总数并加速采样。在第 4 节中，我们证明了通过这种设计，TabSyn 可以在少于 $20$ NFE（功能评估数量）内生成高质量的合成表格数据），比其他基于扩散的表格数据合成方法要小得多（Kim等人，2023；Kotelnikov等人，2023）。

4对综合表格数据生成算法进行基准测试

4.1 实验设置

数据集。我们选择了六个由数字和分类属性组成的现实世界表格数据集：成人、默认、购物者、魔术、故障、北京和新闻。表6提供了这些数据集的总体统计数据，详细描述参见附录E.1。

基线。我们将所提出的 TabSyn 与七种现有的合成表格数据生成方法进行比较。前两个是经典的 GAN 和 VAE 模型：CTGAN (Xu 等人, 2019) 和 TVAE (Xu 等人, 2019)。此外，我们评估了最近推出的五种 SOTA 方法：GOGGLE (Liu 等人, 2023b)，一种基于 VAE 的方法； GREAT (Borisov 等人, 2023)，一种语言模型变体；以及三种基于扩散的方法：STaSy (Kim 等人, 2023)、TabDDPM (Kotelnikov 等人, 2023) 和 CoDi (Lee 等人, 2023 ）。值得注意的是，这些方法几乎是同时引入的，限制了广泛比较的机会。作为参考，我们还与代表性的基于插值的方法 SMOTE （Chawla 等人，2002）进行了比较。我们的论文通过在标准化环境中首次对他们的表现进行全面评估来填补这一空白。

评估方法。我们从三个方面评估合成数据的质量：1）低阶统计 - 列密度估计和成对列相关性，估计每个单列的密度以及每个列对之间的相关性（第4.2节）。我们还通过测试是否可以通过机器学习模型从真实数据中检测到合成数据来评估密度估计性能（附录F.3)。 2) 高阶指标 – $\alpha$ -精确度和 $\beta$ -召回分数(Alaa 等人, 2022) 衡量合成数据的整体保真度和多样性（结果推迟到附录F.2)，以及 3) 下游性能任务 – 机器学习效率 (MLE) 和缺失值插补0>。 MLE 是在综合生成的表格数据集上进行训练时，比较真实数据的测试准确性。隐私保护的性能是通过先前文献中广泛采用的MLE任务来衡量的（第4.3.1节）。我们还为缺失值插补任务扩展了 TabSyn，其目的是在给定部分列值的情况下填充缺失的特征/标签（附录 F.4)。

实施细节。报告的结果是对 $20$ 随机采样的合成数据进行平均。实施细节见附录E。

4.2估计数据密度的低阶统计量

指标。我们对数值列采用柯尔莫哥洛夫-西尔诺夫检验 (KST)，对分类列采用总变异距离 (TVD) 来量化按列密度估计。对于成对列相关性，我们对数值列使用皮尔逊相关性，对分类列使用列联相似性。性能是通过根据实际数据和合成数据计算出的相关性之间的差异来衡量的。对于数值列和分类列之间的相关性，我们首先通过分桶将数值分组为分类列，然后计算相应的列联相似度。有关这些指标的更多详细信息，请参见附录 E.3。

表格1：按列密度估计的错误率（%）。粗体代表每个数据集的最佳得分。值越低表示估计越准确（结果越好）。 TabSyn 平均优于最佳生成基线模型

86.0\%

。

Method	Adult	Default	Shoppers	Magic	Beijing	News	Average
SMOTE	$1.60$ $\pm 0.23$	$1.48$ $\pm 0.15$	$2.68$ $\pm 0.19$	$0.91$ $\pm 0.05$	$1.85$ $\pm 0.21$	$5.31$ $\pm 0.46$	$2.30$
CTGAN	$16.84$ $\pm$ $0.03$	$16.83$ $\pm$ $0.04$	$21.15$ $\pm 0.10$	$9.81$ $\pm 0.08$	$21.39$ $\pm 0.05$	$16.09$ $\pm 0.02$	$17.02$
TVAE	$14.22$ $\pm 0.08$	$10.17$ $\pm$ $0.05$	$24.51$ $\pm 0.06$	$8.25$ $\pm 0.06$	$19.16$ $\pm 0.06$	$16.62$ $\pm 0.03$	$15.49$
GOGGLE¹	$16.97$	$17.02$	$22.33$	$1.90$	$16.93$	$25.32$	$16.74$
GReaT²	$12.12$ $\pm$ $0.04$	$19.94$ $\pm$ $0.06$	$14.51$ $\pm 0.12$	$16.16$ $\pm 0.09$	$8.25$ $\pm 0.12$	OOM	$14.20$
STaSy	$11.29$ $\pm 0.06$	$5.77$ $\pm 0.06$	$9.37$ $\pm 0.09$	$6.29$ $\pm 0.13$	$6.71$ $\pm 0.03$	$6.89$ $\pm 0.03$	$7.72$
CoDi	$21.38$ $\pm 0.06$	$15.77$ $\pm$ $0.07$	$31.84$ $\pm 0.05$	$11.56$ $\pm 0.26$	$16.94$ $\pm 0.02$	$32.27$ $\pm 0.04$	$21.63$
TabDDPM³	$1.75$ $\pm 0.03$	$1.57$ $\pm$ $0.08$	$2.72$ $\pm 0.13$	$1.01$ $\pm 0.09$	$1.30$ $\pm 0.03$	$78.75$ $\pm 0.01$	$14.52$
TabSyn	$\bf{{\color[rgb]{0.8,0.25,0.33}0.58}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.06}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.85}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.04}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}1.43}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.24}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.88}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.09}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}1.12}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.05}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}1.64}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.04}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}1.08}}$
Improv.	$\bf{{\color[rgb]{0.8,0.25,0.33}66.9\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}45.9\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}47.4\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}12.9\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}13.8\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}76.2\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}86.0\%\downarrow}}$

1

GOGGLE fixes the random seed during sampling in the official codes, and we follow it for consistency.
2

GReaT cannot be applied on News because of the maximum length limit.
3

TabDDPM fails to generate meaningful content on the News dataset.

表2：成对列相关性得分的错误率 (%)。粗体代表每个数据集的最佳得分。 TabSyn 平均优于最佳基线模型

67.6\%

。

Method	Adult	Default	Shoppers	Magic	Beijing	News	Average
SMOTE	$3.28$ $\pm 0.29$	$8.41$ $\pm 0.38$	$3.56$ $\pm 0.22$	$3.16$ $\pm 0.41$	$2.39$ $\pm 0.35$	$5.38$ $\pm 0.76$	$4.36$
CTGAN	$20.23$ $\pm 1.20$	$26.95$ $\pm 0.93$	$13.08$ $\pm 0.16$	$7.00$ $\pm 0.19$	$22.95$ $\pm 0.08$	$5.37$ $\pm 0.05$	$15.93$
TVAE	$14.15$ $\pm 0.88$	$19.50$ $\pm$ $0.95$	$18.67$ $\pm 0.38$	$5.82$ $\pm 0.49$	$18.01$ $\pm 0.08$	$6.17$ $\pm 0.09$	$13.72$
GOGGLE	$45.29$	$21.94$	$23.90$	$9.47$	$45.94$	$23.19$	$28.28$
GReaT	$17.59$ $\pm 0.22$	$70.02$ $\pm$ $0.12$	$45.16$ $\pm 0.18$	$10.23$ $\pm 0.40$	$59.60$ $\pm 0.55$	OOM	$44.24$
STaSy	$14.51$ $\pm 0.25$	$5.96$ $\pm$ $0.26$	$8.49$ $\pm 0.15$	$6.61$ $\pm 0.53$	$8.00$ $\pm 0.10$	$3.07$ $\pm 0.04$	$7.77$
CoDi	$22.49$ $\pm 0.08$	$68.41$ $\pm$ $0.05$	$17.78$ $\pm 0.11$	$6.53$ $\pm 0.25$	$7.07$ $\pm 0.15$	$11.10$ $\pm 0.01$	$22.23$
TabDDPM	$3.01$ $\pm 0.25$	$4.89$ $\pm 0.10$	$6.61$ $\pm 0.16$	$1.70$ $\pm 0.22$	$2.71$ $\pm 0.09$	$13.16$ $\pm 0.11$	$5.34$
TabSyn	$\bf{{\color[rgb]{0.8,0.25,0.33}1.54}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.27}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}2.05}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.12}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}2.07}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.21}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}1.06}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.31}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}2.24}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.28}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}1.44}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.03}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}1.73}}$
Improve.	$\bf{{\color[rgb]{0.8,0.25,0.33}48.8\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}58.1\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}68.7\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}37.6\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}17.3\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}53.1\%\downarrow}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}67.6\%\downarrow}}$

列式分布密度估计。

在表 1 中，我们注意到 TabSyn 在按列分布密度估计任务中始终优于基线方法。平均而言，TabSyn 比最具竞争力的基线超出 $86.0\%$ 。虽然 STaSy 和 TabDDPM 表现良好，但 STaSy 并不是最优的，因为它将分类列的 one-hot 嵌入视为连续特征。此外，TabDDPM 在整个数据集上表现出不稳定的性能，尽管有标准的训练过程，但无法在新闻数据集上生成有意义的内容。

成对列相关性。

表2显示成对列相关的结果。 TabSyn 的平均性能优于最佳基线 $67.6\%$ 。值得注意的是，GReaT 在该任务中的性能明显比在按列任务中差。这表明自回归语言模型在密度估计方面的局限性，特别是在捕获列之间的联合概率分布方面。

4.3 下游任务的性能

4.3.1 机器学习效率

然后，我们通过评估合成数据在机器学习效率任务中的表现来评估合成数据的质量。按照既定的设置（Kotelnikov等人，2023；Kim等人，2023；Lee等人，2023），我们首先将真实表分成真实训练集和真实测试集。生成模型是在真实训练集上学习的，并从中采样了等效大小的合成集。然后，使用这些合成数据来训练分类/回归模型（XGBoost 分类器和 XGBoost 回归器（Chen & Guestrin，2016）)，该模型将使用真实测试集进行评估。 MLE 的性能通过分类任务的 AUC 分数和回归任务的 RMSE 来衡量。 MLE评估的详细设置参见附录E.4。

在表 3 中，我们证明 TabSyn 始终优于所有基线方法。与按列密度和成对列相关性估计任务相比，方法之间的性能差距更小（表1和2)。这表明某些列可能不会显着影响分类/回归任务，从而允许在先前任务中性能较低的方法在 MLE 中显示有竞争力的结果（例如，默认数据集上的 GReaT）。这强调了对 MLE 指标之外的综合评估方法的需求。如上所示，我们合并了低阶和高阶统计数据以进行更稳健的评估。

表3：机器学习效率的 AUC（分类任务）和 RMSE（回归任务）分数。

\uparrow

(

\downarrow

)表示分数越高（越低），性能越好。 TabSyn 在所有数据集中始终优于其他所有数据集。

Methods	Adult	Default	Shoppers	Magic	Beijing	News¹	Average Gap
Methods	AUC $\uparrow$	AUC $\uparrow$	AUC $\uparrow$	AUC $\uparrow$	RMSE $\downarrow$	RMSE $\downarrow$	$\%$
Real	$.927$ $\pm.000$	$.770$ $\pm.005$	$.926$ $\pm.001$	$.946$ $\pm.001$	$.423$ $\pm.003$	$.842$ $\pm.002$	$0\%$
SMOTE	$.899$ $\pm.007$	$.741$ $\pm.009$	$.911$ $\pm.012$	$.934$ $\pm.008$	$.593$ $\pm.011$	$.897$ $\pm.036$	$9.39\%$
CTGAN	$.886$ $\pm.002$	$.696$ $\pm.005$	$.875$ $\pm.009$	$.855$ $\pm.006$	$.902$ $\pm.019$	$.880$ $\pm.016$	$24.5\%$
TVAE	$.878$ $\pm.004$	$.724$ $\pm.005$	$.871$ $\pm.006$	$.887$ $\pm.003$	$.770$ $\pm.011$	$1.01$ $\pm.016$	$20.9\%$
GOGGLE	$.778$ $\pm.012$	$.584$ $\pm.005$	$.658$ $\pm.052$	$.654$ $\pm.024$	$1.09$ $\pm.025$	$.877$ $\pm.002$	$43.6\%$
GReaT	$.913$ $\pm.003$	$.755$ $\pm.006$	$.902$ $\pm.005$	$.888$ $\pm.008$	$.653$ $\pm.013$	OOM	$13.3\%$
STaSy	$.906$ $\pm.001$	$.752$ $\pm.006$	$.914$ $\pm.005$	$.934$ $\pm.003$	$.656$ $\pm.014$	$.871$ $\pm.002$	$10.9\%$
CoDi	$.871$ $\pm.006$	$.525$ $\pm.006$	$.865$ $\pm.006$	$.932$ $\pm.003$	$.818$ $\pm.021$	$1.21$ $\pm.005$	$30.5\%$
TabDDPM²	$.907$ $\pm.001$	$.758$ $\pm.004$	$.918$ $\pm.005$	$.935$ $\pm.003$	$.592$ $\pm.011$	$4.86$ $\pm 3.04$	$9.14\%^{1}$
TabSyn	$\bf{{\color[rgb]{0.8,0.25,0.33}.915}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm.002}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}.764}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm.004}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}.920}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm.005}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}.938}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm.002}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}.582}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm.008}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}.861}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm.027}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}7.23\%}}$

1

Following CoDi (Lee et al., 2023), the continuous targets are standardized to prevent large values.
2

TabDDPM collapses on News, leading to an extremely high error on this dataset. We exclude this dataset
when computing the average gap of TabDDPM.

4.3.2 缺失值估算和隐私保护

扩散模型的优点之一是训练有素的无条件模型可以直接用于数据插补（例如图像修复 (Song 等人, 2021b; Lugmayr 等人, 2022))，无需额外训练。本文探讨了如何调整 TabSyn 来进行缺失值插补，这是现实世界表格数据中的一项关键任务。限于篇幅，缺失值插补的详细算法及结果请参见附录F.4。我们还评估合成数据是否根据分布密度随机采样，而不是通过附录F.6中的距离最近记录（DCR）从训练数据复制（出于隐私保护）。

4.4消融研究

自适应 $\beta$ -VAE的效果。

我们评估了 VAE 模型中调度权重系数 $\beta$ 的有效性。图3展示了预定 $\beta$ 值和恒定 $\beta$ 值（来自 $10^{-1}$ )的重建损失和KL散度损失的趋势> 到 $10^{-5}$ )跨越 4,000 个时期的训练。值得注意的是，较大的 $\beta$ 值会导致重建效果不佳，而较小的 $\beta$ 值会导致嵌入分布与标准高斯分布之间存在较大差异，从而难以实现平衡。相反，通过在训练期间动态调度 $\beta$ ( $\beta_{\rm max}=0.01,\beta_{\rm min}=10^{-5},\lambda=0.7$ )，我们不仅可以防止过度的KL发散，还可以提高质量。表 4 通过合成数据质量（单列密度和成对列相关性估计任务）进一步评估从 VAE 模型的各种 $\beta$ 值学习到的嵌入。这证明了我们提出的 VAE 模型预定 $\beta$ 训练方法的卓越性能。

线性噪声水平的影响。

我们评估在扩散过程中使用线性噪声水平 $\sigma(t)=t$ 的有效性。正如 3.3 节所述，线性噪声会导致线性轨迹和更快的采样速度。因此，我们根据相对于函数评估 (NFE) 数量的单列密度和成对列相关估计误差，对 TabSyn 和其他两种扩散模型（STaSy 和 TabDDPM）进行比较，即，去噪步骤生成真实数据。作为连续时间扩散模型，所提出的 TabSyn 和 STaSy 在选择 NFE 方面非常灵活。对于TabDDPM，我们使用DDIM采样器（Song等人，2021a）来调整NFE。图 4 显示 TabSyn 不仅显着提高了采样速度，而且始终能产生更好的性能（使用少于 20 个 NFE 即可获得最佳结果）。相比之下，STaSy 需要 50-200 个 NFE（因数据集而异），并且实现了次优性能。 TabDDPM 在 1,000 个 NFE 的情况下实现了具有竞争力的性能，但在减少 NFE 时性能显着下降。

比较不同的编码/扩散方法。

我们通过创建两个 TabSyn 变体来评估在 VAE 学习的潜在空间中学习扩散模型的有效性：1）TabSyn-OneHot：用 one-hot 编码替换 VAE分类变量和 2) TabSyn-DDPM：用 TabDDPM 中使用的 DDPM 代替方程 (5) 中的扩散过程。表5中的结果表明：1）分类变量的One-hot编码加上连续扩散模型导致性能最差，表明将分类列简单地视为连续特征是不合适的； 2) TabSyn-潜在空间中的 DDPM 优于数据空间中的 TabDDPM，凸显了学习高质量潜在嵌入对于改进扩散建模的好处； 3）TabSyn超越TabSyn-DDPM，表明在连续潜在空间中采用定制扩散模型以实现更好的数据分布学习的优势。

4.5可视化

在图5中，我们比较了四个数据集（每个数据集一个数字和一个分类）的八列的列密度。 TabDDPM 在数字列上与 TabSyn 的准确性相匹配，但在分类列上则较差。图6显示了估计的成对列相关性与实际相关性之间的散度热图。 TabSyn 给出最准确的相关性估计，而其他方法则表现出次优的性能。这些结果证明，在潜在空间中采用生成建模可以增强对分类特征和联合列分布的学习。

5结论

在本文中，我们提出了用于合成表格数据生成的TabSyn。 TabSyn 框架利用 VAE 将表格数据映射到潜在空间，然后利用基于扩散的生成模型来学习潜在分布。这种方法具有在统一潜在空间中容纳数值和分类特征的双重优势，从而有助于更全面地理解它们的相互关系，并能够在连续嵌入空间中利用先进的生成模型。为了解决潜在的挑战，TabSyn提出了模型设计和训练方法，从而形成了高度稳定的生成模型。此外，TabSyn通过采用多种评估指标将所提出的方法与现有方法进行全面比较，纠正了先前研究的不足，展示了生成的样本在捕获原始数据方面的卓越质量和保真度分配。

参考

Alaa et al. (2022) Ahmed Alaa, Boris Van Breugel, Evgeny S Saveliev, and Mihaela van der Schaar. How faithful is your synthetic data? sample-level metrics for evaluating and auditing generative models. In International Conference on Machine Learning, pp. 290–306. PMLR, 2022.
Assefa et al. (2021) Samuel A. Assefa, Danial Dervovic, Mahmoud Mahfouz, Robert E. Tillman, Prashant Reddy, and Manuela Veloso. Generating synthetic data in finance: Opportunities, challenges and pitfalls. In Proceedings of the First ACM International Conference on AI in Finance, ICAIF ’20. Association for Computing Machinery, 2021. ISBN 9781450375849.
Ba et al. (2016) Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.
Blattmann et al. (2023) Andreas Blattmann, Robin Rombach, Huan Ling, Tim Dockhorn, Seung Wook Kim, Sanja Fidler, and Karsten Kreis. Align your latents: High-resolution video synthesis with latent diffusion models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 22563–22575, 2023.
Borisov et al. (2023) Vadim Borisov, Kathrin Sessler, Tobias Leemann, Martin Pawelczyk, and Gjergji Kasneci. Language models are realistic tabular data generators. In The Eleventh International Conference on Learning Representations, 2023.
Chawla et al. (2002) Nitesh V Chawla, Kevin W Bowyer, Lawrence O Hall, and W Philip Kegelmeyer. Smote: synthetic minority over-sampling technique. Journal of artificial intelligence research, 16:321–357, 2002.
Chen & Guestrin (2016) Tianqi Chen and Carlos Guestrin. Xgboost: A scalable tree boosting system. In Proceedings of the 22nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining, pp. 785–794, 2016.
Esser et al. (2021) Patrick Esser, Robin Rombach, and Bjorn Ommer. Taming transformers for high-resolution image synthesis. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 12873–12883, 2021.
Fonseca & Bacao (2023) Joao Fonseca and Fernando Bacao. Tabular and latent space synthetic data generation: a literature review. Journal of Big Data, 10(1):115, 2023.
Goodfellow et al. (2014) Ian J Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Proceedings of the 27th International Conference on Neural Information Processing Systems, pp. 2672–2680, 2014.
Gorishniy et al. (2021) Yury Gorishniy, Ivan Rubachev, Valentin Khrulkov, and Artem Babenko. Revisiting deep learning models for tabular data. In Proceedings of the 35th International Conference on Neural Information Processing Systems, pp. 18932–18943, 2021.
Hernandez et al. (2022) Mikel Hernandez, Gorka Epelde, Ane Alberdi, Rodrigo Cilla, and Debbie Rankin. Synthetic data generation for tabular health records: A systematic review. Neurocomputing, 493:28–45, 2022.
Higgins et al. (2016) Irina Higgins, Loic Matthey, Arka Pal, Christopher Burgess, Xavier Glorot, Matthew Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-vae: Learning basic visual concepts with a constrained variational framework. In The Forth International Conference on Learning Representations, 2016.
Ho et al. (2020) Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diffusion probabilistic models. In Proceedings of the 34th International Conference on Neural Information Processing Systems, pp. 6840–6851, 2020.
Hoogeboom et al. (2021) Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, and Max Welling. Argmax flows and multinomial diffusion: Learning categorical distributions. In Proceedings of the 35th International Conference on Neural Information Processing Systems, pp. 12454–12465, 2021.
Karras et al. (2022) Tero Karras, Miika Aittala, Timo Aila, and Samuli Laine. Elucidating the design space of diffusion-based generative models. In Proceedings of the 36th International Conference on Neural Information Processing Systems, pp. 26565–26577, 2022.
Kim et al. (2022) Jayoung Kim, Chaejeong Lee, Yehjin Shin, Sewon Park, Minjung Kim, Noseong Park, and Jihoon Cho. Sos: Score-based oversampling for tabular data. In Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, pp. 762–772, 2022.
Kim et al. (2023) Jayoung Kim, Chaejeong Lee, and Noseong Park. Stasy: Score-based tabular data synthesis. In The Eleventh International Conference on Learning Representations, 2023.
Kingma & Ba (2015) Diederik P. Kingma and Jimmy Ba. Adam: A method for stochastic optimization. In International Conference on Learning Representations, 2015.
Kingma & Welling (2013) Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arXiv preprint arXiv:1312.6114, 2013.
Kotelnikov et al. (2023) Akim Kotelnikov, Dmitry Baranchuk, Ivan Rubachev, and Artem Babenko. Tabddpm: Modelling tabular data with diffusion models. In International Conference on Machine Learning, pp. 17564–17579. PMLR, 2023.
Lee et al. (2023) Chaejeong Lee, Jayoung Kim, and Noseong Park. Codi: Co-evolving contrastive diffusion models for mixed-type tabular synthesis. In International Conference on Machine Learning, pp. 18940–18956. PMLR, 2023.
Li et al. (2022) Yang Li, Yichuan Mo, Liangliang Shi, and Junchi Yan. Improving generative adversarial networks via adversarial learning in latent space. Advances in Neural Information Processing Systems, 35:8868–8881, 2022.
Liu et al. (2023a) Haohe Liu, Zehua Chen, Yi Yuan, Xinhao Mei, Xubo Liu, Danilo Mandic, Wenwu Wang, and Mark D Plumbley. Audioldm: Text-to-audio generation with latent diffusion models. arXiv preprint arXiv:2301.12503, 2023a.
Liu et al. (2023b) Tennison Liu, Zhaozhi Qian, Jeroen Berrevoets, and Mihaela van der Schaar. Goggle: Generative modelling for tabular data by learning relational structure. In The Eleventh International Conference on Learning Representations, 2023b.
Lugmayr et al. (2022) Andreas Lugmayr, Martin Danelljan, Andres Romero, Fisher Yu, Radu Timofte, and Luc Van Gool. Repaint: Inpainting using denoising diffusion probabilistic models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 11461–11471, 2022.
Razavi et al. (2019) Ali Razavi, Aäron van den Oord, and Oriol Vinyals. Generating diverse high-fidelity images with vq-vae-2. In Proceedings of the 33rd International Conference on Neural Information Processing Systems, pp. 14866–14876, 2019.
Rombach et al. (2022) Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. High-resolution image synthesis with latent diffusion models. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 10684–10695, 2022.
Song et al. (2021a) Jiaming Song, Chenlin Meng, and Stefano Ermon. Denoising diffusion implicit models. In The Ninth International Conference on Learning Representations, 2021a.
Song et al. (2021b) Yang Song, Jascha Sohl-Dickstein, Diederik P Kingma, Abhishek Kumar, Stefano Ermon, and Ben Poole. Score-based generative modeling through stochastic differential equations. In The Ninth International Conference on Learning Representations, 2021b.
Vahdat et al. (2021) Arash Vahdat, Karsten Kreis, and Jan Kautz. Score-based generative modeling in latent space. In Proceedings of the 35th International Conference on Neural Information Processing Systems, pp. 11287–11302, 2021.
van den Oord et al. (2017) Aaron van den Oord, Oriol Vinyals, and Koray Kavukcuoglu. Neural discrete representation learning. In Proceedings of the 31st International Conference on Neural Information Processing Systems, pp. 6309–6318, 2017.
Wu et al. (2023) Qitian Wu, Chenxiao Yang, Wentao Zhao, Yixuan He, David Wipf, and Junchi Yan. Difformer: Scalable (graph) transformers induced by energy constrained diffusion. In The Eleventh International Conference on Learning Representations, 2023.
Xu et al. (2019) Lei Xu, Maria Skoularidou, Alfredo Cuesta-Infante, and Kalyan Veeramachaneni. Modeling tabular data using conditional gan. In Proceedings of the 33rd International Conference on Neural Information Processing Systems, pp. 7335–7345, 2019.
Zheng & Charoenphakdee (2022) Shuhan Zheng and Nontawat Charoenphakdee. Diffusion models for missing value imputation in tabular data. arXiv preprint arXiv:2210.17128, 2022.

附录A算法

在本节中，我们提供了所提议的 TabSyn 的算法说明。算法1和算法2分别给出了TabSyn训练过程中VAE和Diffusion阶段的算法。算法3展示了TabSyn的采样算法。

1: Sample

{\bm{z}}=({\bm{z}}^{{\rm num}},{\bm{z}}^{{\rm cat}})\sim p({\mathcal{T}})

2: Get tokenized feature

{\bm{e}}

via Eq. 1

3: Get

\bm{\mu}

and

\log\bm{\sigma}

via VAE’s Transformer encoder

4: Reparameterization:

\hat{{\bm{z}}}=\bm{\mu}+\bm{\varepsilon}\cdot\bm{\sigma}

, where

\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}})

5: Get

\hat{{\bm{e}}}

via VAE’s Transformer decoder

6: Get detokenized feature

\hat{{\bm{z}}}

via Eq. 3

7: Calculate loss

{\mathcal{L}}=\ell_{\rm recon}({\bm{z}},\hat{{\bm{z}}})+\beta\ell_{\rm kl}(\bm{\mu},\bm{\sigma})

8: Update the network parameter via Adam optimizer

9: if

\ell_{\rm recon}

fails to decrease for

S

steps then

10:

\beta\leftarrow\lambda\beta

11: end if

算法1 TabSyn：VAE训练

1: Sample the embedding

{\bm{z}}_{0}

from

p({\bm{z}})=p(\bm{\mu})

2: Sample time steps

t

from

p(t)

then get

\sigma(t)

3: Sample noise vectors

{\bm{\varepsilon}}\sim{\mathcal{N}}(\bm{0},\sigma_{i}^{2}{\bm{I}})

4: Get perturbed data

{{\bm{z}}}_{t}={\bm{z}}_{0}+{\bm{\varepsilon}}

5: Calculate loss

\ell(\theta)=\|\bm{\epsilon}_{\theta}({\bm{z}}_{t},t)-\bm{\varepsilon}\|_{2}^{2}

6: Update the network parameter

\theta

via Adam optimizer

算法2 TabSyn：扩散训练

1: Sample

{\bm{z}}_{{T}}\sim{\mathcal{N}}(\bm{0},\sigma^{2}({T}){\bm{I}}),t_{\rm max}=T

2: for

i=\max,\cdots,1

\nabla_{{\bm{z}}_{t_{i}}}\log p({\bm{z}}_{t_{i}})=-\bm{\epsilon}_{\theta}({\bm{z}}_{t_{i}},{t_{i}})/\sigma({t_{i}})

4: get

{\bm{z}}_{t_{i-1}}

via solving the SDE in Eq. 6.

5: end for

6: Put

{\bm{z}}_{0}

as input of the VAE’s Transformer decoder, then acquire

\hat{{\bm{e}}}

7: Get detokenized feature

\hat{{\bm{z}}}

via Eq. 3

\hat{{\bm{z}}}

is the sampled synthetic data

Algorithm 3 TabSyn: Sampling

附录 B扩散模型基础知识

扩散模型通常表示为一对两个过程。

•

模型的训练由固定的前向过程控制，该过程将尺度递增的高斯噪声添加到原始数据中。
•

相应的后向过程涉及迭代地利用经过训练的模型从完全噪声的先验分布开始对样本进行去噪。

B.1 转发过程

虽然扩散模型有不同的数学公式（离散或连续），但宋等人（2021b）通过随机微分方程（SDE）提供了统一的公式，并将扩散的前向过程定义为（请注意，在本文中，自变量表示为 ${\bm{z}}$ )

{\rm d}{\bm{z}}={\bm{f}}({\bm{z}},t){\rm d}t+g(t)\;{\rm d}{\bm{w}}_{t},

(8)

其中 ${\bm{f}}(\cdot)$ 和 $g(\cdot)$ 是漂移和扩散系数，并且针对不同的扩散过程进行不同的选择，例如方差保持 (VP) 和方差爆炸 (VE) 公式。 $\bm{\omega}_{t}$ 是标准维纳过程。通常， $f(\cdot)$ 的形式为 ${\bm{f}}({\bm{z}},t)=f(t)\;{\bm{z}}$ 。因此，SDE 可以等效地写为

{\rm d}{\bm{z}}=f(t)\;{\bm{z}}\;{\rm d}t+g(t)\;{\rm d}{\bm{w}}_{t}.

(9)

假设 ${\bm{z}}$ 是时间 $t$ 的函数，即 ${\bm{z}}_{t}={\bm{z}}(t)$ ，那么给定 ${\bm{z}}_{0}$ 的 ${\bm{z}}_{t}$ 的条件分布（称为 SDE 的扰动核）可以表述为

p({\bm{z}}_{t}|{\bm{z}}_{0})={\mathcal{N}}({\bm{z}}_{t};s(t){\bm{z}}_{0},s^{2}(t)\sigma^{2}(t){\bm{I}}),

(10)

在哪里

s(t)=\exp\left(\int_{0}^{t}f(\xi){\rm d}\xi\right),\;\mbox{and}\;\sigma(t)=\sqrt{\int_{0}^{t}\frac{g^{2}(\xi)}{s^{2}(\xi)}{\rm d}\xi}.

(11)

因此，前向扩散过程可以通过定义扰动核（通过定义适当的 $s(t)$ 和 $\sigma(t)$ )来等效地表述。

方差保持（VP）实现了扰动核方程。 10 通过设置 $s(t)=\sqrt{1-\beta(t)}$ 和 $\sigma(t)=\sqrt{\frac{\beta(t)}{1-\beta(t)}}$ ( $s^{2}(t)+s^{2}(t)\sigma^{2}(t)=1$ )。去噪扩散概率模型（DDPM，Ho等人（2020）)属于VP-SDE，使用离散有限时间步长并给出 $\beta(t)$ 的具体函数定义。

方差爆炸（VE）实现了扰动核方程。 10通过设置 $s(t)=1$ ，表示噪声直接添加到数据中而不是加权混合。因此，噪声方差（噪声水平）完全由 $\sigma(t)$ 决定。 TabSyn 中使用的扩散模型属于 VE-SDE，但我们在普通 VE-SDE 中使用线性噪声级别（即 $\sigma(t)=t$ )而不是 $\sigma(t)=\sqrt{t}$ 。 SDE （宋等人，2021b）。当 $s(t)=1$ 时，扰动核变为：

p({\bm{z}}_{t}|{\bm{z}}_{0})={\mathcal{N}}({\bm{z}}_{t};\bm{0},\sigma^{2}(t){\bm{I}})\;\Rightarrow\;{\bm{z}}_{t}={\bm{z}}_{0}+\sigma(t)\bm{\varepsilon},

(12)

这与方程中的前向扩散过程一致。 5。

B.2 逆向过程

扩散模型的采样过程由相应的逆SDE定义：

{\rm d}{\bm{z}}=[{\bm{f}}({\bm{z}},t)-g^{2}(t)\nabla_{{\bm{z}}}\log p_{t}({\bm{z}})]{\rm d}t+g(t){\rm d}{\bm{w}}_{t}.

(13)

对于 VE-SDE， $s(t)=1\Leftrightarrow{\bm{f}}({\bm{z}},t)=f(t)\cdot{\bm{z}}=\bm{0}$ 和

\begin{split}&\sigma(t)=\sqrt{\int_{0}^{t}g^{2}(\xi){\rm d}\xi}\Rightarrow\int_{0}^{t}g^{2}(\xi){\rm d}\xi=\sigma^{2}(t),\\ &g^{2}(t)=\frac{{\rm d}\sigma^{2}(t)}{{\rm d}t}=2\sigma(t)\dot{\sigma}(t),\\ &g(t)=\sqrt{2\sigma(t)\dot{\sigma}(t)}.\end{split}

(14)

将 $g(t)$ 代入等式。 13，方程的逆过程。 6 被恢复：

{\rm d}{\bm{z}}=-2\sigma(t)\dot{\sigma}(t)\nabla_{{\bm{z}}}\log p_{t}({\bm{z}}){\rm d}t+\sqrt{2\sigma(t)\dot{\sigma}(t)}{\rm d}\bm{\omega}_{t}.

(15)

B.3训练

众所周知， ${\bm{f}}({\bm{z}},t),g(t),{\bm{w}}_{t}$ ，如果 $\nabla_{{\bm{z}}}\log p_{t}({\bm{z}})$ （称为分数函数）也可用，我们可以通过逆过程从随机噪声中采样合成数据。扩散模型训练一个神经网络（称为去噪函数） $D_{\theta}({\bm{z}}_{t},t)$ 来近似 $\nabla_{{\bm{z}}}\log p_{t}({\bm{z}})$ 。然而， $\nabla_{{\bm{z}}}\log p_{t}({\bm{z}})$ 本身是棘手的，就像边际分布 $p_{t}({\bm{z}})=p({\bm{z}}_{t})$ 是棘手的一样。幸运的是，条件分布 $p({\bm{z}}_{t}|{\bm{z}}_{0})$ 很容易处理。因此，我们可以训练去噪函数来逼近条件得分函数 $\nabla_{{\bm{z}}_{t}}\log p({\bm{z}}_{t}|{\bm{z}}_{0})$ ，训练过程称为去噪得分匹配：

\min{\mathbb{E}}_{{\bm{z}}_{0}\sim p({\bm{z}}_{0})}{\mathbb{E}}_{{\bm{z}}_{t}\sim p({\bm{z}}_{t}|{\bm{z}}_{0})}\|D_{\theta}({\bm{z}}_{t},t)-\nabla_{{\bm{z}}_{t}}\log p({\bm{z}}_{t}|{\bm{z}}_{0}))\|_{2}^{2},

(16)

其中 $\nabla_{{\bm{z}}}\log p({\bm{z}}_{t}|{\bm{z}}_{0})$ 根据方程有解析解。 10：

\begin{split}\nabla_{{\bm{z}}_{t}}\log p({\bm{z}}_{t}|{\bm{z}}_{0})&=\frac{1}{p({\bm{z}}_{t}|{\bm{z}}_{0})}\nabla_{{\bm{z}}_{t}}p({\bm{z}}_{t}|{\bm{z}}_{0})\\ &=\frac{1}{p({\bm{z}}_{t}|{\bm{z}}_{0})}\cdot(-\frac{1}{s^{2}(t)\sigma^{2}(t)}({\bm{z}}_{t}-s(t){\bm{z}}_{0}))\cdot p({\bm{z}}_{t}|{\bm{z}}_{0})\\ &=-\frac{1}{s^{2}(t)\sigma^{2}(t)}({\bm{z}}_{t}-s(t){\bm{z}}_{0})\\ &=-\frac{1}{s^{2}(t)\sigma^{2}(t)}\left(s(t){\bm{z}}_{0}+s(t)\sigma(t)\bm{\varepsilon}-s(t){\bm{z}}_{0}\right)\\ &=-\frac{\bm{\varepsilon}}{s(t)\sigma(t)}.\end{split}

(17)

因此，等式。 16 变为

\begin{split}\min{\mathbb{E}}_{{\bm{z}}_{0}\sim p({\bm{z}}_{0})}&{\mathbb{E}}_{{\bm{z}}_{t}\sim p({\bm{z}}_{t}|{\bm{z}}_{0})}\|D_{\theta}({\bm{z}}_{t},t)+\frac{\bm{\varepsilon}}{s(t)\sigma(t)}\|_{2}^{2}\\ \Rightarrow\min{\mathbb{E}}_{{\bm{z}}_{0}\sim p({\bm{z}}_{0})}&{\mathbb{E}}_{{\bm{z}}_{t}\sim p({\bm{z}}_{t}|{\bm{z}}_{0})}\|\bm{\epsilon}_{\theta}({\bm{z}}_{t},t)-{\bm{\varepsilon}}\|_{2}^{2},\\ \end{split}

(18)

其中 $D_{\theta}({\bm{z}}_{t},t)=-\frac{\bm{\epsilon}_{\theta}({\bm{z}}_{t},t)}{s(t)\sigma(t)}$ 。训练结束后，通过求解方程启用采样。 13（将 $\nabla_{{\bm{z}}}\log p_{t}({\bm{z}})$ 替换为 $D_{\theta}({\bm{z}}_{t},t)$ )。

附录C证明

C.1 命题证明1

我们首先引入引理1（来自(Karras等人, 2022))，它引入了一系列具有不同转发过程的共享相同解决方案轨迹的SDE：

Lemma 1.

令 $g(t)$ 为 $t$ 的自由参数函数，以下（正向）SDE 系列具有与噪声水平 $\sigma(t)$ 相同的解轨迹边际分布对于 $g(t)$ 的任何选择：

{\rm d}{\bm{z}}=\left(\frac{1}{2}g^{2}(t)-\dot{\sigma}(t)\sigma(t)\right)\nabla_{{\bm{z}}}\log p({\bm{z}};\sigma(t)){\rm d}t+g(t){\rm d}\omega_{t}.

(19)

方程的 SDE 的反向族。 19 通过改变第一项的符号给出：

{\rm d}{\bm{z}}=-\frac{1}{2}g^{2}(t)\nabla_{{\bm{z}}}\log p({\bm{z}};\sigma(t)-\dot{\sigma}(t)\sigma(t)\nabla_{{\bm{z}}}\log p({\bm{z}};\sigma(t)){\rm d}t+g(t){\rm d}\omega_{t}.

(20)

引理 1 表示对于特定（正向）SDE，遵循等式： 19，通过求解式(19)可以得到其解轨迹。任何 $g(t)$ 的 20。

由于我们的转发扩散过程（等式5)让 $g(t)=\sqrt{2\dot{\sigma}(t)\sigma(t)}$ （参见附录B中的推导），它的解决轨迹可以通过让 $g(t)=0$ 在等式中20：

\begin{split}{\rm d}{\bm{z}}=-\dot{\sigma}(t)\sigma(t)\nabla_{{\bm{z}}}\log p({\bm{z}};\sigma(t)){\rm d}t,\\ \frac{{\rm d}{\bm{z}}}{{\rm d}t}=-\dot{\sigma}(t)\sigma(t)\nabla_{{\bm{z}}}\log p({\bm{z}};\sigma(t)).\\ \end{split}

(21)

等式。 21 通常被称为概率流 ODE，因为它描述了没有噪声项的确定性逆过程。根据引理1，我们可以研究式（1）的解。 6 使用等式。 21。

为了证明命题1，我们只需通过求解方程（1）来研究真实值 ${\bm{z}}_{t-\Delta t}$ 与近似值之间的绝对误差。 6 来自 ${\bm{z}}_{t}$ ，其中 $\Delta t\rightarrow 0$ ：

\|{{\bm{z}}}_{t-\Delta t}-{\bm{z}}_{t-\Delta t}^{\text{Euler}}\|.

(22)

从 ${\bm{z}}_{t}={\bm{z}}_{0}+\sigma(t)\bm{\varepsilon}$ 开始，就有 ${\bm{z}}_{t-\Delta t}={\bm{z}}_{t}-\bm{\varepsilon}\cdot(\sigma(t)-\sigma(t-\Delta t))$ 。

${\bm{z}}_{t}$ 的 ${\bm{z}}_{t-\Delta t}$ 的解可以使用一阶欧拉法得到：

\begin{split}{\bm{z}}_{t-\Delta t}^{\text{Euler}}&\approx{\bm{z}}_{t}-\Delta t\frac{{\rm d}{\bm{z}}_{t}}{{\rm d}t}\\ &={\bm{z}}_{t}+\Delta t\;\dot{\sigma}(t)\sigma(t)\nabla_{{\bm{z}}_{t}}\log p({\bm{z}}_{t})\\ &={\bm{z}}_{t}+\Delta t\;\dot{\sigma}(t)\sigma(t)(-\bm{\epsilon}_{\theta}({\bm{z}}_{t},t)/\sigma(t))\\ &={\bm{z}}_{t}-\dot{\sigma}(t)\bm{\epsilon}_{\theta}({\bm{z}}_{t},t)\Delta t\\ &={\bm{z}}_{t}-\dot{\sigma}(t)\bm{\varepsilon}\Delta t,\end{split}

(23)

\begin{split}\|{{\bm{z}}}_{t-\Delta t}-{\bm{z}}_{t-\Delta t}^{\text{Euler}}\|&=\bm{\varepsilon}\cdot(\sigma(t)-\sigma(t-\Delta t))-\dot{\sigma}(t)\bm{\varepsilon}\Delta t\\ &=\bm{\varepsilon}\cdot(\sigma(t)-\sigma(t-\Delta t)-\dot{\sigma}(t)\Delta t).\end{split}

(24)

具体来说，如果 $\sigma(t)=t,\dot{\sigma}(t)=1$ ，则有

\|{{\bm{z}}}_{t-\Delta t}-{\bm{z}}_{t-\Delta t}^{\text{Euler}}\|=\bm{0}.

(25)

类似地，设置 $\sigma(t)=\sqrt{t}$ （如 VE-SDE Song 等人 (2021b))会导致

\|{{\bm{z}}}_{t-\Delta t}-{\bm{z}}_{t-\Delta t}^{\text{Euler}}\|=|\bm{\epsilon}(\sqrt{t}-\sqrt{t-\Delta t}-\frac{\Delta t}{2\sqrt{t}})|\geq\bm{0}.

(26)

因此，证明完成。

附录D网络架构

D.1 VAE的架构

在秒。 3.2，我们介绍了VAE模块的总体架构，它由分词器、Transformer编码器、Transformer解码器和去分词器组成。图7是Transformer编码器和解码器架构的详细说明。

VAE 的编码器将分词器的输出 ${\bm{E}}\in{\mathbb{R}}^{M\times d}$ 作为输入。由于我们使用的是变分自动编码器，编码器模块由相同架构的 $\mu$ 编码器和 $\log\sigma$ 编码器组成。每个编码器都实现为一个两层 Transformer，每个都有一个自注意力（无多头）模块和一个前馈神经网络（FFNN）。 TabSyn 中使用的 FFNN 是一个带有 ReLU 激活的简单两层 MLP（FFNN 的输入用 ${\bm{H}}_{0}$ 表示）：

\begin{split}{\bm{H}}_{1}&=\texttt{ReLU}(\texttt{FC}({\bm{H}}_{0}))\in{\mathbb{R}}^{M\times D},\\ {\bm{H}}_{2}&=\texttt{FC}({\bm{H}}_{1}),\in{\mathbb{R}}^{M\times d},\\ \end{split}

(27)

其中FC表示全连接层， $D$ 是FFNN的隐藏维度。在本文中，我们为所有数据集设置 $d=4$ 和 $D=128$ 。图7中的“Add & Norm”分别表示残差连接和Layer Normalization(Ba等人, 2016)。

VAE编码器输出两个矩阵：均值矩阵 $\bm{\mu}\in{\mathbb{R}}^{M\times d}$ 和对数标准差矩阵 $\log\bm{\sigma}\in{\mathbb{R}}^{M\times d}$ 。然后，通过参数化技巧获得潜在变量：

{\bm{Z}}=\bm{\mu}+\bm{\sigma}\cdot\bm{\varepsilon},\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}}).

(28)

VAE的解码器是另一个与编码器架构相同的两层Transformer，它以 ${\bm{Z}}$ 作为输入。解码器预计会为去标记器输出 $\hat{{\bm{E}}}\in{\mathbb{R}}^{M\times d}$ 。

D.2 去噪MLP的架构

在图7中，我们展示了等式1中的去噪神经网络 $\bm{\varepsilon}_{\theta}({\bm{z}}_{t},t)$ 的架构。 7，这是一个简单的 MLP，其架构与 TabDDPM (Kotelnikov 等人，2023) 中使用的架构类似。

去噪MLP以当前时间步 $t$ 和相应的潜在向量 ${\bm{z}}_{t}\in{\mathbb{R}}^{1\times Md}$ 作为输入。首先， ${\bm{z}}_{t}$ 被输入线性投影层，将向量维度转换为 $d_{\rm hidden}$ ：

{\bm{h}}_{0}=\texttt{FC}_{\rm in}({\bm{z}}_{t})\in{\mathbb{R}}^{1\times d_{\rm hidden}},

(29)

其中 ${\bm{h}}_{0}$ 是变换后的向量， $d_{\rm hidden}$ 是输入层的输出维度。

然后，按照TabDDPM (Kotelnikov 等人, 2023)中的做法，将正弦时间步嵌入 ${\bm{t}}_{\rm emb}\in{\mathbb{R}}^{1\times d_{\rm hidden}}$ 与 ${\bm{h}}_{0}$ 相加，得到输入向量 ${\bm{h}}_{\rm hidden}$ ：

{\bm{h}}_{\rm in}={\bm{h}}_{0}+{\bm{t}}_{\rm emb}.

(30)

隐藏层是大小为 $d_{\rm hidden}-2*d_{\rm hidden}-2*d_{\rm hidden}-d_{\rm hidden}$ 的三个全连接层，具有 SiLU 激活函数（与 TabDDPM (Kotelnikov 等人, 2023) 一致）：

\begin{split}{\bm{h}}_{1}&=\texttt{SiLU}(\texttt{FC}_{1}({\bm{h}}_{0})\in{\mathbb{R}}^{1\times 2*d_{\rm hidden}}),\\ {\bm{h}}_{2}&=\texttt{SiLU}(\texttt{FC}_{2}({\bm{h}}_{1})\in{\mathbb{R}}^{1\times 2*d_{\rm hidden}}),\\ {\bm{h}}_{3}&=\texttt{SiLU}(\texttt{FC}_{3}({\bm{h}}_{2})\in{\mathbb{R}}^{1\times d_{\rm hidden}}).\\ \end{split}

(31)

估计分数是通过最后一个线性层获得的：

\bm{\varepsilon}_{\theta}({\bm{z}}_{t},t)={\bm{h}}_{\rm out}=\texttt{FC}_{\rm out}({\bm{h}}_{3})\in{\mathbb{R}}^{1\times d_{\rm in}}.

(32)

最后，将 $\bm{\varepsilon}_{\theta}({\bm{z}}_{t},t)$ 应用于等式。 7 用于模型训练。

附录 E实验设置详细信息

我们使用 PyTorch 实现 TabSyn 和所有基线方法。所有方法均使用 Adam (Kingma & Ba, 2015) 优化器进行优化。所有实验均在具有 24G 内存的 Nvidia RTX 4090 GPU 上进行。

E.1 数据集

我们使用来自 UCI 机器学习存储库的 $6$ 表格数据集¹¹1https://archive.ics.uci.edu/datasets：Adult、Default、Shoppers、Magic、Beijing 和 News，其中每个表格数据集都与一个机器学习任务相关联。分类：成人、默认、魔法和购物者。回归：北京和新闻。数据集的统计数据如表6所示。

表 6：数据集统计。 # Num 代表数值列的数量，# Cat 代表分类列的数量。

Dataset	# Rows	# Num	# Cat	# Train	# Validation	# Test	Task
Adult	$48,842$	$6$	$9$	$28,943$	$3,618$	$16,281$	Classification
Default	$30,000$	$14$	$11$	$24,000$	$3,000$	$3,000$	Classification
Shoppers	$12,330$	$10$	$8$	$9,864$	$1,233$	$1,233$	Classification
Magic	$19,019$	$10$	$1$	$15,215$	$1,902$	$1,902$	Classification
Beijing	$43,824$	$7$	$5$	$35,058$	$4,383$	$4,383$	Regression
News	$39,644$	$46$	$2$	$31,714$	$3,965$	$3,965$	Regression

表6中，#Rows表示表中的行（记录）数。 # Num 和 # Cat 分别表示数值特征和分类特征的数量。请注意，目标列被计为数字或分类特征，具体取决于任务类型。具体来说，如果任务是分类，则目标列属于分类列；否则，它是一个数字列。每个数据集都分为机器学习效率实验的训练集、验证集和测试集。由于Adult有其官方的测试集，我们直接使用它作为测试集。 Adult 的原始训练集进一步分为训练和验证，比例为 $8:1$ 。剩余的数据集被分成训练/验证/测试集，其比例为 $8:1:1$ 并具有固定种子。

下面对各个数据集进行详细介绍：

•

成人²²2https://archive.ics.uci.edu/dataset/2/adult：“Adult人口普查收入”数据集包含人口统计和就业相关特征。任务是预测一个人的收入是否超过 $50,000$ 。
•

默认³³3https://archive.ics.uci.edu/dataset/350/default+of+credit+card+clients：“信用卡客户数据集Default”数据集包含有关违约的信息2005年4月至2005年9月台湾信用卡客户的付款、人口因素、信用数据、付款历史和账单。任务是预测客户下个月是否会拖欠付款。
•

购物者⁴⁴4https://archive.ics.uci.edu/dataset/468/online+shoppers+purchasing+intention+dataset：“在线Shoppers购买意向数据集”包含用户访问的网页信息会议。任务是预测用户的会话是否以购物行为结束。
•

魔法⁵⁵5https://archive.ics.uci.edu/dataset/159/magic+gamma+telescope：“Magic伽马望远镜”数据集是模拟高能伽马粒子在使用成像技术的地面大气切伦科夫伽马望远镜。任务是对大气中的高能伽马粒子进行分类。
•

北京⁶⁶6https://archive.ics.uci.edu/dataset/381/beijing+pm2+5+data：“北京PM2.5数据”数据集包含每小时的PM2.5数据美国驻北京大使馆的气象数据和北京首都国际机场的气象数据。任务是预测PM2.5值。
•

新闻⁷⁷7https://archive.ics.uci.edu/dataset/332/online+news+popularity：“在线新闻流行度”数据集包含一组关于 Mashable 发布的文章的异构特征两年内。目标是预测社交网络中的分享数量（受欢迎程度）。

E.2 基线

在本节中，我们介绍并比较本文使用的基线方法的属性。

•

CTGAN和TVAE是一篇论文（Xu等人，2019）中提出的两种合成表格数据生成方法，使用相同的技术，但是基于不同的基本生成模型 - CTGAN 为 GAN，TVAE 为 VAE。这两种方法包含两个重要的设计：1）特定于模式的归一化，用于处理具有复杂分布的数值列。 2）基于分类列有条件生成数值列，以处理类别不平衡问题。
•

GOGGLE (Liu 等人, 2023b)是最近提出的一种基于VAE的合成表格数据生成模型。 GOGGLE 的主要动机是以前的文献很难利用不同列之间的复杂关系。因此，它提出学习图邻接矩阵来建模不同列之间的依赖关系。 VAE模型的编码器和解码器均实现为图神经网络（GNN），并且图邻接矩阵与GNN参数联合优化。
•

GREaT (Borisov 等人, 2023) 将一行表格数据视为一个句子，并应用自回归 GPT 模型来学习句子级行分布。 GreaT 涉及一个精心设计的序列化过程，将行转换为特定格式的自然语言句子，以及相应的反序列化过程，将句子转换回表格式。为了保证表格数据的排列不变性，GReaT 在序列化之前对每一行进行多次洗牌。
•

STaSy (Kim 等人, 2023) 是一种最新的基于扩散的合成表格数据生成模型。 STaSy 将分类列的独热编码视为连续特征，然后与数值列一起处理。 STaSy 采用 Song 等人 (2021b) 中的 VP/VE SDE 作为扩散过程来学习表格数据的分布。 STaSy 进一步提出了几种训练策略，包括自定进度学习和微调，以稳定过程，提高采样质量和多样性。
•

CoDi (Lee 等人, 2023) 提出分别对数值列和分类列使用两种扩散模型。对于数值列，它使用带有高斯噪声的 DDPM (Ho 等人, 2020) 模型。对于分类列，它使用带有分类噪声的多项扩散模型（Hoogeboom等人，2021）。这两个扩散过程相互制约，以模拟数值列和分类列的联合分布。此外，CoDi采用对比学习方法进一步绑定两种扩散方法。
•

TabDDPM （Kotelnikov 等人，2023）。与 CoDi 一样，TabDDPM 引入了两种扩散过程：针对数值列的具有高斯噪声的 DDPM 和针对分类列的带有分类噪声的多项式扩散。与 CoDi 不同，CoDi 引入了许多附加技术，例如通过互条件学习和对比学习进行协同进化学习，TabDDPM 将数字和分类特征连接起来作为去噪函数（MLP）的输入和输出。尽管它很简单，但我们的实验表明 TabDDPM 的性能甚至比 CoDi 更好。

我们在表 7 中进一步比较了这些基线方法和建议的 TabSyn 的属性。比较的属性包括： 1) 兼容性：该方法是否可以处理混合类型的数据列，例如数字和分类。 2) 鲁棒性：该方法在不同数据集上是否具有稳定的性能（通过分数的标准差( $\leq 10\%$ 或不）来衡量）在不同数据集上（来自表1 和表2)。 3) 质量：合成数据是否能够通过列卡方检验( $p\geq 0.95$ )。 4）效率：每种方法都可以在不到 $20$ 步内生成满足质量的合成表格数据。

表 7：表格数据的不同生成模型的属性比较。基本模型表示基本生成模型类型：生成对抗网络（GAN）、变分自动编码器（VAE）、自回归语言模型（AR）和扩散。

Method	Base Model	Compatibility	Robustness	Quality	Efficiency
CTGAN	GAN	✓	✗	✗	✓
TVAE	VAE	✓	✓	✗	✓
GOGGLE	VAE	✗	✗	✗	✓
GReaT	AR	✓	✗	✗	✗
STaSy	Diffusion	✗	✓	✓	✗
CoDi	Diffusion	✓	✗	✗	✗
TabDDPM	Diffusion	✓	✗	✓	✗
TabSyn	Diffusion	✓	✓	✓	✓

E.3 低阶统计量的度量

在本节中，我们详细介绍了 Sec. 中使用的指标。 4.2。

E.3.1 逐列密度估计

Kolmogorov-Sirnov 检验 (KST)：给定两个（连续）分布 $p_{r}(x)$ 和 $p_{s}(x)$ ( $r$ 表示实数， $s$ 表示合成），KST 使用两个相应的累积分布函数 (CDF) 之间的差异上限来量化两个分布之间的距离：

{\rm KST}=\sup\limits_{x}|F_{r}(x)-F_{s}(x)|,

(33)

其中 $F_{r}(x)$ 和 $F_{s}(x)$ 分别是 $p_{r}(x)$ 和 $p_{s}(x)$ 的 CDF：

F(x)=\int_{-\infty}^{x}p(x){\rm d}x.

(34)

总变异距离（TVD）：TVD计算每个类别值的频率并将其表示为概率。那么，TVD 分数是类别概率之间的平均差：

{\rm TVD}=\frac{1}{2}\sum\limits_{\omega\in\Omega}|R(\omega)-S(\omega)|,

(35)

其中 $\omega$ 描述了 $\Omega$ 列中所有可能的类别。 $R(\cdot)$ 和 $S(\cdot)$ 表示这些类别的真实频率和合成频率。

E.3.2 成对列相关性

皮尔逊相关系数：皮尔逊相关系数衡量两个连续分布是否线性相关，计算公式为：

\rho_{x,y}=\frac{{\rm Cov}(x,y)}{\sigma_{x}\sigma_{y}},

(36)

其中 $x$ 和 $y$ 是两个连续的列。 Cov 是协方差， $\sigma$ 是标准差。

然后，相关性估计的性能通过真实数据的相关性和合成数据的校正之间的平均差异来衡量：

{\text{Pearson Score}}=\frac{1}{2}{\mathbb{E}}_{x,y}|\rho^{R}(x,y)-\rho^{S}(x,y)|,

(37)

其中 $\rho^{R}(x,y)$ 和 $\rho^{S}(x,y))$ 分别表示真实数据和合成数据的 $x$ 列和 $y$ 列之间的皮尔逊相关系数。如 $\rho\in[-1,1]$ ，将平均分数除以 $2$ ，以确保其落在 $[0,1]$ 范围内，则分数越小，估计越好。

列联相似性：对于一对分类列 $A$ 和 $B$ ，列联相似性得分使用总变异距离计算列联表之间的差异。该过程总结为以下公式：

\text{Contingency Score}=\frac{1}{2}\sum\limits_{\alpha\in A}\sum\limits_{\beta\in B}|R_{\alpha,\beta}-S_{\alpha,\beta}|,

(38)

其中 $\alpha$ 和 $\beta$ 分别描述 $A$ 列和 $B$ 列中所有可能的类别。 $R_{\alpha,\beta}$ 和 $S_{\alpha,\beta}$ 分别是 $\alpha$ 和 $\beta$ 在真实数据和合成数据中的联合频率。

E.4 机器学习效率实验的详细信息

正如第 2 节中初步说明的那样。 4.3.1和附录E.1，每个数据集首先分为真实训练集和测试集。生成模型是在真实训练集上学习的。学习模型后，对等效大小的合成集进行采样。

MLE 任务上的合成数据的性能是根据使用真实和合成训练数据的测试分数的差异来评估的。因此，我们首先在真实训练集上训练机器学习模型，并按 $8:1$ 比例分为训练集和验证集。分类器/回归器在训练集上进行训练，并根据验证集上的性能选择最佳超参数设置。获得最佳超参数设置后，在训练集上重新训练相应的分类器/回归器，并在真实测试集上进行评估。我们为训练集和验证集创建 20 个随机分割，表 3 中报告的性能是 $20$ 随机轨迹的 AUC/RMSE 分数的平均值和标准差。以同样的方式获得合成数据的性能。

下面是 MLE 任务中使用的 XGBoost 分类器/回归器的超参数搜索空间，我们通过网格搜索选择最佳超参数。

•

估计器数量：[10, 50, 100]
•

儿童最低体重：[5,10,20]。
•

最大树深度：[1,10]。
•

伽玛：[0.0，1.0]。

我们使用 SDMetric⁸⁸8https://docs.sdv.dev/sdmetrics。

附录F附加实验结果

在本节中，我们以 Adult 数据集为例，比较不同方法的训练和采样时间。

F.1 训练/采样时间

表8：在成人数据集上比较不同方法的训练和采样时间。 TabSyn的训练时间是VAE和Diffusion的训练时间之和。

Method	Training	Sampling
CTGAN	1029.8s	0.8621s
TVAE	352.6s	0.5118s
GOGGLE	1h 34min	5.342s
GReaT	2h 27min	2min 19s
STaSy	2283s	8.941s
CoDi	2h 56min	4.616s
TabDDPM	1031s	28.92s
TabSyn	1758s + 664s	1.784s

如图8所示，虽然有一个额外的VAE训练过程，但所提出的TabSyn与大多数基线方法具有相似的训练时间。在采样时间上，TabSyn只需要 $1.784$ s即可生成与Adult训练数据大小相同的合成数据，接近一步采样方法CTGAN和电视AE。其他基于扩散的方法需要更长的采样时间。例如，最具竞争力的方法 TabDDPM (Kotelnikov 等人, 2023) 需要 $28.92$ s 进行采样。所提出的 TabSyn 将采样时间减少了 $93\%$ ，并实现了更好的合成质量。

F.2 合成数据的样本质量得分( $\alpha$ -Precison 和 $\beta$ -Recall）

秒中的实验。 4 使用低阶统计量评估了不同模型生成的合成数据的性能，包括列式密度估计（表1)和成对列相关性估计（表2)。然而，这些结果不足以评估合成数据的整体密度估计性能，因为生成模型可能只是简单地学习单独估计每个单列的密度，而不是所有列的联合概率。此外，MLE 任务也无法反映整体密度估计性能，因为一些不重要的列可能会被忽略。因此，在本节中，我们采用高阶度量，更关注整个数据分布，即所有列的联合分布。

继Liu 等人(2023b)和Alaa 等人(2022)之后，我们采用 $\alpha$ -精度和 $\beta$ -回想一下 Alaa 等人 (2022) 中提出的两个样本级指标，用于量化合成数据的可信度。一般来说， $\alpha$ -Precision评估合成数据的保真度——每个合成示例是否来自真实数据分布， $\beta$ -Recall评估合成数据的覆盖范围，例如，合成数据是否能够覆盖真实数据的整个分布（即真实数据样本是否接近合成数据）。 Liu等人(2023b)还采用了第三个指标，真实性——合成样本是随机生成的还是简单地从真实数据中复制而来。然而，我们发现真实性得分和 β 召回率表现出显着的负相关性——它们的总和几乎恒定，并且 β 召回率的提高通常伴随着真实性得分的下降（我们认为这就是真实性得分相对较小的原因）。 GOGGLE 中各个模型的质量得分差异(Liu 等人, 2023b))。因此，我们认为 beta-recall 和真实性不适合同时使用。

在表9和表10中，我们分别报告了 $\alpha$ -精确度和 $\beta$ -召回率的分数。 TabSyn 在所有数据集上获得了最好的 $\alpha$ -精度分数，证明了 TabSyn 在生成接近真实数据的合成数据方面的卓越能力。在表 10 中，我们观察到 TabSyn 在六个数据集上始终获得较高的 $\beta$ -召回分数。尽管一些基线方法在特定数据集上获得了较高的 $\beta$ 回忆分数，但很难得出这些方法生成的合成数据质量更好的结论，因为1）它们的合成数据的 $\alpha$ -精度分数（例如，Adult 上的 GREaT，Magic 上的 STaSy），表明合成数据与真实数据的流形相差甚远； 2）他们未能在其他数据集上表现出稳定的竞争性能（例如，GREaT 在 Adult 上具有较高的 $\beta$ -Recall 分数，但在 Magic 上的分数较差）。我们认为，评估生成的质量，首先考虑的是生成的数据是否足够真实( $\alpha$ -精度），其次是生成的数据是否能够覆盖真实数据集的所有模式( $\beta$ -回忆）。根据这个标准，TabSyn 生成的数据质量是最高的。它不仅拥有最高的保真度得分，而且在每个数据集上始终表现出极高的覆盖率。

表 9：

\alpha

-精度分数的比较。粗体代表每个数据集的最佳得分。值越高表示结果越好。 TabSyn 在所有数据集上均优于所有其他基线方法。

Methods	Adult	Default	Shoppers	Magic	Beijing	News	Average	Ranking
CTGAN	$77.74$ $\pm 0.15$	$62.08$ $\pm 0.08$	$76.97$ $\pm 0.39$	$86.90$ $\pm 0.22$	$96.27$ $\pm 0.14$	$96.96$ $\pm 0.17$	$82.82$	$5$
TVAE	$98.17$ $\pm 0.17$	$85.57$ $\pm 0.34$	$58.19$ $\pm 0.26$	$86.19$ $\pm 0.48$	$97.20$ $\pm 0.10$	$86.41$ $\pm 0.17$	$85.29$	$4$
GOGGLE	$50.68$	$68.89$	$86.95$	$90.88$	$88.81$	$86.41$	$78.77$	8
GReaT	$55.79$ $\pm 0.03$	$85.90$ $\pm 0.17$	$78.88$ $\pm 0.13$	$85.46$ $\pm 0.54$	$98.32$ $\pm 0.22$	-	$80.87$	$6$
STaSy	$82.87$ $\pm 0.26$	$90.48$ $\pm 0.11$	$89.65$ $\pm 0.25$	$86.56$ $\pm 0.19$	$89.16$ $\pm 0.12$	$94.76$ $\pm 0.33$	$88.91$	$2$
CoDi	$77.58$ $\pm 0.45$	$82.38$ $\pm 0.15$	$94.95$ $\pm 0.35$	$85.01$ $\pm 0.36$	$98.13$ $\pm 0.38$	$87.15$ $\pm 0.12$	$87.03$	$3$
TabDDPM	$96.36$ $\pm 0.20$	$97.59$ $\pm 0.36$	$88.55$ $\pm 0.68$	$98.59$ $\pm 0.17$	$97.93$ ${\pm 0.30}$	$0.00$ $\pm 0.00$	$79.83$	$7$
TabSyn	$\bf{{\color[rgb]{0.8,0.25,0.33}99.52}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.10}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}99.26}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.27}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}99.16}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.22}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}99.38}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.27}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}98.47}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.10}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}96.80}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.25}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}98.67}}$	$1$

表 10：

\beta

-回忆分数的比较。粗体代表每个数据集的最佳得分。值越高表示结果越好。 TabSyn 始终给出较高的

\beta

回忆分数，表明合成数据涵盖了广泛的真实分布。尽管一些基线方法在特定数据集上获得了较高的分数，但它们未能在其他数据集上表现出稳定的竞争性能。

Methods	Adult	Default	Shoppers	Magic	Beijing	News	Average	Ranking
CTGAN	$30.80$ $\pm 0.20$	$18.22$ $\pm 0.17$	$31.80$ $\pm 0.350$	$11.75$ $\pm 0.20$	$34.80$ $\pm 0.10$	$24.97$ $\pm 0.29$	$25.39$	$7$
TVAE	$38.87$ $\pm 0.31$	$23.13$ $\pm 0.11$	$19.78$ $\pm 0.10$	$32.44$ $\pm 0.35$	$28.45$ $\pm 0.08$	$29.66$ $\pm 0.21$	$28.72$	$6$
GOGGLE	$8.80$	$14.38$	$9.79$	$9.88$	$19.87$	$2.03$	$10.79$	$8$
GReaT	$\bf{{\color[rgb]{0.8,0.25,0.33}49.12}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.18}}$	$42.04$ $\pm 0.19$	$44.90$ $\pm 0.17$	$34.91$ $\pm 0.28$	$43.34$ $\pm 0.31$	-	$43.34$	$2$
STaSy	$29.21$ $\pm 0.34$	$39.31$ $\pm 0.39$	$37.24$ $\pm 0.45$	$\bf{{\color[rgb]{0.8,0.25,0.33}53.97}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.57}}$	$54.79$ $\pm 0.18$	$39.42$ $\pm 0.32$	$42.32$	$3$
CoDi	$9.20$ $\pm 0.15$	$19.94$ $\pm 0.22$	$20.82$ $\pm 0.23$	$50.56$ $\pm 0.31$	$52.19$ $\pm 0.12$	$34.40$ $\pm 0.31$	$31.19$	$5$
TabDDPM	$47.05$ $\pm 0.25$	$47.83$ $\pm 0.35$	$47.79$ $\pm 0.25$	$48.46$ $\pm 0.42$	$\bf{{\color[rgb]{0.8,0.25,0.33}56.92}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.13}}$	$0.00$ $\pm 0.00$	$41.34$	$4$
TabSyn	${47.56}$ ${\pm 0.22}$	$\bf{{\color[rgb]{0.8,0.25,0.33}48.00}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.35}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}48.95}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.28}}$	${48.03}$ ${\pm 0.23}$	$55.84$ ${\pm 0.19}$	$\bf{{\color[rgb]{0.8,0.25,0.33}45.04}}$ $\bf{{\color[rgb]{0.8,0.25,0.33}\pm 0.34}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}48.90}}$	$1$

F.3检测：分类器两个样本测试（C2ST）

我们进一步研究区分真实数据和合成数据的难度，从而评估合成数据是否可以恢复真实数据分布。为此，我们采用 sdmetrics ⁹⁹9https://docs.sdv.dev/sdmetrics/metrics/metrics-in-beta/detection-single-table。在表11中，我们展示了使用逻辑回归作为检测方法获得的结果。

表 11：使用逻辑回归分类器的检测评分 (C2ST)。分数越高表示性能越好。

Method	Adult	Default	Shoppers	Magic	Beijing	News
SMOTE	$0.9710$	$0.9274$	$0.9086$	$0.9961$	$0.9888$	$0.9344$
CTGAN	$0.5949$	$0.4875$	$0.7488$	$0.6728$	$0.7531$	$0.6947$
TVAE	$0.6315$	$0.6547$	$0.2962$	$0.7706$	$0.8659$	$0.4076$
GOGGLE	$0.1114$	$0.5163$	$0.1418$	$0.9526$	$0.4779$	$0.0745$
GReaT	$0.5376$	$0.4710$	$0.4285$	$0.4326$	$0.6893$	-
STaSy	$0.4054$	$0.6814$	$0.5482$	$0.6939$	$0.7922$	$0.5287$
CoDi	$0.2077$	$0.4595$	$0.2784$	$0.7206$	$0.7177$	$0.0201$
TabDDPM	$0.9755$	$0.9712$	$0.8349$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.9998}}$	$0.9513$	$0.0002$
TabSyn	$\bf{{\color[rgb]{0.8,0.25,0.33}0.9986}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.9870}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.9740}}$	$0.9732$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.9603}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.9749}}$

如表中所示，与其他指标（例如单列密度估计、成对列形状估计和 MLE）相比，检测分数表现出卓越的判别能力。检测分数显示合成数据生成的不同模型之间存在显着差异。如表中所示，与其他指标（例如单列密度估计、成对列形状估计和 MLE）相比，检测分数表现出卓越的判别能力。检测分数显示合成数据生成的不同模型之间存在显着差异。所提出的 TabSyn 在所有数据集上始终获得显着的高分（SMOTE (Chawla 等人, 2002) 直接在训练集中进行插值，因此它获得高分也就不足为奇了检测指标中的分数。）。

F.4 缺失值插补

调整 TabSyn 以进行缺失值插补

扩散模型的一个重要优点是无条件模型可以直接用于缺失数据插补任务（例如图像修复 (Song 等人, 2021b; Lugmayr 等人, 2022) 和缺失值插补））无需再培训。遵循Lugmayr等人（2022）中提出的修复方法，我们在缺失值插补任务中应用了建议的TabSyn。

对于一行表格数据 ${\bm{z}}_{i}=[{\bm{z}}_{i}^{{\rm num}},{\bm{z}}^{{\rm oh}}_{i,1},\cdots{\bm{z}}^{{\rm oh}}_{i,M_{{\rm cat}}}]$ 、 ${\bm{z}}_{i}^{{\rm num}}\in{\mathbb{R}}^{1\times M_{{\rm num}}}$ 、 ${\bm{z}}^{{\rm oh}}_{i,j}\in{\mathbb{R}}^{1\times C_{j}}$ 。假设屏蔽数字列的索引集是 ${m}_{{\rm num}}$ ，屏蔽分类列的索引集是 ${m}_{{\rm cat}}$ ，我们首先对屏蔽列进行如下预处理：

•

屏蔽数字列的值设置为该列的平均值，即 $x^{{\rm num}}_{i,j}\Leftarrow{\rm mean}({\bm{z}}_{:,j}^{{\rm num}}),\forall j\in{m}_{{\rm num}}$ 。
•

屏蔽的分类列设置为 ${\bm{z}}_{i,j}^{{\rm oh}}\Leftarrow[\frac{1}{C_{j}},\cdots,\frac{1}{C_{j}},\cdots\frac{1}{C_{j}}]\in{\mathbb{R}}^{1\times C_{j}},\forall j\in{m}_{{\rm cat}}$ 。

更新后的 ${\bm{z}}_{i}$ （我们省略了剩余部分中的下标）被馈送到TabSyn的冻结VAE编码器以获得嵌入 ${\bm{z}}\in{\mathbb{R}}^{1\times Md}$ 。由于 TabSyn 的 VAE 采用 Transformer 架构，因此数据空间 ${m}_{{\rm num}}$ 和 ${m}_{{\rm cat}}$ 中的屏蔽索引到数据空间中的屏蔽索引存在确定性映射。潜在空间。例如，数值列的第一个维度映射到 ${\bm{z}}$ 中的维度 $1$ 到 $d$ 。因此，我们可以创建一个掩蔽向量 ${\bm{m}}$ 来指示每个维度是否被掩蔽。那么 ${\bm{z}}$ 的已知部分和未知部分可以分别表示为 ${\bm{m}}\odot{\bm{z}}$ 和 $(1-{\bm{m}})\odot{\bm{z}}$ 。

继Lugmayr等人(2022)之后，反向步骤被修改为已知部分的转发和未知部分的去噪的混合：

\begin{split}{\bm{z}}_{t_{i-1}}^{\rm known}&={\bm{z}}+\sigma(t_{i-1})\bm{\varepsilon},\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}}),\\ {\bm{z}}_{t_{i-1}}^{\rm unknown}&={\bm{z}}_{t_{i}}+\int_{t_{i}}^{t_{i-1}}{\rm d}{\bm{z}}_{t_{i}},\\ {\bm{z}}_{t_{i-1}}&={\bm{m}}\odot{\bm{z}}_{t_{i-1}}^{\rm known}+(1-{\bm{m}})\odot{\bm{z}}_{t_{i-1}}^{\rm unknown},\\ \text{where}\;\;{\rm d}{\bm{z}}_{t}&=-\dot{\sigma}(t)\sigma(t)\nabla_{{\bm{z}}_{t}}\log p({\bm{z}}_{t}){\rm d}t+\sqrt{\dot{\sigma}(t)\sigma(t)}{\rm d}\bm{\omega}_{t}.\\ \end{split}

(39)

从时间 $t_{i}$ 到 $t_{i-1}$ 的反向插补还涉及重采样，以减少每个步骤带来的误差（Lugmayr等人，2022）。重采样表明方程。 39 将重复从 ${\bm{z}}_{t_{i}}$ 到 ${\bm{z}}_{t_{i-1}}$ 的 $U$ 个步骤。完成相反的步骤后，我们获得了估算的潜在向量 ${\bm{z}}_{0}$ ，可以将其放入TabSyn的VAE解码器中以恢复原始输入数据。

缺失值插补的算法在算法4中给出。

1: 1. VAE encoding

{\bm{z}}=[{\bm{z}}^{{\rm num}},{\bm{z}}^{{\rm oh}}_{1},\cdots{\bm{z}}^{{\rm oh}}_{M_{{\rm cat}}}]

is a data sample having missing values.

{m}_{{\rm num}}

denotes the missing numerical columns.

{m}_{{\rm cat}}

denotes the missing categorical columns.

x^{{\rm num}}_{:,j}\Leftarrow{\rm mean}({\bm{z}}_{:,j}^{{\rm num}}),\forall j\in{m}_{{\rm num}}

{\bm{z}}_{i,j}^{{\rm oh}}\Leftarrow[\frac{1}{C_{j}},\cdots,\frac{1}{C_{j}},\cdots\frac{1}{C_{j}}]\in{\mathbb{R}}^{1\times C_{j}},\forall j\in{m}_{{\rm cat}}

{\bm{z}}={\rm Flatten}({\rm Encoder}({\bm{z}}))\in{\mathbb{R}}^{1\times Md}

18:

9: 2. Obtaining the masking vector

10:

{\bm{m}}\in{\mathbb{R}}^{1\times Md}

11: for

j=1,\dots,Md

12: if

(\lfloor j/d\rfloor)\in{m}_{{\rm num}}

(\lfloor j/d\rfloor-M_{{\rm num}})\in{m}_{{\rm cat}}

then

13:

{\bm{m}}_{j}=0

14: else

15:

{\bm{m}}_{j}=1

16: end if

17: end for

218:

19: 3. Missing Value Imputation via Denoising

20:

{\bm{z}}_{t_{\max}}={\bm{z}}+\sigma(t_{\max})\bm{\varepsilon},\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}})

21: for

i=\max,\cdots,1

22: for

u=1,\cdots,U

23:

{\bm{z}}_{t_{i-1}}^{\rm known}={\bm{z}}+\sigma(t_{i-1})\bm{\varepsilon},\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}})

24:

{\bm{z}}_{t_{i-1}}^{\rm unknown}={\bm{z}}_{t_{i}}+\int_{t_{i}}^{t_{i-1}}{\rm d}{\bm{z}}_{t_{i}}

25:

{\rm d}{\bm{z}}

is defined in Eq. 6

26:

{\bm{z}}_{t_{i-1}}={\bm{m}}\odot{\bm{z}}_{t_{i-1}}^{\rm known}+(1-{\bm{m}})\odot{\bm{z}}_{t_{i-1}}^{\rm unknown}

27: if

u<U

and

t>1

then

28: ### Resampling

29:

{\bm{z}}_{t_{i}}={\bm{z}}_{t_{i-1}}+\sqrt{\sigma^{2}(t_{i})-\sigma^{2}(t_{i-1})}\bm{\varepsilon},\bm{\varepsilon}\sim{\mathcal{N}}(\bm{0},{\bm{I}})

30: end if

31: end for

32: end for

33:

{\bm{z}}_{0}={\bm{z}}_{t_{0}}

334:

35: 4. VAE decoding

36:

\hat{{\bm{z}}}={\rm Decoder}({\rm Unflatten}({\bm{z}}_{0}))

37:

\hat{{\bm{z}}}

is the imputed data

Algorithm 4 TabSyn for Missing Value Imputation

分类/回归作为缺失值插补。

通过算法 4，我们可以使用 TabSyn 对任何缺失的列进行插补。在本节中，我们考虑一个更有趣的应用——直接将分类/回归视为缺失值插补任务。如 E.1 节所示，每个数据集都分配有一个机器学习任务，即数据集中目标列的分类或回归。因此，我们可以对目标列的值进行屏蔽，然后应用TabSyn对屏蔽值进行插补，完成分类或回归任务。

在表12中，我们展示了TabSyn在每个数据集的目标列上缺失值插补任务中的性能。将性能与直接训练分类器/回归器、使用剩余列来预测目标列（机器学习效率任务中的“真实”行，表 3)进行比较。令人惊讶的是，使用 TabSyn 进行插补在所有数据集上都显示出极具竞争力的结果。在六个数据集中的四个上，TabSyn 的表现优于在真实数据上训练判别 ML 分类器/回归器。我们怀疑造成这种现象的原因可能是训练判别性机器学习模型更容易在集合上过度拟合。相比之下，通过学习整个数据的平滑分布，生成模型显着降低了过度拟合的风险。缺失值插补任务的出色结果进一步凸显了我们提出的 TabSyn 对于实际应用的重要性。

我们的 TabSyn 没有在其他列上针对缺失值插补任务进行条件训练，并且可以通过专门针对该任务训练单独的条件模型来进一步提高性能。我们把它留到以后的工作中。

表 12：与使用真实数据训练 XGBoost 分类器/回归器相比，TabSyn 在缺失值插补任务中的性能。

Methods	Adult	Default	Shoppers	Magic	Beijing	News
Methods	AUC $\uparrow$	AUC $\uparrow$	AUC $\uparrow$	AUC $\uparrow$	RMSE $\downarrow$	RMSE $\downarrow$
Real with XGBoost	$92.7$	$77.0$	$92.6$	$\bf{{\color[rgb]{0.8,0.25,0.33}94.6}}$	$0.423$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.842}}$
Impute with TabSyn	$\bf{{\color[rgb]{0.8,0.25,0.33}93.2}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}87.2}}$	$\bf{{\color[rgb]{0.8,0.25,0.33}96.6}}$	${88.8}$	$\bf{{\color[rgb]{0.8,0.25,0.33}0.258}}$	${1.253}$

F.5 VAE质量的影响

直观上，TabSyn 的性能似乎高度依赖于预训练 VAE 模型的质量。因此，我们进行了进一步的研究，以调查训练较少的 VAE 模型将如何影响 TabSyn 生成的合成数据的质量。为此，我们使用在不同时期获得的 VAE 的嵌入作为潜在空间来研究 TabSyn 生成的合成数据的质量。图9绘制了Adult和Default数据集上的单列密度估计和成对列相关性估计的结果，间隔设置为400个epoch。我们可以观察到，增加 VAE 的训练周期确实提高了 TabSyn 生成数据的质量。此外，即使 VAE 训练不是最优的（例如 2000 年左右的 epoch），TabSyn 的性能也已经非常接近最优性能。此外，即使 VAE 训练次数相对较少（例如 800-1200），TabSyn 的性能也接近甚至超过了最具竞争力的基线 TabDDPM。基于这一观察，我们建议彻底训练 VAE，以在资源丰富时实现卓越的数据生成质量。然而，当资源有限时，减少 VAE 训练持续时间仍然可以获得不错的性能。

F.6隐私保护：最近记录距离（DCR）

为了研究合成数据是否会导致隐私信息泄露问题，我们计算了合成数据的 DCR。具体来说，我们遵循“合成与保留”设置 ¹⁰¹⁰10https://www.clearbox.ai/blog/2022-06-07-synthetic-data-for-privacy-
preservation-part-2。我们最初将数据集分为两个相等的部分：第一部分作为生成模型的训练集，而第二部分被指定为保留集，不用于。完成模型训练后，我们对与训练集（和保留集）大小相同的合成集进行采样。

然后，我们计算合成集中每个样本的 DCR 分数，涉及训练集和保留集。我们可以创建直方图来可视化合成集与训练集和保留集相比的 DCR 分数分布。直观上，如果存在隐私问题（例如，如果直接从训练集中复制合成集），则训练集的 DCR 分数应该比测试集的 DCR 分数更接近 0。相反，如果不存在隐私问题，训练集和保留集的 DCR 分数的分布应该大部分重叠。在图10中，我们绘制了关于默认集和购物者集和保留集的合成集 DCR 的分布。我们可以观察到，CoDi、STaSy、TabDDPM 和 TabSyn 等深度生成模型不会遇到隐私问题，而基于插值的方法 SMOTE 可能无法保护隐私信息。

此外，我们还计算合成样本更接近训练集（而不是保留集）的概率。当该概率接近 50%（即 0.5）时，表明合成实例和训练实例之间的距离分布与合成实例和保留实例之间的距离分布非常相似（或者至少不是系统地小于），即隐私风险方面的积极指标。表13显示了不同模型在默认数据集和购物者数据集上获得的结果。

表 13： DCR 分数（合成示例更接近训练集而不是保留集的概率（%，接近

50\%

的分数更好）。

Method	Default	Shoppers
SMOTE	$91.41$ % $\pm 3.42$	$96.40$ % $\pm 4.70$
STaSy	$50.23$ % $\pm 0.09$	$51.53$ % $\pm 0.16$
CoDi	$51.82$ % $\pm 0.26$	$51.06$ % $\pm 0.18$
TabDDPM	$52.15$ % $\pm 0.20$	$63.23$ % $\pm 0.25$
TabSyn	$51.20$ % $\pm 0.18$	$52.90$ % $\pm 0.22$

附录 G复制详细信息

在本节中，我们将介绍 TabSyn 的详细信息，例如数据预处理、训练和超参数详细信息。我们还介绍了基线方法的再现细节。

G.1 实施TabSyn的详细信息

数据预处理。

现实世界的表格数据通常包含缺失值，并且每列的数据可能具有不同的比例。因此，我们需要对数据进行预处理。按照 TabDDPM (Kotelnikov 等人, 2023)，缺失的单元格将用数字列的平均值填充。对于分类列，缺失的单元格被视为一种附加类别。然后，使用 QuantileTransformer¹¹¹¹11https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.QuantileTransformer.html/OneHotEncoder¹²¹²12https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.OneHotEncoder.html分别来自 scikit-learn。

超参数设置。

标签同步对不同的数据集使用相同的参数集。（购物者的 $\beta_{\max}$ 除外）。 TabSyn 的 VAE 和 Diffusion 模型的详细架构分别在附录 D.1 和附录 D.2 中介绍。下面是详细的超参数设置。

VAE的超参数：

•

词符维度 $d=4$ ,
•

VAE编码器/解码器层数： $2$ ，
•

Transformer FFN 的隐藏维度： $4*32=128$ ，
•

$\beta_{\max}=0.01$ ( $\beta_{\max}=0.001$ 对于购物者），
•

$\beta_{\min}=10^{-5}$ ，
•

$\lambda=0.7$ 。

扩散的超参数：

•

MLP的隐藏维度 $d_{\rm hidden}=1024$ 。

与当前一些方法中繁琐的超参数搜索过程（Kotelnikov等人，2023；Kim等人，2023；Lee等人，2023）不同，TabSyn持续生成高质量数据，无需细致的超参数调整。

G.2 实施基线的详细信息

由于不同的方法采用了不同的神经网络架构，因此使用相同的网络来比较不同方法的性能是不合适的。为了公平比较，我们调整了不同方法的隐藏维度，确保可训练参数的数量接近（大约 $10$ 百万）。请注意，扩大模型大小确实会提高基线方法的性能。在这些条件下，我们根据官方代码重现了基线方法，并且我们重现的代码在补充中提供了。以下是基线的详细实现。

CTGAN 和 TVAE (Xu 等人, 2019)：对于 CTGAN，我们按照官方代码中的实现¹³¹³13https://github.com/sdv-dev/CTGAN，其中超参数很好-给定。由于默认的判别器/生成器 MLP 很小，为了公平比较，我们将它们放大到与 TabSyn 相同的大小。没有提供 TVAE 的接口，因此我们只需使用 TVAE 模块中定义的默认超参数。 TVAE的编码器/解码器的尺寸也扩大了。

GOGGLE (Liu 等人, 2023b)：我们遵循官方实现¹⁴¹⁴14https://github.com/vanderschaarlab/GOGGLE。在GOGGLE的官方实现中，每个节点就是一列，节点特征就是该列的 $1$ 维数值。然而GOGGLE没有说明，也没有解释如何处理分类列¹⁵¹⁵15https://github.com/tennisonliu/GOGGLE/issues/2。为了将 GOGGLE 扩展到混合类型的表格数据，我们首先将每个分类列转换为其 $C$ 维单热编码。然后， $0/1$ 二进制值的每个单一维度就成为图节点。因此，对于 $M_{{\rm num}}$ 数值列和 $M_{{\rm cat}}$ 分类列以及 $C_{i}$ 的第 $i$ 分类列的混合类型表格数据类别，GOGGLE 的图表有 $M_{{\rm num}}+\sum\limits_{i}C_{i}$ 节点。

GREaT：我们遵循官方实现¹⁶¹⁶16https://github.com/kathrinse/be_great/tree/main。在我们的复现过程中，我们发现GReaT的训练非常消耗内存和时间（因为它是在对大型语言模型进行微调）。通常，成人数据集上的批量大小限制为 $32$ ，并且 $200$ epoch 的训练需要超过 $2$ 小时。此外，由于 GReaT 是基于文本的，因此不能保证生成的内容遵循给定表格的格式。因此，必须进行额外的后处理。

STaSy (Kim 等人, 2023)：在 STaSy 中，分类列采用 one-hot 编码，然后与数值列一起放入连续扩散模型。我们遵循官方代码给出的默认超参数¹⁷¹⁷17https://github.com/JayoungKim408/STaSy/tree/main 除了去噪函数的大小之外，为了公平比较而将其放大。

CoDi (Lee 等人, 2023)：我们遵循官方代码给出的默认超参数¹⁸¹⁸18https://github.com/ChaejeongLee/CoDi/tree/main。类似地，CoDi使用的去噪U-Net也被放大，以确保模型参数相似。

TabDDPM (Kotelnikov 等人, 2023)：TabDDPM 官方代码¹⁹¹⁹19https://github.com/yandex-research/tab-ddpm 用于条件生成任务，其中非目标列以目标列为条件生成。我们稍微修改一下代码以应用于无条件生成。

$\beta$	Single	Pair
$10^{-1}$	$1.24$	$3.05$
$10^{-2}$	$0.87$	$2.79$
$10^{-3}$	$0.72$	$2.25$
$10^{-4}$	$0.69$	$2.01$
$10^{-5}$	$41.96$	$69.17$
Scheduled $\beta$	$\mathbf{0.58}$	$\mathbf{1.54}$

Variants	Single	Pair
TabDDPM	$1.75$	$3.01$
TabSyn-OneHot	$5.59$	$6.92$
TabSyn-DDPM	$1.02$	$2.15$
TabSyn	$\mathbf{0.58}$	$\mathbf{1.54}$