基本信息

我们提出了 Point-BERT，一种学习 Transformer 的新范例，将 BERT 的概念推广到 3D 点云。受 BERT 的启发，我们设计了一个掩码点建模（MPM）任务来预训练点云 Transformer。具体来说，我们首先将点云划分为几个局部点块，并设计带有离散变分自动编码器（dVAE）的点云标记器来生成包含有意义的局部信息的离散点标记。然后，我们随机屏蔽掉一些输入点云块并将它们输入主干 Transformer 中。预训练的目标是在 Tokenizer 获得的点标记的监督下恢复屏蔽位置处的原始点标记。大量实验表明，所提出的 BERT 式预训练策略显着提高了标准点云 Transformer 的性能。配备我们的预训练策略后，我们证明纯 Transformer 架构在 ModelNet40 上达到了 93.8% 的准确率，在 ScanObjectNN 最困难的设置上达到了 83.1% 的准确率，超越了精心设计的点云模型，而手工设计却少得多。我们还证明，Point-BERT 学习到的表示可以很好地转移到新的任务和领域，我们的模型在很大程度上推进了少样本点云分类任务的最新技术。代码和预训练模型可在此 https URL 获取 ...